KR102520218B1

KR102520218B1 - 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법

Info

Publication number: KR102520218B1
Application number: KR1020210141164A
Authority: KR
Inventors: 장종욱; 최동규; 김민영
Original assignee: 동의대학교 산학협력단
Priority date: 2021-10-21
Filing date: 2021-10-21
Publication date: 2023-04-10
Also published as: US20230126373A1

Abstract

본 발명은 인공지능을 사용한 이미지 처리를 수행하는 관제 서버에서 비효율적 또는 수행할 수 없는 다수의 인공지능 프로세스를 효율적으로 처리할 수 있도록 한 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법에 관한 것으로, 다수 이미지를 입력하여 입력 원본을 임시 저장하고 이미지 데이터들을 한 개의 하드웨어로 전송하는 이미지 입력부;다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하고, 변환된 이미지를 1개의 이미지로 이어 붙이는 이미지 데이터 전처리부;인식할 객체 데이터학습 모델을 불러와 이미지 데이터 전처리가 이루어진 데이터를 이용하여 객체 인식 인공지능 작업을 수행하는 인공지능 작업 수행부;입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하고 이미지 접합 부위로 인식된 객체 별 중심좌표 검출 연산을 하고, 각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하여 객체 검출 좌표를 통해 원본 이미지 크기에 비례하여 좌표 생성 연산을 하고, 객체 검출 영역을 원본 이미지 크기 비례하여 변환하여 각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 결과 이미지 출력부;를 포함하는 것이다.

Description

인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법{System and Method for improving hardware usage in control server using artificial intelligence image processing}

본 발명은 영상 데이터 처리에 관한 것으로, 구체적으로 인공지능을 사용한 이미지 처리를 수행하는 관제 서버에서 비효율적 또는 수행할 수 없는 다수의 인공지능 프로세스를 효율적으로 처리할 수 있도록 한 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법에 관한 것이다.

인공지능 기술 중 딥러닝은 현재 가장 빨리 변화하고 발전하는 분야 중 하나다. 계속해서 새로운 학습모델과 개선된 결과가 쏟아져 나오고 있으며, 최근 10년간 사람보다 더 정확한 결과를 내는 부분도 존재한다.

하지만, 이러한 발전과 관심으로 작은 문제를 해결하는 것에 과도한 기술이 사용되기도 한다.

인공지능 관제 시스템의 경우 기존에 사람이 직접 하던 일을 무인으로 수행하거나, 불필요한 행동을 줄이고자 하는 것에 있다. 지금까지 기술은 관제를 수행하게 되더라도 아직 사람이 해결해야 할 부분이 존재하며, 현재의 하드웨어 성능으로 수행하고자 한다면 비용문제가 심각해진다.

현재는 적절한 수행을 위한 적당한 모델을 사용하여 비용을 낮추는 방법이 있겠지만, 추후 더 좋은 결과물을 얻기 위한 모델과 알고리즘은 그 복잡도로 인해서 더욱 강력한 하드웨어를 요구한다.

하드웨어 또한 많은 발전이 있었지만, 전체적으로 수행되기에 가벼운 시스템이 최적의 시스템이다.

한편, 전세계적으로 영상 데이터 사용이 증가하면서 다양한 기술이 개발되고 있고, 이러한 영상 데이터와 관련한 4차산업혁명으로 해결되지 못하던 영역을 기술로 해결하면서 기존에 사용하고 있던 장비들에 추가적인 기능이 도입되고 있다.

영상 데이터를 이용하는 것에 있어서 제일 기본적인 것은 카메라 사용이다.

개인적으로 사용하는 휴대폰에 장착되어 있는 카메라부터 시작하여 전국, 전세계적으로 설치되어 있는 폐쇄회로 카메라가 그 예시이다.

한국의 도시 중 부산에만 해도 교통단속, 생활방범, 쓰레기단속, 어린이보호 등 다양한 목적으로 활용되는 폐쇄회로 카메라는 한국 공공데이터 포털에서 제공하는 자료에 따르면 2021년 7월 기준 17539대에 달한다.

영국의 컴퓨터와 네트워크 보안을 연구하는 회사인 Comparitech사에서 전세계 150개 주요도시에 사용되는 CCTV카메라 수를 조사했다. 결과에 따르면 상위 20개 도시 중 16개의 도시는 중국이었으며, 인구기준 가장 많은 곳은 1,000명당 117.02대의 CCTV가 사용되는 것으로 확인되었다. 이전부터도 이런 수많은 CCTV의 설치와 활용을 통합관제를 통하여 관리하기 위한 방법이 연구되었다.

더불어 최근 4차산업혁명으로 인하여 관련 기술을 도입하기 위하여 많은 시도를 하고 있다. 데이터 활용에 앞서 블록체인을 이용한 데이터 무결성 검증 방법 연구, 인공지능을 이용한 객체 감지 및 상황 직관적 파악 등 많은 연구가 이뤄졌다.

실제로 AI를 통해 행동분석을 하는 지능형 CCTV를 도입하려는 도시가 있어 많은 진전이 이뤄지고 있다. 세계 지능형 CCTV 시장의 규모는 2018년 10,934억 달러였으며, 연평균 7.8%씩 성장하여 2022년도에는 14,435억 달러에 달할 것으로 전망된다.

한편, CCTV에 인공지능을 도입하기 위해서는 다음과 같은 사항을 고려해야 한다.

CCTV에 인공지능을 활용한 판단력을 실생활에 도입하는데 있어서 가장 큰 문제는 이미 설치된 카메라 수가 많다는 것이며, 그것을 모두 바꾸기에는 비용이 과도하게 필요하다는 것이다.

이미 설치된 카메라도 고성능의 카메라로 구매비용이 비싸다. 이미 고성능의 카메라를 활용하고 있기 때문에 기능 추가와 서버만 일부 교체하여 사용하는 방법이 현실적이다.

인공지능을 적용하는 시스템은 일반거리에 사용되는 CCTV뿐 아니라 공공장소와 교통수단 좌석들에서도 생기는 사건 사고를 해결하기 위해 설치되어 있으며, 도로에서는 실시간 영상에서 교통사고의 유형과 과실 정보를 바로 확인할 수 있는 방법과 자동 관제를 위한 다양한 방법을 찾고 있다.

그 중 CCTV의 자체 이상에 대비하기 위해 하드웨어 사용을 줄이기 위한 연구도 진행되고 있다.

예시로 비정상동작과 이상행동을 감지하기 위하여 촬영된 영상 내 데이터를 모두 확인하는 것이 아닌 부분영역을 활용하는 방법이 연구되고 있다. 영상에서 비정상적인 행동을 감지하는 것을 기본으로 제공하면서, 추가적으로 기기의 자체 이상에 대비하기 위해 데이터 사용의 과부하가 되지 않도록 고려하고 있는 것이다.

하지만, CCTV가 가지는 특성인 다수의 입력이 있다는 점을 간과하고 있다.

실제로 CCTV camera는 한 개가 아닌 여러 개이며, 한 번에 볼 수 있도록 처리되어 데이터가 제공되기 때문이다. 인공지능을 도입하려는 연구는 활발하지만 실질적으로 도입하기에 앞서 실제 환경에 맞는 방법이 필요하다.

또한, 지능형 시스템이 가지는 가장 큰 문제인 시스템이 너무 무거우며, 저비용으로 해결하기 힘들다는 문제점은 아직 해결되지 못하고 있다.

일반적으로 추론을 위한 시스템은 보통 1개의 입력 데이터를 사용할 때 프로세스 1개를 점유하게 되며 1개의 연산처리장치를 사용하게 되기 때문에 비효율적이다.

이와 같이 이미지를 처리하는 딥러닝 사용에서 1개의 학습된 모델을 불러와 사용할 하드웨어에 적재하여 처리 과정이 수행되는데, 1개 모델의 리소스 사용이 크고, 데이터 처리를 위해서 프로세스를 점유하고 있는 문제가 발생한다.

따라서, 인공지능을 활용한 이미지 인식 과정에서의 하드웨어 사용량을 줄이기 위한 새로운 기술의 개발이 요구되고 있다.

대한민국 등록특허 제10-1154350호 대한민국 공개특허 제10-2020-0134813호 대한민국 등록특허 제10-1996167호

본 발명은 종래 기술의 영상 데이터 처리 기술의 문제점을 해결하기 위한 것으로, 인공지능을 사용한 이미지 처리를 수행하는 관제 서버에서 비효율적 또는 수행할 수 없는 다수의 인공지능 프로세스를 효율적으로 처리할 수 있도록 한 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명은 한 번에 여러 데이터를 처리하기 위해 이미지를 데이터 입력 크기를 고려하여 다수의 입력 데이터를 압축 및 이어 붙여 처리하는 방법으로 다수의 데이터를 처리하는 것과 실시간으로 수행되는 영상 처리 작업에 대해 어려움을 해소할 수 있도록 한 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명은 다수 입력 데이터 경계선에서 인식되는 데이터에 대하여 평가하는 알고리즘을 적용하여 인공지능 사용을 줄이고 하드웨어 사용량을 낮추어 시스템 구축 비용을 줄일 수 있도록 한 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명은 지속적으로 인공지능 기술을 사용하기 위하여 소프트웨어와 하드웨어의 업데이트를 수행하지 않아도 주어진 환경내에서 인공지능형 영상처리를 효율적으로 수행할 수 있도록 한 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명은 인공지능 모델 수행의 앞에서는 이미지를 입력받고 카메라의 입력 대수에 맞게 적절히 해상도를 압축시킨후 딥러닝을 수행하고 다시 분할하는 과정을 포함하여 입력되는 이미지 데이터의 크기에 따라 처리하기 위한 최적의 작업을 설계하여 1개의 하드웨어로 다수의 데이터 처리할 수 있도록 한 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템은 다수 이미지를 입력하여 입력 원본을 임시 저장하고 이미지 데이터들을 한 개의 하드웨어로 전송하는 이미지 입력부;다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하고, 변환된 이미지를 1개의 이미지로 이어 붙이는 이미지 데이터 전처리부;인식할 객체 데이터학습 모델을 불러와 이미지 데이터 전처리가 이루어진 데이터를 이용하여 객체 인식 인공지능 작업을 수행하는 인공지능 작업 수행부;입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하고 이미지 접합 부위로 인식된 객체 별 중심좌표 검출 연산을 하고, 각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하여 객체 검출 좌표를 통해 원본 이미지 크기에 비례하여 좌표 생성 연산을 하고, 객체 검출 영역을 원본 이미지 크기 비례하여 변환하여 각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 결과 이미지 출력부;를 포함하는 것을 특징으로 한다.

여기서, 이미지 데이터 전처리부는, 다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하는 이미지 크기 변환부와, 변환된 이미지를 1개의 이미지로 일정한 크기로 이어 붙이는 단일 이미지화부를 포함하는 것을 특징으로 한다.

그리고 결과 이미지 출력부는, 입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하는 접합 좌표 확인부와,이미지 접합 부위로 인식된 객체 별 중심좌표 검출 연산을 하는 중심좌표 검출 연산부와,각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하는 길이 비율 확인부와,객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하는 접합 좌표거리 비교부를 포함하는 것을 특징으로 한다.

그리고 접합 좌표거리 비교부에서 객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여 중심점 위치와 접합 좌표거리가 기준값보다 가까우면 해당 객체를 제외하는 것을 특징으로 한다.

그리고 접합 좌표거리 비교부에서 객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여 중심점 위치와 접합 좌표거리가 기준값보다 멀다면 해당 객체 검출 크기를 이미지 접합 부분까지 제한하는 것을 특징으로 한다.

그리고 결과 이미지 출력부는 접합 좌표거리 비교부의 비교결과를 반영하여 임시 저장된 원본 이미지를 가져와, 객체 검출 좌표를 통해 원본 이미지 크기 비례하여 좌표 생성 연산을 하는 좌표 생성 연산부와,객체 검출 영역을 원본 이미지 크기 비례하여 변환하는 객체 검출 영역 변환부와,각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 검출 영역 표시부를 더 포함하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법은 다수 이미지를 입력하여 입력 원본을 임시 저장하고 이미지 데이터들을 한 개의 하드웨어로 전송하는 이미지 입력 단계;다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하고, 변환된 이미지를 1개의 이미지로 이어 붙이는 이미지 데이터 전처리 단계;인식할 객체 데이터학습 모델을 불러와 이미지 데이터 전처리가 이루어진 데이터를 이용하여 객체 인식 인공지능 작업을 수행하는 인공지능 작업 수행 단계;입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하고 이미지 접합 부위로 인식된 객체 별 중심좌표 검출 연산을 하고, 각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하여 객체 검출 좌표를 통해 원본 이미지 크기에 비례하여 좌표 생성 연산을 하고, 객체 검출 영역을 원본 이미지 크기 비례하여 변환하여 각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 결과 이미지 출력 단계;를 포함하는 것을 특징으로 한다.

여기서, 이미지 데이터 전처리 단계는, 다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하는 이미지 크기 변환 단계와,변환된 이미지를 1개의 이미지로 일정한 크기로 이어 붙이는 단일 이미지화 단계를 포함하는 것을 특징으로 한다.

그리고 결과 이미지 출력 단계는, 입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하는 접합 좌표 확인 단계와,이미지 접합 부위로 인식된 객체 별 중심좌표 검출 연산을 하는 중심좌표 검출 연산 단계와,각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하는 길이 비율 확인 단계와,객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하는 접합 좌표거리 비교 단계를 포함하는 것을 특징으로 한다.

그리고 접합 좌표거리 비교 단계에서, 객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여 중심점 위치와 접합 좌표거리가 기준값보다 가까우면 해당 객체를 제외하는 것을 특징으로 한다.

그리고 접합 좌표거리 비교 단계에서, 객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여 중심점 위치와 접합 좌표거리가 기준값보다 멀다면 해당 객체 검출 크기를 이미지 접합 부분까지 제한하는 것을 특징으로 한다.

그리고 결과 이미지 출력 단계는 접합 좌표거리 비교부의 비교결과를 반영하여 임시 저장된 원본 이미지를 가져와, 객체 검출 좌표를 통해 원본 이미지 크기 비례하여 좌표 생성 연산을 하는 좌표 생성 연산 단계와,객체 검출 영역을 원본 이미지 크기 비례하여 변환하는 객체 검출 영역 변환 단계와,각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 검출 영역 표시 단계를 더 포함하는 것을 특징으로 한다.

그리고 결과 이미지 출력 단계에서 N개의 이미지를 이어 붙인 이미지에서 검출된 오브젝트의 위치가 근처 이미지에 실제로 있는 유효 오브젝트인지 확인하는 유사수식으로,

을 사용하고, 1에 해당하는 수식은 N번째 이미지에 속하는 이미지인 것을 나타내는 값이며, 0은 해당 검출 이미지가 영역 내에 속하지 않는다는 의미인 것을 특징으로 한다.

그리고 1에 해당하는 수식에서 O.C.W는 Object Center Width로 검출된 오브젝트의 제일 좌측 상단 좌표를 0으로 잡은 부분에서 오브젝트 중심의 가로 좌표를 의미하고, Image N start width는 인접하는 이미지의 접하는 부분과 검출된 객체의 중심까지 거리의 가로 좌표를 의미하고, 반대로 O.C.H는 Object Center Height는 검출된 오브젝트의 제일 좌측 상단 좌표를 0으로 잡은 부분에서 오브젝트 중심의 세로 좌표를 의미하며, Image N start height는 인접하는 이미지의 접하는 부분의 세로 좌표를 의미하는 것을 특징으로 한다.

그리고 Image N start height의 경우 가로로 이어진 이미지에서는 무조건 1의 값을 보이며, 세로로 이어진 이미지에서 위 아래 이미지 중 어느 부분에 속하는 오브젝트인지 확인하기 위해 사용되고, 반대로 Image N start width의 경우 세로로 이어진 이미지에서는 무조건 1의 값을 보이며, 가로로 이어진 이미지에서 좌 우 이미지 중 어느 부분에 속하는 오브젝트인지 확인하기 위해 사용되고, 1의 유사수식 값에 속하지 않는 것은 모두 거짓으로 분류하는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법은 다음과 같은 효과가 있다.

첫째, 인공지능을 사용한 이미지 처리를 수행하는 관제 서버에서 비효율적 또는 수행할 수 없는 다수의 인공지능 프로세스를 효율적으로 처리할 수 있도록 한다.

둘째, 한 번에 여러 데이터를 처리하기 위해 이미지를 데이터 입력 크기를 고려하여 다수의 입력 데이터를 압축 및 이어 붙여 처리하는 방법으로 다수의 데이터를 처리하는 것과 실시간으로 수행되는 영상 처리 작업에 대해 어려움을 해소할 수 있도록 한다.

셋째, 다수 입력 데이터 경계선에서 인식되는 데이터에 대하여 평가하는 알고리즘을 적용하여 인공지능 사용을 줄이고 하드웨어 사용량을 낮추어 시스템 구축 비용을 줄일 수 있도록 한다.

넷째, 지속적으로 인공지능 기술을 사용하기 위하여 소프트웨어와 하드웨어의 업데이트를 수행하지 않아도 주어진 환경내에서 인공지능형 영상처리를 효율적으로 수행할 수 있도록 한다.

다섯째, 인공지능 모델 수행의 앞에서는 이미지를 입력받고 카메라의 입력 대수에 맞게 적절히 해상도를 압축시킨후 딥러닝을 수행하고 다시 분할하는 과정을 포함하여, 입력되는 이미지 데이터의 크기에 따라 처리하기 위한 최적의 작업을 설계하여 1개의 하드웨어로 다수의 데이터 처리할 수 있도록 한 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법을 제공하는데 그 목적이 있다.

도 1은 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 구성도
도 2는 본 발명에 따른 이미지 데이터 전처리부의 상세 구성도
도 3은 본 발명에 따른 결과 이미지 출력부의 상세 구성도
도 4는 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법을 나타낸 플로우 차트
도 5a 내지 도 5d는 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법을 적용한 일 예를 나타낸 구성도
도 6은 경계선 이미지 평가 유사 의문문 수식을 설명하기 위한 구성도

이하, 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 1은 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 구성도이다.

본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법은 인공지능을 사용한 이미지 처리를 수행하는 관제 서버에서 비효율적 또는 수행할 수 없는 다수의 인공지능 프로세스를 효율적으로 처리할 수 있도록 한 것이다.

이를 위하여, 본 발명은 한 번에 여러 데이터를 처리하기 위해 이미지를 데이터 입력 크기를 고려하여 다수의 입력 데이터를 압축 및 이어 붙여 처리하는 방법으로 다수의 데이터를 처리하는 것과 실시간으로 수행되는 영상 처리 작업에 대해 어려움을 해소할 수 있도록 하는 구성을 포함할 수 있다.

본 발명은 인공지능 모델 수행의 앞에서는 이미지를 입력받고 카메라의 입력 대수에 맞게 적절히 해상도를 압축시킨후 딥러닝을 수행하고 다시 분할하는 과정을 포함하여 입력되는 이미지 데이터의 크기에 따라 처리하기 위한 최적의 작업을 설계하여 1개의 하드웨어로 다수의 데이터 처리할 수 있도록 하는 구성을 포함할 수 있다.

본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법에서는 딥러닝 학습모델 관련 변화는 주지 않는다.

딥러닝 모델을 수정하는 것이 개선에는 직접적으로 도움이 되겠지만, 이는 검증 및 수행 과정이 오래 걸리며 결국 하드웨어 사용량에 영향을 주게 된다.

정확도 향상을 위해서는 딥러닝의 모델 깊이를 더욱 깊게 하면 해결되지만, 근본적으로 가벼운 시스템을 만드는 것과는 정반대의 수행이기 때문이다.

본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템은 도 1에서와 같이, 다수 이미지를 입력하여 입력 원본을 임시 저장하고 이미지 데이터들을 한 개의 하드웨어(서버)로 전송하는 이미지 입력부(10)와, 다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하고, 변환된 이미지를 1개의 이미지 즉, 일정한 크기로 이어 붙이는 이미지 데이터 전처리부(20)와, 인식할 객체 데이터학습 모델을 불러와 이미지 데이터 전처리가 이루어진 데이터를 이용하여 객체 인식 인공지능 작업을 수행하는 인공지능 작업 수행부(30)와, 입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하고 이미지 접합 부위 근처로 인식된 객체 별 중심좌표 검출 연산을 하고, 각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하여 객체 검출 좌표를 통해 원본 이미지 크기 비례하여 좌표 생성 연산을 하고, 객체 검출 영역을 원본 이미지 크기 비례하여 변환하여 각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 결과 이미지 출력부(40)를 포함한다.

본 발명에 따른 이미지 데이터 전처리부(20)의 상세 구성은 다음과 같다.

도 2는 본 발명에 따른 이미지 데이터 전처리부의 상세 구성도이다.

이미지 데이터 전처리부(20)는 다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하는 이미지 크기 변환부(21)와, 변환된 이미지를 1개의 이미지로 일정한 크기로 이어 붙이는 단일 이미지화부(22)를 포함한다.

본 발명에 따른 결과 이미지 출력부(40)의 상세 구성은 다음과 같다.

도 3은 본 발명에 따른 결과 이미지 출력부의 상세 구성도이다.

본 발명에 따른 결과 이미지 출력부(40)는 도 3에서와 같이, 입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하는 접합 좌표 확인부(41)와, 이미지 접합 부위로 인식된 객체 별 중심좌표 검출 연산을 하는 중심좌표 검출 연산부(42)와, 각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하는 길이 비율 확인부(43)와, 객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하는 접합 좌표거리 비교부(44)를 포함한다.

여기서, 접합 좌표거리 비교부(44)에서 객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여 중심점 위치와 접합 좌표거리가 기준값보다 가까우면 해당 객체를 제외한다.

그리고 접합 좌표거리 비교부(44)에서 객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여 중심점 위치와 접합 좌표거리가 기준값보다 멀다면 해당 객체 검출 크기를 이미지 접합 부분까지 제한한다.

그리고 본 발명에 따른 결과 이미지 출력부(40)는 접합 좌표거리 비교부(44)의 비교결과를 반영하여 임시 저장된 원본 이미지를 가져와 객체 검출 좌표를 통해 원본 이미지 크기 비례하여 좌표 생성 연산을 하는 좌표 생성 연산부(45)와, 객체 검출 영역을 원본 이미지 크기 비례하여 변환하는 객체 검출 영역 변환부(46)와, 각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 검출 영역 표시부(47)를 더 포함한다.

본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법을 구체적으로 설명하면 다음과 같다.

도 4는 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법을 나타낸 플로우 차트이다.

본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법은 먼저, 다수 이미지가 입력되면 입력 원본을 임시 저장하고 이미지 데이터들을 한 개의 하드웨어(서버)로 전송한다.(S401)

이어, 다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하고(S402), 변환된 이미지를 1개의 이미지 즉, 일정한 크기로 이어 붙이는 이미지 데이터 전처리 단계를 수행한다.(S403)

그리고 인식할 객체 데이터학습 모델을 불러와(S404) 객체 인식 인공지능 작업을 수행한다.(S405)

그리고 결과 이미지 출력 단계(S406 ~ S414)를 다음과 같이 수행한다.

먼저, 입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하고(S406) 이미지 접합 부위 근처로 인식된 객체 별 중심좌표 검출 연산을 한다.(S407)

그리고 각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인한다.(S408)

이어, 객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여(S409) 중심점 위치와 접합 좌표거리가 기준값보다 가까우면 해당 객체를 제외하고(S410), 중심점 위치와 접합 좌표거리가 기준값보다 멀다면 해당 객체 검출 크기를 이미지 접합 부분까지 제한한다.(S411)

그리고 객체 검출 좌표를 통해 원본 이미지 크기 비례하여 좌표 생성 연산을 한다.(S412)

이어, 객체 검출 영역을 원본 이미지 크기 비례하여 변환하고(S413) 각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력한다.(S414)

도 5a 내지 도 5d는 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법을 적용한 일 예를 나타낸 구성도이다.

도 5a는 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법의 전체 과정의 일 예를 나타낸 것으로, 딥러닝 모델 수행의 앞 뒤로 하여 관련 프로세스를 적용한 것이다.

모델 수행의 앞에서는 이미지를 입력받고 카메라의 입력 대수에 맞게 적절히 해상도를 압축시킨다. 이후 딥러닝을 수행하고 다시 분할 하는 과정을 거친다.

도 5b는 이미지 데이터 전처리 과정의 일 예를 나타낸 것으로, 4개의 이미지를 합성하는 이미지를 나타낸 것이다.

원래 서버에서 수행되는 1개의 카메라 이미지 크기를 입력할 카메라 이미지 개수에 따라 적절히 압축하여 1개의 이미지로 바꾼다.

HD 해상도를 기준으로 하였을 때 1280*720의 절반인 640*360으로 압축한다고 가정한다면 총 4대의 카메라 이미지를 동시에 수행시킬 수 있다.

압축된 이미지는 딥러닝을 수행하기 위하여 사용되기 때문에 기존의 이미지는 수정하지 않는다.

도 5c는 결과 이미지 출력 단계의 일 예를 나타낸 것으로, 딥러닝 수행 후에는 2가지 과정을 필요로 한다.

4개 이미지를 1개의 이미지로 붙였을 때 경계선이 없기 때문에 1개의 이미지로 딥러닝을 수행하게 된다. 이는 4개의 이미지 경계선에서 잘못 인식될 수 있다는 것을 의미한다.

도 6은 경계선 이미지 평가 유사 의문문 수식을 설명하기 위한 구성도이다.

수학식 1은 경계선 이미지 평가 유사 의문문 수식을 나타낸 것이다.

수학식 1은 N개의 이미지를 이어 붙인 이미지에서 검출된 오브젝트의 위치가 근처 이미지에 실제로 있는 유효 오브젝트인지 확인하는 유사수식으로, 1에 해당하는 수식은 N번째 이미지에 속하는 이미지인 것을 나타내는 값이며, 0은 해당 검출 이미지가 영역 내에 속하지 않는다는 의미이다.

1에 해당하는 수식에 O.C.W는 Object Center Width로 검출된 오브젝트의 제일 좌측 상단 좌표를 0으로 잡은 부분에서 오브젝트 중심의 가로 좌표를 의미한다.

Image N start width는 인접하는 이미지의 접하는 부분과 검출된 객체의 중심까지 거리의 가로 좌표를 의미하고, 반대로 O.C.H는 Object Center Height는 검출된 오브젝트의 제일 좌측 상단 좌표를 0으로 잡은 부분에서 오브젝트 중심의 세로 좌표를 의미하며, Image N start height는 인접하는 이미지의 접하는 부분의 세로 좌표를 의미한다.

Image N start height의 경우 가로로 이어진 이미지에서는 무조건 1의 값을 보이며, 세로로 이어진 이미지에서 위 아래 이미지 중 어느 부분에 속하는 오브젝트인지 확인하기 위해 사용된다.

반대로 Image N start width의 경우 세로로 이어진 이미지에서는 무조건 1의 값을 보이며, 가로로 이어진 이미지에서 좌 우 이미지 중 어느 부분에 속하는 오브젝트인지 확인하기 위해 사용된다.

수학식 1에서 1의 유사수식 값에 속하지 않는 것은 모두 거짓(해당 이미지에 속하지 않음)으로 분류된다.

따라서, 본 발명에서는 인식된 객체가 어디에 속하는지 또는, 아예 새로운 객체로 인식되었는지 평가하는 알고리즘을 먼저 수행한다.

수학식 1은 이미지 내 경계선 부근에서 인식된 객체의 중앙점을 활용하여 유효한 객체인지 평가하는 수식이다.

평가 이후 각 카메라 이미지 구역별 축소된 위치와 인식된 크기를 기존의 이미지 크기에 대입하기 위해 보정작업을 수행한다. 수행 이후 기존에 수정되지 않은 이미지에 인식된 객체 정보를 대입하여 결과를 낸다.

도 5d는 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법을 적용한 결과의 일 예를 나타낸 것이다.

도 5d의 테스트는 카메라 2대를 사용하여 수행되었다.

일반적으로 딥러닝 기능을 수행하게 되면 입력되는 값에 따라 프로세스를 할당하여 수행하게 된다. 하드웨어는 1개이고 입력데이터가 2개라고 가정했을 때 병렬처리 되지 않으면 동시에 수행되더라도 수행 속도는 절반이다. 또는, 이미 프로세스를 점유하고 있기 때문에 수행되지 않는다.

본 발명을 적용한 도 5d의 테스트시에 사용한 딥러닝 모델의 경우 최대 30fps 속도로 수행하도록 되어 있으며, 2개의 입력데이터에도 처리속도에 크게 변화가 없다. 만약, 초반 처리 중 이미지를 이어 붙일 때 2개의 이미지 사이에 흰색의 영역을 10픽셀을 준다면 추가로 오인식을 줄일 수 있다.

이상에서 설명한 본 발명에 따른 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법은 인공지능 모델 수행의 앞에서는 이미지를 입력받고 카메라의 입력 대수에 맞게 적절히 해상도를 압축시킨후 딥러닝을 수행하고 다시 분할하는 과정을 포함하여, 입력되는 이미지 데이터의 크기에 따라 처리하기 위한 최적의 작업을 설계하여 1개의 하드웨어로 다수의 데이터 처리할 수 있도록 한 것이다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10.이미지 입력부
20. 이미지 데이터 전처리부
30. 인공지능 작업 수행부
40. 결과 이미지 출력부

Claims

다수 이미지를 입력하여 입력 원본을 임시 저장하고 이미지 데이터들을 한 개의 하드웨어로 전송하는 이미지 입력부;
다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하고, 변환된 이미지를 1개의 이미지로 이어 붙이는 이미지 데이터 전처리부;
객체 데이터학습 모델을 이용하여 상기 이미지 데이터 전처리부에서 이미지 데이터 전처리가 이루어진 데이터에서 객체 인식을 위한 객체 인식 인공지능 작업을 수행하는 인공지능 작업 수행부;
상기 인공지능 작업 수행부로부터 객체 인식 인공지능 작업이 수행된 데이터를 입력받아 상기 이미지 입력부에 입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하고 이미지 접합 부위로 인식된 객체 별 중심좌표 검출 연산을 하고, 각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하여 객체 검출 좌표를 통해 원본 이미지 크기에 비례하여 좌표 생성 연산을 하고, 객체 검출 영역을 원본 이미지 크기 비례하여 변환하여 각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 결과 이미지 출력부;를 포함하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템.
제 1 항에 있어서, 이미지 데이터 전처리부는,
다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하는 이미지 크기 변환부와,
변환된 이미지를 1개의 이미지로 일정한 크기로 이어 붙이는 단일 이미지화부를 포함하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템.
제 1 항에 있어서, 결과 이미지 출력부는,
입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하는 접합 좌표 확인부와,
이미지 접합 부위로 인식된 객체 별 중심좌표 검출 연산을 하는 중심좌표 검출 연산부와,
각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하는 길이 비율 확인부와,
객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하는 접합 좌표거리 비교부를 포함하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템.
제 3 항에 있어서, 접합 좌표거리 비교부에서 객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여 중심점 위치와 접합 좌표거리가 기준값보다 가까우면 해당 객체를 제외하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템.
제 3 항에 있어서, 접합 좌표거리 비교부에서 객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여 중심점 위치와 접합 좌표거리가 기준값보다 멀다면 해당 객체 검출 크기를 이미지 접합 부분까지 제한하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템.
제 3 항에 있어서, 결과 이미지 출력부는 접합 좌표거리 비교부의 비교결과를 반영하여 임시 저장된 원본 이미지를 가져와,
객체 검출 좌표를 통해 원본 이미지 크기 비례하여 좌표 생성 연산을 하는 좌표 생성 연산부와,
객체 검출 영역을 원본 이미지 크기 비례하여 변환하는 객체 검출 영역 변환부와,
각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 검출 영역 표시부를 더 포함하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템.
다수 이미지를 입력하여 입력 원본을 임시 저장하고 이미지 데이터들을 한 개의 하드웨어로 전송하는 이미지 입력 단계;
다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하고, 변환된 이미지를 1개의 이미지로 이어 붙이는 이미지 데이터 전처리 단계;
객체 데이터학습 모델을 이용하여 상기 이미지 데이터 전처리 단계에서 이미지 데이터 전처리가 이루어진 데이터에서 객체 인식을 위한 객체 인식 인공지능 작업을 수행하는 인공지능 작업 수행 단계;
상기 인공지능 작업 수행 단계를 통하여 객체 인식 인공지능 작업이 수행된 데이터를 입력받아 상기 이미지 입력 단계에서 입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하고 이미지 접합 부위로 인식된 객체 별 중심좌표 검출 연산을 하고, 각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하여 객체 검출 좌표를 통해 원본 이미지 크기에 비례하여 좌표 생성 연산을 하고, 객체 검출 영역을 원본 이미지 크기 비례하여 변환하여 각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 결과 이미지 출력 단계;를 포함하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법.
제 7 항에 있어서, 이미지 데이터 전처리 단계는,
다수의 이미지를 1개 이미지에 해당하는 해상도로 수행하기 위한 이미지 크기로 변환하는 이미지 크기 변환 단계와,
변환된 이미지를 1개의 이미지로 일정한 크기로 이어 붙이는 단일 이미지화 단계를 포함하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법.
제 7 항에 있어서, 결과 이미지 출력 단계는,
입력되었던 이미지 개수에 따라 이어 붙인 접합 좌표 확인하는 접합 좌표 확인 단계와,
이미지 접합 부위로 인식된 객체 별 중심좌표 검출 연산을 하는 중심좌표 검출 연산 단계와,
각 객체의 중심점으로부터 이미지 접합부위까지의 거리와 객체 가로 끝의 길이 비율을 확인하는 길이 비율 확인 단계와,
객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하는 접합 좌표거리 비교 단계를 포함하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법.
제 9 항에 있어서, 접합 좌표거리 비교 단계에서,
객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여 중심점 위치와 접합 좌표거리가 기준값보다 가까우면 해당 객체를 제외하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법.
제 9 항에 있어서, 접합 좌표거리 비교 단계에서,
객체 중심점 위치로부터 접합부위 거리와 객체 절반 가로 길이와의 비교하여 중심점 위치와 접합 좌표거리가 기준값보다 멀다면 해당 객체 검출 크기를 이미지 접합 부분까지 제한하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법.
제 9 항에 있어서, 결과 이미지 출력 단계는 접합 좌표거리 비교부의 비교결과를 반영하여 임시 저장된 원본 이미지를 가져와,
객체 검출 좌표를 통해 원본 이미지 크기 비례하여 좌표 생성 연산을 하는 좌표 생성 연산 단계와,
객체 검출 영역을 원본 이미지 크기 비례하여 변환하는 객체 검출 영역 변환 단계와,
각 원본 이미지에 해당 좌표와 검출 영역을 표시하여 결과 이미지를 출력하는 검출 영역 표시 단계를 더 포함하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법.
제 7 항에 있어서, 결과 이미지 출력 단계에서 N개의 이미지를 이어 붙인 이미지에서 검출된 오브젝트의 위치가 근처 이미지에 실제로 있는 유효 오브젝트인지 확인하는 유사수식으로,

을 사용하고,
1에 해당하는 수식은 N번째 이미지에 속하는 이미지인 것을 나타내는 값이며, 0은 해당 검출 이미지가 영역 내에 속하지 않는다는 의미인 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법.
제 13 항에 있어서, 1에 해당하는 수식에서 O.C.W는 Object Center Width로 검출된 오브젝트의 제일 좌측 상단 좌표를 0으로 잡은 부분에서 오브젝트 중심의 가로 좌표를 의미하고, Image N start width는 인접하는 이미지의 접하는 부분과 검출된 객체의 중심까지 거리의 가로 좌표를 의미하고,
반대로 O.C.H는 Object Center Height는 검출된 오브젝트의 제일 좌측 상단 좌표를 0으로 잡은 부분에서 오브젝트 중심의 세로 좌표를 의미하며, Image N start height는 인접하는 이미지의 접하는 부분의 세로 좌표를 의미하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법.
제 13 항에 있어서, Image N start height의 경우 가로로 이어진 이미지에서는 무조건 1의 값을 보이며, 세로로 이어진 이미지에서 위 아래 이미지 중 어느 부분에 속하는 오브젝트인지 확인하기 위해 사용되고,
반대로 Image N start width의 경우 세로로 이어진 이미지에서는 무조건 1의 값을 보이며, 가로로 이어진 이미지에서 좌 우 이미지 중 어느 부분에 속하는 오브젝트인지 확인하기 위해 사용되고,
1의 유사수식 값에 속하지 않는 것은 모두 거짓으로 분류하는 것을 특징으로 하는 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 방법.