KR20220127188A - 맞춤형 객체 검출 모델을 가진 객체 검출 장치 - Google Patents
맞춤형 객체 검출 모델을 가진 객체 검출 장치 Download PDFInfo
- Publication number
- KR20220127188A KR20220127188A KR1020220109571A KR20220109571A KR20220127188A KR 20220127188 A KR20220127188 A KR 20220127188A KR 1020220109571 A KR1020220109571 A KR 1020220109571A KR 20220109571 A KR20220109571 A KR 20220109571A KR 20220127188 A KR20220127188 A KR 20220127188A
- Authority
- KR
- South Korea
- Prior art keywords
- object detection
- detection model
- data
- shooting
- range
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Geophysics And Detection Of Objects (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Image Analysis (AREA)
Abstract
본 명세서는 종래 기술에 비해 추론 정확도가 향상된 객체 검출 장치를 개시한다. 본 명세서에 따른 객체 검출 장치는, 이미지 데이터를 수신하는 데이터 수신부; 객체 검출 모델을 저장하는 메모리부; 및 상기 데이터 수신부를 통해 수신된 이미지 데이터에 포함된 객체를 검출하도록 상기 메모리부에 저장된 객체 검출 모델을 실행하는 프로세서;를 포함하는 객체 검출 장치로서, 상기 객체 검출 모델은 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터에 의해 구분된 적어도 하나 이상의 학습 데이터들(이하 '학습 데이터 세트')을 통해 학습된 적어도 하나 이상의 객체 검출 모델일 수 있다.
Description
본 발명은 객체 검출 기술에 관한 것이며, 보다 상세하게는 촬영 조건을 고려한 학습 모델에 따라 추론의 정확도가 향상된 객체 검출 기술에 관한 것이다.
객체 검출(Object Detection)은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로 객체 검출은 딥러닝과 머신러닝 알고리즘을 통해 산출되는 기술이다. 객체 검출(object detection)이란 사진이나 비디오에 촬영된 객체의 종류를 분류(classification)하고, 해당 객체의 위치를 추출하는(localization) 과정을 동시에 수행하는 것을 의미한다. 사람은 사진 또는 비디오를 볼 때 인물, 물체, 장면 및 시각적 세부 사항을 쉽게 알아볼 수 있다. 이처럼 사람이라면 당연히 할 수 있는 일을 컴퓨터가 할 수 있도록 학습시키는 것을 객체 검출 학습이라고 한다.
본 명세서는 종래 기술에 비해 추론 정확도가 향상된 객체 검출 장치를 제공하는 것을 목적으로 한다.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 명세서에 따른 객체 검출 장치는, 이미지 데이터를 수신하는 데이터 수신부; 객체 검출 모델을 저장하는 메모리부; 및 상기 데이터 수신부를 통해 수신된 이미지 데이터에 포함된 객체를 검출하도록 상기 메모리부에 저장된 객체 검출 모델을 실행하는 프로세서;를 포함하는 객체 검출 장치로서, 상기 객체 검출 모델은 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터에 의해 구분된 적어도 하나 이상의 학습 데이터들(이하 '학습 데이터 세트')을 통해 학습된 적어도 하나 이상의 객체 검출 모델일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 파라미터는 촬영고도일 수 있다.
이 경우, 상기 학습 데이터 세트는 미리 설정된 범위의 고도(이하 '촬영고도의 범위')에서 촬영된 학습 데이터들로 이루어질 수 있다.
그리고 상기 촬영고도의 범위는 영상 전체에서 검출하고자 하는 3차원 객체가 차지하는 비율의 범위에 따라 구분될 수 있다.
본 명세서의 다른 실시예에 따르면, 상기 파라미터는 촬영각도일 수 있다.
이 경우, 상기 학습 데이터 세트는 미리 설정된 범위의 각도(이하 '촬영각도의 범위')에서 촬영된 학습 데이터들로 이루어질 수 있다.
그리고, 상기 촬영각도의 범위는 검출하고자 하는 3차원 객체의 측면이 차지하는 비율 범위에 따라 구분될 수 있다.
본 명세서의 또 다른 일 실시예에 따르면, 상기 메모리부는 서로 다른 학습 데이터 세트를 통해 학습된 2이상의 객체 검출 모델을 저장할 수 있다.
이 경우, 상기 데이터 수신부는 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터 정보를 더 수신하고, 상기 프로세서는 상기 2이상의 객체 검출 모델 중 상기 데이터 수신부를 통해 수신된 파라미터 정보에 대응하는 객체 검출 모델을 실행할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 데이터 수신부는 드론에 설치된 카메라에서 촬영된 이미지 데이터를 수신할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 명세서의 일 측면에 따르면, 종래 기술에 비해 학습 데이터의 양이 줄어들며, 학습에 소요되는 시간 및 비용을 감소시킬 수 있다.
본 명세서의 다른 측면에 따르면, 종래 기술에 비해 객체 검출 모델의 데이터 양 및 실행시 필요한 연산량이 감소하여 소형 장치에 적용이 가능하면, 실행 속도가 향상될 수 있다.
본 명세서의 또 다른 측면에 따르면, 종래 기술에 비해 특정 조건에 더 강화된 학습을 거친 객체 검출 모델을 사용할 수 있어서, 추론 정확도가 향상될 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서에 따른 객체 검출 장치의 사용 환경의 예시도이다.
도 2는 본 명세서에 따른 객체 검출 장치의 구성을 개략적으로 도시한 블럭도이다.
도 3은 촬영고도에 따른 객체 이미지 차이에 대한 참고도이다.
도 4는 촬영각도에 따른 객체 이미지 차이에 대한 참고도이다.
도 5는 학습 데이터 세트와 이에 따른 객체 검출 모델의 관계도이다.
도 2는 본 명세서에 따른 객체 검출 장치의 구성을 개략적으로 도시한 블럭도이다.
도 3은 촬영고도에 따른 객체 이미지 차이에 대한 참고도이다.
도 4는 촬영각도에 따른 객체 이미지 차이에 대한 참고도이다.
도 5는 학습 데이터 세트와 이에 따른 객체 검출 모델의 관계도이다.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 명세서에 따른 객체 검출 장치의 사용 환경의 예시도이다.
도 1을 참조하면, 카메라를 탑재한 드론(10)이 차량(20)을 촬영한 이미지 데이터를 본 명세서에 따른 객체 검출 장치(100)에게 전송하는 예시를 확인할 수 있다. 상기 예시는 드론(10)을 이용하여 특정 차량을 찾는 상황이다. 이 경우, 이미지 또는 비디오 영상에서 객체를 식별하는 알고리즘이 필요하다. 객체 검출(object detection) 알고리즘은 최근 딥러닝 또는 머신러닝으로 알려진 인공지능 기술을 통해 구현이 가능하다. 일반적인 객체 검출 알고리즘은 식별하고자 하는 객체(예: 자동차)를 다양한 환경에서 촬영한 다수의 사진(이른바 '빅데이터')을 이용하여 학습(예: Deep Learning) 과정을 거쳐서 생성된다. 본 명세서에서는 이렇게 생성된 객체 검출 알고리즘을 '객체 검출 모델'이라고 명명하겠다.
도 2는 본 명세서에 따른 객체 검출 장치의 구성을 개략적으로 도시한 블럭도이다.
도 2를 참조하면, 본 명세서에 따른 객체 검출 장치(100)는 데이터 수신부(110), 메모리부(120) 및 프로세서(130)를 포함할 수 있다.
상기 데이터 수신부(110)는 이미지 데이터를 수신하는 역할을 할 수 있다. 도 1에 도시된 예시와 같이 영상을 촬영하는 카메라와 물리적으로 분리된 경우, 상기 데이터 수신부(110)는 이미지 데이터를 수신할 수 있는 유선 또는 무선 통신 모듈이 될 수 있다. 또한, 본 명세서에 따른 객체 검출 장치(100)가 드론에 직접 탑재된 경우, 상기 데이터 수신부(110)는 이미지 데이터를 출력하는 카메라와 직접 또는 간접적으로 연결된 구성일 수 있다. 또한, 실시간 영상으로부터 객체 검출을 수행하지 않고 미리 촬영된 이미지 데이터에서 특정 객체를 검출하는 경우, 상기 데이터 수신부(110)는 이미지 데이터를 저장한 저장 장치와 직접 또는 간접적으로 연결된 구성일 수 있다. 본 명세서에서는 상기 데이터 수신부(110)가 드론에 설치된 카메라에서 촬영된 이미지 데이터를 수신하는 예시로 설명하겠다.
상기 메모리부(120)는 객체 검출 모델을 저장할 수 있다. 상기 프로세서(130)는 상기 데이터 수신부(110)를 통해 수신된 이미지 데이터에 포함된 객체를 검출하도록 상기 메모리부(120)에 저장된 객체 검출 모델을 실행할 수 있다.
상기 데이터 수신부(110), 메모리부(120) 및 프로세서(130)는 객체 검출 알고리즘을 실행하기 위한 기본적인 구성에 해당하며, 객체 검출 알고리즘이 실행되는 원리는 당업자에게 알려진 기술이므로 상세한 설명은 생략하도록 한다. 또한, 인공지능, 머신러닝, 딥러닝 등 관련 사항 역시 당업자에게 알려진 기술이므로 상세한 설명은 생략한다.
한편, 종래 기술은 객체 검출 모델을 학습시키기 위해 다량의 학습 데이터를 단순히 사용하였다. 컨벌루션 뉴럴 네트워크(CNN)의 경우 학습 데이터의 양이 많을 수록, 신경망의 레이어가 많을 수록 정확도가 향상되지만 그만큼 객체 검출 모델을 학습시키는데 시간과 비용이 많이 소요된다. 또한, 이러한 종래 방식으로 학습된 객체 검출 모델은 레이어가 많은 만큼 모데 자체의 데이터량이 증가하고, 연산량 역시 증가하기 빠른 연산을 기대하기 어려우며, 소형 장치에 적용하기 어려운 단점이 있다.
본 명세서에 따른 객체 검출 장치(100)는 상술된 종래 기술의 단점을 극복하고자, 촬영 조건(환경)에 특화된 객체 검출 모델을 학습시켜 이를 상황에 따라 활용하고자 하는 방식을 제안한다. 보다 구체적으로 본 명세서에 따른 객체 검출 모델은, 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터에 의해 구분된 적어도 하나 이상의 학습 데이터들(이하 '학습 데이터 세트')을 통해 학습된 적어도 하나 이상의 객체 검출 모델이다. 상기 파라미터는 촬영고도 또는/및 촬영각도가 될 수 있다. 상기 파라미터에 대해 보다 자세히 설명하겠다.
도 3은 촬영고도에 따른 객체 이미지 차이에 대한 참고도이다.
도 3을 참조하면, 카메라를 탑재한 드론이 고고도, 중고도, 저고도에 각각 차량을 촬영하는 상태를 확인할 수 있다. 카메라의 렌즈, CCD의 해상도 등에 따라 촬영된 이미지에 차이가 있을 수 있겠지만, 촬영고도를 제외한 나머지 조건을 모두 동일하게 하였을 때, 촬영고도에 따라 촬영된 차량의 이미지는 차이점이 있다. 촬영고도에 따라 영상에서 차량이 차지하는 픽셀의 개수도 감소하지만, 촬영고도에 따라 차량의 특징을 나타내는 특징점의 개수도 달라질 수 있다. 고고도에서 촬영한 영상에서는 차량의 최외각 형태와 관련된 특징점만 파악이 될 수 있을 것이다. 중고도에서 촬영한 영상에서는 차량의 최외각 형태뿐만 아니라, 메인 프레임을 구성하는 주요 경계 부분에 대한 특징점의 파악도 가능할 것이다. 저고도에서는 차량의 최외각, 메인 프레임의 주요 경계뿐만 아니라, 차량마다 가지고 있는 디자인적 특징에 따른 특징점의 파악도 가능할 것이다.
이처럼, 검출하고자 하는 3차원 객체에 대한 촬영 조건 즉, 촬영고도에 따라 이미지 데이터에서 추출되는 특징점에 차이점이 발생한다. 따라서, 객체 검출 모델이 사용되는 촬영 조건을 미리 알고 있는 경우, 해당 촬영 조건에 대응하는 학습 데이터들로 객체 검출 모델을 학습시키면 보다 향상된 성능을 가진 객체 검출 모델을 기대할 수 있다. 또한, 종래 기술에 비해 학습과정에서 불필요한 학습 데이터를 입력할 필요가 없으므로, 학습 시간 및 비용의 절감을 기대할 수 있다.
참고로, 촬영고도와 관련된 객체 검출 모델을 학습시키는 방법을 살펴보겠다. 먼저, 촬영고도에 의해 학습 데이터를 구분한다. 이때, 촬영고도의 범위는 예를 들어, 0m~25m, 25m~50m, 50m 초과 등 다양하게 설정될 수 있다. 본 명세서의 일 실시예에 따르면, 상기 촬영고도의 범위는 영상 전체에서 검출하고자 하는 3차원 객체가 차지하는 비율의 범위(예를 들어, 객체가 차지하는 비율이 10%이하, 10%~60%, 60% 초과 등)에 따라 구분될 수 있다. 촬영고도에 따라 구분된 학습 데이터들(학습 데이터 세트)를 통해 각각의 객체 검출 모델을 학습시킨다. 이러한 학습 과정을 거친 각각의 객체 검출 모델은 촬영 조건에 따라 상기 메모리부(120)에 저장되고, 프로세서(130)에 의해 실행된다.
도 4는 촬영각도에 따른 객체 이미지 차이에 대한 참고도이다.
도 4을 참조하면, 카메라를 탑재한 드론이 동일한 고도에서 90도, 45도, 10도의 촬영각도로 각각 차량을 촬영하는 상태를 확인할 수 있다. 마찬가지로, 카메라의 렌즈, CCD의 해상도 등에 따라 촬영된 이미지에 차이가 있을 수 있겠지만, 촬영각도를 제외한 나머지 조건을 모두 동일하게 하였을 때, 촬영각도에 따라 촬영된 차량의 이미지는 차이점이 있다. 촬영각도에 따라 영상에서 보여지는 차량의 모습이 달라진다. 촬영각도 90도인 경우, 영상에서는 차량의 상부면과 관련 특징점을 많이 포함할 것이다. 촬영각도 45도인 경우, 영상에서는 차량의 상부면과 측면에 대한 특징점을 많이 포함할 것이다. 촬영각도 10도인 경우, 차량의 측면(정면, 후면 모두 포함)에 대한 특징점을 많이 포함할 것이다.
이처럼, 검출하고자 하는 3차원 객체에 대한 촬영 조건 즉, 촬영각도에 따라 이미지 데이터에서 추출되는 특징점에 차이점이 발생한다. 따라서, 객체 검출 모델이 사용되는 촬영 조건을 미리 알고 있는 경우, 해당 촬영 조건에 대응하는 학습 데이터들로 객체 검출 모델을 학습시키면 보다 향상된 성능을 가진 객체 검출 모델을 기대할 수 있다. 또한, 종래 기술에 비해 학습과정에서 불필요한 학습 데이터를 입력할 필요가 없으므로, 학습 시간 및 비용의 절감을 기대할 수 있다.
참고로, 촬영각도와 관련된 객체 검출 모델을 학습시키는 방법을 살펴보겠다. 먼저, 촬영각도에 의해 학습 데이터를 구분한다. 이때, 촬영각도의 범위는 예를 들어, 0~10도, 10~50도, 50~90도 등 다양하게 설정될 수 있다. 본 명세서의 일 실시예에 따르면, 상기 촬영각도의 범위는 상기 촬영각도의 범위는 검출하고자 하는 3차원 객체의 측면이 차지하는 비율 범위(예를 들어, 객체의 측면이 10%이하, 10%~60%, 60% 초과 등)에 따라 구분될 수 있다.
촬영각도에 따라 구분된 학습 데이터들(학습 데이터 세트)를 통해 각각의 객체 검출 모델을 학습시킨다. 이러한 학습 과정을 거친 각각의 객체 검출 모델은 촬영 조건에 따라 상기 메모리부(120)에 저장되고, 프로세서(130)에 의해 실행된다.
도 3 및 도 4에서는 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터를 촬영고도와 촬영각도로 각각 나누어 설명하였으나, 상기 파라미터는 촬영고도 및 촬영각도를 모두 포함한 것일 수도 있다. 이 경우에도 마찬가지로, 상기 학습 데이터 세트는 미리 설정된 범위의 고도 및 미리 설정된 범위의 각도에서 촬영된 학습 데이터들로 이루어질 수 있다.
도 5는 학습 데이터 세트와 이에 따른 객체 검출 모델의 관계도이다.
도 5를 참조하면, 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터로서, 촬영고도 및 촬영각도에 따른 9개의 학습 데이터 세트와 이에 대응하는 9개의 객체 검출 모델을 확인할 수 있다. 앞서 설명하였듯이, 각각의 객체 검출 모델은 서로 다른 학습 데이터 세트를 통해 학습된 객체 검출 모델이다. 본 명세서에 따른 객체 검출 장치(100)의 사용자는 검출하고자 하는 3차원 객체에 대한 촬영 조건(환경)에 맞는 객체 검출 모델을 상기 메모리부(120)에 선택적으로 저장시켜서 사용할 수 있다. 또한, 상기 메모리부(120)는 서로 다른 학습 데이터 세트를 통해 학습된 2이상의 객체 검출 모델을 저장하고, 사용자는 상황에 따라 선택할 수도 있다.
한편, 검출하고자 하는 3차원 객체에 대한 촬영 조건이 고정되지 않은 경우 즉, 촬영 조건이 실시간으로 변화될 수 있는 경우를 고려할 수 있다. 이 경우, 상기 데이터 수신부(110)는 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터 정보를 더 수신하고, 상기 프로세서(130)는 상기 2이상의 객체 검출 모델 중 상기 데이터 수신부(110)를 통해 수신된 파라미터 정보에 대응하는 객체 검출 모델을 실행할 수 있다. 이 경우, 상기 메모리부(120)는 서로 다른 2이상의 객체 검출 모델이 저장된 상태를 전제로 한다.
한편, 상기 프로세서(130)는 상술된 객체 검출 모델의 실행뿐만 아니라, 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 마이크로프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 객체 검출 모델이 소프트웨어로 구현될 때, 상기 프로세서는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 상기 메모리부(120)에 저장되고, MCU에 의해 실행될 수 있다.
상기 컴퓨터프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 객체 검출 장치
110 : 데이터 수신부
120 : 메모리부 130 : 프로세서
120 : 메모리부 130 : 프로세서
Claims (10)
- 이미지 데이터를 수신하는 데이터 수신부;
객체 검출 모델을 저장하는 메모리부; 및
상기 데이터 수신부를 통해 수신된 이미지 데이터에 포함된 객체를 검출하도록 상기 메모리부에 저장된 객체 검출 모델을 실행하는 프로세서;를 포함하는 객체 검출 장치로서,
상기 객체 검출 모델은,
검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터에 의해 구분된 적어도 하나 이상의 학습 데이터들(이하 '학습 데이터 세트')을 통해 학습된 적어도 하나 이상의 객체 검출 모델인 객체 검출 장치. - 청구항 1에 있어서,
상기 파라미터는 촬영고도인 것을 특징으로 하는 객체 검출 장치. - 청구항 2에 있어서,
상기 학습 데이터 세트는 미리 설정된 범위의 고도(이하 '촬영고도의 범위')에서 촬영된 학습 데이터들로 이루어진 것을 특징으로 하는 객체 검출 장치. - 청구항 3에 있어서,
상기 촬영고도의 범위는 영상 전체에서 검출하고자 하는 3차원 객체가 차지하는 비율의 범위에 따라 구분된 것을 특징으로 하는 객체 검출 장치. - 청구항 1에 있어서,
상기 파라미터는 촬영각도인 것을 특징으로 하는 객체 검출 장치. - 청구항 5에 있어서,
상기 학습 데이터 세트는 미리 설정된 범위의 각도(이하 '촬영각도의 범위')에서 촬영된 학습 데이터들로 이루어진 것을 특징으로 하는 객체 검출 장치. - 청구항 6에 있어서,
상기 촬영각도의 범위는 검출하고자 하는 3차원 객체의 측면이 차지하는 비율 범위에 따라 구분된 것을 특징으로 하는 객체 검출 장치. - 청구항 1에 있어서,
상기 메모리부는 서로 다른 학습 데이터 세트를 통해 학습된 2이상의 객체 검출 모델을 저장한 것을 특징으로 하는 객체 검출 장치. - 청구항 8에 있어서,
상기 데이터 수신부는 검출하고자 하는 3차원 객체에 대한 촬영 조건과 관련된 파라미터 정보를 더 수신하고,
상기 프로세서는 상기 2이상의 객체 검출 모델 중 상기 데이터 수신부를 통해 수신된 파라미터 정보에 대응하는 객체 검출 모델을 실행하는 것을 특징으로 하는 객체 검출 장치. - 청구항 1에 있어서,
상기 데이터 수신부는 드론에 설치된 카메라에서 촬영된 이미지 데이터를 수신하는 것을 특징으로 하는 객체 검출 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220109571A KR20220127188A (ko) | 2020-06-11 | 2022-08-31 | 맞춤형 객체 검출 모델을 가진 객체 검출 장치 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200071059A KR102440041B1 (ko) | 2020-06-11 | 2020-06-11 | 맞춤형 객체 검출 모델을 가진 객체 검출 장치 |
KR1020220109571A KR20220127188A (ko) | 2020-06-11 | 2022-08-31 | 맞춤형 객체 검출 모델을 가진 객체 검출 장치 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200071059A Division KR102440041B1 (ko) | 2020-06-11 | 2020-06-11 | 맞춤형 객체 검출 모델을 가진 객체 검출 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220127188A true KR20220127188A (ko) | 2022-09-19 |
Family
ID=79034040
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200071059A KR102440041B1 (ko) | 2020-06-11 | 2020-06-11 | 맞춤형 객체 검출 모델을 가진 객체 검출 장치 |
KR1020220109571A KR20220127188A (ko) | 2020-06-11 | 2022-08-31 | 맞춤형 객체 검출 모델을 가진 객체 검출 장치 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200071059A KR102440041B1 (ko) | 2020-06-11 | 2020-06-11 | 맞춤형 객체 검출 모델을 가진 객체 검출 장치 |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102440041B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102589150B1 (ko) | 2022-12-12 | 2023-10-16 | 유티정보 주식회사 | 누적 차영상을 이용한 원거리 객체 검지 시스템 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100054034A (ko) | 2008-11-13 | 2010-05-24 | 엘지전자 주식회사 | 영상 객체 인식 장치 및 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102404791B1 (ko) * | 2017-03-30 | 2022-06-02 | 삼성전자주식회사 | 입력 영상에 포함된 객체를 인식하는 디바이스 및 방법 |
KR102022695B1 (ko) * | 2017-12-26 | 2019-09-19 | 주식회사 솔탑 | 드론 착륙을 제어하기 위한 방법 및 장치 |
KR102177655B1 (ko) * | 2018-11-14 | 2020-11-11 | 이병섭 | Mvs 기반의 무인항공기를 갖춘 객체 추적 시스템 |
-
2020
- 2020-06-11 KR KR1020200071059A patent/KR102440041B1/ko active IP Right Grant
-
2022
- 2022-08-31 KR KR1020220109571A patent/KR20220127188A/ko unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100054034A (ko) | 2008-11-13 | 2010-05-24 | 엘지전자 주식회사 | 영상 객체 인식 장치 및 방법 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102589150B1 (ko) | 2022-12-12 | 2023-10-16 | 유티정보 주식회사 | 누적 차영상을 이용한 원거리 객체 검지 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR102440041B1 (ko) | 2022-09-06 |
KR20210153989A (ko) | 2021-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220138490A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
US11182592B2 (en) | Target object recognition method and apparatus, storage medium, and electronic device | |
US9965865B1 (en) | Image data segmentation using depth data | |
WO2020018359A1 (en) | Three-dimensional living-body face detection method, face authentication recognition method, and apparatuses | |
US11106903B1 (en) | Object detection in image data | |
TW202101371A (zh) | 視訊流的處理方法和裝置 | |
CN112052831B (zh) | 人脸检测的方法、装置和计算机存储介质 | |
JP6351243B2 (ja) | 画像処理装置、画像処理方法 | |
CN111626163B (zh) | 一种人脸活体检测方法、装置及计算机设备 | |
KR102223478B1 (ko) | 눈 상태 검출에 딥러닝 모델을 이용하는 눈 상태 검출 시스템 및 그 작동 방법 | |
WO2020029874A1 (zh) | 对象跟踪方法及装置、电子设备及存储介质 | |
WO2021084972A1 (ja) | 物体追跡装置および物体追跡方法 | |
CN113298158B (zh) | 数据检测方法、装置、设备及存储介质 | |
CN111598065A (zh) | 深度图像获取方法及活体识别方法、设备、电路和介质 | |
CN113048951B (zh) | 一种基于人工智能的测绘无人机抖动检测方法及*** | |
CN112784712B (zh) | 一种基于实时监控的失踪儿童预警实现方法、装置 | |
CN112541394A (zh) | 黑眼圈及鼻炎识别方法、***及计算机介质 | |
KR20220127188A (ko) | 맞춤형 객체 검출 모델을 가진 객체 검출 장치 | |
CN113128428B (zh) | 基于深度图预测的活体检测方法和相关设备 | |
CN115049819A (zh) | 注视区域识别方法及装置 | |
US10735660B2 (en) | Method and device for object identification | |
CN111429727A (zh) | 一种开放式停车位中车牌识别方法及*** | |
EP4332910A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
US10140503B2 (en) | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus |