KR102302745B1 - Method of acquiring image data, apparatus for acquiring image data, and computer program for the method - Google Patents

Method of acquiring image data, apparatus for acquiring image data, and computer program for the method Download PDF

Info

Publication number
KR102302745B1
KR102302745B1 KR1020210097185A KR20210097185A KR102302745B1 KR 102302745 B1 KR102302745 B1 KR 102302745B1 KR 1020210097185 A KR1020210097185 A KR 1020210097185A KR 20210097185 A KR20210097185 A KR 20210097185A KR 102302745 B1 KR102302745 B1 KR 102302745B1
Authority
KR
South Korea
Prior art keywords
image data
similarity
value
deep learning
preset
Prior art date
Application number
KR1020210097185A
Other languages
Korean (ko)
Inventor
전현호
백정현
신정섭
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020210097185A priority Critical patent/KR102302745B1/en
Application granted granted Critical
Publication of KR102302745B1 publication Critical patent/KR102302745B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N9/04553—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

The present invention provides an image data acquisition method capable of effectively acquiring image data when a flying object acquires images, an image data acquisition apparatus, and a computer program stored in a recording medium to execute the same. According to the present invention, the image data acquisition method comprises the following steps: acquiring image data having a predetermined wavelength range by using a wavelength filter provided in a flying object to pass a predetermined wavelength range; inputting the image data to a pre-trained deep learning network to analyze similarity between the image data and the existing image data stored in the pre-trained deep learning network; generating a parameter change signal for the wavelength filter on the basis of the similarity; and modifying the parameter of the wavelength filter on the basis of the parameter change signal.

Description

영상 데이터 획득 방법, 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램{Method of acquiring image data, apparatus for acquiring image data, and computer program for the method}Method of acquiring image data, apparatus for acquiring image data, and a computer program stored in a recording medium for executing the method

본 발명의 실시예들은 영상 데이터 획득 방법, 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램에 관한 것으로서, 더 상세하게는 비행체에서 영상 획득시 효과적으로 적외선 영상 데이터를 획득할 수 있는 영상 데이터 획득 방법, 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램에 관한 것이다.Embodiments of the present invention relate to a method for acquiring image data, an apparatus for acquiring image data, and a computer program stored in a recording medium for executing the method, and more particularly, to effectively acquire infrared image data when acquiring an image from an aircraft It relates to an image data acquisition method, an image data acquisition apparatus, and a computer program stored in a recording medium for executing the method.

기존의 무기 체계 개발을 위한 적외선 영상의 획득은 일반적으로 영상 센서를 비행체에 장착하고 표적을 지향해 영상을 획득하는 비행체 탑재 시험을 수행하여 이루어졌다. 비행체 탑재 시험은 비행체, 표적, 통신 장비 등 다양한 장비가 요구되고, 표적과 비행체를 운용 가능한 장소가 한정적이라는 문제점으로 인하여 데이터 획득 주기가 낮다.Acquisition of infrared images for the development of existing weapon systems was generally accomplished by mounting an image sensor on an aircraft and conducting an aircraft-mounted test to acquire images by aiming at a target. The vehicle-mounted test requires a variety of equipment such as vehicle, target, and communication equipment, and the data acquisition period is low due to the problem that the place where the target and the vehicle can be operated is limited.

그리고 실제 촬영된 데이터는 투자자원 대비 딥러닝 학습에 활용 가능한 분량이 매우 적다. 적외선 영상 촬영 장비 및 촬영 환경의 특성상, 동영상의 형태로 데이터를 획득하기 때문에 연속 프레임 간 유사도가 높아지기 때문이다. 이러한, 데이터의 중복성을 피하기 위하여 일반적으로 적외선 영상을 20~100 프레임마다 1장씩 추출하는 방법을 사용하며, 이 경우 촬영된 대다수의 데이터가 학습에 사용되지 못한다는 문제점이 있다.In addition, the amount of data actually captured is very small compared to the amount of investment resources available for deep learning learning. This is because the similarity between consecutive frames increases because data is acquired in the form of a moving picture due to the characteristics of the infrared imaging equipment and the shooting environment. In order to avoid such data redundancy, a method of extracting one infrared image every 20 to 100 frames is generally used, and in this case, there is a problem that most of the captured data cannot be used for learning.

본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 비행체에서 영상 획득시 효과적으로 적외선 영상 데이터를 획득할 수 있는 영상 데이터 획득 방법, 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.The present invention is to solve various problems including the above problems, and an image data acquisition method capable of effectively acquiring infrared image data when acquiring an image from an aircraft, an image data acquisition apparatus, and a recording medium for executing the method The purpose of providing a computer program stored in However, these problems are exemplary, and the scope of the present invention is not limited thereto.

본 발명의 일 관점에 따르면, 컴퓨팅 장치에 의해 수행되는 영상 데이터 획득 방법에 있어서, 비행체에 구비된 미리 결정된 파장 범위를 통과시키는 파장 필터를 이용하여 미리 결정된 파장 범위를 갖는 영상 데이터를 획득하는 단계와, 미리 학습된 딥러닝 네트워크에 영상 데이터를 입력하여 미리 학습된 딥러닝 네트워크에 미리 저장된 기존 영상 데이터와 영상 데이터 사이의 유사도를 분석하는 단계와, 유사도에 기초하여 파장 필터에 대한 파라미터 변경 신호를 생성하는 단계와, 파라미터 변경 신호에 기초하여 파장 필터의 파라미터를 수정하는 단계를 포함하는, 영상 데이터 획득 방법이 제공된다.According to one aspect of the present invention, in an image data acquisition method performed by a computing device, the method comprising: acquiring image data having a predetermined wavelength range using a wavelength filter that passes a predetermined wavelength range provided in an aircraft; , inputting the image data into the pre-trained deep learning network to analyze the similarity between the image data and the existing image data stored in advance in the pre-trained deep learning network, and generating a parameter change signal for the wavelength filter based on the similarity There is provided a method for acquiring image data, comprising: performing, and correcting a parameter of a wavelength filter based on a parameter change signal.

상기 영상 데이터를 획득하는 단계는, 미리 결정된 계측 가능 파장 범위를 갖는 영상 센서를 이용하여 적외선 영상 데이터를 획득하는 단계이고, 파장 필터는 영상 센서에 구비되며, 파장 필터의 파라미터는 파장 평균값, 파장 범위 최소 값 및 파장 범위 최대 값을 포함할 수 있다.The acquiring of the image data includes acquiring infrared image data using an image sensor having a predetermined measurable wavelength range, a wavelength filter is provided in the image sensor, and the parameters of the wavelength filter include a wavelength average value, a wavelength range It may include a minimum value and a maximum value of the wavelength range.

상기 유사도를 분석하는 단계는, 영상 데이터에 대하여 미리 학습된 딥러닝 네트워크의 특징 맵의 활성화 값을 확인하는 단계, 및 미리 학습된 딥러닝 네트워크에 대하여 미리 설정된 제1 임계값 및 활성화 값에 기초하여 유사도를 판단하는 단계를 포함할 수 있다.The analyzing of the similarity may include checking an activation value of a feature map of a deep learning network learned in advance with respect to image data, and based on a first threshold value and an activation value preset for the deep learning network learned in advance. It may include the step of determining the similarity.

상기 유사도를 판단하는 단계는, 활성화 값이 미리 설정된 제1 임계값을 초과하는지 여부를 판단하는 단계이고, 미리 설정된 제1 임계값은 미리 학습된 딥러닝 네트워크의 특징 맵의 평균 활성화 값일 수 있다.The determining of the similarity may include determining whether the activation value exceeds a preset first threshold, and the preset first threshold may be an average activation value of a feature map of a pre-trained deep learning network.

상기 유사도를 분석하는 단계는, 버퍼에 실시간 저장된 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이의 유사도를 분석하는 단계일 수 있다.The analyzing of the similarity may be a step of analyzing the similarity between the image data of the current frame and the image data of the previous frame stored in the buffer in real time.

상기 유사도를 분석하는 단계는, 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이에 내적을 수행하는 단계, 및 미리 설정된 제2 임계값 및 내적의 결과 값에 기초하여 유사도를 판단하는 단계를 포함할 수 있다.The analyzing of the similarity may include performing a dot product between the image data of the previous frame and the image data of the current frame, and determining the similarity based on a preset second threshold value and a result value of the dot product. can

상기 유사도를 판단하는 단계는, 내적의 결과 값이 미리 설정된 제2 임계값 이하인지 여부를 판단하는 단계일 수 있다.The determining of the similarity may include determining whether a result value of the dot product is equal to or less than a preset second threshold value.

본 발명의 일 실시예에 따른 영상 데이터 획득 방법은 내적의 결과 값이 미리 설정된 제2 임계값 이하인 경우 현재 프레임의 영상 데이터를 버퍼에 저장하는 단계를 더 포함할 수 있다.The method for obtaining image data according to an embodiment of the present invention may further include storing image data of the current frame in a buffer when the result value of the dot product is equal to or less than a preset second threshold value.

본 발명의 일 관점에 따르면, 컴퓨터를 이용하여 상술한 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램이 제공된다.According to one aspect of the present invention, there is provided a computer program stored in a recording medium for executing the above-described method using a computer.

본 발명의 일 관점에 따르면, 프로세서를 포함하고, 프로세서는, 비행체에 구비된 미리 결정된 파장 범위를 통과시키는 파장 필터를 이용하여 미리 결정된 파장 범위를 갖는 영상 데이터를 획득하고, 미리 학습된 딥러닝 네트워크에 영상 데이터를 입력하여 미리 학습된 딥러닝 네트워크에 미리 저장된 기존 영상 데이터와 영상 데이터 사이의 유사도를 분석하고, 유사도에 기초하여 파장 필터에 대한 파라미터 변경 신호를 생성하고, 파라미터 변경 신호에 기초하여 파장 필터의 파라미터를 수정하는, 영상 데이터 획득 장치가 제공된다.According to one aspect of the present invention, including a processor, the processor obtains image data having a predetermined wavelength range by using a wavelength filter that passes a predetermined wavelength range provided in the vehicle, and a pre-trained deep learning network Analyzes the similarity between the image data and the existing image data stored in advance in the deep learning network by inputting image data into the An image data acquisition device for modifying a parameter of a filter is provided.

상기 파장 필터의 파라미터는 파장 평균값, 파장 범위 최소 값 및 파장 범위 최대 값을 포함하고, 파장 필터는 미리 결정된 계측 가능 파장 범위를 갖는 영상 센서에 구비되며, 프로세서는 영상 센서를 이용하여 적외선 영상 데이터를 획득할 수 있다.The parameter of the wavelength filter includes a wavelength average value, a minimum wavelength range value, and a maximum wavelength range value, the wavelength filter is provided in an image sensor having a predetermined measurable wavelength range, and the processor receives infrared image data using the image sensor. can be obtained

상기 유사도는 미리 학습된 딥러닝 네트워크에 대하여 미리 설정된 제1 임계값 및 미리 학습된 딥러닝 네트워크의 특징 맵의 활성화 값에 기초하여 판단되며, 미리 학습된 딥러닝 네트워크의 특징 맵의 활성화 값은 영상 데이터에 대하여 확인될 수 있다.The similarity is determined based on a first threshold preset for the pre-trained deep learning network and the activation value of the feature map of the pre-trained deep learning network, and the activation value of the feature map of the pre-learned deep learning network is an image data can be verified.

상기 유사도는 활성화 값이 미리 설정된 제1 임계값을 초과하는지 여부로 판단되고, 미리 설정된 제1 임계값은 미리 학습된 딥러닝 네트워크의 특징 맵의 평균 활성화 값일 수 있다.The similarity is determined by whether an activation value exceeds a preset first threshold value, and the preset first threshold value may be an average activation value of a feature map of a pre-trained deep learning network.

상기 유사도는 버퍼에 실시간 저장된 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이의 유사도일 수 있다.The similarity may be a degree of similarity between image data of a previous frame and image data of a current frame stored in a buffer in real time.

상기 유사도는 미리 설정된 제2 임계값, 및 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이에 수행된 내적의 결과 값에 기초하여 판단될 수 있다.The similarity may be determined based on a preset second threshold and a result value of a dot product performed between the image data of the previous frame and the image data of the current frame.

상기 유사도는 내적의 결과 값이 미리 설정된 제2 임계값 이하인지 여부로 판단될 수 있다.The similarity may be determined based on whether a result value of the dot product is equal to or less than a preset second threshold value.

상기 프로세서는, 내적의 결과 값이 미리 설정된 제2 임계값 이하인 경우 현재 프레임의 영상 데이터를 버퍼에 저장할 수 있다.The processor may store the image data of the current frame in the buffer when the result value of the dot product is less than or equal to a preset second threshold value.

전술한 것 외의 다른 측면, 특징, 이점은 이하의 발명을 실시하기 위한 구체적인 내용, 청구범위 및 도면으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following detailed description, claims and drawings for carrying out the invention.

상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 비행체에서 영상 획득시 효과적으로 적외선 영상 데이터를 획득할 수 있는 영상 데이터 획득 방법, 영상 데이터 획득 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램을 구현할 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.According to an embodiment of the present invention made as described above, an image data acquisition method capable of effectively acquiring infrared image data when acquiring an image from an air vehicle, an image data acquisition device, and a computer program stored in a recording medium for executing the method can be implemented. Of course, the scope of the present invention is not limited by these effects.

도 1은 본 발명의 일 실시예에 따른 영상 데이터 획득 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 데이터 획득 장치의 프로세서 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 데이터 획득 방법을 보여주는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 영상 데이터 획득 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 데이터 획득 방법을 설명하기 위한 순서도이다.1 is a diagram for explaining the configuration and operation of an image data acquisition apparatus according to an embodiment of the present invention.
2 is a diagram for explaining the configuration of a processor of an apparatus for acquiring image data according to an embodiment of the present invention.
3 is a flowchart illustrating a method for acquiring image data according to an embodiment of the present invention.
4 is a diagram for explaining a method for acquiring image data according to an embodiment of the present invention.
5 is a flowchart illustrating a method of acquiring image data according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. Effects and features of the present invention, and a method of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when described with reference to the drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. .

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명이 이하의 실시예들에 한정되는 것은 아니며, 다양한 형태로 구현될 수 있다.Since the present invention is capable of various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. Effects and features of the present invention, and a method of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the following embodiments, and may be implemented in various forms.

이하의 실시예에서, 제1 이나 제2 등의 용어는 한정적인 의미가 아니라, 일 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 그리고 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서 상에 기재된 특징 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 배제하는 것은 아니다.In the following embodiments, terms such as first, second, etc. are used for the purpose of distinguishing one component from another without limiting meaning. And singular expressions include plural expressions unless the context clearly dictates otherwise. Also, terms such as include or have means that a feature or element described in the specification is present, and does not exclude the possibility that one or more other features or elements may be added.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.In the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, since the size and thickness of each component shown in the drawings are arbitrarily indicated for convenience of description, the present invention is not necessarily limited to the illustrated bar.

이하의 실시예에서, 영역, 구성 요소, 부, 블록 또는 모듈 등의 부분이 다른 부분 위에 또는 상에 있다고 할 때, 다른 부분의 바로 위에 있는 경우뿐만 아니라, 그 중간에 다른 영역, 구성 요소, 부, 블록 또는 모듈 등이 개재되어 있는 경우도 포함한다. 그리고 영역, 구성 요소, 부, 블록 또는 모듈 등이 연결되었다고 할 때, 영역, 구성 요소, 부, 블록 또는 모듈들이 직접적으로 연결된 경우뿐만 아니라 영역, 구성요소, 부, 블록 또는 모듈들 중간에 다른 영역, 구성 요소, 부, 블록 또는 모듈들이 개재되어 간접적으로 연결된 경우도 포함한다.In the following embodiments, when it is said that a part such as a region, component, part, block or module is on or on another part, not only when it is directly on the other part, but also another region, component, part in the middle , blocks or modules are included. And when a region, component, part, block or module is connected, it is not only when the region, component, part, block or module is directly connected, but also another region in the middle of the region, component, part, block or module. , including cases in which components, units, blocks or modules are interposed and indirectly connected.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily practice the present invention.

도 1은 본 발명의 일 실시예에 따른 영상 데이터 획득 장치의 구성 및 동작을 설명하기 위한 도면이고, 도 2는 본 발명의 일 실시예에 따른 영상 데이터 획득 장치의 프로세서 구성을 설명하기 위한 도면이다.1 is a diagram for explaining the configuration and operation of an apparatus for acquiring image data according to an embodiment of the present invention, and FIG. 2 is a diagram for explaining a configuration of a processor of an apparatus for acquiring image data according to an embodiment of the present invention .

먼저, 도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 데이터 획득 장치(100)는 메모리(110), 프로세서(120), 통신 모듈(130) 및 입출력 인터페이스(140)를 포함할 수 있다. First, referring to FIG. 1 , the image data acquisition apparatus 100 according to an embodiment of the present invention may include a memory 110 , a processor 120 , a communication module 130 , and an input/output interface 140 . .

메모리(110)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(110)에는 영상 데이터 획득 장치(100)를 제어하기 위한 프로그램 코드 및 미리 학습된 딥러닝 네트워크가 일시적 또는 영구적으로 저장될 수 있다.The memory 110 is a computer-readable recording medium and may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive. In addition, a program code for controlling the image data acquisition apparatus 100 and a pre-learned deep learning network may be temporarily or permanently stored in the memory 110 .

프로세서(120)는 비행체에 구비된 미리 결정된 파장 범위를 통과시키는 파장 필터를 이용하여 미리 결정된 파장 범위를 갖는 영상 데이터를 획득하고, 미리 학습된 딥러닝 네트워크에 영상 데이터를 입력하여 미리 학습된 딥러닝 네트워크에 미리 저장된 기존 영상 데이터와 영상 데이터 사이의 유사도를 분석하고, 유사도에 기초하여 파장 필터에 대한 파라미터 변경 신호를 생성하고, 파라미터 변경 신호에 기초하여 파장 필터의 파라미터를 수정할 수 있다.The processor 120 obtains image data having a predetermined wavelength range using a wavelength filter that passes a predetermined wavelength range provided in the vehicle, and inputs the image data to the pre-trained deep learning network to learn deep learning in advance It is possible to analyze the similarity between the image data and the existing image data previously stored in the network, generate a parameter change signal for the wavelength filter based on the similarity, and modify the parameter of the wavelength filter based on the parameter change signal.

통신 모듈(130)은 네트워크를 통해 외부 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 영상 데이터 획득 장치(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(130)의 제어에 따라 네트워크를 통해 외부 서버로 전달될 수 있다. 역으로, 외부 서버의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈(130)을 통해 영상 데이터 획득 장치(100)로 수신될 수 있다. 예를 들어 통신 모듈(130)을 통해 수신된 외부 서버의 제어 신호나 명령 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 컨텐츠나 파일 등은 영상 데이터 획득 장치(100)가 더 포함할 수 있는 저장 매체로 저장될 수 있다. The communication module 130 may provide a function for communicating with an external server through a network. For example, a request generated by the processor 120 of the image data acquisition apparatus 100 according to a program code stored in a recording device such as the memory 110 is transmitted to an external server through a network under the control of the communication module 130 . can be Conversely, a control signal, command, content, file, etc. provided under the control of the processor of the external server may be received by the image data acquisition apparatus 100 through the communication module 130 through the network. For example, a control signal or command of an external server received through the communication module 130 may be transmitted to the processor 120 or the memory 110 , and the image data acquisition device 100 may further transmit content or files to the image data acquisition device 100 . It may be stored in a storage medium that may include.

통신 방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.The communication method is not limited, and not only a communication method using a communication network (eg, a mobile communication network, a wired Internet, a wireless Internet, a broadcasting network) that the network may include, but also short-range wireless communication between devices may be included. For example, the network is a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), a broadband network (BBN), the Internet, etc. may include any one or more of the networks of Further, the network may include, but is not limited to, any one or more of a network topology including, but not limited to, a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, and the like. .

또한, 통신 모듈(130)은 외부 서버와 네트워크를 통해 통신할 수 있다. 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다. Also, the communication module 130 may communicate with an external server through a network. Although the communication method is not limited, the network may be a local area wireless network. For example, the network may be a Bluetooth (Bluetooth), BLE (Bluetooth Low Energy), or Wifi communication network.

입출력 인터페이스(140)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(140)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 영상 데이터 획득 장치(100)의 프로세서(120)는 메모리(110)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 외부 서버가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(140)를 통해 디스플레이에 표시될 수 있다.The input/output interface 140 may be a means for an interface with an input/output device. For example, the input device may include a device such as a keyboard or mouse, and the output device may include a device such as a display for displaying a communication session of an application. As another example, the input/output interface 140 may be a means for an interface with a device in which functions for input and output are integrated into one, such as a touch screen. As a more specific example, the processor 120 of the image data acquisition apparatus 100 processes a command of a computer program loaded in the memory 110, and a service screen or content configured using data provided by an external server is an input/output interface. It may be displayed on the display through 140 .

또한, 다른 실시예들에서 영상 데이터 획득 장치(100)는 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래 기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 영상 데이터 획득 장치(100)는 영상 센서를 포함할 수 있고, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.Also, in other embodiments, the image data obtaining apparatus 100 may include more components than those of FIG. 1 . However, there is no need to clearly show most of the prior art components. For example, the image data acquisition device 100 may include an image sensor, a battery and charging device that is implemented to include at least some of the above-described input/output devices or supplies power to internal components, various sensors, It may further include other components such as a database and the like.

이하 도 2를 참조하여 본 발명의 일 실시예에 따른 영상 데이터 획득 장치(100)의 프로세서(120)의 내부 구성에 대하여 상세히 검토한다. 후술되는 프로세서(120)는 이해의 용이를 위하여 도 1에 도시된 영상 데이터 획득 장치(100)의 프로세서(120)임을 가정하고 설명한다.Hereinafter, an internal configuration of the processor 120 of the image data acquisition apparatus 100 according to an embodiment of the present invention will be described in detail with reference to FIG. 2 . For ease of understanding, it is assumed that the processor 120 described later is the processor 120 of the image data acquisition apparatus 100 shown in FIG. 1 .

본 발명의 일 실시예에 따른 영상 데이터 획득 장치(100)의 프로세서(120)는 영상 데이터 획득부(121), 영상 데이터 유사도 분석부(122), 파라미터 변경신호 생성부(123) 및 파장 필터 파라미터 수정부(124)를 포함한다. 몇몇 실시예에 따라 프로세서(120)의 구성요소들은 선택적으로 프로세서(120)에 포함되거나 제외될 수도 있다. 또한, 몇몇 실시예에 따라 프로세서(120)의 구성요소들은 프로세서(120)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.The processor 120 of the image data acquisition apparatus 100 according to an embodiment of the present invention includes an image data acquisition unit 121 , an image data similarity analysis unit 122 , a parameter change signal generation unit 123 , and a wavelength filter parameter. and a correction unit 124 . According to some embodiments, components of the processor 120 may be selectively included or excluded from the processor 120 . In addition, according to some embodiments, the components of the processor 120 may be separated or combined to express the functions of the processor 120 .

이러한 프로세서(120) 및 프로세서(120)의 구성요소들은 도 3의 영상 데이터 획득 방법이 포함하는 단계들(S110 내지 S140)을 수행하도록 영상 데이터 획득 장치(100)를 제어할 수 있다. 예를 들어, 프로세서(120) 및 프로세서(120)의 구성요소들은 메모리(110)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(120)의 구성요소들은 영상 데이터 획득 장치(100)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(120)에 의해 수행되는 프로세서(120)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서(120)의 내부 구성 및 구체적인 동작에 대해서는 도 3의 영상 데이터 획득 방법의 순서도를 참조하여 설명하기로 한다.The processor 120 and components of the processor 120 may control the image data acquisition apparatus 100 to perform steps S110 to S140 included in the image data acquisition method of FIG. 3 . For example, the processor 120 and components of the processor 120 may be implemented to execute instructions according to the code of the operating system included in the memory 110 and the code of at least one program. Here, the components of the processor 120 represent different functions of the processor 120 that are performed by the processor 120 according to a command provided by the program code stored in the image data acquisition apparatus 100 . can take The internal configuration and specific operation of the processor 120 will be described with reference to the flowchart of the image data acquisition method of FIG. 3 .

도 3은 본 발명의 일 실시예에 따른 영상 데이터 획득 방법을 보여주는 순서도이고, 도 4는 본 발명의 일 실시예에 따른 영상 데이터 획득 방법을 설명하기 위한 도면이다. 또한, 도 5는 본 발명의 일 실시예에 따른 영상 데이터 획득 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating a method of acquiring image data according to an embodiment of the present invention, and FIG. 4 is a diagram illustrating a method of acquiring image data according to an embodiment of the present invention. Also, FIG. 5 is a flowchart illustrating a method for acquiring image data according to an embodiment of the present invention.

먼저, 도 3을 참조하면, 단계 S110에서, 영상 데이터 획득 장치(100)는 비행체에 구비된 미리 결정된 파장 범위를 통과시키는 파장 필터를 이용하여 미리 결정된 파장 범위를 갖는 영상 데이터를 획득한다. First, referring to FIG. 3 , in step S110 , the image data acquisition apparatus 100 acquires image data having a predetermined wavelength range by using a wavelength filter that passes the predetermined wavelength range provided in the vehicle.

도 3 및 도 4를 함께 참조하면, 본 발명의 일 실시예에 따른 파장 필터의 파라미터는 파장 평균값, 파장 범위 최소 값 및 파장 범위 최대 값을 포함할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 특정 파장 범위(F)만 통과 시키는 파장 필터의 파장 평균값은 M, 파장 필터의 파장 범위 최소 값은 Min, 파장 필터의 파장 범위 최대 값은 Max로 정의될 수 있다. 예컨대, 본 발명에 따르면, 영상 센서의 파장 필터가 통과시키는 특정 파장 범위(F)를 변화시켜 다양한 파장 범위를 갖는 적외선 영상 데이터를 획득할 수 있다. 3 and 4 together, the parameters of the wavelength filter according to an embodiment of the present invention may include a wavelength average value, a minimum wavelength range value, and a maximum wavelength range value. For example, as shown in FIG. 4, the average wavelength of the wavelength filter passing only a specific wavelength range (F) is defined as M, the minimum value of the wavelength range of the wavelength filter is Min, and the maximum value of the wavelength range of the wavelength filter is defined as Max. can be For example, according to the present invention, infrared image data having various wavelength ranges may be obtained by changing a specific wavelength range F through which a wavelength filter of an image sensor passes.

본 발명의 일 실시예에 따른 파장 필터는 미리 결정된 계측 가능 파장 범위를 갖는 영상 센서에 구비될 수 있다. 또한, 본 발명에 따른 영상 데이터 획득 장치(100)는 상기 영상 센서를 이용하여 적외선 영상 데이터를 획득할 수 있다. 예컨대, 영상 센서의 계측 가능 파장 범위가 넓을수록 본 발명에 따라 획득할 수 있는 다양한 파장 범위의 적외선 영상 데이터를 더 많이 획득할 수 있다.The wavelength filter according to an embodiment of the present invention may be provided in an image sensor having a predetermined measurable wavelength range. Also, the image data acquisition apparatus 100 according to the present invention may acquire infrared image data using the image sensor. For example, the wider the measurable wavelength range of the image sensor, the more infrared image data of various wavelength ranges that can be acquired according to the present invention can be acquired.

단계 S120에서, 영상 데이터 획득 장치(100)는 미리 학습된 딥러닝 네트워크에 영상 데이터를 입력하여 미리 학습된 딥러닝 네트워크에 미리 저장된 기존 영상 데이터와 영상 데이터 사이의 유사도를 분석한다.In step S120, the image data acquisition apparatus 100 analyzes the similarity between the image data and the existing image data previously stored in the pre-trained deep learning network by inputting the image data to the pre-trained deep learning network.

본 발명에 따른 딥러닝 네트워크는 미리 결정된 계측 가능 파장 범위를 갖는 영상 센서를 이용하여 기존에 획득된 적외선 영상 데이터에 의하여 미리 학습될 수 있다. 예를 들어, 본 발명에 따른 딥러닝 네트워크는 CNN(Convolution Neural Network), RNN(Recurrent Neural Network) 또는 ANN(Artificial Neural Network)일 수 있다. 다만, 본 발명의 딥러닝 네트워크는 상기 예시에 한정되는 것은 아니며, 다양한 형태의 인공 신경망으로 구현될 수 있다.The deep learning network according to the present invention may be pre-learned by infrared image data previously acquired using an image sensor having a predetermined measurable wavelength range. For example, the deep learning network according to the present invention may be a Convolution Neural Network (CNN), a Recurrent Neural Network (RNN), or an Artificial Neural Network (ANN). However, the deep learning network of the present invention is not limited to the above example, and may be implemented in various types of artificial neural networks.

또한, 본 발명에 따른 미리 학습된 딥러닝 네트워크는 기존에 획득된 적외선 영상 데이터의 특징을 추출하는 특징 맵(Feature map)을 생성할 수 있다. 예를 들어, 특징 맵은 기존에 획득된 적외선 영상 데이터의 특징을 벡터로 모델링한 데이터일 수 있다. 예컨대, 본 발명에 따른 미리 학습된 딥러닝 네트워크는 합성곱을 이용하여 특징 맵을 생성할 수 있다.In addition, the pre-trained deep learning network according to the present invention may generate a feature map for extracting features of previously acquired infrared image data. For example, the feature map may be data obtained by modeling a feature of previously acquired infrared image data as a vector. For example, the pre-trained deep learning network according to the present invention may generate a feature map using convolution.

본 발명에 따른 미리 학습된 딥러닝 네트워크는 새롭게 입력되는 영상 데이터에 대하여 특징 맵을 이용하여 유사도를 판단할 수 있다. 또한, 본 발명에 따른 미리 학습된 딥러닝 네트워크는 미리 학습된 딥러닝 네트워크의 특징 맵의 활성화 값을 이용하여 유사도를 판단할 수 있다. 예를 들어, 유사도를 계산하기 위해 코사인 유사도(cosine similarity)가 사용될 수 있다. 예컨대, 특징 맵은 영상 데이터의 각 픽셀들의 정보를 벡터로 모델링한 데이터일 수 있다. 이 경우, 특징 맵의 활성화 값이 큰 경우 유사한 특징이 많은 것을 의미하므로, 특징 맵의 활성화 값이 큰 경우 기존 학습된 영상 데이터와 새롭에 입력된 영상 데이터가 유사하다고 판단될 수 있다.The pre-trained deep learning network according to the present invention can determine the similarity of newly input image data by using a feature map. In addition, the pre-trained deep learning network according to the present invention can determine the similarity by using the activation value of the feature map of the pre-trained deep learning network. For example, cosine similarity may be used to calculate similarity. For example, the feature map may be data obtained by modeling information of each pixel of image data as a vector. In this case, since a large activation value of the feature map means that there are many similar features, when the activation value of the feature map is large, it may be determined that the previously learned image data and the newly input image data are similar.

본 발명에 따른 미리 학습된 딥러닝 네트워크에 영상 데이터가 입력되는 경우 특징 맵과 영상 데이터의 각 픽셀들 사이의 내적 연산에 의하여 유사도가 계산될 수 있다. 이 경우, 유사도는 활성화 값으로 표현될 수 있다. 예를 들어, 벡터 공간(vector space)에 존재하는 두 벡터의 내적을 코사인 값을 이용해서 측정할 수 있고, 측정된 결과값을 이용하여 유사도를 판단할 수 있다. 예컨대, 상기 측정된 결과값이 특징 맵의 활성화 값일 수 있다. When image data is input to the pre-trained deep learning network according to the present invention, the similarity may be calculated by the dot product operation between the feature map and each pixel of the image data. In this case, the similarity may be expressed as an activation value. For example, the dot product of two vectors existing in a vector space may be measured using a cosine value, and similarity may be determined using a measured result value. For example, the measured result value may be an activation value of the feature map.

도 3 및 도 5를 함께 참조하면, 본 발명에 따른 영상 데이터 획득 방법은 다 파장 대역 영상 계측 영상 센서를 이용하여 적외선 영상 데이터를 획득하는 단계(S210)와, 획득된 적외선 영상 데이터에 대하여 미리 학습된 딥러닝 네트워크의 특징 맵을 이용하여 활성화 값을 확인하는 단계(S220)를 거친다.3 and 5 together, the image data acquisition method according to the present invention includes acquiring infrared image data using a multi-wavelength band image measurement image sensor (S210), and pre-learning the acquired infrared image data A step (S220) of checking the activation value using the feature map of the deep learning network is performed.

또한, 본 발명의 일 실시예에 따른 유사도는 미리 학습된 딥러닝 네트워크에 대하여 미리 설정된 제1 임계값 및 미리 학습된 딥러닝 네트워크의 특징 맵의 활성화 값에 기초하여 판단될 수 있다. 예를 들어, 영상 데이터 획득 장치(100)는 영상 데이터에 대하여 미리 학습된 딥러닝 네트워크의 특징 맵의 활성화 값을 확인하고, 미리 학습된 딥러닝 네트워크에 대하여 미리 설정된 제1 임계값 및 활성화 값에 기초하여 유사도를 판단할 수 있다. 예를 들어, 미리 학습된 딥러닝 네트워크의 활성화 정도에 대하여 미리 설정된 제1 임계값은 T1으로 설정될 수 있다. 단계 S230에서, 유사도는 활성화 값이 미리 설정된 제1 임계값 T1을 초과하는지 여부로 판단될 수 있다. 예를 들어, 미리 설정된 제1 임계값 T1은 미리 학습된 딥러닝 네트워크의 특징 맵의 평균 활성화 값일 수 있다. In addition, the degree of similarity according to an embodiment of the present invention may be determined based on a first threshold value preset with respect to a pre-trained deep learning network and an activation value of a feature map of the pre-trained deep learning network. For example, the image data acquisition apparatus 100 checks the activation value of the feature map of the deep learning network learned in advance with respect to the image data, and corresponds to the first threshold value and the activation value preset for the deep learning network learned in advance. Based on the similarity, it is possible to determine the degree of similarity. For example, the first threshold preset for the activation degree of the pre-trained deep learning network may be set to T 1 . In step S230 , the similarity may be determined as whether the activation value exceeds a preset first threshold value T 1 . For example, the preset first threshold value T 1 may be an average activation value of a feature map of a pre-trained deep learning network.

단계 S130에서, 영상 데이터 획득 장치(100)는 유사도에 기초하여 파장 필터에 대한 파라미터 변경 신호를 생성한다. 예를 들어, 도 5의 단계 S230에서, 영상 데이터 획득 장치(100)는 활성화 값이 미리 설정된 제1 임계값 T1을 초과하는 경우, 영상 데이터가 유사하다고 판단할 수 있다. 또한, 영상 데이터 획득 장치(100)는 파장 필터에 대한 파라미터 변경 신호를 생성하여 파장 필터에 파라미터 변경 신호를 송신할 수 있다. 또한, 단계 S140에서, 영상 데이터 획득 장치(100)는 파라미터 변경 신호에 기초하여 파장 필터의 파라미터를 수정할 수 있다. 예컨대, 변경되는 파장 필터의 파라미터는 파장 필터의 파장 평균값 M, 파장 필터의 파장 범위 최소 값 Min, 파장 필터의 파장 범위 최대 값 Max일 수 있다.In operation S130, the image data acquisition apparatus 100 generates a parameter change signal for the wavelength filter based on the similarity. For example, in step S230 of FIG. 5 , when the activation value exceeds a preset first threshold value T 1 , the image data acquisition apparatus 100 may determine that the image data are similar. Also, the image data acquisition apparatus 100 may generate a parameter change signal for the wavelength filter and transmit the parameter change signal to the wavelength filter. Also, in operation S140 , the image data acquisition apparatus 100 may correct the parameter of the wavelength filter based on the parameter change signal. For example, the parameter of the wavelength filter to be changed may be a wavelength average value M of the wavelength filter, a minimum wavelength range value Min of the wavelength filter, and a maximum wavelength range value Max of the wavelength filter.

또한, 본 발명의 일 실시예에 따른 유사도는 버퍼에 실시간 저장된 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이의 유사도 일 수 있다. 예를 들어, 유사도는, 영상 데이터 획득 장치(100)의 버퍼에 실시간 저장되는 영상 데이터의 프레임 중 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이의 유사도 일 수 있다. Also, the degree of similarity according to an embodiment of the present invention may be a degree of similarity between image data of a previous frame and image data of a current frame stored in a buffer in real time. For example, the similarity may be a degree of similarity between image data of a previous frame and image data of a current frame among frames of image data stored in real-time in the buffer of the image data obtaining apparatus 100 .

본 발명의 일 실시예에 따른 유사도는 미리 설정된 제2 임계값, 및 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이에 수행된 내적의 결과 값에 기초하여 판단될 수 있다. 예컨대, 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이의 유사도는, 이전 프레임의 영상 데이터의 특징 맵과 현재 프레임의 영상 데이터의 특징 맵의 내적의 결과 값에 기초하여 판단될 수 있다. 예를 들어, 유사도는 내적의 결과 값이 미리 설정된 제2 임계값 이하인지 여부로 판단될 수 있다. 예컨대, 유사도에 대하여 미리 설정된 제2 임계값은 T2로 설정될 수 있다. 이 경우, T2는 영상 데이터 획득 장치(100)의 데이터 획득 주기에 따라 조절될 수 있다.The similarity according to an embodiment of the present invention may be determined based on a preset second threshold and a result value of a dot product performed between the image data of the previous frame and the image data of the current frame. For example, the similarity between the image data of the previous frame and the image data of the current frame may be determined based on a result value of a dot product of the feature map of the image data of the previous frame and the feature map of the image data of the current frame. For example, the similarity may be determined based on whether the result value of the dot product is equal to or less than a preset second threshold value. For example, the second threshold preset for the similarity may be set to T 2 . In this case, T 2 may be adjusted according to the data acquisition period of the image data acquiring apparatus 100 .

단계 S240에서, 영상 데이터 획득 장치(100)는, 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이의 내적의 결과 값이 미리 설정된 제2 임계값 T2를 초과하는 경우, 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터가 서로 유사하다고 판단할 수 있다. 이 경우, 영상 데이터 획득 장치(100)는 파장 필터에 대한 파라미터 변경 신호를 생성할 수 있다. 또한, 영상 데이터 획득 장치(100)는 파라미터 변경 신호에 기초하여 파장 필터의 파라미터를 수정할 수 있다.In step S240 , the image data acquisition apparatus 100 may perform the image data of the previous frame and the image data of the previous frame when the result value of the dot product between the image data of the previous frame and the image data of the current frame exceeds a preset second threshold value T 2 . It may be determined that the image data of the current frame are similar to each other. In this case, the image data acquisition apparatus 100 may generate a parameter change signal for the wavelength filter. Also, the image data acquisition apparatus 100 may correct the parameter of the wavelength filter based on the parameter change signal.

또한, 영상 데이터 획득 장치(100)는, 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이의 내적의 결과 값이 미리 설정된 제2 임계값 T2 이하인 경우 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터가 서로 유사하지 않다고 판단할 수 있다.Also, the image data acquisition apparatus 100 may be configured to, when a result value of a dot product between the image data of the previous frame and the image data of the current frame is less than or equal to a preset second threshold value T 2 , the image data of the previous frame and the image data of the current frame It can be concluded that they are not similar to each other.

단계 S250에서, 영상 데이터 획득 장치(100)는, 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이의 내적의 결과 값이 미리 설정된 제2 임계값 T2 이하인 경우, 현재 프레임의 영상 데이터를 영상 데이터 획득 장치(100)의 버퍼에 저장할 수 있다.In step S250 , the image data obtaining apparatus 100 converts the image data of the current frame to the image data when the result value of the dot product between the image data of the previous frame and the image data of the current frame is less than or equal to a preset second threshold value T 2 . It may be stored in a buffer of the acquisition device 100 .

본 발명에 따르면 잦은 촬영이 불가능한 비행체 탑재 시험에서 획득하는 적외선 영상들 사이의 유사도를 낮춤으로써, 목표로 하는 표적에 대하여 다양한 특징이 담긴 데이터를 확보할 수 있는 효과가 있다. 또한, 다 파장 대역의 신호를 조합한 영상들을 생성하므로, 표적 신호 검출에 유리한 파장 대역을 분석하기 위한 데이터를 확보할 수 있다. 원본 신호의 모든 파장 대역을 저장하는 경우, 저장 용량의 한계로 인해 긴 촬영 시간을 확보하기 어려우나, 본 발명에 따르면 기존과 동일한 데이터 용량으로 다양한 파장 대역의 영상을 확보할 수 있는 효과가 있다.According to the present invention, by lowering the similarity between the infrared images obtained in the in-vehicle test, which cannot be photographed frequently, there is an effect of securing data containing various characteristics of the target target. In addition, since images obtained by combining signals of multiple wavelength bands are generated, data for analyzing a wavelength band advantageous for detecting a target signal may be secured. In the case of storing all wavelength bands of the original signal, it is difficult to secure a long recording time due to a limitation of the storage capacity.

이상에서 설명된 장치 및/또는 시스템은, 하드웨어 구성요소, 소프트웨어 구성요소 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus and/or system described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. The apparatus and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit (PLU). It may be implemented using one or more general purpose or special purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction) 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which, independently or collectively, configures the processing device to operate as desired or can be ordered. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 영상 데이터 획득 장치
110: 메모리
120: 프로세서
130: 통신 모듈
140: 입출력 인터페이스100: image data acquisition device
110: memory
120: processor
130: communication module
140: input/output interface

Claims (17)

컴퓨팅 장치에 의해 수행되는 영상 데이터 획득 방법에 있어서,
비행체에 구비된 미리 결정된 파장 범위를 통과시키는 파장 필터를 이용하여 상기 미리 결정된 파장 범위를 갖는 영상 데이터를 획득하는 단계;
미리 학습된 딥러닝 네트워크에 상기 영상 데이터를 입력하여 상기 미리 학습된 딥러닝 네트워크에 미리 저장된 기존 영상 데이터와 상기 영상 데이터 사이의 유사도를 분석하는 단계;
상기 유사도에 기초하여 상기 파장 필터에 대한 파라미터 변경 신호를 생성하는 단계; 및
상기 파라미터 변경 신호에 기초하여 상기 파장 필터의 파라미터를 수정하는 단계를 포함하는,
영상 데이터 획득 방법.In the image data acquisition method performed by a computing device,
acquiring image data having the predetermined wavelength range by using a wavelength filter that passes the predetermined wavelength range provided in the vehicle;
inputting the image data into a pre-trained deep learning network and analyzing the similarity between the image data and existing image data stored in advance in the pre-trained deep learning network;
generating a parameter change signal for the wavelength filter based on the similarity; and
modifying the parameter of the wavelength filter based on the parameter change signal,
How to acquire image data. 제1 항에 있어서,
상기 영상 데이터를 획득하는 단계는, 미리 결정된 계측 가능 파장 범위를 갖는 영상 센서를 이용하여 적외선 영상 데이터를 획득하는 단계이고,
상기 파장 필터는 상기 영상 센서에 구비되며,
상기 파장 필터의 상기 파라미터는 파장 평균값, 파장 범위 최소 값 및 파장 범위 최대 값을 포함하는, 영상 데이터 획득 방법.According to claim 1,
The acquiring of the image data is a step of acquiring infrared image data using an image sensor having a predetermined measurable wavelength range,
The wavelength filter is provided in the image sensor,
and the parameter of the wavelength filter includes a wavelength average value, a wavelength range minimum value, and a wavelength range maximum value. 제1 항에 있어서,
상기 유사도를 분석하는 단계는,
상기 영상 데이터에 대하여 상기 미리 학습된 딥러닝 네트워크의 특징 맵의 활성화 값을 확인하는 단계; 및
상기 미리 학습된 딥러닝 네트워크에 대하여 미리 설정된 제1 임계값 및 상기 활성화 값에 기초하여 상기 유사도를 판단하는 단계를 포함하는, 영상 데이터 획득 방법.According to claim 1,
The step of analyzing the similarity is:
checking an activation value of a feature map of the pre-trained deep learning network with respect to the image data; and
Comprising the step of determining the similarity based on a first threshold value and the activation value preset with respect to the pre-trained deep learning network, image data acquisition method. 제3 항에 있어서,
상기 유사도를 판단하는 단계는, 상기 활성화 값이 상기 미리 설정된 제1 임계값을 초과하는지 여부를 판단하는 단계이고,
상기 미리 설정된 제1 임계값은 상기 미리 학습된 딥러닝 네트워크의 상기 특징 맵의 평균 활성화 값인, 영상 데이터 획득 방법.4. The method of claim 3,
The determining of the similarity is a step of determining whether the activation value exceeds the preset first threshold value,
The preset first threshold value is an average activation value of the feature map of the pre-trained deep learning network, the image data acquisition method. 제1 항에 있어서,
상기 유사도를 분석하는 단계는, 버퍼에 실시간 저장된 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이의 유사도를 분석하는 단계인, 영상 데이터 획득 방법.According to claim 1,
The analyzing of the similarity is a step of analyzing the similarity between image data of a previous frame and image data of a current frame stored in a buffer in real time. 제5 항에 있어서,
상기 유사도를 분석하는 단계는,
상기 이전 프레임의 영상 데이터와 상기 현재 프레임의 영상 데이터 사이에 내적을 수행하는 단계; 및
미리 설정된 제2 임계값 및 상기 내적의 결과 값에 기초하여 상기 유사도를 판단하는 단계를 포함하는, 영상 데이터 획득 방법.6. The method of claim 5,
The step of analyzing the similarity is:
performing a dot product between the image data of the previous frame and the image data of the current frame; and
and determining the similarity based on a preset second threshold value and a result value of the dot product. 제6 항에 있어서,
상기 유사도를 판단하는 단계는, 상기 내적의 결과 값이 상기 미리 설정된 제2 임계값 이하인지 여부를 판단하는 단계인, 영상 데이터 획득 방법.7. The method of claim 6,
The determining of the similarity may include determining whether the result value of the dot product is equal to or less than the preset second threshold value. 제7 항에 있어서,
상기 내적의 결과 값이 상기 미리 설정된 제2 임계값 이하인 경우 상기 현재 프레임의 영상 데이터를 상기 버퍼에 저장하는 단계를 더 포함하는, 영상 데이터 획득 방법.8. The method of claim 7,
and storing the image data of the current frame in the buffer when the result value of the dot product is equal to or less than the preset second threshold value. 컴퓨팅 장치를 이용하여 제1 항 내지 제8 항 중 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a recording medium for executing the method of any one of claims 1 to 8 using a computing device. 프로세서;를 포함하고,
상기 프로세서는, 비행체에 구비된 미리 결정된 파장 범위를 통과시키는 파장 필터를 이용하여 상기 미리 결정된 파장 범위를 갖는 영상 데이터를 획득하고, 미리 학습된 딥러닝 네트워크에 상기 영상 데이터를 입력하여 상기 미리 학습된 딥러닝 네트워크에 미리 저장된 기존 영상 데이터와 상기 영상 데이터 사이의 유사도를 분석하고, 상기 유사도에 기초하여 상기 파장 필터에 대한 파라미터 변경 신호를 생성하고, 상기 파라미터 변경 신호에 기초하여 상기 파장 필터의 파라미터를 수정하는, 영상 데이터 획득 장치.processor; including;
The processor obtains image data having the predetermined wavelength range using a wavelength filter that passes a predetermined wavelength range provided in the vehicle, and inputs the image data to a pre-trained deep learning network to input the pre-learned Analyzes the similarity between the image data and the existing image data previously stored in the deep learning network, generates a parameter change signal for the wavelength filter based on the similarity, and determines the parameter of the wavelength filter based on the parameter change signal Correcting, image data acquisition device. 제10 항에 있어서,
상기 파장 필터의 상기 파라미터는 파장 평균값, 파장 범위 최소 값 및 파장 범위 최대 값을 포함하고,
상기 파장 필터는 미리 결정된 계측 가능 파장 범위를 갖는 영상 센서에 구비되며,
상기 프로세서는 상기 영상 센서를 이용하여 적외선 영상 데이터를 획득하는, 영상 데이터 획득 장치.11. The method of claim 10,
the parameter of the wavelength filter comprises a wavelength average value, a wavelength range minimum value and a wavelength range maximum value;
The wavelength filter is provided in an image sensor having a predetermined measurable wavelength range,
and the processor acquires infrared image data using the image sensor. 제10 항에 있어서,
상기 유사도는 상기 미리 학습된 딥러닝 네트워크에 대하여 미리 설정된 제1 임계값 및 상기 미리 학습된 딥러닝 네트워크의 특징 맵의 활성화 값에 기초하여 판단되며,
상기 미리 학습된 딥러닝 네트워크의 특징 맵의 활성화 값은 상기 영상 데이터에 대하여 확인되는, 영상 데이터 획득 장치.11. The method of claim 10,
The similarity is determined based on a first threshold preset for the pre-trained deep learning network and an activation value of a feature map of the pre-trained deep learning network,
The activation value of the feature map of the deep learning network learned in advance is confirmed with respect to the image data, image data acquisition device. 제12 항에 있어서,
상기 유사도는 상기 활성화 값이 상기 미리 설정된 제1 임계값을 초과하는지 여부로 판단되고,
상기 미리 설정된 제1 임계값은 상기 미리 학습된 딥러닝 네트워크의 상기 특징 맵의 평균 활성화 값인, 영상 데이터 획득 장치.13. The method of claim 12,
The similarity is determined by whether the activation value exceeds the preset first threshold value,
The preset first threshold value is an average activation value of the feature map of the pre-trained deep learning network. 제10 항에 있어서,
상기 유사도는 버퍼에 실시간 저장된 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터 사이의 유사도인, 영상 데이터 획득 장치.11. The method of claim 10,
The similarity is a degree of similarity between image data of a previous frame and image data of a current frame stored in a buffer in real time. 제14 항에 있어서,
상기 유사도는 미리 설정된 제2 임계값, 및 상기 이전 프레임의 영상 데이터와 상기 현재 프레임의 영상 데이터 사이에 수행된 내적의 결과 값에 기초하여 판단되는, 영상 데이터 획득 장치.15. The method of claim 14,
The similarity is determined based on a preset second threshold and a result value of a dot product performed between the image data of the previous frame and the image data of the current frame. 제15 항에 있어서,
상기 유사도는 상기 내적의 결과 값이 상기 미리 설정된 제2 임계값 이하인지 여부로 판단되는, 영상 데이터 획득 장치.16. The method of claim 15,
and the similarity is determined by whether a result value of the dot product is equal to or less than the preset second threshold value. 제16 항에 있어서,
상기 프로세서는, 상기 내적의 결과 값이 상기 미리 설정된 제2 임계값 이하인 경우, 상기 현재 프레임의 영상 데이터를 상기 버퍼에 저장하는, 영상 데이터 획득 장치.
17. The method of claim 16,
The processor is configured to store the image data of the current frame in the buffer when the result value of the dot product is equal to or less than the preset second threshold value.
KR1020210097185A 2021-07-23 2021-07-23 Method of acquiring image data, apparatus for acquiring image data, and computer program for the method KR102302745B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210097185A KR102302745B1 (en) 2021-07-23 2021-07-23 Method of acquiring image data, apparatus for acquiring image data, and computer program for the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210097185A KR102302745B1 (en) 2021-07-23 2021-07-23 Method of acquiring image data, apparatus for acquiring image data, and computer program for the method

Publications (1)

Publication Number Publication Date
KR102302745B1 true KR102302745B1 (en) 2021-09-15

Family

ID=77793093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210097185A KR102302745B1 (en) 2021-07-23 2021-07-23 Method of acquiring image data, apparatus for acquiring image data, and computer program for the method

Country Status (1)

Country Link
KR (1) KR102302745B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102036136B1 (en) * 2019-03-07 2019-10-24 (주)림스플라이 System and method of employing multi drones
JP2020506373A (en) * 2016-12-27 2020-02-27 ウルグス ソシエダード アノニマ Dynamic hyperspectral imaging of objects in apparent motion
KR20200084973A (en) * 2019-01-03 2020-07-14 단국대학교 산학협력단 Method for utilizing of hyperspectral image using optimal band ratio
KR102175192B1 (en) * 2020-08-19 2020-11-05 인제대학교 산학협력단 System and Method for Cross Sectional Monitoring usig Spatio-temporal Hyperspectral Images
KR20210011322A (en) * 2019-07-22 2021-02-01 삼성전자주식회사 Video depth estimation based on temporal attention

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020506373A (en) * 2016-12-27 2020-02-27 ウルグス ソシエダード アノニマ Dynamic hyperspectral imaging of objects in apparent motion
KR20200084973A (en) * 2019-01-03 2020-07-14 단국대학교 산학협력단 Method for utilizing of hyperspectral image using optimal band ratio
KR102036136B1 (en) * 2019-03-07 2019-10-24 (주)림스플라이 System and method of employing multi drones
KR20210011322A (en) * 2019-07-22 2021-02-01 삼성전자주식회사 Video depth estimation based on temporal attention
KR102175192B1 (en) * 2020-08-19 2020-11-05 인제대학교 산학협력단 System and Method for Cross Sectional Monitoring usig Spatio-temporal Hyperspectral Images

Similar Documents

Publication Publication Date Title
US11543830B2 (en) Unsupervised real-to-virtual domain unification for end-to-end highway driving
US10614347B2 (en) Identifying parameter image adjustments using image variation and sequential processing
KR102459221B1 (en) Electronic apparatus, method for processing image thereof and computer-readable recording medium
KR102008290B1 (en) Method and apparatus for detecting action of object in viedio stream
KR102414902B1 (en) Method for recommending artificial intelligence model for analyzing vedio data according to camera installation environment and purpose
CN110288614B (en) Image processing method, device, equipment and storage medium
KR102476022B1 (en) Face detection method and apparatus thereof
JP6678246B2 (en) Semantic segmentation based on global optimization
CN112232426B (en) Training method, device and equipment of target detection model and readable storage medium
US11288101B2 (en) Method and system for auto-setting of image acquisition and processing modules and of sharing resources in large scale video systems
WO2015186341A1 (en) Image processing system, image processing method, and program storage medium
CN112183166A (en) Method and device for determining training sample and electronic equipment
KR20180109658A (en) Apparatus and method for image processing
US10108513B2 (en) Transferring failure samples using conditional models for machine condition monitoring
KR102302745B1 (en) Method of acquiring image data, apparatus for acquiring image data, and computer program for the method
US10789472B1 (en) Multiple image processing and sensor targeting for object detection
KR102343348B1 (en) Method of acquiring infrared image data, apparatus for acquiring infrared image data, and computer program for the method
JP6815743B2 (en) Image processing equipment and its methods, programs
KR102669980B1 (en) Method of editing satellite images, apparatus for editing satellite images, and computer program for the method
CN111488977B (en) Neural network model training method and device
US20210150238A1 (en) Methods and systems for evaluatng a face recognition system using a face mountable device
CN114612976A (en) Key point detection method and device, computer readable medium and electronic equipment
CN114120423A (en) Face image detection method and device, electronic equipment and computer readable medium
CN109741250B (en) Image processing method and device, storage medium and electronic equipment
US20200401871A1 (en) Object detection system and object detection method

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant