KR102426479B1 - Method and apparatus for updating object determining model - Google Patents

Abstract

오브젝트 결정 모델을 갱신하기 위해, 복수의 장치들로부터 복수의 오브젝트 추정 정보들을 수신하고, 복수의 오브젝트 추정 정보들 간의 유사도를 계산하고, 유사도에 기초하여 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로 결정하고, 훈련 정보들에 기초하여 복수의 장치들이 이용하는 오브젝트 결정 모델을 갱신한다.In order to update the object determination model, receiving a plurality of object estimation information from a plurality of devices, calculating a similarity between the plurality of object estimation information, and generating at least one of the plurality of object estimation information based on the similarity to training information is determined, and the object determination model used by a plurality of devices is updated based on the training information.

Description

오브젝트 결정 모델을 갱신하는 방법 및 장치{METHOD AND APPARATUS FOR UPDATING OBJECT DETERMINING MODEL}METHOD AND APPARATUS FOR UPDATING OBJECT DETERMINING MODEL

아래의 실시예들은 오브젝트 결정 모델을 갱신하는 기술에 관한 것이고, 구체적으로 복수의 장치들과의 협력을 통해 오브젝트 결정 모델을 갱신하는 기술에 관한 것이다.The following embodiments relate to a technique for updating an object decision model, and specifically, to a technique for updating an object decision model through cooperation with a plurality of devices.

현재, 오브젝트 검출 처리는 종종 바운딩 박스들(bounding boxes)없이, 그리고 약하게 레이블링된 분류 데이터를 사용하여, 이미지 레벨 예측을 위해 분류 모델을 훈련함으로써 2-단계 접근법을 사용한다. 다음으로, 프로세스는 그 훈련된 분류 모델을 사용하여, 로컬라이제이션을 고려하여 이미지들을 분류한다. 그러나, 이러한 프로세스들은 종종 모델 파라미터들의 최적이 아닌 활용을 초래하고, 분류 동작들과 로컬라이제이션 문제 사이의 다양한 불일치에 기반한 지식 전달에서의 어려움을 나타낸다.Currently, object detection processing often uses a two-step approach by training a classification model for image level prediction, without bounding boxes and using weakly labeled classification data. Next, the process uses the trained classification model to classify images taking localization into account. However, these processes often result in sub-optimal utilization of model parameters and present difficulties in knowledge transfer based on various discrepancies between classification operations and localization problems.

한국공개특허 제10-2020-0010655(공개일 2020년 01월 31일)에는 인공신경망을 이용하여 오브젝트를 검출하는 방법에 관한 발명이 공개되어 있다. 공개 발명은 영상에서 오브젝트를 분리하여 검출하고, 영상으로부터 배경과 오브젝트를 분리하여 검출된 오브젝트에서 특징 정보를 추출하고, 사용자의 상황 정보를 결정하고, 상황 정보를 인식 모델에 적용하며, 딥러닝 기법을 이용하여 이미지를 인식하여 오브젝트 인식 결과를 출력하는 구성을 개시하고 있다.Korean Patent Laid-Open Publication No. 10-2020-0010655 (published on January 31, 2020) discloses an invention related to a method of detecting an object using an artificial neural network. The disclosed invention separates and detects an object from an image, separates the background and the object from the image, extracts feature information from the detected object, determines the user's contextual information, applies the contextual information to a recognition model, and a deep learning technique Discloses a configuration for recognizing an image using , and outputting an object recognition result.

일 실시 예는 오브젝트 결정 모델을 갱신하는 방법 및 장치를 제공할 수 있다.An embodiment may provide a method and apparatus for updating an object determination model.

일 실시 예는 복수의 장치들과 협력하여 오브젝트 결정 모델을 갱신하는 방법 및 장치를 제공할 수 있다.An embodiment may provide a method and an apparatus for updating an object determination model in cooperation with a plurality of devices.

다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems are not limited to the above-described technical problems, and other technical problems may exist.

일 측면에 따른, 서버에 의해 수행되는, 오브젝트 결정 모델을 갱신하는 방법은, 복수의 장치들로부터 복수의 오브젝트 추정 정보들을 수신하는 단계 - 상기 복수의 오브젝트 추정 정보들의 각각은 이미지 및 상기 이미지 내의 오브젝트에 대한 추정 결과를 포함함 -, 상기 복수의 오브젝트 추정 정보들 간의 유사도를 계산하는 단계, 상기 유사도에 기초하여 상기 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로 결정하는 단계, 및 결정된 훈련 정보들의 개수가 미리 설정된 개수 이상인 경우, 상기 훈련 정보들에 기초하여 상기 복수의 장치들이 이용하는 오브젝트 결정 모델을 갱신하는 단계를 포함한다.According to one aspect, a method of updating an object determination model, performed by a server, includes receiving a plurality of object estimation information from a plurality of devices, each of the plurality of object estimation information including an image and an object in the image including an estimation result for -, calculating a similarity between the plurality of object estimation information, determining at least one of the plurality of object estimation information as training information based on the similarity, and the determined training information and updating the object determination model used by the plurality of apparatuses based on the training information when the number of them is equal to or greater than a preset number.

상기 복수의 오브젝트 추정 정보들의 각각은 상기 복수의 장치들 각각의 상기 오브젝트 결정 모델에 의해 생성될 수 있다.Each of the plurality of object estimation information may be generated by the object determination model of each of the plurality of devices.

상기 이미지는 복수의 장치들 중 타겟 장치에 의해 촬영된 타겟 이미지의 전체이고, 상기 추정 결과는 상기 타겟 이미지 내의 타겟 오브젝트의 위치에 대한 정보 및 상기 타겟 오브젝트에 대해 결정된 추정 종류 중 적어도 하나를 포함할 수 있다.The image is an entire target image captured by a target device among a plurality of devices, and the estimation result includes at least one of information on a location of a target object in the target image and an estimation type determined for the target object. can

상기 타겟 이미지 내의 상기 타겟 오브젝트의 위치에 대한 정보는, 상기 타겟 이미지의 픽셀들 중 상기 타겟 오브젝트를 구성하는 픽셀들의 이미지 좌표일 수 있다.The information on the location of the target object in the target image may be image coordinates of pixels constituting the target object among pixels of the target image.

상기 이미지는 복수의 장치들 중 타겟 장치에 의해 촬영된 타겟 이미지의 전체의 일부이고, 상기 이미지는 상기 타겟 이미지 내의 타겟 오브젝트를 포함할 수 있다.The image may be a part of an entire target image captured by a target device among a plurality of devices, and the image may include a target object in the target image.

상기 복수의 오브젝트 추정 정보들 중 제1 오브젝트 추정 정보는 제1 이미지 및 제1 추정 결과를 포함하고, 상기 복수의 오브젝트 추정 정보들 중 제2 오브젝트 추정 정보는 제2 이미지 및 제2 추정 결과를 포함하고, 상기 복수의 오브젝트 추정 정보들 간의 유사도를 계산하는 단계는, 상기 제1 추정 결과 및 상기 제2 추정 결과가 동일한지 여부를 결정하는 단계, 및 상기 제1 추정 결과 및 상기 제2 추정 결과가 동일한 경우, 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 결정하는 단계를 포함할 수 있다.Among the plurality of object estimation information, first object estimation information includes a first image and a first estimation result, and second object estimation information among the plurality of object estimation information includes a second image and a second estimation result and calculating the degree of similarity between the plurality of object estimation information, determining whether the first estimation result and the second estimation result are the same, and determining whether the first estimation result and the second estimation result are the same. In the same case, the method may include determining a degree of similarity between the first image and the second image.

상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 결정하는 단계는, 상기 제1 이미지의 제1 특징점을 생성하는 단계, 상기 제2 이미지의 제2 특징점을 생성하는 단계, 및 상기 제1 특징점 및 상기 제2 특징점 간의 유사도를 결정하는 단계를 포함할 수 있다.The determining of the similarity between the first image and the second image may include: generating a first feature point of the first image; generating a second feature point of the second image; The method may include determining a degree of similarity between the second feature points.

상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 결정하는 단계는, 제2 오브젝트 결정 모델을 이용하여 상기 제1 이미지 내의 제1 타겟 오브젝트에 대한 제1 종류를 결정하는 단계, 상기 제2 오브젝트 결정 모델을 이용하여 상기 제2 이미지 내의 제2 타겟 오브젝트에 대한 제2 종류를 결정하는 단계, 및 상기 제1 종류 및 상기 제2 종류에 기초하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 결정하는 단계를 포함하고, 상기 오브젝트 결정 모델 및 상기 제2 오브젝트 결정 모델은 서로 상이할 수 있다.The determining of the similarity between the first image and the second image may include determining a first type of a first target object in the first image using a second object determination model, and the second object determination model determining a second type for a second target object in the second image using Including, the object determination model and the second object determination model may be different from each other.

상기 유사도에 기초하여 상기 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로 결정하는 단계는, 계산된 유사도가 미리 설정된 값 미만인 오브젝트 추정 정보를 훈련 정보에서 제외시키는 단계를 포함할 수 있다.The determining of at least one of the plurality of object estimation information as training information based on the similarity may include excluding object estimation information having a calculated similarity less than a preset value from the training information.

상기 오브젝트 결정 모델 갱신 방법은, 상기 오브젝트 결정 모델의 갱신을 통해 변경된 상기 오브젝트 결정 모델의 파라미터들을 상기 복수의 장치들로 전송하는 단계를 더 포함할 수 있다.The method for updating the object determination model may further include transmitting parameters of the object determination model changed through the update of the object determination model to the plurality of devices.

상기 복수의 장치들 중 타겟 장치는 상기 파라미터들에 기초하여 상기 타겟 장치의 오브젝트 결정 모델을 갱신할 수 있다.A target device among the plurality of devices may update an object determination model of the target device based on the parameters.

다른 일 측면에 따른, 오브젝트 결정 모델을 갱신하는 방법을 수행하는, 서버는, 오브젝트 결정 모델을 갱신하는 프로그램이 기록된 메모리, 및 상기 프로그램을 수행하는 프로세서를 포함하고, 상기 프로그램은, 복수의 장치들로부터 복수의 오브젝트 추정 정보들을 수신하는 단계 - 상기 복수의 오브젝트 추정 정보들의 각각은 이미지 및 상기 이미지 내의 오브젝트에 대한 추정 결과를 포함함 -, 상기 복수의 오브젝트 추정 정보들 간의 유사도를 계산하는 단계, 상기 유사도에 기초하여 상기 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로 결정하는 단계, 결정된 훈련 정보들의 개수가 미리 설정된 개수 이상인 경우, 상기 훈련 정보들에 기초하여 상기 복수의 장치들이 이용하는 오브젝트 결정 모델을 갱신하는 단계를 수행한다.According to another aspect, a server for performing a method of updating an object determination model includes a memory in which a program for updating an object determination model is recorded, and a processor for executing the program, wherein the program includes a plurality of devices receiving a plurality of object estimation information from a plurality of pieces of object estimation information, each of the plurality of object estimation information including an image and an estimation result for an object in the image, calculating a similarity between the plurality of object estimation information; determining at least one of the plurality of object estimation information as training information based on the similarity; determining an object used by the plurality of devices based on the training information when the determined number of training information is equal to or greater than a preset number Perform the steps to update the model.

상기 복수의 오브젝트 추정 정보들의 각각은 상기 복수의 장치들 각각의 상기 오브젝트 결정 모델에 의해 생성될 수 있다.Each of the plurality of object estimation information may be generated by the object determination model of each of the plurality of devices.

상기 이미지는 복수의 장치들 중 타겟 장치에 의해 촬영된 타겟 이미지의 전체이고, 상기 추정 결과는 상기 타겟 이미지 내의 타겟 오브젝트의 위치에 대한 정보 및 상기 타겟 오브젝트에 대해 결정된 추정 종류 중 적어도 하나를 포함할 수 있다.The image is an entire target image captured by a target device among a plurality of devices, and the estimation result includes at least one of information on a location of a target object in the target image and an estimation type determined for the target object. can

상기 이미지는 복수의 장치들 중 타겟 장치에 의해 촬영된 타겟 이미지의 전체의 일부이고, 상기 이미지는 상기 타겟 이미지 내의 타겟 오브젝트를 포함할 수 있다.The image may be a part of an entire target image captured by a target device among a plurality of devices, and the image may include a target object in the target image.

상기 복수의 오브젝트 추정 정보들 중 제1 오브젝트 추정 정보는 제1 이미지 및 제1 추정 결과를 포함하고, 상기 복수의 오브젝트 추정 정보들 중 제2 오브젝트 추정 정보는 제2 이미지 및 제2 추정 결과를 포함하고, 상기 복수의 오브젝트 추정 정보들 간의 유사도를 계산하는 단계는, 상기 제1 추정 결과 및 상기 제2 추정 결과가 동일한지 여부를 결정하는 단계, 및 상기 제1 추정 결과 및 상기 제2 추정 결과가 동일한 경우, 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 결정하는 단계를 포함할 수 있다.Among the plurality of object estimation information, first object estimation information includes a first image and a first estimation result, and second object estimation information among the plurality of object estimation information includes a second image and a second estimation result and calculating the degree of similarity between the plurality of object estimation information, determining whether the first estimation result and the second estimation result are the same, and determining whether the first estimation result and the second estimation result are the same. In the same case, the method may include determining a degree of similarity between the first image and the second image.

상기 유사도에 기초하여 상기 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로 결정하는 단계는, 계산된 유사도가 미리 설정된 값 미만인 오브젝트 추정 정보를 훈련 정보에서 제외시키는 단계를 포함할 수 있다.The determining of at least one of the plurality of object estimation information as training information based on the similarity may include excluding object estimation information having a calculated similarity less than a preset value from the training information.

상기 프로그램은, 상기 오브젝트 결정 모델의 갱신을 통해 변경된 상기 오브젝트 결정 모델의 파라미터들을 상기 복수의 장치들로 전송하는 단계를 더 수행할 수 있다.The program may further perform the step of transmitting the parameters of the object determination model changed through the update of the object determination model to the plurality of devices.

오브젝트 결정 모델을 갱신하는 방법 및 장치가 제공될 수 있다.A method and apparatus for updating an object decision model may be provided.

복수의 장치들과 협력하여 오브젝트 결정 모델을 갱신하는 방법 및 장치가 제공될 수 있다.A method and apparatus for updating an object decision model in cooperation with a plurality of devices may be provided.

도 1은 일 예에 따른 오브젝트 결정 모델을 갱신하는 시스템의 구성도이다.
도 2는 일 실시 예에 따른 오브젝트 결정 모델을 갱신하는 서버의 구성도이다.
도 3은 일 실시 예에 따른 오브젝트 결정 모델을 갱신하는 방법의 흐름도이다.
도 4는 일 예에 따른 타겟 장치에 의해 수행되는 오브젝트 추정 정보를 서버로 전송하는 방법의 흐름도이다.
도 5는 일 예에 따른 타겟 장치에 의해 수행되는 타겟 이미지 내의 오브젝트를 결정하는 방법을 도시한다.
도 6은 일 예에 따른 제1 이미지 및 제2 이미지 간의 유사도를 결정하는 방법의 흐름도이다.
도 7은 일 예에 따른 이미지들의 특징점들에 기초하여 제1 이미지 및 제2 이미지 간의 유사도를 결정하는 방법의 흐름도이다.
도 8은 일 예에 따른 제2 오브젝트 결정 모델을 이용하여 제1 이미지 및 제2 이미지 간의 유사도를 결정하는 방법의 흐름도이다.
도 9는 일 예에 따른 타겟 장치의 오브젝트 결정 모델을 갱신하는 방법의 흐름도이다.1 is a block diagram of a system for updating an object determination model according to an example.
2 is a configuration diagram of a server for updating an object determination model according to an exemplary embodiment.
3 is a flowchart of a method of updating an object determination model according to an embodiment.
4 is a flowchart of a method of transmitting object estimation information performed by a target device to a server according to an example.
5 illustrates a method of determining an object in a target image performed by a target device according to an example.
6 is a flowchart of a method of determining a degree of similarity between a first image and a second image according to an example.
7 is a flowchart of a method of determining a degree of similarity between a first image and a second image based on feature points of the images, according to an example.
8 is a flowchart of a method of determining a degree of similarity between a first image and a second image using a second object determination model according to an example.
9 is a flowchart of a method of updating an object determination model of a target device according to an example.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for purposes of illustration only, and may be changed and implemented in various forms. Accordingly, the actual implementation form is not limited to the specific embodiments disclosed, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit described in the embodiments.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various elements, these terms should be interpreted only for the purpose of distinguishing one element from another. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected” to another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, and includes one or more other features or numbers, It should be understood that the possibility of the presence or addition of steps, operations, components, parts or combinations thereof is not precluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. does not

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same components are assigned the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted.

도 1은 일 예에 따른 오브젝트 결정 모델을 갱신하는 시스템의 구성도이다.1 is a block diagram of a system for updating an object determination model according to an example.

일 측면에 따르면, 오브젝트 결정 모델을 갱신하는 시스템(100)은 복수의 장치들(111, 112, 113) 및 서버(120)를 포함할 수 있다. 복수의 장치들(111, 112, 113)은 차량, 모바일 단말 및 드론 등을 포함할 수 있고, 기재된 실시예로 한정되지 않는다. 예를 들어, 차량 및 드론은 자율주행 또는 자율운행이 가능할 수 있다.According to one aspect, the system 100 for updating the object determination model may include a plurality of devices 111 , 112 , 113 and a server 120 . The plurality of devices 111 , 112 , and 113 may include a vehicle, a mobile terminal, a drone, and the like, and are not limited to the described embodiment. For example, vehicles and drones may be autonomous or capable of autonomous driving.

복수의 장치들(111, 112, 113)은 카메라를 포함할 수 있고, 카메라를 통해 이미지를 생성할 수 있다. 복수의 장치들(111, 112, 113)은 복수의 장치들(111, 112, 113) 각각에 탑재(또는 설치)된 오브젝트 결정 모델을 이용하여 이미지 내의 오브젝트를 검출 또는 결정할 수 있다. 예를 들어, 오브젝트 결정 모델은 신경망(neural network)에 기반한 모델일 수 있다. 신경망은 CNN(convolution neural network) 또는 DNN(deep neural network)일 수 있고, 기재된 실시예로 한정되지 않는다.The plurality of devices 111 , 112 , and 113 may include a camera and may generate an image through the camera. The plurality of devices 111 , 112 , and 113 may detect or determine an object in an image using an object determination model mounted (or installed) on each of the plurality of devices 111 , 112 , and 113 . For example, the object determination model may be a model based on a neural network. The neural network may be a convolution neural network (CNN) or a deep neural network (DNN), and is not limited to the described embodiment.

일 측면에 따르면, 장치(111)는 오브젝트 결정 모델을 통해 장치(111)가 촬영한 이미지 내의 오브젝트를 검출하고, 검출된 오브젝트의 종류를 결정할 수 있다. 오브젝트 결정 모델은 오브젝트가 특정한 종류에 해당할 확률을 계산할 수 있다. 예를 들어, 가장 높은 확률을 갖는 종류가 해당 오브젝트의 종류로 결정될 수 있다.According to an aspect, the device 111 may detect an object in an image captured by the device 111 through the object determination model and determine the type of the detected object. The object determination model may calculate a probability that an object corresponds to a specific type. For example, the type having the highest probability may be determined as the type of the corresponding object.

일 측면에 따르면, 계산된 확률이 미리 설정된 임계 확률(예를 들어, 70%) 이상인 경우, 오브젝트의 최종적인 종류가 결정될 수 있다. 계산된 확률이 미리 설정된 임계 확률 미만인 경우, 장치(111)는 오브젝트 결정 모델을 갱신(또는, 련)하기 위해, 촬영한 이미지 및 이미지 내의 오브젝트에 대한 정보를 오브젝트 추정 정보로서 서버(120)로 전송할 수 있다.According to one aspect, when the calculated probability is equal to or greater than a preset threshold probability (eg, 70%), the final type of the object may be determined. When the calculated probability is less than the preset threshold probability, the device 111 transmits the captured image and information about the object in the image to the server 120 as object estimation information in order to update (or link) the object determination model. can

서버(120)는 복수의 장치들(111, 112, 113)로부터 수신한 복수의 오브젝트 추정 정보들에 기초하여 복수의 장치들(111, 112, 113)에 탑재된 오브젝트 결정 모델을 갱신할 수 있고, 갱신된 오브젝트 결정 모델을 다시 복수의 장치들(111, 112, 113)에 탑재시킴으로써 복수의 장치들(111, 112, 113)의 오브젝트 결정 정확도를 향상시킬 수 있다. 아래에서 도 2 내지 도 9를 참조하여 오브젝트 결정 모델을 갱신하는 방법에 대해 상세히 설명된다.The server 120 may update the object determination model mounted on the plurality of devices 111, 112, and 113 based on the plurality of object estimation information received from the plurality of devices 111, 112, and 113, , the object determination accuracy of the plurality of apparatuses 111 , 112 , and 113 may be improved by loading the updated object determination model again on the plurality of apparatuses 111 , 112 , and 113 . A method of updating the object determination model will be described in detail below with reference to FIGS. 2 to 9 .

도 2는 일 실시 예에 따른 오브젝트 결정 모델을 갱신하는 서버의 구성도이다.2 is a configuration diagram of a server for updating an object determination model according to an exemplary embodiment.

서버(200)는 통신부(210), 프로세서(220), 메모리(230)를 포함한다. 예를 들어, 서버(200)는 도 1을 참조하여 전술된 서버(120)일 수 있다.The server 200 includes a communication unit 210 , a processor 220 , and a memory 230 . For example, the server 200 may be the server 120 described above with reference to FIG. 1 .

통신부(210)는 프로세서(220), 및 메모리(230)와 연결되어 데이터를 송수신한다. 통신부(210)는 외부의 다른 장치와 연결되어 데이터를 송수신할 수 있다. 이하에서 "A"를 송수신한다라는 표현은 "A를 나타내는 정보(information) 또는 데이터"를 송수신하는 것을 나타낼 수 있다.The communication unit 210 is connected to the processor 220 and the memory 230 to transmit and receive data. The communication unit 210 may be connected to another external device to transmit/receive data. Hereinafter, the expression “transmitting and receiving “A” may indicate transmission and reception of “information or data indicating A”.

통신부(210)는 서버(200) 내의 회로망(circuitry)으로 구현될 수 있다. 예를 들어, 통신부(210)는 내부 버스(internal bus) 및 외부 버스(external bus)를 포함할 수 있다. 다른 예로, 통신부(210)는 서버(200)와 외부의 장치를 연결하는 요소일 수 있다. 통신부(210)는 인터페이스(interface)일 수 있다. 통신부(210)는 외부의 장치로부터 데이터를 수신하여, 프로세서(220) 및 메모리(230)에 데이터를 전송할 수 있다.The communication unit 210 may be implemented as circuitry in the server 200 . For example, the communication unit 210 may include an internal bus and an external bus. As another example, the communication unit 210 may be an element that connects the server 200 and an external device. The communication unit 210 may be an interface. The communication unit 210 may receive data from an external device and transmit the data to the processor 220 and the memory 230 .

프로세서(220)는 통신부(210)가 수신한 데이터 및 메모리(230)에 저장된 데이터를 처리한다. 프로세서(220)는 ISP(Image Signal Processor)일 수 있다.The processor 220 processes data received by the communication unit 210 and data stored in the memory 230 . The processor 220 may be an image signal processor (ISP).

"프로세서"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다. A “processor” may be a data processing device implemented in hardware having circuitry having a physical structure for performing desired operations. For example, desired operations may include code or instructions included in a program. For example, a data processing device implemented as hardware includes a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor. , an Application-Specific Integrated Circuit (ASIC), and a Field Programmable Gate Array (FPGA).

프로세서(220)는 메모리(예를 들어, 메모리(230))에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(220)에 의해 유발된 인스트럭션들을 실행한다.Processor 220 executes computer readable code (eg, software) stored in memory (eg, memory 230 ) and instructions issued by processor 220 .

메모리(230)는 통신부(210)가 수신한 데이터, 프로세서(220)가 처리한 데이터를 저장한다. 예를 들어, 메모리(230)는 프로그램(또는 애플리케이션, 소프트웨어)을 저장할 수 있다. 저장되는 프로그램은 오브젝트 결정 모델을 갱신할 수 있도록 코딩되어 프로세서(220)에 의해 실행 가능한 신텍스(syntax)들의 집합일 수 있다.The memory 230 stores data received by the communication unit 210 and data processed by the processor 220 . For example, the memory 230 may store a program (or an application, software). The stored program may be a set of syntaxes that are coded so as to update the object determination model and are executable by the processor 220 .

일 측면에 따르면, 메모리(230)는 하나 이상의 휘발성 메모리, 비휘발성 메모리 및 RAM(Random Access Memory), 플래시 메모리, 하드 디스크 드라이브 및 광학 디스크 드라이브를 포함할 수 있다.According to one aspect, memory 230 may include one or more volatile memory, non-volatile memory and random access memory (RAM), flash memory, hard disk drive, and optical disk drive.

메모리(230)는 서버(200)를 동작 시키는 명령어 세트(예를 들어, 소프트웨어)를 저장한다. 서버(200)를 동작 시키는 명령어 세트는 프로세서(220)에 의해 실행된다.The memory 230 stores an instruction set (eg, software) for operating the server 200 . The instruction set for operating the server 200 is executed by the processor 220 .

통신부(210), 프로세서(220) 및 메모리(230)에 대해, 아래에서 도 3 내지 도 9을 참조하여 상세히 설명된다.The communication unit 210 , the processor 220 , and the memory 230 will be described in detail below with reference to FIGS. 3 to 9 .

도 3은 일 실시 예에 따른 오브젝트 결정 모델을 갱신하는 방법의 흐름도이다.3 is a flowchart of a method of updating an object determination model according to an embodiment.

아래의 단계들(310 내지 340)는 도 2를 참조하여 전술된 서버(200)에 의해 수행된다.The following steps 310 to 340 are performed by the server 200 described above with reference to FIG. 2 .

단계(310)에서, 서버(200)는 복수의 장치들(예: 도 1의 복수의 장치들(111, 112, 113))로부터 복수의 오브젝트 추정 정보들을 수신한다. 수신되는 복수의 오브젝트 추정 정보들의 각각은 특정한 시각 또는 특정한 위치에 대해 서로 연관되지 않을 수 있다. 즉, 복수의 오브젝트 추정 정보들은 맥락(context)이 없을 수 있다. 수신된 복수의 오브젝트 추정 정보들은 서버(200)에 저장될 수 있다.In step 310 , the server 200 receives a plurality of object estimation information from a plurality of devices (eg, the plurality of devices 111 , 112 , 113 of FIG. 1 ). Each of the received plurality of object estimation information may not be associated with each other for a specific time or a specific location. That is, the plurality of object estimation information may have no context. The received plurality of object estimation information may be stored in the server 200 .

일 측면에 따르면, 복수의 오브젝트 추정 정보들의 각각은 이미지 및 이미지 내의 오브젝트에 대한 추정 결과를 포함할 수 있다.According to an aspect, each of the plurality of object estimation information may include an image and an estimation result for an object in the image.

예를 들어, 이미지는 복수의 장치들 중 타겟 장치(예: 도 1의 장치(111))에 의해 촬영된 타겟 이미지의 전체(또는 원본)이고, 이미지 내의 오브젝트에 대한 추정 결과는 타겟 이미지 내의 타겟 오브젝트의 위치에 대한 정보 및 타겟 오브젝트에 대해 결정된 추정 종류 중 적어도 하나를 포함할 수 있다. 타겟 이미지 내의 타겟 오브젝트의 위치에 대한 정보는, 타겟 이미지의 픽셀들 중 타겟 오브젝트를 구성하는 픽셀들의 이미지 좌표일 수 있고, 또는 타겟 오브젝트를 포함하도록 설정된 바운딩 박스(bounding box)에 대한 정보일 수 있다.For example, the image is the entire (or original) of a target image captured by a target device (eg, the device 111 in FIG. 1 ) among a plurality of devices, and the estimation result for an object in the image is the target in the target image. It may include at least one of information on the position of the object and an estimation type determined for the target object. The information on the location of the target object in the target image may be image coordinates of pixels constituting the target object among pixels of the target image, or may be information about a bounding box set to include the target object. .

다른 예로, 이미지는 타겟 장치에 의해 촬영된 타겟 이미지의 전체의 일부일 수 있다. 이미지는 타겟 이미지 내의 타겟 오브젝트를 포함할 수 있다.As another example, the image may be a part of the entire target image captured by the target device. The image may include a target object within the target image.

타겟 장치는 타겟 장치에 탑재된 오브젝트 결정 모델을 이용하여 촬영한 이미지 내의 타겟 오브젝트를 검출하고, 검출된 타겟 오브젝트에 대한 종류를 추정함으로써 이미지 내의 오브젝트에 대한 추정 결과를 생성할 수 있다.The target device may detect a target object in the captured image using an object determination model mounted on the target device, and may generate an estimation result for the object in the image by estimating the type of the detected target object.

타겟 장치가 오브젝트 추정 정보를 생성 및 전송하는 방법에 대해, 아래에서 도 4를 참조하여 상세히 설명된다.A method for the target device to generate and transmit object estimation information will be described in detail with reference to FIG. 4 below.

단계(320)에서, 서버(200)는 복수의 오브젝트 추정 정보들 간의 유사도를 계산한다. 예를 들어, 복수의 오브젝트 추정 정보들의 이미지들 간의 유사도가 계산될 수 있다. 이미지들 간의 유사도를 계산하는 방법에 대해 아래에서 도 6 내지 도 8을 참조하여 상세히 설명된다.In step 320, the server 200 calculates a similarity between a plurality of object estimation information. For example, a degree of similarity between images of a plurality of object estimation information may be calculated. A method of calculating the similarity between images will be described in detail below with reference to FIGS. 6 to 8 .

단계(330)에서, 서버(200)는 계산된 유사도에 기초하여 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로 결정한다. 예를 들어, 오브젝트 결정 모델의 갱신을 위한 데이터 그룹에 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로서 추가할 수 있다. 계산된 유사도가 미리 설정된 값 미만인 오브젝트 추정 정보는 훈련 정보에서 제외될 수 있다.In step 330 , the server 200 determines at least one of a plurality of object estimation information as training information based on the calculated similarity. For example, at least one of a plurality of object estimation information may be added as training information to a data group for updating the object determination model. Object estimation information in which the calculated similarity is less than a preset value may be excluded from the training information.

단계(340)에서, 서버(200)는 결정된 훈련 정보들의 개수가 미리 설정된 개수 이상인 경우 훈련 정보들에 기초하여 복수의 장치들이 오브젝트 결정을 위해 이용하는 오브젝트 결정 모델을 갱신한다. 예를 들어, 데이터 그룹에 누적된 훈련 정보들의 개수가 미리 설정된 개수 이상인 경우 오브젝트 결정 모델이 갱신될 수 있다.In step 340 , the server 200 updates the object determination model used by a plurality of devices for object determination based on the training information when the determined number of training information is equal to or greater than a preset number. For example, when the number of training information accumulated in the data group is equal to or greater than a preset number, the object determination model may be updated.

일 측면에 따르면, 오브젝트 결정 모델을 갱신하기 위해 지도형 기계 학습(Supervised learning)이 적용될 수 있다. 오브젝트 결정 모델에 훈련 정보들의 각 이미지 및 이미지에 대한 정답(ground truth) 값을 쌍으로 입력함으로써 오브젝트 결정 모델이 갱신될 수 있다. 오브젝트 결정 모델이 갱신된 경우 오브젝트 결정 모델이 갱신을 구성하는 노드들 간의 연결 강도(weight)가 변화될 수 있다. 변화된 노드들 간의 연결 강도가 파라미터들로서 추출(또는, 생성)될 수 있다.According to an aspect, supervised learning may be applied to update the object determination model. The object determination model may be updated by pairing each image of training information and a ground truth value for the image into the object determination model. When the object determination model is updated, the weight of the connection between nodes constituting the update of the object determination model may be changed. The changed connection strength between nodes may be extracted (or generated) as parameters.

도 4는 일 예에 따른 타겟 장치에 의해 수행되는 오브젝트 추정 정보를 서버로 전송하는 방법의 흐름도이다.4 is a flowchart of a method of transmitting object estimation information performed by a target device to a server according to an example.

아래의 단계들(410 내지 460)는 타겟 장치(예: 도 1의 장치(111, 112, 113)에 의해 수행된다.The following steps 410 to 460 are performed by a target device (eg, devices 111 , 112 , 113 of FIG. 1 ).

단계(410)에서, 타겟 장치는 타겟 장치의 카메라를 이용하여 장면을 촬영함으로써 이미지를 생성한다.In step 410, the target device creates an image by photographing a scene using the camera of the target device.

단계(420)에서, 타겟 장치는 타겟 장치에 탑재된 오브젝트 결정 모델에 기초하여 이미지 내의 오브젝트를 검출한다.In step 420, the target device detects an object in the image based on the object determination model mounted on the target device.

단계(430)에서, 타겟 장치는 오브젝트 결정 모델에 기초하여 검출된 오브젝트에 대한 종류를 결정한다. 예를 들어, 오브젝트에 대한 종류는 사람, 자동차, 자전거 등과 같은 오브젝트의 이름일 수 있다.In step 430, the target device determines the type of the detected object based on the object determination model. For example, the type of the object may be the name of an object such as a person, a car, or a bicycle.

일 측면에 따르면, 검출된 오브젝트의 종류로서 복수 개의 후보 종류들이 결정될 수 있고, 복수 개의 후보 종류들에 대한 확률이 함께 연관될 수 있다. 확률이 가장 높은 후보 종류가 최종 종류로서 결정될 수 있다. 예를 들어, 검출된 오브젝트의 종류로서 자동차 75% 및 언노운(unknown) 25%가 결정되는 경우, 오브젝트의 종류로 자동차가 결정될 수 있다. 예를 들어, 새로운 외형을 가진 자동차가 도로를 주행하는 경우, 오브젝트의 종류를 결정하는 확률이 다소 낮아질 수 있다.According to an aspect, a plurality of candidate types may be determined as a type of the detected object, and probabilities for the plurality of candidate types may be associated together. A candidate kind with the highest probability may be determined as the final kind. For example, when 75% of a car and 25% of an unknown are determined as the type of the detected object, the vehicle may be determined as the type of the object. For example, when a car with a new appearance is driving on a road, the probability of determining the type of the object may be somewhat lowered.

단계(440)에서, 타겟 장치는 결정의 정확도가 미리 설정된 임계 값 이상인지 여부를 결정한다.In step 440, the target device determines whether the accuracy of the determination is greater than or equal to a preset threshold value.

단계(445)에서, 타겟 장치는 결정의 정확도가 미리 설정된 임계 값 이상인 경우, 결정된 오브젝트를 타겟 장치의 제어를 위해 활용할 수 있다. 예를 들어, 오브젝트에 기초하여 타겟 장치의 주행 경로가 조정될 수 있고, 기재된 실시예로 한정되지 않는다.In operation 445 , when the determination accuracy is equal to or greater than a preset threshold, the target device may use the determined object for controlling the target device. For example, the travel path of the target device may be adjusted based on the object, and it is not limited to the described embodiment.

단계(450)에서, 타겟 장치는 결정의 정확도가 미리 설정된 임계 값 미만인 경우, 오브젝트 추정 정보를 생성한다. 예를 들어, 오브젝트 추정 정보는 이미지 및 이미지 내의 오브젝트에 대한 추정 결과를 포함할 수 있다.In step 450 , the target device generates object estimation information when the determination accuracy is less than a preset threshold value. For example, the object estimation information may include an image and an estimation result for an object in the image.

단계(460)에서, 타겟 장치는 오브젝트 추정 정보를 서버(200)로 전송한다.In step 460 , the target device transmits object estimation information to the server 200 .

도 5는 일 예에 따른 타겟 장치에 의해 수행되는 타겟 이미지 내의 오브젝트를 결정하는 방법을 도시한다.5 illustrates a method of determining an object in a target image performed by a target device according to an example.

일 측면에 따르면, 도 4를 참조하여 전술된 타겟 장치는 타겟 장치의 카메라를 이용하여 이미지(500)를 생성할 수 있다. 예를 들어, 이미지(500)는 차량인 타겟 장치에서 촬영된 이미지일 수 있다.According to one aspect, the target device described above with reference to FIG. 4 may generate the image 500 using the camera of the target device. For example, the image 500 may be an image captured by a target device that is a vehicle.

타겟 장치의 오브젝트 결정 모델은 이미지(500) 내의 오브젝트들(510, 520)을 먼저 검출할 수 있다. 오브젝트 결정 모델은 검출된 오브젝트들(510, 520) 각각의 종류를 결정할 수 있다. 예를 들어, 오브젝트(510)의 종류가 사람으로 결정되고, 오브젝트(520)의 종류가 자전거로 결정될 수 있다. 오브젝트(510)의 종류의 결정에 대한 확률이 미리 설정된 제1 임계 값인 80% 이상인 경우, 오브젝트(510)에 대한 오브젝트 추정 정보가 생성되지 않을 수 있다. 반면에, 오브젝트(520)의 종류의 결정에 대한 확률이 미리 설정된 제2 임계 값인 70% 이상이지만, 제1 임계 값인 80% 미만인 경우, 오브젝트(520)에 대한 오브젝트 추정 정보가 생성될 수 있다. 타겟 장치는 이미지(500) 및 오브젝트(520)에 대한 추정 결과를 포함하도록 오브젝트 추정 정보를 생성할 수 있다. 예를 들어, 오브젝트(520)에 대한 추정 결과는 오브젝트(520)의 종류가 자전거일 것이라는 확률을 포함한다. 오브젝트 추정 정보에 포함되는 이미지는 이미지(500)이거나, 또는 이미지(500) 중 오브젝트(520)를 포함하는 일부 이미지일 수 있다.The object determination model of the target device may first detect the objects 510 and 520 in the image 500 . The object determination model may determine the type of each of the detected objects 510 and 520 . For example, the type of the object 510 may be determined as a person, and the type of the object 520 may be determined as a bicycle. When the probability of determining the type of the object 510 is 80% or more, which is a preset first threshold value, object estimation information for the object 510 may not be generated. On the other hand, when the probability of determining the type of the object 520 is 70% or more, which is a preset second threshold value, but is less than 80%, which is the first threshold value, object estimation information for the object 520 may be generated. The target device may generate object estimation information to include an estimation result for the image 500 and the object 520 . For example, the estimation result for the object 520 includes a probability that the type of the object 520 is a bicycle. The image included in the object estimation information may be the image 500 or a partial image including the object 520 among the images 500 .

도 6은 일 예에 따른 제1 이미지 및 제2 이미지 간의 유사도를 결정하는 방법의 흐름도이다.6 is a flowchart of a method of determining a degree of similarity between a first image and a second image according to an example.

일 측면에 따르면, 도 3을 참조하여 전술된 단계(320)는 아래의 단계들(610 및 620)을 포함할 수 있다.According to one aspect, the step 320 described above with reference to FIG. 3 may include the following steps 610 and 620 .

복수의 오브젝트 추정 정보들 중 제1 오브젝트 추정 정보는 제1 이미지 및 제1 추정 결과를 포함하고, 제2 오브젝트 추정 정보는 제2 이미지 및 제2 추정 결과를 포함할 수 있다.Among the plurality of object estimation information, first object estimation information may include a first image and a first estimation result, and second object estimation information may include a second image and a second estimation result.

단계(610)에서, 서버(200)는 제1 추정 결과 및 제2 추정 결과가 동일한지 여부를 결정한다. 예를 들어, 제1 추정 결과가 나타내는 제1 종류가 제2 추정 결과가 나타내는 제2 종류와 동일한지 여부가 결정될 수 있다. 예를 들어, 제1 종류 및 제2 종류가 모두 자전거인 경우, 제1 추정 결과 및 제2 추정 결과가 동일한 것으로 결정될 수 있다. 단계(610)는 서버(200)가 복수의 장치들로부터 수신한 복수의 오브젝트 추정 정보들을 여러 종류들 각각에 대한 데이터 그룹으로 분류하기 위해 수행될 수 있다.In step 610 , the server 200 determines whether the first estimation result and the second estimation result are the same. For example, it may be determined whether the first type indicated by the first estimation result is the same as the second type indicated by the second estimation result. For example, when both the first type and the second type are bicycles, it may be determined that the first estimation result and the second estimation result are the same. Step 610 may be performed to classify the plurality of object estimation information received from the plurality of devices by the server 200 into a data group for each of several types.

제1 추정 결과 및 제2 추정 결과가 동일하지 않은 경우에는, 제1 오브젝트 추정 정보 및 제2 오브젝트 추정 정보 간의 유사도는 계산되지 않을 수 있다.When the first estimation result and the second estimation result are not the same, the similarity between the first object estimation information and the second object estimation information may not be calculated.

단계(620)에서, 서버(200)는 제1 추정 결과 및 제2 추정 결과가 동일한 경우, 제1 이미지 및 제2 이미지 간의 유사도를 결정한다. 유사도를 결정하는 방법에 대해 아래에서 도 7 및 도 8을 참조하여 상세히 설명된다.In step 620 , when the first estimation result and the second estimation result are the same, the server 200 determines the similarity between the first image and the second image. A method of determining the degree of similarity will be described in detail below with reference to FIGS. 7 and 8 .

도 7은 일 예에 따른 이미지들의 특징점들에 기초하여 제1 이미지 및 제2 이미지 간의 유사도를 결정하는 방법의 흐름도이다.7 is a flowchart of a method of determining a degree of similarity between a first image and a second image based on feature points of the images, according to an example.

일 측면에 따른, 도 6을 참조하여 전술된 단계(620)는 아래의 단계들(710 내지 730)을 포함할 수 있다.According to one aspect, the step 620 described above with reference to FIG. 6 may include the following steps 710 to 730 .

단계(710)에서, 서버(200)는 제1 이미지의 적어도 하나의 제1 특징점을 생성한다. 특징점을 생성하는 방법은 특정한 방법으로 한정되지 않는다.In step 710 , the server 200 generates at least one first feature point of the first image. A method of generating the feature point is not limited to a specific method.

단계(720)에서, 서버(200)는 제2 이미지의 적어도 하나의 제2 특징점을 생성한다.In step 720, the server 200 generates at least one second feature point of the second image.

단계(730)에서, 서버(200)는 제1 특징점 및 제2 특징점 간의 유사도를 결정할 수 있다.In operation 730, the server 200 may determine a degree of similarity between the first feature point and the second feature point.

도 8은 일 예에 따른 제2 오브젝트 결정 모델을 이용하여 제1 이미지 및 제2 이미지 간의 유사도를 결정하는 방법의 흐름도이다.8 is a flowchart of a method of determining a degree of similarity between a first image and a second image using a second object determination model according to an example.

다른 일 측면에 따른, 도 6을 참조하여 전술된 단계(620)는 아래의 단계들(810 내지 830)을 포함할 수 있다.According to another aspect, the step 620 described above with reference to FIG. 6 may include the following steps 810 to 830 .

단계(810)에서, 서버(200)는 제2 오브젝트 결정 모델을 이용하여 제1 이미지 내의 제1 타겟 오브젝트에 대한 제1 종류를 결정한다. 제2 오브젝트 결정 모델은 복수의 장치들에 탑재된 오브젝트 결정 모델(제1 오브젝트 결정 모델)과 상이한 모델일 수 있다. 제2 오브젝트 결정 모델은 제1 오브젝트 결정 모델에 비해 성능이 뛰어난 대신 많은 계산량이 요구될 수 있다. 일반적으로, 서버(200)는 복수의 장치들보다 컴퓨팅 파워가 높기 때문에 별도의 제2 오브젝트 결정 모델을 이용하여 이미지 내의 오브젝트의 종류를 결정할 수 있다. 제2 오브젝트 결정 모델을 이용한 오브젝트의 종류의 결정에 대한 확률이 제1 오브젝트 결정 모델을 이용한 오브젝트의 종류의 결정에 대한 확률 보다 높을 수 있다.In step 810 , the server 200 determines a first type of the first target object in the first image by using the second object determination model. The second object determination model may be a different model from the object determination model (the first object determination model) mounted on the plurality of devices. Although the second object determination model has better performance than the first object determination model, a large amount of computation may be required. In general, since the server 200 has higher computing power than the plurality of devices, the server 200 may determine the type of object in the image by using a separate second object determination model. The probability of determining the type of the object using the second object determination model may be higher than the probability of determining the type of the object using the first object determination model.

단계(820)에서, 서버(200)는 제2 오브젝트 결정 모델을 이용하여 제2 이미지 내의 제2 타겟 오브젝트에 대한 제2 종류를 결정한다.In step 820 , the server 200 determines the second type of the second target object in the second image by using the second object determination model.

단계(830)에서, 서버(200)는 제1 종류 및 제2 종류에 기초하여 제1 이미지 및 제2 이미지 간의 유사도를 결정한다. 예를 들어, 제1 종류 및 제2 종류가 동일한 경우 유사도가 100%로 결정될 수 있다.In step 830 , the server 200 determines a degree of similarity between the first image and the second image based on the first type and the second type. For example, when the first type and the second type are the same, the similarity may be determined to be 100%.

추가적으로, 제2 오브젝트 결정 모델을 이용하여 결정된 타겟 오브젝트에 대한 종류는 제1 오브젝트 결정 모델을 이용하여 결정된 타겟 오브젝트에 대한 종류 보다 정확할 수 있으므로, 모델 별로 동일한 타겟 오브젝트에 대해 결정된 종류가 다른 경우에는 제2 오브젝트 결정 모델을 이용하여 결정된 종류가 오브젝트 결정 모델의 갱신 시에 이용되는 정답 값으로 이용될 수 있다.Additionally, since the type of the target object determined using the second object determination model may be more accurate than the type of the target object determined using the first object determination model, when the type determined for the same target object is different for each model, the first 2 A type determined using the object determination model may be used as a correct answer value used when the object determination model is updated.

도 9는 일 예에 따른 타겟 장치의 오브젝트 결정 모델을 갱신하는 방법의 흐름도이다.9 is a flowchart of a method of updating an object determination model of a target device according to an example.

일 측면에 따른 아래의 단계들(910 및 920)은 도 3을 참조하여 전술된 단계(340)가 수행된 후에 수행될 수 있다.The following steps 910 and 920 according to an aspect may be performed after step 340 described above with reference to FIG. 3 is performed.

단계(910)에서, 서버(200)는 오브젝트 결정 모델의 갱신을 통해 변경된 오브젝트 결정 모델의 파라미터들을 복수의 장치들 각각으로 전송한다. 예를 들어, 파라미터들을 복수의 장치들로 전송하는 방법은 셀룰러 기반의 무선 통신, OTA(over the air) 등이 이용될 수 있고, 기재된 실시예로 한정되지 않는다.In step 910 , the server 200 transmits the parameters of the object determination model changed through the update of the object determination model to each of the plurality of devices. For example, a method of transmitting parameters to a plurality of devices may use cellular-based wireless communication, over the air (OTA), or the like, and is not limited to the described embodiment.

단계(920)에서, 타겟 장치는 서버(200)가 전송한 파라미터들을 수신하고, 파라미터들에 기초하여 타겟 장치의 오브젝트 결정 모델을 갱신한다. 오브젝트 결정 모델이 갱신됨으로써 특정 오브젝트에 대한 종류 결정의 정확도가 향상될 수 있다.In step 920 , the target device receives the parameters transmitted by the server 200 , and updates the object determination model of the target device based on the parameters. Since the object determination model is updated, the accuracy of type determination for a specific object may be improved.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented by a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the apparatus, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using a general purpose computer or special purpose computer. The processing device may execute an operating system (OS) and a software application running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in a computer-readable recording medium.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination, and the program instructions recorded on the medium are specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. may be Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or a plurality of software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, a person skilled in the art may apply various technical modifications and variations based thereon. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 시스템
111, 112, 113: 복수의 장치들
120: 서버100: system
111, 112, 113: a plurality of devices
120: server

Claims (19)

서버에 의해 수행되는, 오브젝트 결정 모델을 갱신하는 방법은,
복수의 장치들로부터 복수의 오브젝트 추정 정보들을 수신하는 단계 - 상기 복수의 오브젝트 추정 정보들의 각각은 이미지 및 상기 이미지 내의 오브젝트에 대한 추정 결과를 포함함 -;
상기 복수의 오브젝트 추정 정보들 간의 유사도를 계산하는 단계;
상기 유사도에 기초하여 상기 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로 결정하는 단계; 및
결정된 훈련 정보들의 개수가 미리 설정된 개수 이상인 경우, 상기 훈련 정보들에 기초하여 상기 복수의 장치들이 이용하는 오브젝트 결정 모델을 갱신하는 단계
를 포함하고,
상기 복수의 오브젝트 추정 정보들 중 제1 오브젝트 추정 정보는 제1 이미지 및 제1 추정 결과를 포함하고,
상기 복수의 오브젝트 추정 정보들 중 제2 오브젝트 추정 정보는 제2 이미지 및 제2 추정 결과를 포함하고,
상기 복수의 오브젝트 추정 정보들 간의 유사도를 계산하는 단계는,
상기 제1 추정 결과 및 상기 제2 추정 결과가 동일한지 여부를 결정하는 단계; 및
상기 제1 추정 결과 및 상기 제2 추정 결과가 동일한 경우, 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 결정하는 단계
를 포함하고,
상기 제1 오브젝트 추정 정보는, 상기 복수의 장치들 중 제1 장치에 의해 촬영된 상기 제1 이미지에 기초하여 상기 제1 장치에 의해 검출된 오브젝트의 종류의 결정도가 미리 설정된 임계 값 미만인 경우, 상기 제1 장치에 의해 생성되는,
오브젝트 결정 모델 갱신 방법.
The method of updating the object decision model, performed by the server,
receiving a plurality of object estimation information from a plurality of devices, each of the plurality of object estimation information including an image and an estimation result for an object in the image;
calculating a similarity between the plurality of object estimation pieces of information;
determining at least one of the plurality of object estimation information as training information based on the similarity; and
When the determined number of training information is equal to or greater than a preset number, updating the object determination model used by the plurality of devices based on the training information
including,
Among the plurality of object estimation information, first object estimation information includes a first image and a first estimation result,
The second object estimation information among the plurality of object estimation information includes a second image and a second estimation result,
Calculating the similarity between the plurality of object estimation information includes:
determining whether the first estimation result and the second estimation result are the same; and
determining a similarity between the first image and the second image when the first estimation result and the second estimation result are the same
including,
The first object estimation information may be provided when a degree of determination of a type of an object detected by the first device based on the first image captured by the first device among the plurality of devices is less than a preset threshold value. generated by the first device,
How to update the object decision model.
제1항에 있어서,
상기 복수의 오브젝트 추정 정보들의 각각은 상기 복수의 장치들 각각의 상기 오브젝트 결정 모델에 의해 생성된,
오브젝트 결정 모델 갱신 방법.
According to claim 1,
Each of the plurality of object estimation information is generated by the object determination model of each of the plurality of devices,
How to update the object decision model.
제1항에 있어서,
상기 이미지는 복수의 장치들 중 타겟 장치에 의해 촬영된 타겟 이미지의 전체이고,
상기 추정 결과는 상기 타겟 이미지 내의 타겟 오브젝트의 위치에 대한 정보 및 상기 타겟 오브젝트에 대해 결정된 추정 종류 중 적어도 하나를 포함하는,
오브젝트 결정 모델 갱신 방법.
According to claim 1,
The image is the entire target image taken by the target device among the plurality of devices,
The estimation result includes at least one of information on a location of a target object in the target image and an estimation type determined for the target object,
How to update the object decision model.
제3항에 있어서,
상기 타겟 이미지 내의 상기 타겟 오브젝트의 위치에 대한 정보는, 상기 타겟 이미지의 픽셀들 중 상기 타겟 오브젝트를 구성하는 픽셀들의 이미지 좌표인,
오브젝트 결정 모델 갱신 방법.
4. The method of claim 3,
The information on the location of the target object in the target image is image coordinates of pixels constituting the target object among pixels of the target image,
How to update the object decision model.
제1항에 있어서,
상기 이미지는 복수의 장치들 중 타겟 장치에 의해 촬영된 타겟 이미지의 전체의 일부이고,
상기 이미지는 상기 타겟 이미지 내의 타겟 오브젝트를 포함하는,
오브젝트 결정 모델 갱신 방법.
According to claim 1,
The image is a part of the whole of the target image taken by the target device among the plurality of devices,
wherein the image includes a target object within the target image;
How to update the object decision model.
삭제delete 제1항에 있어서,
상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 결정하는 단계는,
상기 제1 이미지의 제1 특징점을 생성하는 단계;
상기 제2 이미지의 제2 특징점을 생성하는 단계; 및
상기 제1 특징점 및 상기 제2 특징점 간의 유사도를 결정하는 단계
를 포함하는,
오브젝트 결정 모델 갱신 방법.
According to claim 1,
Determining the similarity between the first image and the second image comprises:
generating a first feature point of the first image;
generating a second feature point of the second image; and
determining a degree of similarity between the first feature point and the second feature point
containing,
How to update the object decision model.
제1항에 있어서,
상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 결정하는 단계는,
제2 오브젝트 결정 모델을 이용하여 상기 제1 이미지 내의 제1 타겟 오브젝트에 대한 제1 종류를 결정하는 단계;
상기 제2 오브젝트 결정 모델을 이용하여 상기 제2 이미지 내의 제2 타겟 오브젝트에 대한 제2 종류를 결정하는 단계; 및
상기 제1 종류 및 상기 제2 종류에 기초하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 결정하는 단계
를 포함하고,
상기 오브젝트 결정 모델 및 상기 제2 오브젝트 결정 모델은 서로 상이한,
오브젝트 결정 모델 갱신 방법.
According to claim 1,
Determining the similarity between the first image and the second image comprises:
determining a first type for a first target object in the first image using a second object determination model;
determining a second type of a second target object in the second image by using the second object determination model; and
determining a degree of similarity between the first image and the second image based on the first type and the second type;
including,
The object determination model and the second object determination model are different from each other,
How to update the object decision model.
제1항에 있어서,
상기 유사도에 기초하여 상기 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로 결정하는 단계는,
계산된 유사도가 미리 설정된 값 미만인 오브젝트 추정 정보를 훈련 정보에서 제외시키는 단계
를 포함하는,
오브젝트 결정 모델 갱신 방법.
According to claim 1,
Determining at least one of the plurality of object estimation information as training information based on the similarity includes:
Excluding the object estimation information for which the calculated similarity is less than a preset value from the training information
containing,
How to update the object decision model.
제1항에 있어서,
상기 오브젝트 결정 모델의 갱신을 통해 변경된 상기 오브젝트 결정 모델의 파라미터들을 상기 복수의 장치들로 전송하는 단계
를 더 포함하는,
오브젝트 결정 모델 갱신 방법.
According to claim 1,
Transmitting the parameters of the object determination model changed through the update of the object determination model to the plurality of devices
further comprising,
How to update the object decision model.
제10항에 있어서,
상기 복수의 장치들 중 타겟 장치는 상기 파라미터들에 기초하여 상기 타겟 장치의 오브젝트 결정 모델을 갱신하는,
오브젝트 결정 모델 갱신 방법.
11. The method of claim 10,
a target device among the plurality of devices updates an object determination model of the target device based on the parameters;
How to update the object decision model.
하드웨어와 결합되어 제1항, 제2항, 제3항, 제4항, 제5항, 제7항, 제8항, 제9항, 제10항 및 제11항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
The method of any one of claims 1, 2, 3, 4, 5, 7, 8, 9, 10 and 11 in combination with hardware A computer program stored in a computer-readable recording medium for execution.
오브젝트 결정 모델을 갱신하는 방법을 수행하는, 서버는,
오브젝트 결정 모델을 갱신하는 프로그램이 기록된 메모리; 및
상기 프로그램을 수행하는 프로세서
를 포함하고,
상기 프로그램은,
복수의 장치들로부터 복수의 오브젝트 추정 정보들을 수신하는 단계 - 상기 복수의 오브젝트 추정 정보들의 각각은 이미지 및 상기 이미지 내의 오브젝트에 대한 추정 결과를 포함함 -;
상기 복수의 오브젝트 추정 정보들 간의 유사도를 계산하는 단계;
상기 유사도에 기초하여 상기 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로 결정하는 단계; 및
결정된 훈련 정보들의 개수가 미리 설정된 개수 이상인 경우, 상기 훈련 정보들에 기초하여 상기 복수의 장치들이 이용하는 오브젝트 결정 모델을 갱신하는 단계
를 수행하고,
상기 복수의 오브젝트 추정 정보들 중 제1 오브젝트 추정 정보는 제1 이미지 및 제1 추정 결과를 포함하고,
상기 복수의 오브젝트 추정 정보들 중 제2 오브젝트 추정 정보는 제2 이미지 및 제2 추정 결과를 포함하고,
상기 복수의 오브젝트 추정 정보들 간의 유사도를 계산하는 단계는,
상기 제1 추정 결과 및 상기 제2 추정 결과가 동일한지 여부를 결정하는 단계; 및
상기 제1 추정 결과 및 상기 제2 추정 결과가 동일한 경우, 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 결정하는 단계
를 포함하는,
서버.
A server performing a method of updating an object decision model, comprising:
a memory in which a program for updating the object determination model is recorded; and
a processor that executes the program
including,
The program is
receiving a plurality of object estimation information from a plurality of devices, each of the plurality of object estimation information including an image and an estimation result for an object in the image;
calculating a similarity between the plurality of object estimation pieces of information;
determining at least one of the plurality of object estimation information as training information based on the similarity; and
When the determined number of training information is equal to or greater than a preset number, updating the object determination model used by the plurality of devices based on the training information
do,
Among the plurality of object estimation information, first object estimation information includes a first image and a first estimation result,
The second object estimation information among the plurality of object estimation information includes a second image and a second estimation result,
Calculating the similarity between the plurality of object estimation information includes:
determining whether the first estimation result and the second estimation result are the same; and
determining a similarity between the first image and the second image when the first estimation result and the second estimation result are the same
containing,
server.
제13항에 있어서,
상기 복수의 오브젝트 추정 정보들의 각각은 상기 복수의 장치들 각각의 상기 오브젝트 결정 모델에 의해 생성된,
서버.
14. The method of claim 13,
Each of the plurality of object estimation information is generated by the object determination model of each of the plurality of devices,
server.
제13항에 있어서,
상기 이미지는 복수의 장치들 중 타겟 장치에 의해 촬영된 타겟 이미지의 전체이고,
상기 추정 결과는 상기 타겟 이미지 내의 타겟 오브젝트의 위치에 대한 정보 및 상기 타겟 오브젝트에 대해 결정된 추정 종류 중 적어도 하나를 포함하는,
서버.
14. The method of claim 13,
The image is the entire target image taken by the target device among the plurality of devices,
The estimation result includes at least one of information on a location of a target object in the target image and an estimation type determined for the target object,
server.
제13항에 있어서,
상기 이미지는 복수의 장치들 중 타겟 장치에 의해 촬영된 타겟 이미지의 전체의 일부이고,
상기 이미지는 상기 타겟 이미지 내의 타겟 오브젝트를 포함하는,
서버.
14. The method of claim 13,
The image is a part of the whole of the target image taken by the target device among the plurality of devices,
wherein the image includes a target object within the target image;
server.
삭제delete 제13항에 있어서,
상기 유사도에 기초하여 상기 복수의 오브젝트 추정 정보들 중 적어도 하나를 훈련 정보로 결정하는 단계는,
계산된 유사도가 미리 설정된 값 미만인 오브젝트 추정 정보를 훈련 정보에서 제외시키는 단계
를 포함하는,
서버.
14. The method of claim 13,
Determining at least one of the plurality of object estimation information as training information based on the similarity includes:
Excluding the object estimation information for which the calculated similarity is less than a preset value from the training information
containing,
server.
제13항에 있어서,
상기 프로그램은,
상기 오브젝트 결정 모델의 갱신을 통해 변경된 상기 오브젝트 결정 모델의 파라미터들을 상기 복수의 장치들로 전송하는 단계
를 더 수행하는,
서버.14. The method of claim 13,
The program is
Transmitting the parameters of the object determination model changed through the update of the object determination model to the plurality of devices
to do more,
server.

Images