KR20200136723A - Method and apparatus for generating learning data for object recognition using virtual city model - Google Patents

Abstract

Disclosed are a method for generating training data for object recognition using a virtual city model, and an apparatus thereof. According to the present invention, the method for generating training data for object recognition using the virtual city model comprises the steps of: generating a virtual city model by virtualizing urban space objects; arranging a virtual sensor generated by virtualizing a sensor in a predetermined virtual space location in the virtual city model; generating image data for one side of a three-dimensional (3D) virtual object included in the virtual city model using the arranged virtual sensor; and collecting the generated image data to generate training data for object recognition. Therefore, it is possible to very easily generate a vast amount of training data.

Description

가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING LEARNING DATA FOR OBJECT RECOGNITION USING VIRTUAL CITY MODEL}A method and apparatus for generating learning data for object recognition using a virtual city model{METHOD AND APPARATUS FOR GENERATING LEARNING DATA FOR OBJECT RECOGNITION USING VIRTUAL CITY MODEL}

본 발명은 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치에 관한 것으로, 더욱 상세하게는 현실 세계에 위치한 각종 객체들이 포함된 도시 모델을 정교하게 가상화하고, 가상 공간에서 객체 인식을 위한 학습 데이터를 생성하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for generating learning data for object recognition using a virtual city model, and more particularly, to elaborately virtualize a city model including various objects located in the real world, and to recognize objects in a virtual space. It relates to a method and apparatus for generating learning data for.

객체 인식(Object Recognition)은 이미지 또는 비디오 상에 존재하는 객체를 식별하는 컴퓨터 비전(computer vision) 기술이다. 최근에는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network, CNN) 등을 이용한 딥러닝 기술이 급속도로 발전하면서 객체 인식에 대한 정확도가 크게 향상되고 있다. Object Recognition is a computer vision technique that identifies objects present on an image or video. In recent years, as deep learning technology using a convolutional neural network (CNN) and the like has rapidly developed, the accuracy of object recognition has been greatly improved.

CNN을 비롯한 딥러닝 네트워크를 훈련시키기 위해서는 레이블(label)이 지정된 매우 방대한 학습 데이터를 모으고, 네트워크 아키텍쳐를 설계한 후, 설계한 네트워크 아키텍쳐에 수집된 학습 데이터를 학습시켜 객체의 특징을 학습한다. 이때, 객체 인식의 정확도에는 학습 데이터의 양과 질이 모두 영향을 미친다.In order to train deep learning networks including CNNs, we collect very large amounts of learning data with labels, design the network architecture, and learn the features of objects by learning the training data collected in the designed network architecture. At this time, both the quantity and quality of the training data affect the accuracy of object recognition.

이러한 훈련 데이터는 카메라, 라이다(Ladar) 등과 같은 다양한 센싱 장비를 이용하여 현실 세계에 위치한 객체에 대한 데이터를 얻고 가공함으로써 획득된다. 이처럼 훈련 데이터를 획득하는 과정은 많은 비용과 시간이 소요되기 때문에 객체 인식 기술을 연구하는데 큰 장애물이 되고 있다.This training data is obtained by obtaining and processing data on an object located in the real world using various sensing equipment such as a camera or a Ladar. As such, the process of acquiring training data takes a lot of cost and time, and thus becomes a major obstacle to researching object recognition technology.

특히, 현실 세계에 위치한 건물이나 다른 객체들은 시간과 날씨 등과 같은 환경적 요소에 따라 그림자가 생기거나 다른 물체에 가려지는 등 변화가 발생한다. 이러한 환경적 요소가 그대로 학습 데이터에 포함될 경우 객체 인식을 위한 학습에 오류로 작용할 수 있다.In particular, changes occur in buildings or other objects located in the real world, such as shadows or being covered by other objects depending on environmental factors such as time and weather. If these environmental factors are included in the learning data as they are, it may act as an error in learning for object recognition.

따라서, 현실 세계에 위치한 각종 객체들에 대한 방대한 학습 데이터를 손쉽게 수집하면서 현실 세계에 존재하는 환경적 요소의 영향을 최소화할 수 있는 방안이 필요한 실정이다.Therefore, there is a need for a method that can minimize the influence of environmental factors existing in the real world while easily collecting massive learning data on various objects located in the real world.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법을 제공하는 데 있다.An object of the present invention for solving the above problems is to provide a method of generating learning data for object recognition using a virtual city model.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 장치를 제공하는 데 있다.Another object of the present invention for solving the above problems is to provide an apparatus for generating learning data for object recognition using a virtual city model.

상기 목적을 달성하기 위한 본 발명은, 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법을 제공한다.The present invention for achieving the above object provides a method of generating learning data for object recognition by using a virtual city model.

가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법은, 도시 공간 객체들을 가상화하여 가상 도시 모델을 생성하는 단계, 센서를 가상화하여 생성된 가상 센서를 상기 가상 도시 모델에서 소정의 가상 공간 위치에 배치하는 단계, 배치된 가상 센서를 이용하여 상기 가상 도시 모델에 포함된 3차원 가상 객체의 일 측면에 대한 이미지 데이터를 생성하는 단계 및 생성된 이미지 데이터를 수집하여 객체 인식을 위한 학습 데이터를 생성하는 단계를 포함할 수 있다.The method of generating training data for object recognition using a virtual city model includes the steps of creating a virtual city model by virtualizing city space objects, and placing a virtual sensor generated by virtualizing a sensor at a predetermined virtual space location in the virtual city model. Arranging, generating image data on one side of a 3D virtual object included in the virtual city model using the placed virtual sensor, and generating training data for object recognition by collecting the generated image data It may include steps.

상기 가상 도시 모델을 생성하는 단계는, 상기 도시 공간 객체들을 가상화하여, 상기 도시 공간 객체들에 대한 형상 정보 및 속성 정보를 포함할 수 있다.The generating of the virtual city model may include the shape information and attribute information of the city space objects by virtualizing the city space objects.

상기 속성 정보는, 상기 도시 공간 객체들에 대한 이름, 규격, 식별 기호 중 적어도 하나를 포함할 수 있다.The attribute information may include at least one of a name, a standard, and an identification symbol for the urban space objects.

상기 학습 데이터를 생성하는 단계는, 상기 속성 정보를 이용하여 상기 생성된 이미지 데이터에 대한 라벨링(labelling)을 수행하는 단계를 포함할 수 있다.Generating the training data may include performing labeling on the generated image data using the attribute information.

상기 소정의 가상 공간 위치는, 상기 3차원 가상 객체와의 거리, 방향각 및 고도각을 포함할 수 있다.The predetermined virtual space location may include a distance to the 3D virtual object, a direction angle, and an elevation angle.

상기 소정의 가상 공간 위치에 배치하는 단계는, 상기 가상 센서에 대하여 초점 거리, 센서 크기, 화각, 왜곡 정도, 해상도 중 적어도 하나를 포함하는 파라미터를 설정하는 단계를 포함할 수 있다. Arranging in the predetermined virtual space location may include setting a parameter including at least one of a focal length, a sensor size, an angle of view, a distortion degree, and a resolution for the virtual sensor.

상기 가상 도시 모델을 생성하는 단계는, 날짜, 계절, 시간, 날씨 중 적어도 하나를 포함하는 환경 정보를 상기 가상 도시 모델에 부여하는 단계를 더 포함할 수 있다.The generating of the virtual city model may further include giving environment information including at least one of a date, a season, a time, and a weather to the virtual city model.

상기 이미지 데이터를 생성하는 단계는, 상기 환경 정보를 이용하여 상기 3차원 가상 객체의 일 측면에 대한 그림자 이미지 데이터를 생성하는 단계를 더 포함할 수 있다. The generating of the image data may further include generating shadow image data for one side of the 3D virtual object using the environment information.

상기 그림자 이미지 데이터를 생성하는 단계는, 상기 날짜 및 상기 시간을 이용하여 상기 3차원 가상 객체에 투사되는 광원의 위치를 결정하는 단계, 결정한 광원의 위치에서 상기 3차원 가상 객체의 각 포인트 사이의 직선 거리를 이용하여 상기 3차원 가상 객체에 대한 그림자 영역을 결정하는 단계 및 결정된 그림자 영역이 포함된 3차원 가상 객체에 대하여 상기 일 측면에 대한 그림자 이미지 데이터를 생성하는 단계를 포함할 수 있다.The generating of the shadow image data may include determining a position of a light source projected onto the 3D virtual object using the date and time, and a straight line between each point of the 3D virtual object at the determined position of the light source It may include determining a shadow area for the 3D virtual object using a distance, and generating shadow image data for the one side of the 3D virtual object including the determined shadow area.

상기 목적을 달성하기 위한 본 발명의 다른 측면은, 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 장치를 제공한다.Another aspect of the present invention for achieving the above object is to provide an apparatus for generating learning data for object recognition using a virtual city model.

상기 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 장치는, 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.The apparatus for generating training data for object recognition using the virtual city model includes at least one processor and a memory storing instructions for instructing the at least one processor to perform at least one step ( memory).

상기 적어도 하나의 단계는, 도시 공간 객체들을 가상화하여 가상 도시 모델을 생성하는 단계, 센서를 가상화하여 생성된 가상 센서를 상기 가상 도시 모델에서 소정의 가상 공간 위치에 배치하는 단계, 배치된 가상 센서를 이용하여 상기 가상 도시 모델에 포함된 3차원 가상 객체의 일 측면에 대한 이미지 데이터를 생성하는 단계 및 생성된 이미지 데이터를 수집하여 객체 인식을 위한 학습 데이터를 생성하는 단계를 포함할 수 있다.The at least one step may include creating a virtual city model by virtualizing urban space objects, arranging a virtual sensor generated by virtualizing a sensor at a predetermined virtual space location in the virtual city model, and placing the placed virtual sensor And generating image data for one side of the 3D virtual object included in the virtual city model, and generating training data for object recognition by collecting the generated image data.

상기 가상 도시 모델을 생성하는 단계는, 상기 도시 공간 객체들을 가상화하여, 상기 도시 공간 객체들에 대한 형상 정보 및 속성 정보를 포함할 수 있다.The generating of the virtual city model may include the shape information and attribute information of the city space objects by virtualizing the city space objects.

상기 속성 정보는, 상기 도시 공간 객체들에 대한 이름, 규격, 식별 기호 중 적어도 하나를 포함할 수 있다.The attribute information may include at least one of a name, a standard, and an identification symbol for the urban space objects.

상기 학습 데이터를 생성하는 단계는, 상기 속성 정보를 이용하여 상기 생성된 이미지 데이터에 대한 라벨링(labelling)을 수행하는 단계를 포함할 수 있다.Generating the training data may include performing labeling on the generated image data using the attribute information.

상기 소정의 가상 공간 위치는, 상기 3차원 가상 객체와의 거리, 방향각 및 고도각을 포함할 수 있다.The predetermined virtual space location may include a distance to the 3D virtual object, a direction angle, and an elevation angle.

상기 소정의 가상 공간 위치에 배치하는 단계는, 상기 가상 센서에 대하여 초점 거리, 센서 크기, 화각, 왜곡 정도, 해상도 중 적어도 하나를 포함하는 파라미터를 설정하는 단계를 포함할 수 있다. Arranging in the predetermined virtual space location may include setting a parameter including at least one of a focal length, a sensor size, an angle of view, a distortion degree, and a resolution for the virtual sensor.

상기 가상 도시 모델을 생성하는 단계는, 날짜, 계절, 시간, 날씨 중 적어도 하나를 포함하는 환경 정보를 상기 가상 도시 모델에 부여하는 단계를 더 포함할 수 있다.The generating of the virtual city model may further include giving environment information including at least one of a date, a season, a time, and a weather to the virtual city model.

상기 이미지 데이터를 생성하는 단계는, 상기 환경 정보를 이용하여 상기 3차원 가상 객체의 일 측면에 대한 그림자 이미지 데이터를 생성하는 단계를 더 포함할 수 있다. The generating of the image data may further include generating shadow image data for one side of the 3D virtual object using the environment information.

상기 그림자 이미지 데이터를 생성하는 단계는, 상기 날짜 및 상기 시간을 이용하여 상기 3차원 가상 객체에 투사되는 광원의 위치를 결정하는 단계, 결정한 광원의 위치에서 상기 3차원 가상 객체의 각 포인트 사이의 직선 거리를 이용하여 상기 3차원 가상 객체에 대한 그림자 영역을 결정하는 단계 및 결정된 그림자 영역이 포함된 3차원 가상 객체에 대하여 상기 일 측면에 대한 그림자 이미지 데이터를 생성하는 단계를 포함할 수 있다.The generating of the shadow image data may include determining a position of a light source projected onto the 3D virtual object using the date and time, and a straight line between each point of the 3D virtual object at the determined position of the light source It may include determining a shadow area for the 3D virtual object using a distance, and generating shadow image data for the one side of the 3D virtual object including the determined shadow area.

상기와 같은 본 발명에 따른 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치를 이용할 경우에는 가상 공간에서 학습 데이터를 획득함으로써 현실 세계에 존재하는 객체들에 대한 학습 데이터를 생성 및 수집하는 어려움을 획기적으로 줄일 수 있다.In the case of using the method and apparatus for generating learning data for object recognition using the virtual city model according to the present invention as described above, learning data for objects existing in the real world is generated and collected by acquiring learning data in a virtual space. You can drastically reduce the difficulty.

또한, 가상공간에서도 날씨나 그림자와 같은 환경적 요소가 포함된 학습 데이터를 생성할 수 있어 더욱 오류가 작은 객체 인식이 가능한 장점이 있다.In addition, even in a virtual space, learning data including environmental factors such as weather and shadows can be generated, thereby enabling recognition of objects with smaller errors.

또한, 가상공간에서 그림자와 같이 오류 요소로 작용할 수 있는 영역을 포함해 학습 데이터를 생성할 수 있어 오류를 줄이기 위한 수단으로 사용할 수 있는 장점이 있다.In addition, there is an advantage that it can be used as a means to reduce errors since it is possible to generate learning data including areas that can act as error elements such as shadows in a virtual space.

도 1은 본 발명의 일 실시예에 따른 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 가상 도시 모델을 생성하는 방법에 대한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 가상 센서를 적용하는 방법에 대한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 가상 센서를 가상 공간에 배치하는 방법에 대한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법에 대한 대표 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 가상 공간에서 그림자 이미지를 생성하는 방법에 대한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 장치에 대한 구성도이다.1 is a conceptual diagram of a method and apparatus for generating learning data for object recognition using a virtual city model according to an embodiment of the present invention.
2 is a flowchart illustrating a method of generating a virtual city model according to an embodiment of the present invention.
3 is a flowchart of a method of applying a virtual sensor according to an embodiment of the present invention.
4 is an exemplary diagram for a method of arranging a virtual sensor in a virtual space according to an embodiment of the present invention.
5 is a representative flowchart of a method of generating learning data for object recognition using a virtual city model according to an embodiment of the present invention.
6 is a conceptual diagram illustrating a method of generating a shadow image in a virtual space according to an embodiment of the present invention.
7 is a block diagram of an apparatus for generating learning data for object recognition using a virtual city model according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치에 대한 개념도이다.1 is a conceptual diagram of a method and apparatus for generating learning data for object recognition using a virtual city model according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에서 학습 데이터를 생성하는 개념을 확인할 수 있다.Referring to FIG. 1, the concept of generating training data in the present invention can be confirmed.

일반적으로 도시 공간에 위치한 도시 공간 객체(10)에 대한 형상 정보를 학습 데이터로 생성하기 위해서는 각종 센서(11)가 필요하다. 예를 들어 각종 센서(11)에는 카메라, 라이다(Ladar), 센서 내장 드론 등이 포함될 수 있다.In general, various sensors 11 are required to generate shape information on the urban space object 10 located in the urban space as learning data. For example, the various sensors 11 may include a camera, a radar, and a drone with a built-in sensor.

본 발명의 일 실시예에 따르면, 현실 세계의 도시 공간에 위치한 도시 공간 객체(10)들을 가상화하여 3차원 가상 공간(12)에서 각각 구현하고, 구현된 도시 공간 객체(10)들을 모아 3차원 가상 공간에서의 가상 도시 모델을 생성할 수 있다.According to an embodiment of the present invention, urban space objects 10 located in an urban space in the real world are virtualized and implemented in a three-dimensional virtual space 12, respectively, and the implemented urban space objects 10 are collected and a three-dimensional virtual You can create a virtual city model in space.

또한, 가상 도시 모델에 포함된 각종 가상 객체들을 분석, 감지, 인식하여 객체 인식을 위한 학습 데이터로 생성하는 가상 센서(14)를 3차원 가상 공간(12)에서 구현할 수 있다.In addition, a virtual sensor 14 that analyzes, detects, and recognizes various virtual objects included in the virtual city model to generate learning data for object recognition may be implemented in the 3D virtual space 12.

예를 들어, 3차원 가상 공간(12)에 도시 공간에 위치한 실제 건물에 대한 가상 건물(13)을 구현하고, 가상 센서(14)를 이용하여 가상 건물(13)에 대한 형상, 속성들을 감지, 분석함으로써 객체 인식을 위한 학습 데이터를 생성할 수 있다.For example, implementing a virtual building 13 for a real building located in an urban space in a 3D virtual space 12, and detecting the shape and properties of the virtual building 13 using the virtual sensor 14, By analyzing, learning data for object recognition can be generated.

이후에서는 이러한 도시 공간에 위치한 각종 객체들을 가상화하여 가상 도시 모델을 생성하는 과정 및 센서들의 가상화 과정을 통해 학습 데이터를 생성하는 방법을 상세히 설명한다.Hereinafter, a process of generating a virtual city model by virtualizing various objects located in such an urban space and a method of generating learning data through a process of virtualizing sensors will be described in detail.

도 2는 본 발명의 일 실시예에 따른 가상 도시 모델을 생성하는 방법에 대한 흐름도이다.2 is a flowchart illustrating a method of generating a virtual city model according to an embodiment of the present invention.

도 2를 참조하면, 현실 세계에 위치한 도시 공간 객체들을 3차원 가상 공간에 가상화하여 가상 모시 모델을 생성하는 과정을 확인할 수 있다.Referring to FIG. 2, a process of generating a virtual mother model by virtualizing urban space objects located in the real world in a 3D virtual space can be confirmed.

먼저, 현실 세계의 도시 공간에 위치한 각종 도시 공간 객체(예를 들면 건물, 도로, 교량, 지형 등)를 가상화하여 3차원 가상 객체를 획득하고(S10), 획득된 3차원 가상 객체를 모아 가상 도시 모델을 생성할 수 있다(S11). First, a 3D virtual object is obtained by virtualizing various urban space objects (for example, buildings, roads, bridges, terrain, etc.) located in a real-world urban space (S10), and the obtained 3D virtual objects are collected to create a virtual city. A model can be created (S11).

예를 들어, 가상 도시 모델은 항공촬영, MMS(mobile mapping system) 등을 이용하여 얻어진 공간 정보를 3D 모델링하여 획득하거나 BIMs(Building Information Modelings)와 같이 시설물에 대한 디지털 정보 모델을 가공, 결합, 조합하여 획득할 수 있다. 또한, V-WORLD와 같이 미리 구축된 3D 도시 모델 데이터를 그대로 또는 가공하여 가상 도시 모델을 생성할 수도 있다.For example, a virtual city model is obtained by 3D modeling spatial information obtained using aerial photography, MMS (mobile mapping system), or processing, combining, and combining digital information models for facilities such as BIMs (Building Information Modelings). It can be obtained. In addition, a virtual city model may be created by directly or processing 3D city model data constructed in advance such as V-WORLD.

한편, 가상 도시 모델에 대하여 학습 데이터를 생성하기 위해서는 가상 공간 객체들에 대하여 시각적으로 인식 가능한 형상 정보뿐만 아니라 속성 정보를 포함하는 것이 필요하다. 여기서 형상 정보는 실감있게 객체를 표현하기 위해 현실과 같은 스케일을 가지는 점, 선, 면으로 표현되는 3차원 좌표값들(메쉬 모델, 기하 모델 등으로 지칭될 수 있음), 실제 객체에 대하여 촬영한 영상을 기반으로 3차원 좌표값들에 대한 질감을 입히는 텍스쳐를 포함할 수 있다.Meanwhile, in order to generate learning data for a virtual city model, it is necessary to include attribute information as well as shape information visually recognizable for virtual space objects. Here, the shape information refers to three-dimensional coordinate values (which can be referred to as mesh models, geometric models, etc.), which are represented by points, lines, and planes having the same scale as reality, to express objects realistically, and photographed about the actual object. It may include a texture that applies a texture to 3D coordinate values based on the image.

또한, 속성 정보는 도시 공간 객체들에 대한 이름, 규격, 식별기호 등과 같이 외형으로 보이지 않는 각종 정보들을 포함할 수 있다. 여기서 속성 정보는 미리 구축된 상용 공간정보 시스템을 이용하여 획득할 수 있다. 또한, 속성 정보는, 객체 인식을 위한 학습 데이터 생성시에 라벨(label 또는 클래스로도 지칭될 수 있음)을 부여하는 수단으로 활용될 수 있다.In addition, the attribute information may include various types of information that are not visible in appearance, such as names, standards, and identification symbols for urban space objects. Here, the attribute information may be obtained using a commercial spatial information system built in advance. Also, the attribute information may be used as a means for giving a label (which may also be referred to as a label or class) when generating training data for object recognition.

여기서는 도시 공간 객체를 가상화하여 3차원 가상 객체를 획득(S10)한 후 가상 도시 모델을 생성(S11)하는 것으로 서술하였으나, 가상 도시 모델을 일부 정보들로 먼저 생성한 후 생성된 가상 도시 모델에 3차원 가상 객체를 추가하거나 분리하는 방식으로 구현될 수도 있다.Here, it has been described that an urban space object is virtualized to obtain a 3D virtual object (S10) and then a virtual city model is generated (S11), but the virtual city model is first created with some information and then the generated virtual city model is 3 It can also be implemented by adding or separating dimensional virtual objects.

가상 도시 모델을 현실 세계와 최대한 유사하게 생성하기 위해서는 현실 세계에 존재하는 계절, 시간, 그림자, 날씨 등과 같은 환경 정보를 반영하는 것이 필요할 수 있다. 여기서 계절, 시간은 가상 도시 모델에서 태양(또는 가상 공간에서의 광원)의 위치를 설정하기 위한 정보로서 사용될 수 있다. 계절, 시간에 따라 가상 도시 모델에서 태양의 위치가 변동되며, 태양의 위치에 따라 각 개별 3차원 가상 객체들에 그림자, 음영 등을 부여할 수 있다. 즉, 앞선 단계 S11에서 가상 도시 모델이 생성되면, 생성된 가상 도시 모델에 환경 정보를 부여(S12)할 수 있다.In order to create a virtual city model as similar to the real world as possible, it may be necessary to reflect environmental information such as season, time, shadow, and weather existing in the real world. Here, the season and time may be used as information for setting the position of the sun (or a light source in a virtual space) in the virtual city model. The position of the sun in the virtual city model varies according to the season and time, and shadows and shadows can be applied to each individual 3D virtual object according to the position of the sun. That is, when the virtual city model is generated in step S11, environmental information may be given to the generated virtual city model (S12).

단계 S12 이후에, 환경 정보가 부여된 가상 도시 모델을 렌더링할 수 있다(S13). 가상 도시 모델을 화면 상으로 표현하기 위해서는 통상적인 렌더링 파이프라인으로 렌더링될 수도 있고, 이때 렌더링되는 영상의 품질을 높이기 위하여 레이트레이싱 같은 방법이 적용될 수도 있다. After step S12, a virtual city model to which environment information is assigned may be rendered (S13). In order to represent the virtual city model on the screen, it may be rendered using a conventional rendering pipeline, and at this time, a method such as ray tracing may be applied to improve the quality of the rendered image.

도 3은 본 발명의 일 실시예에 따른 가상 센서를 적용하는 방법에 대한 흐름도이다.3 is a flowchart of a method of applying a virtual sensor according to an embodiment of the present invention.

도 3을 참조하면, 가상 공간 상에 있는 3차원 가상 공간 객체에 대한 각종 정보를 수집 및 가공하여 학습 데이터를 생성하기 위한 가상 센서를 생성 및 배치하는 과정을 확인할 수 있다.Referring to FIG. 3, a process of generating and arranging a virtual sensor for generating learning data by collecting and processing various types of information on a 3D virtual space object in a virtual space can be confirmed.

먼저, 카메라, 라이다, 레이저스캐너 등과 같은 각종 센서들을 가상화하여 가상 센서를 획득할 수 있다(S20). 여기서 가상 센서는 현실 세계에서 구현되는 각종 센서들과 마찬가지로 가상 공간에 위치한 3차원 가상 객체의 형상 정보, 속성 정보를 가공하여 객체 인식을 위한 학습 데이터 형태로 만들 수 있다. 따라서, 가상 센서는 3차원 가상 객체의 형상 정보, 속성 정보를 해석하여 특정 위치에서 3차원 가상 객체에 대하여 센싱되는 이미지 등을 생성할 수 있다. 이때, 가상 센서는 현실 세계에서와 마찬가지로 실제 센서의 동작을 반영할 필요가 있다. 예를 들어 카메라의 경우 카메라의 초점 거리, 센서 크기, 화각, 왜곡 정도, 해상도와 같은 각종 파라미터에 따라 다른 촬영 이미지를 얻는다. 따라서, 이러한 실제 센서의 파라미터와 가상 공간에서 동일한 효과를 줄 수 있도록 가상 센서에 대한 파라미터를 설정할 수 있다(S21). First, a virtual sensor may be obtained by virtualizing various sensors such as a camera, a lidar, and a laser scanner (S20). Here, the virtual sensor, like various sensors implemented in the real world, may process shape information and attribute information of a 3D virtual object located in a virtual space to form learning data for object recognition. Accordingly, the virtual sensor may generate an image sensed for the 3D virtual object at a specific location by analyzing shape information and property information of the 3D virtual object. At this time, the virtual sensor needs to reflect the motion of the real sensor, as in the real world. For example, in the case of a camera, different photographed images are obtained according to various parameters such as the camera's focal length, sensor size, angle of view, distortion, and resolution. Therefore, it is possible to set the parameters for the virtual sensor so as to give the same effect in the virtual space as the parameters of the actual sensor (S21).

파라미터가 설정된 가상 센서는 가상 도시 모델의 3차원 공간 좌표 상의 특정 위치에 배치될 수 있다(S22). 여기서 배치한다는 의미는 반드시 가상 공간 상의 특정 위치에 가상 센서를 모델링한다는 의미가 아니라 가상 센서가 가상 공간의 특정 위치에서 보여지는 3차원 가상 객체의 정보들을 얻을 수 있도록 설정한다는 의미일 수 있다.The virtual sensor in which the parameter is set may be disposed at a specific location on the 3D spatial coordinate of the virtual city model (S22). Arranging here does not necessarily mean that the virtual sensor is modeled at a specific location in the virtual space, but may mean that the virtual sensor is set to obtain information on a 3D virtual object viewed at a specific location in the virtual space.

또한, 단계 S20 내지 S22는 반드시 개별적인 단계로 구별되어야 하는 것은 아니고, 가상 공간 상에서의 수학적 모델링을 통해 가상 공간의 특정 위치에서 관찰되는 3차원 가상 객체의 정보를 분석함으로써 3차원 가상 객체의 일 측면에서 바라본 이미지를 생성하는 일련의 연산을 프로그래밍한다는 의미로 해석될 수 있다.In addition, steps S20 to S22 do not necessarily have to be distinguished into individual steps, but through mathematical modeling in the virtual space, information on the 3D virtual object observed at a specific location in the virtual space is analyzed. It can be interpreted to mean programming a series of operations that generate the viewed image.

도 4는 본 발명의 일 실시예에 따른 가상 센서를 가상 공간에 배치하는 방법에 대한 예시도이다.4 is an exemplary diagram for a method of arranging a virtual sensor in a virtual space according to an embodiment of the present invention.

현실 세계에서 학습 데이터를 생성하는 경우와 마찬가지로 가상 공간에 위치한 가상 센서를 가상 공간의 어디에 배치하는지(또는 어느 위치에서 센싱된 결과를 얻을 것인지)에 따라 다른 학습 데이터가 생성될 수 있다.Similar to the case of generating training data in the real world, different training data may be generated depending on where the virtual sensor located in the virtual space is placed in the virtual space (or where the sensed result is obtained).

예를 들어, 도 4를 참조하면, 가상 센서의 위치는, 가상 공간 좌표계에 위치한 가상 건물로부터 이격된 거리(γ), 가상 건물이 위치한 평면 좌표계에서 가상 건물을 바라보는 방향각(α, 0 도 내지 360도 사이의 값), 가상 건물을 바라보는 고도각(가상 건물이 위치한 지표면을 0도로 할 때의 고도각으로 0도 내지 180도 사이의 값)으로 특정될 수 있다. For example, referring to FIG. 4, the location of the virtual sensor is a distance (γ) separated from the virtual building located in the virtual space coordinate system, and the direction angle (α, 0 degrees) of looking at the virtual building in the planar coordinate system where the virtual building is located. To 360 degrees), and an elevation angle at which the virtual building is viewed (a value between 0 degrees and 180 degrees as an elevation angle when the ground surface on which the virtual building is located is 0 degrees).

또한, 단순히 가상 센서의 위치는 가상 공간 좌표계에 따른 공간 좌표값(x,y,z)으로 특정될 수도 있고, (x,y,z)의 공간 좌표값과 (이격거리, 방향각, 고도각)에 따른 위치값은 서로 변환이 가능할 수 있고, 혼용하여 사용될 수도 있다. 여기서 학습 데이터를 생성할 가상 센서의 위치는 관리자(또는 사용자)의 설정에 따라 달리 설정될 수 있다.In addition, the location of the virtual sensor may be simply specified as a spatial coordinate value (x,y,z) according to the virtual space coordinate system, and the spatial coordinate value of (x,y,z) and (separation distance, direction angle, elevation angle) The position values according to) may be converted to each other or may be used interchangeably. Here, the location of the virtual sensor to generate the learning data may be set differently according to the settings of the administrator (or user).

도 5는 본 발명의 일 실시예에 따른 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법에 대한 대표 흐름도이다. 도 6은 본 발명의 일 실시예에 따른 가상 공간에서 그림자 이미지를 생성하는 방법에 대한 개념도이다.5 is a representative flowchart of a method of generating learning data for object recognition using a virtual city model according to an embodiment of the present invention. 6 is a conceptual diagram illustrating a method of generating a shadow image in a virtual space according to an embodiment of the present invention.

도 5를 참조하면, 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법은, 도시 공간 객체들을 가상화하여 가상 도시 모델을 생성하는 단계(S100), 센서를 가상화하여 생성된 가상 센서를 상기 가상 도시 모델에서 소정의 가상 공간 위치에 배치하는 단계(S110), 배치된 가상 센서를 이용하여 상기 가상 도시 모델에 포함된 3차원 가상 객체의 일 측면에 대한 이미지 데이터를 생성하는 단계(S120) 및 생성된 이미지 데이터를 수집하여 객체 인식을 위한 학습 데이터를 생성하는 단계(S130)를 포함할 수 있다.Referring to FIG. 5, in the method of generating training data for object recognition using a virtual city model, the step of generating a virtual city model by virtualizing urban space objects (S100), the virtual sensor generated by virtualizing the sensor Arranging in a predetermined virtual space location in a city model (S110), generating image data for one side of a 3D virtual object included in the virtual city model using the placed virtual sensor (S120) and generation It may include the step (S130) of generating training data for object recognition by collecting the image data.

상기 가상 도시 모델을 생성하는 단계(S100)는, 상기 도시 공간 객체들을 가상화하여, 상기 도시 공간 객체들에 대한 형상 정보 및 속성 정보를 포함할 수 있다.In the step of generating the virtual city model (S100), the city space objects may be virtualized to include shape information and attribute information of the city space objects.

상기 속성 정보는, 상기 도시 공간 객체들에 대한 이름, 규격, 식별 기호 중 적어도 하나를 포함할 수 있다.The attribute information may include at least one of a name, a standard, and an identification symbol for the urban space objects.

상기 학습 데이터를 생성하는 단계(S130)는, 상기 속성 정보를 이용하여 상기 생성된 이미지 데이터에 대한 라벨링(labelling)을 수행하는 단계를 포함할 수 있다.Generating the learning data (S130) may include performing labeling on the generated image data using the attribute information.

상기 소정의 가상 공간 위치는, 상기 3차원 가상 객체와의 거리, 방향각 및 고도각을 포함할 수 있다.The predetermined virtual space location may include a distance to the 3D virtual object, a direction angle, and an elevation angle.

상기 소정의 가상 공간 위치에 배치하는 단계(S110)는, 상기 가상 센서에 대하여 초점 거리, 센서 크기, 화각, 왜곡 정도, 해상도 중 적어도 하나를 포함하는 파라미터를 설정하는 단계를 포함할 수 있다. Arranging in the predetermined virtual space location (S110) may include setting a parameter including at least one of a focal length, a sensor size, a field of view, a degree of distortion, and a resolution for the virtual sensor.

상기 가상 도시 모델을 생성하는 단계는, 날짜, 계절, 시간, 날씨 중 적어도 하나를 포함하는 환경 정보를 상기 가상 도시 모델에 부여하는 단계를 더 포함할 수 있다.The generating of the virtual city model may further include giving environment information including at least one of a date, a season, a time, and a weather to the virtual city model.

한편, 그림자는 현실 세계에 위치한 객체를 인식하기 학습에서 오류 요소로 작용할 수 있다. 따라서 그림자 효과를 배제하거나 그림자를 오류 요소로서 학습하기 위한 수단으로 그림자 이미지를 추가로 생성할 수 있다.Meanwhile, the shadow can act as an error factor in learning to recognize objects located in the real world. Therefore, a shadow image can be additionally generated as a means to exclude the shadow effect or learn the shadow as an error element.

도 6을 참조하면, 그림자 영역을 가상 공간에서 추가로 고려하여 그림자 이미지를 생성하는 과정을 확인할 수 있다.Referring to FIG. 6, a process of generating a shadow image by additionally considering a shadow area in a virtual space can be confirmed.

먼저, 그림자 영역을 가상 공간에서 구현하려면 가상 공간에 광원의 위치를 설정하는 것이 필요할 수 있다. 여기서 광원은 앞서 수집한 환경 정보에 포함된 날씨, 시간을 통해 가상 공간 상의 위치를 특정할 수 있다.First, in order to implement a shadow area in a virtual space, it may be necessary to set the position of the light source in the virtual space. Here, the light source may specify a location in the virtual space through weather and time included in the previously collected environmental information.

광원의 위치가 특정되면, 광원에서 3차원 가상 객체의 각 포인트(예를 들면 P, Q 지점)까지의 직선 거리(각각 Dp, Dq)를 이용하여 그림자가 생길 수 있는 그림지 영역을 결정할 수 있다. 예를 들어, 광원에서 각 포인트까지의 직선 거리가 깊이지도부터 각 포인트까지의 직선 거리(각각 Sp, Sq)보다 크면 3차원 가상 객체의 뒤쪽(광원 기준)에 그림자 영역이 생기는 것으로 결정할 수 있다. When the location of the light source is specified, a shadow area can be determined by using the linear distance (Dp, Dq, respectively) from the light source to each point (eg, P, Q) of the 3D virtual object. . For example, if the linear distance from the light source to each point is greater than the linear distance from the depth map to each point (Sp, Sq, respectively), it may be determined that a shadow area is formed behind the 3D virtual object (based on the light source).

여기서 결정된 그림자 영역을 포함하여 3차원 가상 객체를 렌더링하고, 배치된 가상 센서의 특정 위치에서 바라본 일측면에 대한 이미지 데이터를 생성하면, 그림자 이미지 데이터를 생성할 수 있다.When a 3D virtual object including the determined shadow area is rendered and image data for one side viewed from a specific position of the arranged virtual sensor is generated, shadow image data may be generated.

따라서, 상기 이미지 데이터를 생성하는 단계(S120)는, 상기 환경 정보를 이용하여 상기 3차원 가상 객체의 일 측면에 대한 그림자 이미지 데이터를 생성하는 단계를 더 포함할 수 있다. Accordingly, the step of generating the image data (S120) may further include generating shadow image data for one side of the 3D virtual object using the environment information.

상기 그림자 이미지 데이터를 생성하는 단계는, 상기 날짜 및 상기 시간을 이용하여 상기 3차원 가상 객체에 투사되는 광원의 위치를 결정하는 단계, 결정한 광원의 위치에서 상기 3차원 가상 객체의 각 포인트 사이의 직선 거리를 이용하여 상기 3차원 가상 객체에 대한 그림자 영역을 결정하는 단계 및 결정된 그림자 영역이 포함된 3차원 가상 객체에 대하여 상기 일 측면에 대한 그림자 이미지 데이터를 생성하는 단계를 포함할 수 있다.The generating of the shadow image data may include determining a position of a light source projected onto the 3D virtual object using the date and time, and a straight line between each point of the 3D virtual object at the determined position of the light source It may include determining a shadow area for the 3D virtual object using a distance, and generating shadow image data for the one side of the 3D virtual object including the determined shadow area.

도 7은 본 발명의 일 실시예에 따른 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 장치에 대한 구성도이다.7 is a block diagram of an apparatus for generating learning data for object recognition using a virtual city model according to an embodiment of the present invention.

도 7을 참조하면, 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 장치(100)는, 적어도 하나의 프로세서(processor, 110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 120)를 포함할 수 있다.Referring to FIG. 7, in the apparatus 100 for generating training data for object recognition using a virtual city model, at least one processor 110 and the at least one processor 110 perform at least one step. It may include a memory (memory, 120) for storing instructions (instructions) to instruct.

여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.Here, the at least one processor 110 means a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor in which the methods according to the embodiments of the present invention are performed. I can. Each of the memory 120 and the storage device 160 may be configured with at least one of a volatile storage medium and a nonvolatile storage medium. For example, the memory 120 may be formed of at least one of read only memory (ROM) and random access memory (RAM).

또한, 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 장치(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver, 130)를 포함할 수 있다. 또한, 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.Further, the apparatus 100 for generating training data for object recognition using a virtual city model may include a transceiver 130 for performing communication through a wireless network. In addition, the apparatus 100 for generating training data for object recognition using a virtual city model may further include an input interface device 140, an output interface device 150, and a storage device 160. Each of the components included in the apparatus 100 for generating learning data for object recognition by using the virtual city model may be connected by a bus 170 to communicate with each other.

상기 적어도 하나의 단계는, 도시 공간 객체들을 가상화하여 가상 도시 모델을 생성하는 단계, 센서를 가상화하여 생성된 가상 센서를 상기 가상 도시 모델에서 소정의 가상 공간 위치에 배치하는 단계, 배치된 가상 센서를 이용하여 상기 가상 도시 모델에 포함된 3차원 가상 객체의 일 측면에 대한 이미지 데이터를 생성하는 단계 및 생성된 이미지 데이터를 수집하여 객체 인식을 위한 학습 데이터를 생성하는 단계를 포함할 수 있다.The at least one step may include creating a virtual city model by virtualizing urban space objects, arranging a virtual sensor generated by virtualizing a sensor at a predetermined virtual space location in the virtual city model, and placing the placed virtual sensor And generating image data for one side of the 3D virtual object included in the virtual city model, and generating training data for object recognition by collecting the generated image data.

상기 가상 도시 모델을 생성하는 단계는, 상기 도시 공간 객체들을 가상화하여, 상기 도시 공간 객체들에 대한 형상 정보 및 속성 정보를 포함할 수 있다.The generating of the virtual city model may include the shape information and attribute information of the city space objects by virtualizing the city space objects.

상기 속성 정보는, 상기 도시 공간 객체들에 대한 이름, 규격, 식별 기호 중 적어도 하나를 포함할 수 있다.The attribute information may include at least one of a name, a standard, and an identification symbol for the urban space objects.

상기 학습 데이터를 생성하는 단계는, 상기 속성 정보를 이용하여 상기 생성된 이미지 데이터에 대한 라벨링(labelling)을 수행하는 단계를 포함할 수 있다.Generating the training data may include performing labeling on the generated image data using the attribute information.

상기 소정의 가상 공간 위치는, 상기 3차원 가상 객체와의 거리, 방향각 및 고도각을 포함할 수 있다.The predetermined virtual space location may include a distance to the 3D virtual object, a direction angle, and an elevation angle.

상기 소정의 가상 공간 위치에 배치하는 단계는, 상기 가상 센서에 대하여 초점 거리, 센서 크기, 화각, 왜곡 정도, 해상도 중 적어도 하나를 포함하는 파라미터를 설정하는 단계를 포함할 수 있다. Arranging in the predetermined virtual space location may include setting a parameter including at least one of a focal length, a sensor size, an angle of view, a distortion degree, and a resolution for the virtual sensor.

상기 가상 도시 모델을 생성하는 단계는, 날짜, 계절, 시간, 날씨 중 적어도 하나를 포함하는 환경 정보를 상기 가상 도시 모델에 부여하는 단계를 더 포함할 수 있다.The generating of the virtual city model may further include giving environment information including at least one of a date, a season, a time, and a weather to the virtual city model.

상기 이미지 데이터를 생성하는 단계는, 상기 환경 정보를 이용하여 상기 3차원 가상 객체의 일 측면에 대한 그림자 이미지 데이터를 생성하는 단계를 더 포함할 수 있다. The generating of the image data may further include generating shadow image data for one side of the 3D virtual object using the environment information.

상기 그림자 이미지 데이터를 생성하는 단계는, 상기 날짜 및 상기 시간을 이용하여 상기 3차원 가상 객체에 투사되는 광원의 위치를 결정하는 단계, 결정한 광원의 위치에서 상기 3차원 가상 객체의 각 포인트 사이의 직선 거리를 이용하여 상기 3차원 가상 객체에 대한 그림자 영역을 결정하는 단계 및 결정된 그림자 영역이 포함된 3차원 가상 객체에 대하여 상기 일 측면에 대한 그림자 이미지 데이터를 생성하는 단계를 포함할 수 있다.The generating of the shadow image data may include determining a position of a light source projected onto the 3D virtual object using the date and time, and a straight line between each point of the 3D virtual object at the determined position of the light source It may include determining a shadow area for the 3D virtual object using a distance, and generating shadow image data for the one side of the 3D virtual object including the determined shadow area.

가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 장치(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.Examples of the apparatus 100 for generating learning data for object recognition using a virtual city model include, for example, a communicable desktop computer, a laptop computer, a notebook, a smart phone, Tablet PC, mobile phone, smart watch, smart glass, e-book reader, portable multimedia player (PMP), portable game console, navigation device, digital Digital camera, digital multimedia broadcasting (DMB) player, digital audio recorder, digital audio player, digital video recorder, digital video player, It may be a PDA (Personal Digital Assistant) or the like.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the computer-readable medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable media may include hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those created by a compiler. The above-described hardware device may be configured to operate as at least one software module to perform the operation of the present invention, and vice versa.

또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다. In addition, the above-described method or apparatus may be implemented by combining all or part of its configuration or function, or may be implemented separately.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. You will understand that you can do it.

Claims (1)

가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법으로,
도시 공간 객체들을 가상화하여 가상 도시 모델을 생성하는 단계;
센서를 가상화하여 생성된 가상 센서를 상기 가상 도시 모델에서 소정의 가상 공간 위치에 배치하는 단계;
배치된 가상 센서를 이용하여 상기 가상 도시 모델에 포함된 3차원 가상 객체의 일 측면에 대한 이미지 데이터를 생성하는 단계; 및
생성된 이미지 데이터를 수집하여 객체 인식을 위한 학습 데이터를 생성하는 단계를 포함하는, 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법.A method of generating training data for object recognition using a virtual city model,
Generating a virtual city model by virtualizing urban space objects;
Placing a virtual sensor generated by virtualizing a sensor in a predetermined virtual space location in the virtual city model;
Generating image data for one side of a 3D virtual object included in the virtual city model using the arranged virtual sensor; And
A method of generating training data for object recognition using a virtual city model, comprising the step of collecting the generated image data and generating training data for object recognition.

Images