KR101996167B1 - Apparatus for generating image used for learning of unmanned autonomous vehicle and method thereof - Google Patents
Apparatus for generating image used for learning of unmanned autonomous vehicle and method thereof Download PDFInfo
- Publication number
- KR101996167B1 KR101996167B1 KR1020180018641A KR20180018641A KR101996167B1 KR 101996167 B1 KR101996167 B1 KR 101996167B1 KR 1020180018641 A KR1020180018641 A KR 1020180018641A KR 20180018641 A KR20180018641 A KR 20180018641A KR 101996167 B1 KR101996167 B1 KR 101996167B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- image
- pixels
- sub
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000007786 learning performance Effects 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 238000003708 edge detection Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 이동체의 자율 주행을 위한 신경망 학습에 사용되는 학습용 이미지를 촬영 영상에서 자동으로 도출할 수 있는 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법에 관한 것이다. 특히, 본 발명은 2017년도 동일문화장학재단 학술연구비 지원사업에 의해 특허 출원되는 것이다. The present invention relates to an apparatus and method for generating a learning image for learning an autonomous unmanned moving object and, more particularly, to an apparatus and method for generating a learning image for learning an autonomous unmanned moving object, The present invention relates to an apparatus and method for generating a learning image for learning an autonomous unattended moving object. Particularly, the present invention is a patent application filed by the same cultural scholarship foundation research fund support project in 2017.
자율주행 자동차는 운전자가 자동차를 조작하지 않고 스스로 주행하는 자동차이며 차세대 자동차산업으로 주목받고 있는 기술이다. Autonomous driving cars are vehicles that drivers drive themselves without operating the car, and it is a technology that is attracting attention as a next-generation automobile industry.
자율주행 자동차의 학습을 위한 방법으로 END-To-END 기법이 있다. END-To-END 기법은 자율 주행 자동차에서 촬영한 이미지와 이미지 촬영 시점에 자동차를 제어한 제어 신호를 신경망(CNN; Convolutional Neural Network)을 통해 학습하는 방식이다. There is an END-To-END technique as a method for learning autonomous vehicles. The END-To-END technique is a method of learning images captured by an autonomous vehicle and control signals that control the vehicle at the time of image capture through a CNN (Convolutional Neural Network).
학습이 완료된 이후에는 학습된 CNN을 이용하여 자동차에서 현재 촬영한 이미지에 대응하는 제어 신호를 쉽게 추정할 수 있고 추정한 제어 신호를 이용하여 자동차의 주행을 자율적으로 제어할 수 있게 된다.After the learning is completed, the control signal corresponding to the image photographed in the vehicle can be easily estimated using the learned CNN, and the running of the vehicle can be autonomously controlled using the estimated control signal.
그런데, END-To-END 기법을 통한 자율 주행 학습 시에 고해상도의 이미지를 신경망에 입력하여 학습할 경우 메모리 문제가 발생한다. 여기서, 고해상도의 이미지를 메모리 부담이 없는 작은 사이즈로 축소하여 사용할 수도 있지만, 실제로 특징이 되는 영역까지 축소되어 특징이 왜곡되거나 상쇄될 수 있고 학습이 제대로 이루어지지 못하게 되는 문제점이 있다.However, memory problems arise when inputting a high-resolution image into a neural network during autonomous driving learning using the END-To-END technique. Here, although a high-resolution image can be reduced to a small size without a memory burden, it may be reduced to an actual feature region, thereby distorting or offsetting the feature, and the learning can not be properly performed.
이외에도, 특징이 되는 부분만 이미지에서 추출하여 학습하는 방식이 있으나, 추출 부위를 사람이 직접 결정하기 때문에 추출한 부분이 자율주행 자동차를 주행하는데 필요한 특징이 아닐 수도 있다. 따라서 이미지에서 특징이 되는 부분을 분석하여 특징 영역 만을 자동으로 도출할 수 있는 기법이 요구된다. In addition, there is a method of extracting only the characteristic portion from the image and learning, but since the extraction portion is directly determined by the person, the extracted portion may not be a necessary characteristic for driving the autonomous vehicle. Therefore, there is a need for a technique that can automatically extract only the feature region by analyzing the feature portion of the image.
본 발명의 배경이 되는 기술은 한국공개특허 제2017-0133149호(2017.12.05 공개)에 개시되어 있다.The technology of the background of the present invention is disclosed in Korean Patent Laid-Open Publication No. 2017-0133149 (published on Dec. 21, 2017).
본 발명은, 이동체의 자율 주행을 위한 신경망 학습에 사용되는 학습용 이미지를 이동체의 촬영 영상으로부터 자동으로 도출할 수 있는 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법을 제공하는데 목적이 있다.An object of the present invention is to provide an apparatus and method for generating a learning image for learning an autonomous unmanned moving object capable of automatically deriving a learning image used for learning a neural network for autonomous travel of a moving object from an image of a moving object have.
본 발명은, 학습용 이미지 생성 장치를 이용한 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법에 있어서, 무인 이동체의 이동 중에 촬영된 영상에 대한 복수의 프레임 각각으로부터 도로 또는 차선의 에지 부분을 검출하는 단계와, 상기 프레임 내 복수의 픽셀들 중 상기 에지 부분에 걸린 픽셀들의 좌표를 탐색하고, 상기 복수의 프레임 전체를 기준으로 상기 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출하는 단계, 및 상기 상위 n개의 픽셀들 중 적어도 2개를 이용하여 상기 프레임에서 신경망 학습에 사용되는 적어도 하나의 사각형 영역을 결정하고, 상기 결정된 적어도 하나의 사각형 영역을 리사이징(resizing) 또는 조합하여 설정 규격의 학습용 이미지를 생성하는 단계를 포함하며, 상기 학습용 이미지는 상기 신경망 학습을 위한 입력 데이터로 사용되는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법을 제공한다.There is provided a learning image generating method for learning an autonomous unmanned moving body using a learning image generating apparatus, the method comprising: detecting an edge portion of a road or a lane from each of a plurality of frames of an image photographed during movement of an unmanned moving body; Searching coordinates of pixels hung on the edge portion among a plurality of pixels in the frame and detecting coordinates of upper n pixels having a high frequency of occurrence of the edge portion based on the entirety of the plurality of frames, Determining at least one rectangular area to be used for neural network learning in the frame using at least two of the upper n pixels and resizing or combining the determined at least one rectangular area, Wherein the learning image comprises at least one of a neural network There is provided a method of generating a learning image for learning an autonomous unattended moving object used as input data for humans.
또한, 상기 학습용 이미지를 생성하는 단계는, 상기 상위 n개의 픽셀들 중 상위 2개의 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 하나 결정하고, 결정된 최소 사각형 영역을 상기 설정 규격으로 리사이징하여 상기 학습용 이미지를 생성할 수 있다.The generating of the learning image may include determining a minimum rectangular area covering all the coordinates of the upper two pixels among the upper n pixels, resizing the determined minimum rectangular area into the setting standard, Lt; / RTI >
또한, 상기 학습용 이미지는 기 설정된 규칙에 따라 m개(m은 2 이상의 정수)의 서브 영역으로 구획되며, 상기 학습용 이미지를 생성하는 단계는, 상기 상위 n개의 픽셀들을 순위에 따라 m개의 그룹으로 구분하여 상기 그룹 각각 별로 상기 그룹 내 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 결정하는 단계, 및 결정된 m개의 최소 사각형 영역을 그에 대응하는 m개의 서브 영역의 크기로 개별 리사이징한 다음 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해, 상기 학습용 이미지를 최종 생성하는 단계를 포함할 수 있다.In addition, the learning image is divided into m sub-areas (m is an integer of 2 or more) according to a predetermined rule, and the step of generating the learning image comprises: dividing the upper n pixels into m groups Determining a minimum rectangular area covering all the coordinates of the pixels in the group for each of the groups, and individually resizing the determined m minimum rectangular areas to m sub-areas corresponding thereto, And finally inserting the training image into the box of the training image.
또한, 상기 기 설정된 규칙은, 상기 학습용 이미지를 적어도 한번 2분할하며, 상기 m이 3 이상인 경우 직전에 분할된 서브 영역 중 하나를 다시 2분할하는 규칙을 포함할 수 있다.The preset rule may include dividing the learning image at least once into two, and dividing one of the sub-regions immediately before when m is 3 or more.
또한, 상기 학습용 이미지는 m개(m은 2 이상의 정수)의 균일 크기의 서브 영역으로 구획되며, 상기 학습용 이미지를 생성하는 단계는, 상기 서브 영역과 동일 크기의 m개의 사각형 영역에 대한 상기 프레임 상의 배치 위치를 결정하되, 상기 상위 n개의 픽셀들 중 적어도 1순위의 픽셀을 커버하면서 차순위의 픽셀 중 포함 가능한 적어도 하나의 픽셀을 순차적으로 더 커버하도록 배치되는 제1 사각형 영역의 위치를 결정하고, 이후의 남은 픽셀들을 대상으로 동일한 동작 원리를 반복하여 나머지 m-1개의 제2 내지 제m 사각형 영역의 위치를 결정하는 단계, 및 상기 결정된 m개의 사각형 영역을 그에 대응하는 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해 상기 학습용 이미지를 최종 생성하는 단계를 포함할 수 있다.The learning image may be divided into m sub-areas having a uniform size of m (m is an integer of 2 or more), and the generating of the learning image may include generating sub-sub- Determining a position of a first rectangular area which is arranged to cover at least one pixel of the higher order n pixels while covering at least one pixel of the higher order n pixels, Determining the positions of the remaining m-1 second through m-th rectangular areas by repeating the same operation principle on the remaining pixels of the m remaining sub-areas, And finally creating the learning image through inserting each of the training images.
또한, 상기 에지 부분을 검출하는 단계는, 상기 프레임 내 설정된 소정 관심 영역으로부터 적어도 하나의 관심 색상을 추출하는 단계, 및 상기 프레임 내에서 상기 관심 색상에 대응하는 영역을 도출한 다음 도출한 영역에 대한 에지 부분을 검출하는 단계를 포함할 수 있다.The step of detecting the edge portion may include extracting at least one color of interest from a predetermined region of interest set in the frame and extracting at least one region of interest corresponding to the region of interest, And detecting the edge portion.
그리고, 본 발명은, 무인 이동체의 이동 중에 촬영된 영상에 대한 복수의 프레임 각각으로부터 도로 또는 차선의 에지 부분을 검출하는 에지 검출부와, 상기 프레임 내 복수의 픽셀들 중 상기 에지 부분에 걸린 픽셀들의 좌표를 탐색하고, 상기 복수의 프레임 전체를 기준으로 상기 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출하는 픽셀 검출부, 및 상기 상위 n개의 픽셀들 중 적어도 2개를 이용하여 상기 프레임에서 신경망 학습에 사용되는 적어도 하나의 사각형 영역을 결정하고, 상기 결정된 적어도 하나의 사각형 영역을 리사이징(resizing) 또는 조합하여 설정 규격의 학습용 이미지를 생성하는 이미지 생성부를 포함하며, 상기 학습용 이미지는 상기 신경망 학습을 위한 입력 데이터로 사용되는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치를 제공한다. An edge detecting unit for detecting an edge portion of a road or a lane from each of a plurality of frames for an image photographed during movement of the unmanned moving vehicle; A pixel detector for detecting the coordinates of the top n pixels having a high frequency of occurrence of the edge portion based on the whole of the plurality of frames, And an image generating unit that determines at least one rectangular area to be used for learning and generates a learning image of a set specification by resizing or combining the determined at least one rectangular area, For learning autonomous unmanned mobile objects used as input data for It provides for an image-generating device.
본 발명에 의하면, 이동체의 자율 주행을 위한 신경망 학습에 사용되는 학습용 이미지를 이동체의 촬영 영상으로부터 자동으로 도출할 수 있으며, 영상 내에서 특징이 있는 유의미한 영역만을 도출하여 학습용 이미지로 사용함으로써, 신경망 학습을 위한 데이터량 및 메모리의 부담을 줄이는 동시에 학습 성능을 높일 수 있는 이점이 있다.According to the present invention, it is possible to automatically derive a learning image used for learning a neural network for autonomous travel of a moving object from a moving image of a moving object, and using only a significant region having a characteristic in the image as a learning image, There is an advantage that it is possible to reduce the burden of the data amount and the memory and increase the learning performance.
도 1은 본 발명의 실시예에 따른 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치의 구성을 나타낸 도면이다.
도 2는 도 1을 이용한 학습용 이미지 생성 방법을 설명하는 도면이다.
도 3은 도 2의 S210 단계에 따른 에지 검출 결과를 예시한 도면이다.
도 4는 도 3의 결과를 이용하여 에지 부분에 걸린 빈도가 높은 픽셀들의 좌표를 분석한 결과를 예시한 도면이다.
도 5는 도 1을 통해 생성된 이미지가 신경망 학습기의 입력 데이터로 활용되는 모습을 설명한 도면이다.
도 6 내지 도 8은 도 1의 장치를 이용하여 학습용 이미지를 생성하는 제1 내지 제3 실시예를 나타낸 도면이다. FIG. 1 is a diagram illustrating a configuration of a learning image generating apparatus for learning an autonomous unattended moving object according to an embodiment of the present invention.
Fig. 2 is a diagram for explaining a learning image generating method using Fig. 1. Fig.
3 is a diagram illustrating an edge detection result according to step S210 of FIG.
FIG. 4 is a diagram illustrating a result of analyzing coordinates of pixels having a high frequency at an edge portion using the results of FIG. 3. FIG.
FIG. 5 is a view for explaining how an image generated through FIG. 1 is utilized as input data of a neural network learning device.
6 to 8 are views showing first through third embodiments for generating a learning image using the apparatus of FIG.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.
본 발명은 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법으로, 이동체에서 촬영한 영상 내에서 특징이 있는 유의미한 영역을 자동으로 분석하여 도출하고, 도출한 영역의 이미지를 이동체의 자율 주행 학습을 위한 신경망 학습기의 입력 데이터로 사용함으로써, 학습기의 메모리의 부담을 줄이고 학습 성능을 높일 수 있는 기법을 제안한다.The present invention relates to an apparatus and method for generating a learning image for learning an autonomous unmanned moving object, which automatically analyzes and derives a significant region having a characteristic in an image photographed by a moving object, We propose a method to reduce the memory burden of the learning machine and improve the learning performance by using it as the input data of neural network learning machine for driving learning.
본 발명의 실시예에서, 무인 이동체는 차량, 로봇, 드론, 비행기 등과 같이 자율 주행 또는 무인 이동이 가능한 이동 수단을 포함할 수 있다. 이하에서는 설명의 편의를 위해 이동체는 차량인 것을 예시로 한다.In an embodiment of the present invention, the unmanned vehicle may include a traveling means capable of autonomous traveling or unmanned traveling, such as a vehicle, robot, drones, airplanes, and the like. Hereinafter, for convenience of explanation, it is assumed that the moving object is a vehicle.
도 1은 본 발명의 실시예에 따른 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치의 구성을 나타낸 도면이고, 도 2는 도 1을 이용한 학습용 이미지 생성 방법을 설명하는 도면이다.FIG. 1 is a diagram illustrating a configuration of a learning image generating apparatus for learning an autonomous unattended moving object according to an embodiment of the present invention. FIG. 2 is a diagram for explaining a learning image generating method using FIG.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치(100)는 에지 검출부(110), 픽셀 검출부(120), 이미지 생성부(130)를 포함한다.1 and 2, a learning
먼저, 에지 검출부(110)는 무인 이동체의 이동 중에 촬영된 영상에 대한 복수의 프레임 각각으로부터 도로 또는 차선의 에지(edge) 부분을 검출한다(S210). 여기서 에지 검출은 RGB 색상 기반의 검출 방법을 이용할 수 있다.First, the
도 3은 도 2의 S210 단계에 따른 에지 검출 결과를 예시한 도면이다. 3 is a diagram illustrating an edge detection result according to step S210 of FIG.
도 3의 상단 그림과 같이, 먼저, 에지 검출부(110)는 프레임 내 기 설정된 관심 영역(A)에서 적어도 하나의 관심 색상(ex, 회색, 흰색, 노란색)을 추출한다. 프레임 #1, #2, #L의 경우, 관심 영역(A) 내에서 회색 및 흰색 계열이 관심 색상으로 추출되며, #3의 경우 회색과 노란색 계열이 관심 색상으로 추출된다. 3, first, the
여기서, 프레임에 대한 관심 영역(A)의 위치는 미리 결정될 수도 있고 사용자나 관리자에 의해 수동으로 설정될 수 있다. 또한 관심 영역(A)은 프레임 상의 중심부 영역을 포함하도록 설정될 수 있다. 이는 영상의 중심부에서 주로 도로와 관련도 높은 색상이 검출되는 반면 가장자리부는 도로 특징과는 관련성이 부족한 주변 환경에 의한 색상이 검출될 확률이 높은 이유에서이다.Here, the position of the area of interest A with respect to the frame may be predetermined or manually set by a user or an administrator. Also, the region of interest A may be set to include a central region on the frame. The reason for this is that the color of the edge is mainly detected at the center of the image, while the edge is highly likely to be detected by the surrounding environment which is not related to the road characteristic.
에지 검출부(110)는 관심 색상 추출 이후, 프레임 내에서 관심 색상에 대응하는 영역을 도출하고 도출한 영역에 대한 에지(경계) 부분을 검출한다. 관심 색상에 대응하는 영역은 실질적으로 도로나 차선 영역에 해당할 수 있다. 물론, 영역 도출 과정에서 동일 계열의 색상은 동일한 블록 영역으로 인식할 수 있다. 에지 검출 결과는 도 3의 하단 그림에 표시된 외곽선을 참조한다.After extracting the color of interest, the
이와 같은 방법으로, L개의 프레임 각각마다 도로 및 차선의 에지 부분을 검출할 수 있다. 에지 검출이 완료된 이후, 픽셀 검출부(120)는 프레임 별로 프레임 내 복수의 픽셀들 중에서 에지에 걸린 픽셀들의 좌표를 분석한 다음, L개의 여러 프레임에 걸쳐 에지에 걸린 횟수(빈도)가 많은 픽셀들을 분석하여 빈도가 높은 순서대로 정렬할 수 있다.In this way, the edge portions of roads and lanes can be detected for each of L frames. After the edge detection is completed, the
즉, 픽셀 검출부(120)는 프레임 내 복수의 픽셀들 중 에지 부분에 걸린 픽셀들의 좌표를 탐색하고(S220), 복수의 프레임 전체를 기준으로 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출한다(S230).That is, the
예를 들어, 촬영되는 프레임의 해상도가 1280×720인 경우, 프레임 하나당 921600개 픽셀로 구성된다. 이때, 각각의 프레임에서 에지 부분에 걸린 픽셀의 좌표를 확인하고, 에지에 걸린 횟수를 전체 L개의 프레임에 대해 누적하게 되면, 총 921600개의 픽셀들 중 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 확인할 수 있다.For example, when the resolution of a frame to be photographed is 1280 x 720, it is composed of 921600 pixels per frame. At this time, when the coordinates of the pixel on the edge portion of each frame are checked and the number of times of the edge is accumulated for all L frames, the number of the top n pixels having a high frequency of the edge portion of 921600 pixels You can check the coordinates.
도 4는 도 3의 결과를 이용하여 에지 부분에 걸린 빈도가 높은 픽셀들의 좌표를 분석한 결과를 예시한 도면이다. FIG. 4 is a diagram illustrating a result of analyzing coordinates of pixels having a high frequency at an edge portion using the results of FIG. 3. FIG.
도 4는 도 3의 각 프레임에서 검출된 에지를 한 개의 화면 상에 겹쳐 도시한 것으로, 이는 설명의 편의를 위한 것이다. 프레임의 해상도가 1280×720인 경우, 프레임의 좌측 하단 좌표는 (0,0)이고 우측 상단 좌표는 (1280,720)이 된다.FIG. 4 shows the edges detected in each frame of FIG. 3 in a superimposed manner on one screen, for convenience of explanation. If the resolution of the frame is 1280 x 720, the lower left coordinate of the frame is (0, 0) and the upper right coordinate is (1280, 720).
도 4에 표시한 4개의 좌표점(P1, P2, P3, P4)는 전체 L개의 프레임에 대해 에지에 걸린 빈도가 가장 높은 상위 4개의 픽셀을 예시적으로 나타낸 것이다. 이처럼, 영상 내에서 에지 부분에 걸리는 빈도가 높은 픽셀의 위치는 차량의 주행 중 촬영된 전방 또는 후방 영상 내에서 실제 도로나 차선 부분의 주요 특징을 드러내는 유의미한 위치나 영역을 의미할 수 있다.The four coordinate points P1, P2, P3, and P4 shown in FIG. 4 illustratively show the top four pixels having the highest frequency of the edges for all L frames. As described above, the position of a pixel having a high frequency in an edge of the image may mean a significant position or area that reveals a main feature of an actual road or a lane in a forward or backward image photographed during driving of the vehicle.
또한, 이들 상위 n개의 픽셀을 이용하여 프레임 상에서 유의미한 일부 영역만을 추출하여 자율 주행 학습용 학습기의 입력 이미지로 사용할 경우, 학습기에 입력되는 데이터량 및 연산량, 그리고 메모리 부담을 줄임으로써, 학습기의 성능 및 효율을 동시에 높일 수 있을 것이다.In addition, by using only these significant n pixels and extracting only a significant region of the frame as an input image of the learning apparatus for autonomous driving learning, it is possible to reduce the amount of data and calculation amount input to the learning apparatus, At the same time.
이를 위해, 본 발명의 실시예에서 이미지 생성부(130)는 상위 n개의 픽셀들 중 적어도 2개를 이용하여 프레임에서 적어도 하나의 사각형 영역을 결정한 다음(S240), 결정된 적어도 하나의 사각형 영역을 리사이징(resizing) 또는 조합하여, 설정 규격의 학습용 이미지를 생성한다(S250). For this, in the embodiment of the present invention, the
일반적으로 신경망 학습기에 입력되는 학습용 이미지의 사이즈 규격(A×B)은 실제 차량에서 촬영되는 영상 규격(ex, 1280×720)보다 작기 때문에, 실제 차량이 촬영한 영상을 그대로 사용하여 학습기에 입력하지 않고 영상의 사이즈를 축소하여 리사이징 하는 과정을 수반한다.In general, since the size specification (A x B) of the learning image input to the neural network learning device is smaller than the video standard (ex, 1280 x 720) taken in the actual vehicle, The size of the image is reduced and resizing is carried out.
이후, 이렇게 생성된 학습용 이미지는 이후 제어 신호와 함께 신경망 학습기(10)의 입력 데이터로 활용되어 신경망 학습기(10)에서 데이터 학습이 이루어진다(S260).Thereafter, the generated learning image is used as input data of the neural
도 5는 도 1을 통해 생성된 이미지가 신경망 학습기의 입력 데이터로 활용되는 모습을 설명한 도면이다.FIG. 5 is a view for explaining how an image generated through FIG. 1 is utilized as input data of a neural network learning device.
일반적으로 데이터 학습을 위해서는 차량의 이동(주행) 중에 촬영한 이미지 및 이미지의 촬영 시점에 대응하여 조정된 차량의 제어 신호를 수집하여야 한다. 수집된 이미지 및 제어 신호의 대응 쌍은 모두 신경망 학습에 필요한 데이터 세트에 해당한다. Generally, in order to learn data, a control signal of an adjusted vehicle should be collected in correspondence with a shooting time of an image and an image taken during traveling (running) of the vehicle. The corresponding pairs of collected images and control signals all correspond to the data sets necessary for neural network learning.
다만, 본 발명의 실시예에서 신경망 학습기(10)에 입력되는 이미지는 차량이 촬영한 원본 이미지가 아닌, 이미지 생성부(130)에 의해 새롭게 가공된 이미지에 해당한다. However, in the embodiment of the present invention, the image input to the neural
즉, 신경망 학습기(10)는 가공된 학습용 이미지와 제어 신호를 입력 데이터로 받아 학습하며, 추후 학습된 신경망에 소정 이미지가 입력되면 그에 대응하는 제어 신호를 자동으로 출력함으로써 출력된 제어 신호를 통해 차량을 자율 주행 제어할 수 있다. 이하에서는 학습용 이미지를 생성하는 다양한 실시예를 설명한다.That is, the
도 6은 도 1의 장치를 이용하여 학습용 이미지를 생성하는 제1 실시예를 나타낸 도면이다. 제1 실시예는 n개의 픽셀들 중 상위 4개의 픽셀들의 좌표를 이용하여 학습용 이미지를 생성하는 방법을 나타낸다.FIG. 6 is a diagram illustrating a first embodiment for generating a learning image using the apparatus of FIG. 1; The first embodiment shows a method of generating a learning image using the coordinates of the upper four pixels out of n pixels.
도 6을 참조하면, 이미지 생성부(130)는 n개의 픽셀들 중 프레임에서 상위 4개의 픽셀들(P1, P2, P3, P4)의 좌표를 모두 커버하는 최소 사각형 영역을 하나 결정한다. 즉, 도 6의 점선 표기한 사각형과 같이 4개의 좌표점을 최소한의 사이즈로 커버하기 위한 최소 사각형 영역을 프레임에서 결정한다.Referring to FIG. 6, the
이후, 이미지 생성부(130)는 결정된 최소 사각형 영역을 기 정해진 설정 규격으로 리사이징(rezizing)하여 학습용 이미지를 생성하면 된다. 여기서 물론, 설정 규격이란, 신경망 학습 시에 사용되는 학습용 이미지의 정해진 사이즈 규격(A×B)을 나타낸다. 제1 실시예에서 리사이징은 주로 사이즈 축소를 의미하지만, 경우에 따라 사이즈 확대가 적용될 수도 있다.Then, the
물론, 이미지 생성부(130)는 n개의 픽셀 중 상위 2개의 픽셀들(P1,P2)의 좌표를 커버하는 최소 사각형 영역을 결정하고, 이를 기 정해진 설정 규격으로 리사이징하여 학습용 이미지를 생성할 수도 있다. 이는 최소한 2개의 픽셀만으로도 하나의 사각형 영역을 결정할 수 있기 때문인데, 도 6의 예시의 경우 P1과 P2 지점이 사각형 좌상단 및 우하단 모서리의 내측에 각각 위치하도록 최소 사각형 영역을 설정하면 된다.Of course, the
그런데, 이러한 제1 실시예의 방법은 예를 들어, 상위 4개의 픽셀들의 위치가 모두 프레임의 외곽에 존재하게 되면 최소 사각형 영역은 프레임의 원본 사이즈와 거의 유사해지며, 이 경우 프레임 내에서 특징이 되는 최소한의 영역만을 추출하는 목적을 이룰 수 없게 된다.However, in the method of the first embodiment, for example, if the positions of the upper four pixels are all located at the outer periphery of the frame, the minimum rectangular area becomes almost similar to the original size of the frame. In this case, The objective of extracting only a minimum area can not be achieved.
제2 및 제3 실시예는 제1 실시예를 보완한 것으로, 프레임 내에서 결정된 m개의 사각형 영역을 조합하는 방식으로 학습용 이미지를 생성한다. 물론 제2 및 제3 실시예 역시, 학습용 이미지의 사이즈는 설정 규격(A×B)을 가진다. The second and third embodiments are complementary to the first embodiment and generate a learning image in a manner of combining m square regions determined in a frame. Of course, in the second and third embodiments, the size of the learning image has a setting standard (A x B).
다만, 제2 및 제3 실시예에서 학습용 이미지는 m개(m은 2 이상의 정수)의 서브 영역으로 구획된 것을 전제로 한다. 또한 제2 및 제2 실시예에서, 이미지 생성부(130)는 n개의 픽셀들을 이용하여 결정되는 m개의 사각형 영역을 그에 대응하는 m개의 서브 영역의 칸에 각각 삽입하여 학습용 이미지를 완성한다. However, in the second and third embodiments, it is assumed that the learning image is divided into m sub-areas (m is an integer of 2 or more). In the second and the second embodiments, the
도 7은 도 1을 이용하여 학습용 이미지를 생성하는 제2 실시예를 나타낸 도면이다. FIG. 7 is a diagram showing a second embodiment for generating a learning image using FIG. 1. FIG.
제2 실시예에서, 학습용 이미지는 기 설정된 규칙에 따라 m개(m은 2 이상의 정수)의 서브 영역으로 구획된다. 도 7의 경우, 설명의 편의상 학습용 이미지를 기설정된 규칙을 이용하여 3개의 서브 영역으로 분할한 것을 예시한다.In the second embodiment, the learning image is partitioned into m sub-areas (m is an integer of 2 or more) according to a predetermined rule. In the case of FIG. 7, for the sake of explanation, it is exemplified that the learning image is divided into three sub-regions using predetermined rules.
여기서, 기 설정된 규칙이란, 도 7의 (a)와 같이 학습용 이미지를 균등한 크기의 m개의 영역으로 분할(1/m로 분할)하는 규칙일 수도 있고, 도 7의 (b)와 같이 학습용 이미지를 적어도 한번 2분할 하되, m이 3 이상인 경우 직전에 분할된 서브 영역 중 하나를 다시 2분할하는 규칙일 수도 있다.Here, the predetermined rule may be a rule for dividing the learning image into m regions of equal size (divided by 1 / m) as shown in Fig. 7 (a) May be at least once divided into two, and when m is 3 or more, it may be a rule of dividing one of sub regions immediately before into two again.
제2 실시예에서, 이미지 생성부(130)는 상위 n개의 픽셀들을 순위에 따라 m개의 그룹으로 구분하여, 그룹 각각 별로 그룹 내 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 결정한다. 도 7은 상위 15개의 픽셀들을 순위에 따라 3개의 그룹으로 구분한 예로서, 그룹 각각을 커버하는 3개의 최소 사각형 영역(b1,b2,b3)이 결정된 모습을 확인할 수 있다. In the second embodiment, the
이후, 이미지 생성부(130)는 결정된 m개의 최소 사각형 영역을 그에 대응하는 m개의 서브 영역의 크기로 개별 리사이징한 다음, m개의 서브 영역의 칸에 각각 삽입하는 것을 통해 학습용 이미지를 최종 생성한다.Then, the
즉, 이미지 생성부(130)는 최소 사각형 영역 b1, b2, b3를 각각 그에 대응하는 1,2,3번 서브 영역의 크기로 개별 축소한 후, 1,2,3번 서브 영역의 칸에 각각 삽입하여 학습용 이미지를 생성한다.That is, the
도 7의 (a)의 경우 3개의 서브 영역의 크기가 모두 동일하므로, b1, b2, b3는 모두 동일한 사이즈로 최종 축소된다. 도 7 (b)의 경우 3개의 서브 영역의 크기가 균일하지 않은 경우이며, b1, b2, b3는 각 서브 영역의 크기에 맞게 축소된다.In FIG. 7 (a), since the sizes of the three sub-areas are all the same, b1, b2, and b3 are finally reduced to the same size. In the case of FIG. 7 (b), the sizes of the three sub-areas are not uniform, and b1, b2, and b3 are reduced according to the size of each sub-area.
도 7의 (b)는 m=3인 예로서, 2,3번 서브 영역은 1번 서브 영역의 절반 크기를 가지는 형태이다. 만일 m=4이면 3번 서브 영역이 2분할되면서 3번과 4번 서브 영역으로 분할되므로, 이 경우 2번 서브 영역은 1번 서브 영역의 절반 크기를 가지고, 3번과 4번 서브 영역은 2번 서브 영역의 절반을 가지는 형태가 된다.FIG. 7B shows an example where m = 3, and the second and third sub-areas have a half size of the first sub-area. If m = 4, the third sub-region is divided into 2 and divided into 3 and 4 sub-regions. In this case, the second sub-region has a half size of the first sub-region and the third and fourth sub- Lt; th > sub-area.
도 8은 도 1을 이용하여 학습용 이미지를 생성하는 제3 실시예를 나타낸 도면이다. FIG. 8 is a diagram showing a third embodiment for generating a learning image using FIG. 1. FIG.
제3 실시예에서, 학습용 이미지는 상호 균일한 크기를 가지는 m개(m은 2 이상의 정수)의 서브 영역으로 구획된다. 도 8의 경우, 설명의 편의상 학습용 이미지를 6개의 균일한 서브 영역으로 구획한 것을 예시한다. In the third embodiment, the learning images are partitioned into m sub-areas (m is an integer of 2 or more) having mutually uniform sizes. In the case of Fig. 8, it is exemplified that the learning image is divided into six uniform sub-regions for convenience of explanation.
이러한 제3 실시예는 제2 실시예와는 달리 각각의 사각형 영역을 학습용 이미지 내 해당 칸에 삽입하기 전에 별도의 리사이징 과정이 필요 없다.Unlike the second embodiment, the third embodiment does not require a separate resizing process before inserting each rectangular area into the corresponding box in the learning image.
우선, 이미지 생성부(130)는 m개의 서브 영역과 동일 크기의 m개의 사각형 영역에 대한 프레임 상의 배치 위치를 결정한다. 즉, 이미지 생성부(130)는 도 8과 같이 6개의 서브 영역을 프레임 상에 배치하되, 서브 영역의 실제 사이즈와 상위 n개의 픽셀들의 위치를 이용하여, 6개의 서브 영역의 배치 위치를 결정한다. First, the
이후, 이미지 생성부(130)는 상위 n개의 픽셀들 중 적어도 1순위의 픽셀(p1)을 커버하면서 차순위의 픽셀 중 포함(커버) 가능한 적어도 하나의 픽셀(p1 다음의 픽셀 중 포함 가능한 적어도 하나)을 순차적으로 더 커버하도록 배치되는 제1 사각형 영역의 위치를 결정한다. 이때, 제1 사각형 영역 안에 1순위의 픽셀과 적어도 하나의 차순위의 픽셀이 들어오도록 사각형 영역을 회전하는 과정이 수반됨은 자명하다.Then, the
도 8의 경우, 먼저 p1와 p2를 커버하는 제1 사각형 영역이 결정되며, 결정된 제1 사각형 영역은 추후 학습용 이미지 내의 1번 서브 영역의 칸에 삽입된다. 여기서 물론, p3가 p1 또는 p2와 근접했다면, 제1 사각형 영역은 p3도 추가로 커버할 수도 있다.8, a first rectangular area covering p1 and p2 is determined first, and the determined first rectangular area is inserted into a space of a first sub-area in a future learning image. Here, of course, if p3 is close to p1 or p2, the first rectangular region may cover p3 additionally.
이후부터는 위와 동일한 방식을 사용하여 나머지 m-1개(5개)의 제2 내지 제m 사각형 영역이 결정된다. 즉, 이미지 생성부(130)는 이후의 남은 픽셀들(p3 이하)을 대상으로 동일한 동작 원리를 반복하여 나머지 m-1개의 사각형 영역의 위치를 결정한다.Thereafter, the remaining m-1 (5) second to mth rectangular areas are determined using the same method as above. That is, the
그런데, 도 8의 예시에서 p4는 p3로부터 많이 이격되어 있으며, 이 경우 p3를 기준으로 사각형 영역을 어떠한 방향으로 회전시켜도 p4가 영역 내에 포함되기는 어렵다. 따라서, 제2 사각형 영역의 결정 시에는 p4를 패스하고 p3와 함께 p5, p6를 커버하도록 제2 사각형 영역을 배치한다. 결정된 제2 사각형 영역은 학습용 이미지의 2번 서브 영역에 삽입된다.In the example of FIG. 8, p4 is much spaced apart from p3. In this case, it is difficult for p4 to be included in the area even if the rectangular area is rotated in any direction with reference to p3. Therefore, when determining the second rectangular area, the second rectangular area is arranged so as to pass p4 and cover p5 and p6 together with p3. The determined second rectangular area is inserted in the second sub-area of the learning image.
제3 사각형 영역은 p7, p8을 커버하도록 배치되고, 제4 사각형 영역은 p9, p10을 커버하도록 배치된다. 결정된 제3 및 제4 사각형 영역은 추후 학습용 이미지의 3번 및 4번 서브 영역에 각각 삽입된다.The third rectangular area is arranged to cover p7 and p8, and the fourth rectangular area is arranged to cover p9 and p10. The determined third and fourth rectangular regions are respectively inserted into the third and fourth sub-regions of the learning image.
제5 사각형 영역의 경우 앞서 위치상 커버되지 못한 p4와 함께 p11, p12, p13을 커버하도록 배치되고, 제6 사각형 영역은 p14, p15를 커버하도록 배치된다. 결정된 제5 및 제6 사각형 영역은 학습용 이미지의 5번 및 6번 서브 영역에 각각 삽입된다.In the case of the fifth rectangular area, p1, p12 and p13 are arranged so as to cover p1, p12 and p13 which are not previously covered in position, and the sixth rectangular area is arranged to cover p14 and p15. The determined fifth and sixth rectangular regions are respectively inserted into the fifth and sixth subareas of the learning image.
이처럼, 제3 실시예에서 이미지 생성부(130)는 결정된 m개의 사각형 영역을 그에 대응하는 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해 학습용 이미지를 최종 생성한다.As described above, in the third embodiment, the
이러한 본 발명의 실시예의 경우, 자율 무인 이동체를 자율 주행하기 위한 신경망 학습용 입력 데이터를 생성할 수 있으며, 이미지에 대해 End-To-End 기법이 적용되는 분야에서 특징 부분을 추출하는데 효과적으로 사용될 수 있다.In this embodiment of the present invention, input data for neural network learning for autonomous autonomous navigation of an autonomous unmanned mobile object can be generated, and can be effectively used for extracting a feature portion in an application to which an end-to-end technique is applied to an image.
이상과 같은 본 발명에 따르면, 이동체의 자율 주행을 위한 신경망 학습에 사용되는 학습용 이미지를 이동체의 촬영 영상으로부터 자동으로 도출할 수 있으며, 영상 내에서 특징이 있는 유의미한 영역만을 최소한의 사이즈로 도출하여 학습용 이미지로 사용함으로써, 신경망 학습을 위한 데이터량 및 메모리의 부담을 줄이는 동시에 학습 성능을 높일 수 있는 이점이 있다.According to the present invention as described above, it is possible to automatically derive a learning image used for learning a neural network for autonomous travel of a moving object from a moving image of a moving object, extract only a significant region having a characteristic in the image to a minimum size, As an image, there is an advantage that it is possible to reduce the data amount and memory burden for neural network learning, and to improve the learning performance.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100: 학습용 이미지 생성 장치 110: 에지 검출부
120: 픽셀 검출부 130: 이미지 생성부100: learning image generation device 110: edge detection part
120: Pixel detection unit 130:
Claims (12)
무인 이동체의 이동 중에 촬영된 영상에 대한 복수의 프레임 각각으로부터 도로 또는 차선의 에지 부분을 검출하는 단계;
상기 프레임 내 복수의 픽셀들 중 상기 에지 부분에 걸린 픽셀들의 좌표를 탐색하고, 상기 복수의 프레임 전체를 기준으로 상기 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출하는 단계; 및
상기 상위 n개의 픽셀들 중 적어도 2개를 이용하여 상기 프레임에서 신경망 학습에 사용되는 적어도 하나의 사각형 영역을 결정하고, 상기 결정된 적어도 하나의 사각형 영역을 리사이징(resizing) 또는 조합하여 설정 규격의 학습용 이미지를 생성하는 단계를 포함하며,
상기 학습용 이미지는 상기 신경망 학습을 위한 입력 데이터로 사용되는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법. A learning image generating method for learning an autonomous unattended moving object using a learning image generating apparatus,
Detecting an edge portion of a road or a lane from each of a plurality of frames for an image photographed during movement of the unmanned vehicle;
Searching coordinates of pixels caught in the edge portion among a plurality of pixels in the frame and detecting coordinates of the top n pixels having a high frequency of occurrence in the edge portion based on the entirety of the plurality of frames; And
Determining at least one rectangular area to be used for neural network learning in the frame by using at least two of the upper n pixels and resizing or combining the determined at least one rectangular area, And generating,
Wherein the learning image is used as input data for learning the neural network.
상기 학습용 이미지를 생성하는 단계는,
상기 n개의 픽셀들 중 상위 2개의 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 하나 결정하고, 결정된 최소 사각형 영역을 상기 설정 규격으로 리사이징하여 상기 학습용 이미지를 생성하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법. The method according to claim 1,
Wherein the generating the learning image comprises:
A training image for learning an autonomous unmanned moving body for determining one minimum rectangular area covering all the coordinates of the upper two pixels among the n pixels and generating the learning image by resizing the determined minimum rectangular area to the setting standard Generation method.
상기 학습용 이미지는 기 설정된 규칙에 따라 m개(m은 2 이상의 정수)의 서브 영역으로 구획되며,
상기 학습용 이미지를 생성하는 단계는,
상기 상위 n개의 픽셀들을 순위에 따라 m개의 그룹으로 구분하여 상기 그룹 각각 별로 상기 그룹 내 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 결정하는 단계; 및
결정된 m개의 최소 사각형 영역을 그에 대응하는 m개의 서브 영역의 크기로 개별 리사이징한 다음 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해, 상기 학습용 이미지를 최종 생성하는 단계를 포함하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법. The method according to claim 1,
The learning image is divided into m sub-areas (m is an integer of 2 or more) according to a preset rule,
Wherein the generating the learning image comprises:
Dividing the upper n pixels into m groups according to a ranking and determining a minimum rectangular area covering all the coordinates of pixels in the group for each of the groups; And
And finally generating the learning image by individually resizing the m minimum rectangular areas determined to correspond to the sizes of the m subareas and inserting them into the cells of the m subareas respectively Learning image generation method for learning.
상기 기 설정된 규칙은,
상기 학습용 이미지를 적어도 한번 2분할하며, 상기 m이 3 이상인 경우 직전에 분할된 서브 영역 중 하나를 다시 2분할하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법. The method of claim 3,
The pre-
Dividing the learning image at least once into two, and dividing one of the sub-areas immediately before when the m is equal to or greater than 3, into two halves.
상기 학습용 이미지는 m개(m은 2 이상의 정수)의 균일 크기의 서브 영역으로 구획되며,
상기 학습용 이미지를 생성하는 단계는,
상기 서브 영역과 동일 크기의 m개의 사각형 영역에 대한 상기 프레임 상의 배치 위치를 결정하되, 상기 상위 n개의 픽셀들 중 적어도 1순위의 픽셀을 커버하면서 차순위의 픽셀 중 포함 가능한 적어도 하나의 픽셀을 순차적으로 더 커버하도록 배치되는 제1 사각형 영역의 위치를 결정하고, 이후의 남은 픽셀들을 대상으로 동일한 동작 원리를 반복하여 나머지 m-1개의 제2 내지 제m 사각형 영역의 위치를 결정하는 단계; 및
상기 결정된 m개의 사각형 영역을 그에 대응하는 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해 상기 학습용 이미지를 최종 생성하는 단계를 포함하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법.The method according to claim 1,
The learning image is divided into m sub-areas having m uniform size (m is an integer of 2 or more)
Wherein the generating the learning image comprises:
Determining at least one of m pixels arranged in the sub-area as a sub-area on the frame, arranging at least one pixel among the sub-pixels, Determining a position of a first rectangular area arranged to cover the remaining pixels and repeating the same operation principle with respect to remaining remaining pixels to determine positions of remaining m-1 second through mth rectangular areas; And
And finally generating the learning image by inserting the determined m square areas into the corresponding m sub-area squares respectively.
상기 에지 부분을 검출하는 단계는,
상기 프레임 내 설정된 소정 관심 영역으로부터 적어도 하나의 관심 색상을 추출하는 단계; 및
상기 프레임 내에서 상기 관심 색상에 대응하는 영역을 도출한 다음 도출한 영역에 대한 에지 부분을 검출하는 단계를 포함하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법.The method according to claim 1,
Wherein the step of detecting the edge portion comprises:
Extracting at least one color of interest from a predetermined region of interest within the frame; And
And deriving an area corresponding to the color of interest in the frame, and detecting an edge part of the derived area.
상기 프레임 내 복수의 픽셀들 중 상기 에지 부분에 걸린 픽셀들의 좌표를 탐색하고, 상기 복수의 프레임 전체를 기준으로 상기 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출하는 픽셀 검출부; 및
상기 상위 n개의 픽셀들 중 적어도 2개를 이용하여 상기 프레임에서 신경망 학습에 사용되는 적어도 하나의 사각형 영역을 결정하고, 상기 결정된 적어도 하나의 사각형 영역을 리사이징(resizing) 또는 조합하여 설정 규격의 학습용 이미지를 생성하는 이미지 생성부를 포함하며,
상기 학습용 이미지는 상기 신경망 학습을 위한 입력 데이터로 사용되는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치. An edge detector for detecting an edge portion of a road or a lane from each of a plurality of frames for an image photographed during movement of the unmanned moving body;
A pixel detecting unit for searching coordinates of pixels hung on the edge portion among a plurality of pixels in the frame and detecting coordinates of the top n pixels having a high frequency of occurrence of the edge portion based on the entirety of the plurality of frames; And
Determining at least one rectangular area to be used for neural network learning in the frame by using at least two of the upper n pixels and resizing or combining the determined at least one rectangular area, And an image generating unit for generating an image,
Wherein the learning image is used as input data for learning the neural network.
상기 이미지 생성부는,
상기 상위 n개의 픽셀들 중 상위 2개의 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 하나 결정하고, 결정된 최소 사각형 영역을 상기 설정 규격으로 리사이징하여 상기 학습용 이미지를 생성하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치. The method of claim 7,
The image generation unit may include:
Learning for learning an autonomous unmanned moving body that determines one minimum rectangular area covering all the coordinates of the upper two pixels among the upper n pixels and generates the learning image by resizing the determined minimum rectangular area to the setting standard Image generating device.
상기 학습용 이미지는 기 설정된 규칙에 따라 m개(m은 2 이상의 정수)의 서브 영역으로 구획되며,
상기 이미지 생성부는,
상기 상위 n개의 픽셀들을 순위에 따라 m개의 그룹으로 구분하여 상기 그룹 각각 별로 상기 그룹 내 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 결정한 다음,
결정된 m개의 최소 사각형 영역을 그에 대응하는 m개의 서브 영역의 크기로 개별 리사이징한 다음 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해, 상기 학습용 이미지를 최종 생성하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치. The method of claim 7,
The learning image is divided into m sub-areas (m is an integer of 2 or more) according to a preset rule,
The image generation unit may include:
And dividing the upper n pixels into m groups according to a rank, determining a minimum rectangular area covering all the coordinates of pixels in the group for each of the groups,
And a learning unit for learning the autonomous unmanned moving body which finally generates the learning image by individually resizing the m minimum rectangular areas determined to correspond to the sizes of the m sub areas and then inserting them into the cells of the m sub areas respectively Image generating device.
상기 기 설정된 규칙은,
상기 학습용 이미지를 적어도 한번 2분할하며, 상기 m이 3 이상인 경우 직전에 분할된 서브 영역 중 하나를 다시 2분할하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치. The method of claim 9,
The pre-
Wherein the learning image is divided at least once into two, and when m is equal to or more than 3, the autonomous unattended mobile body learns an autonomous unattended mobile body that divides one of the divided sub regions immediately before into two.
상기 학습용 이미지는 m개(m은 2 이상의 정수)의 균일 크기의 서브 영역으로 구획되며,
상기 이미지 생성부는,
상기 서브 영역과 동일 크기의 m개의 사각형 영역에 대한 상기 프레임 상의 배치 위치를 결정하되, 상기 상위 n개의 픽셀들 중 적어도 1순위의 픽셀을 커버하면서 차순위의 픽셀 중 포함 가능한 적어도 하나의 픽셀을 순차적으로 더 커버하도록 배치되는 제1 사각형 영역의 위치를 결정하고, 이후의 남은 픽셀들을 대상으로 동일한 동작 원리를 반복하여 나머지 m-1개의 제2 내지 제m 사각형 영역의 위치를 결정한 다음,
상기 결정된 m개의 사각형 영역을 그에 대응하는 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해 상기 학습용 이미지를 최종 생성하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치. The method of claim 7,
The learning image is divided into m sub-areas having m uniform size (m is an integer of 2 or more)
The image generation unit may include:
Determining at least one of m pixels arranged in the sub-area as a sub-area on the frame, arranging at least one pixel among the sub-pixels, And determines the positions of the remaining m-1 second through mth rectangular areas by repeating the same operation principle with respect to the remaining remaining pixels,
And finally inserting the determined m square regions into the corresponding cells of the m subareas, thereby learning the autonomous unmanned moving object.
상기 에지 검출부는,
상기 프레임 내 설정된 소정 관심 영역으로부터 적어도 하나의 관심 색상을 추출한 다음, 상기 프레임 내에서 상기 관심 색상에 대응하는 영역을 도출하고, 도출한 영역에 대한 에지 부분을 검출하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치.The method of claim 7,
Wherein the edge detecting unit comprises:
Learning for learning an autonomous unmanned moving body that extracts at least one color of interest from a predetermined region of interest set in the frame and then derives an area corresponding to the color of interest in the frame and detects an edge portion for the derived region Image generating device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180018641A KR101996167B1 (en) | 2018-02-14 | 2018-02-14 | Apparatus for generating image used for learning of unmanned autonomous vehicle and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180018641A KR101996167B1 (en) | 2018-02-14 | 2018-02-14 | Apparatus for generating image used for learning of unmanned autonomous vehicle and method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101996167B1 true KR101996167B1 (en) | 2019-07-03 |
Family
ID=67258674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180018641A KR101996167B1 (en) | 2018-02-14 | 2018-02-14 | Apparatus for generating image used for learning of unmanned autonomous vehicle and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101996167B1 (en) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| KR102520218B1 (en) | 2021-10-21 | 2023-04-10 | 동의대학교 산학협력단 | System and Method for improving hardware usage in control server using artificial intelligence image processing |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200173957Y1 (en) * | 1994-11-30 | 2000-03-02 | 이해규 | Constant speed keeping system using a neural network |
| KR20170133149A (en) * | 2016-05-25 | 2017-12-05 | 주식회사 만도 | Autonomy driving method and system based on road learning |
-
2018
- 2018-02-14 KR KR1020180018641A patent/KR101996167B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200173957Y1 (en) * | 1994-11-30 | 2000-03-02 | 이해규 | Constant speed keeping system using a neural network |
| KR20170133149A (en) * | 2016-05-25 | 2017-12-05 | 주식회사 만도 | Autonomy driving method and system based on road learning |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US12020476B2 (en) | 2017-03-23 | 2024-06-25 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11797304B2 (en) | 2018-02-01 | 2023-10-24 | Tesla, Inc. | Instruction set architecture for a vector computational unit |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11983630B2 (en) | 2018-09-03 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| KR102520218B1 (en) | 2021-10-21 | 2023-04-10 | 동의대학교 산학협력단 | System and Method for improving hardware usage in control server using artificial intelligence image processing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101996167B1 (en) | Apparatus for generating image used for learning of unmanned autonomous vehicle and method thereof | |
| KR102003015B1 (en) | Creating an intermediate view using an optical flow | |
| WO2020052678A1 (en) | Method and system for generating synthetic point cloud data using a generative model | |
| CN114365200A (en) | Structural annotation | |
| CN107368890A (en) | A kind of road condition analyzing method and system based on deep learning centered on vision | |
| Broggi | A massively parallel approach to real-time vision-based road markings detection | |
| CN108068817A (en) | A kind of automatic lane change device and method of pilotless automobile | |
| KR102052833B1 (en) | Apparatus and method for vehicle speed detection using image tracking | |
| KR102051032B1 (en) | Object detection apparatus and controlling method thereof | |
| CN112036210A (en) | Method and device for detecting obstacle, storage medium and mobile robot | |
| CN110956069A (en) | Pedestrian 3D position detection method and device and vehicle-mounted terminal | |
| KR102225753B1 (en) | Deep learning-based panorama image quality evaluation method and device | |
| US9558410B2 (en) | Road environment recognizing apparatus | |
| KR102309705B1 (en) | Learning method, learning device for detecting lanes on the basis of cnn and testing method, testing device using the same | |
| Ostankovich et al. | Application of cyclegan-based augmentation for autonomous driving at night | |
| JP2020061139A (en) | Learning method of cnn for monitoring blind spots, testing method, learning device, and testing device | |
| KR102248654B1 (en) | Cart-path recognition apparatus for autonomous driving of cart in golf cource and method thereof | |
| KR20200016627A (en) | Device and method to estimate ego motion | |
| CN117789159A (en) | Object detection device, object detection method, and storage medium | |
| CN112906450A (en) | Vehicle, system and method for determining an entry of an occupancy map in the vicinity of the vehicle | |
| JP6841553B2 (en) | Imaging device | |
| US11721030B2 (en) | Method of autonomous hierarchical multi-drone image capturing | |
| JP2019087166A (en) | Apparatus, method, and program for detecting boundary included in captured image | |
| CN113196746A (en) | Transferring additional information between camera systems | |
| CN111461318B (en) | Neural network operation method using grid generator and device using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |