KR101996167B1 - 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법 - Google Patents

자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법 Download PDF

Info

Publication number
KR101996167B1
KR101996167B1 KR1020180018641A KR20180018641A KR101996167B1 KR 101996167 B1 KR101996167 B1 KR 101996167B1 KR 1020180018641 A KR1020180018641 A KR 1020180018641A KR 20180018641 A KR20180018641 A KR 20180018641A KR 101996167 B1 KR101996167 B1 KR 101996167B1
Authority
KR
South Korea
Prior art keywords
learning
image
pixels
sub
generating
Prior art date
Application number
KR1020180018641A
Other languages
English (en)
Inventor
성연식
곽정훈
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020180018641A priority Critical patent/KR101996167B1/ko
Application granted granted Critical
Publication of KR101996167B1 publication Critical patent/KR101996167B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 무인 이동체의 이동 중에 촬영된 영상에 대한 복수의 프레임 각각으로부터 도로 또는 차선의 에지 부분을 검출하는 단계와, 상기 프레임 내 복수의 픽셀들 중 상기 에지 부분에 걸린 픽셀들의 좌표를 탐색하고, 상기 복수의 프레임 전체를 기준으로 상기 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출하는 단계, 및 상기 n개의 픽셀들 중 적어도 2개를 이용하여 상기 프레임에서 신경망 학습에 사용되는 적어도 하나의 사각형 영역을 결정하고, 상기 결정된 적어도 하나의 사각형 영역을 리사이징 또는 조합하여 설정 규격의 학습용 이미지를 생성하는 단계를 포함하며, 상기 학습용 이미지는 상기 신경망 학습을 위한 입력 데이터로 사용되는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법을 제공한다.
본 발명에 의하면, 이동체의 자율 주행을 위한 신경망 학습에 사용되는 학습용 이미지를 이동체의 촬영 영상으로부터 자동으로 도출할 수 있으며, 영상에서 특징이 있는 유의미한 영역만을 도출하여 학습용 이미지로 사용함으로써, 신경망 학습을 위한 데이터량 및 메모리의 부담을 줄이는 동시에 학습 성능을 높일 수 있는 이점이 있다.

Description

자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법{Apparatus for generating image used for learning of unmanned autonomous vehicle and method thereof}
본 발명은 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 이동체의 자율 주행을 위한 신경망 학습에 사용되는 학습용 이미지를 촬영 영상에서 자동으로 도출할 수 있는 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법에 관한 것이다. 특히, 본 발명은 2017년도 동일문화장학재단 학술연구비 지원사업에 의해 특허 출원되는 것이다.
자율주행 자동차는 운전자가 자동차를 조작하지 않고 스스로 주행하는 자동차이며 차세대 자동차산업으로 주목받고 있는 기술이다.
자율주행 자동차의 학습을 위한 방법으로 END-To-END 기법이 있다. END-To-END 기법은 자율 주행 자동차에서 촬영한 이미지와 이미지 촬영 시점에 자동차를 제어한 제어 신호를 신경망(CNN; Convolutional Neural Network)을 통해 학습하는 방식이다.
학습이 완료된 이후에는 학습된 CNN을 이용하여 자동차에서 현재 촬영한 이미지에 대응하는 제어 신호를 쉽게 추정할 수 있고 추정한 제어 신호를 이용하여 자동차의 주행을 자율적으로 제어할 수 있게 된다.
그런데, END-To-END 기법을 통한 자율 주행 학습 시에 고해상도의 이미지를 신경망에 입력하여 학습할 경우 메모리 문제가 발생한다. 여기서, 고해상도의 이미지를 메모리 부담이 없는 작은 사이즈로 축소하여 사용할 수도 있지만, 실제로 특징이 되는 영역까지 축소되어 특징이 왜곡되거나 상쇄될 수 있고 학습이 제대로 이루어지지 못하게 되는 문제점이 있다.
이외에도, 특징이 되는 부분만 이미지에서 추출하여 학습하는 방식이 있으나, 추출 부위를 사람이 직접 결정하기 때문에 추출한 부분이 자율주행 자동차를 주행하는데 필요한 특징이 아닐 수도 있다. 따라서 이미지에서 특징이 되는 부분을 분석하여 특징 영역 만을 자동으로 도출할 수 있는 기법이 요구된다.
본 발명의 배경이 되는 기술은 한국공개특허 제2017-0133149호(2017.12.05 공개)에 개시되어 있다.
본 발명은, 이동체의 자율 주행을 위한 신경망 학습에 사용되는 학습용 이미지를 이동체의 촬영 영상으로부터 자동으로 도출할 수 있는 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 학습용 이미지 생성 장치를 이용한 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법에 있어서, 무인 이동체의 이동 중에 촬영된 영상에 대한 복수의 프레임 각각으로부터 도로 또는 차선의 에지 부분을 검출하는 단계와, 상기 프레임 내 복수의 픽셀들 중 상기 에지 부분에 걸린 픽셀들의 좌표를 탐색하고, 상기 복수의 프레임 전체를 기준으로 상기 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출하는 단계, 및 상기 상위 n개의 픽셀들 중 적어도 2개를 이용하여 상기 프레임에서 신경망 학습에 사용되는 적어도 하나의 사각형 영역을 결정하고, 상기 결정된 적어도 하나의 사각형 영역을 리사이징(resizing) 또는 조합하여 설정 규격의 학습용 이미지를 생성하는 단계를 포함하며, 상기 학습용 이미지는 상기 신경망 학습을 위한 입력 데이터로 사용되는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법을 제공한다.
또한, 상기 학습용 이미지를 생성하는 단계는, 상기 상위 n개의 픽셀들 중 상위 2개의 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 하나 결정하고, 결정된 최소 사각형 영역을 상기 설정 규격으로 리사이징하여 상기 학습용 이미지를 생성할 수 있다.
또한, 상기 학습용 이미지는 기 설정된 규칙에 따라 m개(m은 2 이상의 정수)의 서브 영역으로 구획되며, 상기 학습용 이미지를 생성하는 단계는, 상기 상위 n개의 픽셀들을 순위에 따라 m개의 그룹으로 구분하여 상기 그룹 각각 별로 상기 그룹 내 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 결정하는 단계, 및 결정된 m개의 최소 사각형 영역을 그에 대응하는 m개의 서브 영역의 크기로 개별 리사이징한 다음 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해, 상기 학습용 이미지를 최종 생성하는 단계를 포함할 수 있다.
또한, 상기 기 설정된 규칙은, 상기 학습용 이미지를 적어도 한번 2분할하며, 상기 m이 3 이상인 경우 직전에 분할된 서브 영역 중 하나를 다시 2분할하는 규칙을 포함할 수 있다.
또한, 상기 학습용 이미지는 m개(m은 2 이상의 정수)의 균일 크기의 서브 영역으로 구획되며, 상기 학습용 이미지를 생성하는 단계는, 상기 서브 영역과 동일 크기의 m개의 사각형 영역에 대한 상기 프레임 상의 배치 위치를 결정하되, 상기 상위 n개의 픽셀들 중 적어도 1순위의 픽셀을 커버하면서 차순위의 픽셀 중 포함 가능한 적어도 하나의 픽셀을 순차적으로 더 커버하도록 배치되는 제1 사각형 영역의 위치를 결정하고, 이후의 남은 픽셀들을 대상으로 동일한 동작 원리를 반복하여 나머지 m-1개의 제2 내지 제m 사각형 영역의 위치를 결정하는 단계, 및 상기 결정된 m개의 사각형 영역을 그에 대응하는 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해 상기 학습용 이미지를 최종 생성하는 단계를 포함할 수 있다.
또한, 상기 에지 부분을 검출하는 단계는, 상기 프레임 내 설정된 소정 관심 영역으로부터 적어도 하나의 관심 색상을 추출하는 단계, 및 상기 프레임 내에서 상기 관심 색상에 대응하는 영역을 도출한 다음 도출한 영역에 대한 에지 부분을 검출하는 단계를 포함할 수 있다.
그리고, 본 발명은, 무인 이동체의 이동 중에 촬영된 영상에 대한 복수의 프레임 각각으로부터 도로 또는 차선의 에지 부분을 검출하는 에지 검출부와, 상기 프레임 내 복수의 픽셀들 중 상기 에지 부분에 걸린 픽셀들의 좌표를 탐색하고, 상기 복수의 프레임 전체를 기준으로 상기 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출하는 픽셀 검출부, 및 상기 상위 n개의 픽셀들 중 적어도 2개를 이용하여 상기 프레임에서 신경망 학습에 사용되는 적어도 하나의 사각형 영역을 결정하고, 상기 결정된 적어도 하나의 사각형 영역을 리사이징(resizing) 또는 조합하여 설정 규격의 학습용 이미지를 생성하는 이미지 생성부를 포함하며, 상기 학습용 이미지는 상기 신경망 학습을 위한 입력 데이터로 사용되는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치를 제공한다.
본 발명에 의하면, 이동체의 자율 주행을 위한 신경망 학습에 사용되는 학습용 이미지를 이동체의 촬영 영상으로부터 자동으로 도출할 수 있으며, 영상 내에서 특징이 있는 유의미한 영역만을 도출하여 학습용 이미지로 사용함으로써, 신경망 학습을 위한 데이터량 및 메모리의 부담을 줄이는 동시에 학습 성능을 높일 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치의 구성을 나타낸 도면이다.
도 2는 도 1을 이용한 학습용 이미지 생성 방법을 설명하는 도면이다.
도 3은 도 2의 S210 단계에 따른 에지 검출 결과를 예시한 도면이다.
도 4는 도 3의 결과를 이용하여 에지 부분에 걸린 빈도가 높은 픽셀들의 좌표를 분석한 결과를 예시한 도면이다.
도 5는 도 1을 통해 생성된 이미지가 신경망 학습기의 입력 데이터로 활용되는 모습을 설명한 도면이다.
도 6 내지 도 8은 도 1의 장치를 이용하여 학습용 이미지를 생성하는 제1 내지 제3 실시예를 나타낸 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
본 발명은 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법으로, 이동체에서 촬영한 영상 내에서 특징이 있는 유의미한 영역을 자동으로 분석하여 도출하고, 도출한 영역의 이미지를 이동체의 자율 주행 학습을 위한 신경망 학습기의 입력 데이터로 사용함으로써, 학습기의 메모리의 부담을 줄이고 학습 성능을 높일 수 있는 기법을 제안한다.
본 발명의 실시예에서, 무인 이동체는 차량, 로봇, 드론, 비행기 등과 같이 자율 주행 또는 무인 이동이 가능한 이동 수단을 포함할 수 있다. 이하에서는 설명의 편의를 위해 이동체는 차량인 것을 예시로 한다.
도 1은 본 발명의 실시예에 따른 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치의 구성을 나타낸 도면이고, 도 2는 도 1을 이용한 학습용 이미지 생성 방법을 설명하는 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치(100)는 에지 검출부(110), 픽셀 검출부(120), 이미지 생성부(130)를 포함한다.
먼저, 에지 검출부(110)는 무인 이동체의 이동 중에 촬영된 영상에 대한 복수의 프레임 각각으로부터 도로 또는 차선의 에지(edge) 부분을 검출한다(S210). 여기서 에지 검출은 RGB 색상 기반의 검출 방법을 이용할 수 있다.
도 3은 도 2의 S210 단계에 따른 에지 검출 결과를 예시한 도면이다.
도 3의 상단 그림과 같이, 먼저, 에지 검출부(110)는 프레임 내 기 설정된 관심 영역(A)에서 적어도 하나의 관심 색상(ex, 회색, 흰색, 노란색)을 추출한다. 프레임 #1, #2, #L의 경우, 관심 영역(A) 내에서 회색 및 흰색 계열이 관심 색상으로 추출되며, #3의 경우 회색과 노란색 계열이 관심 색상으로 추출된다.
여기서, 프레임에 대한 관심 영역(A)의 위치는 미리 결정될 수도 있고 사용자나 관리자에 의해 수동으로 설정될 수 있다. 또한 관심 영역(A)은 프레임 상의 중심부 영역을 포함하도록 설정될 수 있다. 이는 영상의 중심부에서 주로 도로와 관련도 높은 색상이 검출되는 반면 가장자리부는 도로 특징과는 관련성이 부족한 주변 환경에 의한 색상이 검출될 확률이 높은 이유에서이다.
에지 검출부(110)는 관심 색상 추출 이후, 프레임 내에서 관심 색상에 대응하는 영역을 도출하고 도출한 영역에 대한 에지(경계) 부분을 검출한다. 관심 색상에 대응하는 영역은 실질적으로 도로나 차선 영역에 해당할 수 있다. 물론, 영역 도출 과정에서 동일 계열의 색상은 동일한 블록 영역으로 인식할 수 있다. 에지 검출 결과는 도 3의 하단 그림에 표시된 외곽선을 참조한다.
이와 같은 방법으로, L개의 프레임 각각마다 도로 및 차선의 에지 부분을 검출할 수 있다. 에지 검출이 완료된 이후, 픽셀 검출부(120)는 프레임 별로 프레임 내 복수의 픽셀들 중에서 에지에 걸린 픽셀들의 좌표를 분석한 다음, L개의 여러 프레임에 걸쳐 에지에 걸린 횟수(빈도)가 많은 픽셀들을 분석하여 빈도가 높은 순서대로 정렬할 수 있다.
즉, 픽셀 검출부(120)는 프레임 내 복수의 픽셀들 중 에지 부분에 걸린 픽셀들의 좌표를 탐색하고(S220), 복수의 프레임 전체를 기준으로 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출한다(S230).
예를 들어, 촬영되는 프레임의 해상도가 1280×720인 경우, 프레임 하나당 921600개 픽셀로 구성된다. 이때, 각각의 프레임에서 에지 부분에 걸린 픽셀의 좌표를 확인하고, 에지에 걸린 횟수를 전체 L개의 프레임에 대해 누적하게 되면, 총 921600개의 픽셀들 중 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 확인할 수 있다.
도 4는 도 3의 결과를 이용하여 에지 부분에 걸린 빈도가 높은 픽셀들의 좌표를 분석한 결과를 예시한 도면이다.
도 4는 도 3의 각 프레임에서 검출된 에지를 한 개의 화면 상에 겹쳐 도시한 것으로, 이는 설명의 편의를 위한 것이다. 프레임의 해상도가 1280×720인 경우, 프레임의 좌측 하단 좌표는 (0,0)이고 우측 상단 좌표는 (1280,720)이 된다.
도 4에 표시한 4개의 좌표점(P1, P2, P3, P4)는 전체 L개의 프레임에 대해 에지에 걸린 빈도가 가장 높은 상위 4개의 픽셀을 예시적으로 나타낸 것이다. 이처럼, 영상 내에서 에지 부분에 걸리는 빈도가 높은 픽셀의 위치는 차량의 주행 중 촬영된 전방 또는 후방 영상 내에서 실제 도로나 차선 부분의 주요 특징을 드러내는 유의미한 위치나 영역을 의미할 수 있다.
또한, 이들 상위 n개의 픽셀을 이용하여 프레임 상에서 유의미한 일부 영역만을 추출하여 자율 주행 학습용 학습기의 입력 이미지로 사용할 경우, 학습기에 입력되는 데이터량 및 연산량, 그리고 메모리 부담을 줄임으로써, 학습기의 성능 및 효율을 동시에 높일 수 있을 것이다.
이를 위해, 본 발명의 실시예에서 이미지 생성부(130)는 상위 n개의 픽셀들 중 적어도 2개를 이용하여 프레임에서 적어도 하나의 사각형 영역을 결정한 다음(S240), 결정된 적어도 하나의 사각형 영역을 리사이징(resizing) 또는 조합하여, 설정 규격의 학습용 이미지를 생성한다(S250).
일반적으로 신경망 학습기에 입력되는 학습용 이미지의 사이즈 규격(A×B)은 실제 차량에서 촬영되는 영상 규격(ex, 1280×720)보다 작기 때문에, 실제 차량이 촬영한 영상을 그대로 사용하여 학습기에 입력하지 않고 영상의 사이즈를 축소하여 리사이징 하는 과정을 수반한다.
이후, 이렇게 생성된 학습용 이미지는 이후 제어 신호와 함께 신경망 학습기(10)의 입력 데이터로 활용되어 신경망 학습기(10)에서 데이터 학습이 이루어진다(S260).
도 5는 도 1을 통해 생성된 이미지가 신경망 학습기의 입력 데이터로 활용되는 모습을 설명한 도면이다.
일반적으로 데이터 학습을 위해서는 차량의 이동(주행) 중에 촬영한 이미지 및 이미지의 촬영 시점에 대응하여 조정된 차량의 제어 신호를 수집하여야 한다. 수집된 이미지 및 제어 신호의 대응 쌍은 모두 신경망 학습에 필요한 데이터 세트에 해당한다.
다만, 본 발명의 실시예에서 신경망 학습기(10)에 입력되는 이미지는 차량이 촬영한 원본 이미지가 아닌, 이미지 생성부(130)에 의해 새롭게 가공된 이미지에 해당한다.
즉, 신경망 학습기(10)는 가공된 학습용 이미지와 제어 신호를 입력 데이터로 받아 학습하며, 추후 학습된 신경망에 소정 이미지가 입력되면 그에 대응하는 제어 신호를 자동으로 출력함으로써 출력된 제어 신호를 통해 차량을 자율 주행 제어할 수 있다. 이하에서는 학습용 이미지를 생성하는 다양한 실시예를 설명한다.
도 6은 도 1의 장치를 이용하여 학습용 이미지를 생성하는 제1 실시예를 나타낸 도면이다. 제1 실시예는 n개의 픽셀들 중 상위 4개의 픽셀들의 좌표를 이용하여 학습용 이미지를 생성하는 방법을 나타낸다.
도 6을 참조하면, 이미지 생성부(130)는 n개의 픽셀들 중 프레임에서 상위 4개의 픽셀들(P1, P2, P3, P4)의 좌표를 모두 커버하는 최소 사각형 영역을 하나 결정한다. 즉, 도 6의 점선 표기한 사각형과 같이 4개의 좌표점을 최소한의 사이즈로 커버하기 위한 최소 사각형 영역을 프레임에서 결정한다.
이후, 이미지 생성부(130)는 결정된 최소 사각형 영역을 기 정해진 설정 규격으로 리사이징(rezizing)하여 학습용 이미지를 생성하면 된다. 여기서 물론, 설정 규격이란, 신경망 학습 시에 사용되는 학습용 이미지의 정해진 사이즈 규격(A×B)을 나타낸다. 제1 실시예에서 리사이징은 주로 사이즈 축소를 의미하지만, 경우에 따라 사이즈 확대가 적용될 수도 있다.
물론, 이미지 생성부(130)는 n개의 픽셀 중 상위 2개의 픽셀들(P1,P2)의 좌표를 커버하는 최소 사각형 영역을 결정하고, 이를 기 정해진 설정 규격으로 리사이징하여 학습용 이미지를 생성할 수도 있다. 이는 최소한 2개의 픽셀만으로도 하나의 사각형 영역을 결정할 수 있기 때문인데, 도 6의 예시의 경우 P1과 P2 지점이 사각형 좌상단 및 우하단 모서리의 내측에 각각 위치하도록 최소 사각형 영역을 설정하면 된다.
그런데, 이러한 제1 실시예의 방법은 예를 들어, 상위 4개의 픽셀들의 위치가 모두 프레임의 외곽에 존재하게 되면 최소 사각형 영역은 프레임의 원본 사이즈와 거의 유사해지며, 이 경우 프레임 내에서 특징이 되는 최소한의 영역만을 추출하는 목적을 이룰 수 없게 된다.
제2 및 제3 실시예는 제1 실시예를 보완한 것으로, 프레임 내에서 결정된 m개의 사각형 영역을 조합하는 방식으로 학습용 이미지를 생성한다. 물론 제2 및 제3 실시예 역시, 학습용 이미지의 사이즈는 설정 규격(A×B)을 가진다.
다만, 제2 및 제3 실시예에서 학습용 이미지는 m개(m은 2 이상의 정수)의 서브 영역으로 구획된 것을 전제로 한다. 또한 제2 및 제2 실시예에서, 이미지 생성부(130)는 n개의 픽셀들을 이용하여 결정되는 m개의 사각형 영역을 그에 대응하는 m개의 서브 영역의 칸에 각각 삽입하여 학습용 이미지를 완성한다.
도 7은 도 1을 이용하여 학습용 이미지를 생성하는 제2 실시예를 나타낸 도면이다.
제2 실시예에서, 학습용 이미지는 기 설정된 규칙에 따라 m개(m은 2 이상의 정수)의 서브 영역으로 구획된다. 도 7의 경우, 설명의 편의상 학습용 이미지를 기설정된 규칙을 이용하여 3개의 서브 영역으로 분할한 것을 예시한다.
여기서, 기 설정된 규칙이란, 도 7의 (a)와 같이 학습용 이미지를 균등한 크기의 m개의 영역으로 분할(1/m로 분할)하는 규칙일 수도 있고, 도 7의 (b)와 같이 학습용 이미지를 적어도 한번 2분할 하되, m이 3 이상인 경우 직전에 분할된 서브 영역 중 하나를 다시 2분할하는 규칙일 수도 있다.
제2 실시예에서, 이미지 생성부(130)는 상위 n개의 픽셀들을 순위에 따라 m개의 그룹으로 구분하여, 그룹 각각 별로 그룹 내 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 결정한다. 도 7은 상위 15개의 픽셀들을 순위에 따라 3개의 그룹으로 구분한 예로서, 그룹 각각을 커버하는 3개의 최소 사각형 영역(b1,b2,b3)이 결정된 모습을 확인할 수 있다.
이후, 이미지 생성부(130)는 결정된 m개의 최소 사각형 영역을 그에 대응하는 m개의 서브 영역의 크기로 개별 리사이징한 다음, m개의 서브 영역의 칸에 각각 삽입하는 것을 통해 학습용 이미지를 최종 생성한다.
즉, 이미지 생성부(130)는 최소 사각형 영역 b1, b2, b3를 각각 그에 대응하는 1,2,3번 서브 영역의 크기로 개별 축소한 후, 1,2,3번 서브 영역의 칸에 각각 삽입하여 학습용 이미지를 생성한다.
도 7의 (a)의 경우 3개의 서브 영역의 크기가 모두 동일하므로, b1, b2, b3는 모두 동일한 사이즈로 최종 축소된다. 도 7 (b)의 경우 3개의 서브 영역의 크기가 균일하지 않은 경우이며, b1, b2, b3는 각 서브 영역의 크기에 맞게 축소된다.
도 7의 (b)는 m=3인 예로서, 2,3번 서브 영역은 1번 서브 영역의 절반 크기를 가지는 형태이다. 만일 m=4이면 3번 서브 영역이 2분할되면서 3번과 4번 서브 영역으로 분할되므로, 이 경우 2번 서브 영역은 1번 서브 영역의 절반 크기를 가지고, 3번과 4번 서브 영역은 2번 서브 영역의 절반을 가지는 형태가 된다.
도 8은 도 1을 이용하여 학습용 이미지를 생성하는 제3 실시예를 나타낸 도면이다.
제3 실시예에서, 학습용 이미지는 상호 균일한 크기를 가지는 m개(m은 2 이상의 정수)의 서브 영역으로 구획된다. 도 8의 경우, 설명의 편의상 학습용 이미지를 6개의 균일한 서브 영역으로 구획한 것을 예시한다.
이러한 제3 실시예는 제2 실시예와는 달리 각각의 사각형 영역을 학습용 이미지 내 해당 칸에 삽입하기 전에 별도의 리사이징 과정이 필요 없다.
우선, 이미지 생성부(130)는 m개의 서브 영역과 동일 크기의 m개의 사각형 영역에 대한 프레임 상의 배치 위치를 결정한다. 즉, 이미지 생성부(130)는 도 8과 같이 6개의 서브 영역을 프레임 상에 배치하되, 서브 영역의 실제 사이즈와 상위 n개의 픽셀들의 위치를 이용하여, 6개의 서브 영역의 배치 위치를 결정한다.
이후, 이미지 생성부(130)는 상위 n개의 픽셀들 중 적어도 1순위의 픽셀(p1)을 커버하면서 차순위의 픽셀 중 포함(커버) 가능한 적어도 하나의 픽셀(p1 다음의 픽셀 중 포함 가능한 적어도 하나)을 순차적으로 더 커버하도록 배치되는 제1 사각형 영역의 위치를 결정한다. 이때, 제1 사각형 영역 안에 1순위의 픽셀과 적어도 하나의 차순위의 픽셀이 들어오도록 사각형 영역을 회전하는 과정이 수반됨은 자명하다.
도 8의 경우, 먼저 p1와 p2를 커버하는 제1 사각형 영역이 결정되며, 결정된 제1 사각형 영역은 추후 학습용 이미지 내의 1번 서브 영역의 칸에 삽입된다. 여기서 물론, p3가 p1 또는 p2와 근접했다면, 제1 사각형 영역은 p3도 추가로 커버할 수도 있다.
이후부터는 위와 동일한 방식을 사용하여 나머지 m-1개(5개)의 제2 내지 제m 사각형 영역이 결정된다. 즉, 이미지 생성부(130)는 이후의 남은 픽셀들(p3 이하)을 대상으로 동일한 동작 원리를 반복하여 나머지 m-1개의 사각형 영역의 위치를 결정한다.
그런데, 도 8의 예시에서 p4는 p3로부터 많이 이격되어 있으며, 이 경우 p3를 기준으로 사각형 영역을 어떠한 방향으로 회전시켜도 p4가 영역 내에 포함되기는 어렵다. 따라서, 제2 사각형 영역의 결정 시에는 p4를 패스하고 p3와 함께 p5, p6를 커버하도록 제2 사각형 영역을 배치한다. 결정된 제2 사각형 영역은 학습용 이미지의 2번 서브 영역에 삽입된다.
제3 사각형 영역은 p7, p8을 커버하도록 배치되고, 제4 사각형 영역은 p9, p10을 커버하도록 배치된다. 결정된 제3 및 제4 사각형 영역은 추후 학습용 이미지의 3번 및 4번 서브 영역에 각각 삽입된다.
제5 사각형 영역의 경우 앞서 위치상 커버되지 못한 p4와 함께 p11, p12, p13을 커버하도록 배치되고, 제6 사각형 영역은 p14, p15를 커버하도록 배치된다. 결정된 제5 및 제6 사각형 영역은 학습용 이미지의 5번 및 6번 서브 영역에 각각 삽입된다.
이처럼, 제3 실시예에서 이미지 생성부(130)는 결정된 m개의 사각형 영역을 그에 대응하는 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해 학습용 이미지를 최종 생성한다.
이러한 본 발명의 실시예의 경우, 자율 무인 이동체를 자율 주행하기 위한 신경망 학습용 입력 데이터를 생성할 수 있으며, 이미지에 대해 End-To-End 기법이 적용되는 분야에서 특징 부분을 추출하는데 효과적으로 사용될 수 있다.
이상과 같은 본 발명에 따르면, 이동체의 자율 주행을 위한 신경망 학습에 사용되는 학습용 이미지를 이동체의 촬영 영상으로부터 자동으로 도출할 수 있으며, 영상 내에서 특징이 있는 유의미한 영역만을 최소한의 사이즈로 도출하여 학습용 이미지로 사용함으로써, 신경망 학습을 위한 데이터량 및 메모리의 부담을 줄이는 동시에 학습 성능을 높일 수 있는 이점이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 학습용 이미지 생성 장치 110: 에지 검출부
120: 픽셀 검출부 130: 이미지 생성부

Claims (12)

  1. 학습용 이미지 생성 장치를 이용한 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법에 있어서,
    무인 이동체의 이동 중에 촬영된 영상에 대한 복수의 프레임 각각으로부터 도로 또는 차선의 에지 부분을 검출하는 단계;
    상기 프레임 내 복수의 픽셀들 중 상기 에지 부분에 걸린 픽셀들의 좌표를 탐색하고, 상기 복수의 프레임 전체를 기준으로 상기 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출하는 단계; 및
    상기 상위 n개의 픽셀들 중 적어도 2개를 이용하여 상기 프레임에서 신경망 학습에 사용되는 적어도 하나의 사각형 영역을 결정하고, 상기 결정된 적어도 하나의 사각형 영역을 리사이징(resizing) 또는 조합하여 설정 규격의 학습용 이미지를 생성하는 단계를 포함하며,
    상기 학습용 이미지는 상기 신경망 학습을 위한 입력 데이터로 사용되는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법.
  2. 청구항 1에 있어서,
    상기 학습용 이미지를 생성하는 단계는,
    상기 n개의 픽셀들 중 상위 2개의 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 하나 결정하고, 결정된 최소 사각형 영역을 상기 설정 규격으로 리사이징하여 상기 학습용 이미지를 생성하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법.
  3. 청구항 1에 있어서,
    상기 학습용 이미지는 기 설정된 규칙에 따라 m개(m은 2 이상의 정수)의 서브 영역으로 구획되며,
    상기 학습용 이미지를 생성하는 단계는,
    상기 상위 n개의 픽셀들을 순위에 따라 m개의 그룹으로 구분하여 상기 그룹 각각 별로 상기 그룹 내 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 결정하는 단계; 및
    결정된 m개의 최소 사각형 영역을 그에 대응하는 m개의 서브 영역의 크기로 개별 리사이징한 다음 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해, 상기 학습용 이미지를 최종 생성하는 단계를 포함하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법.
  4. 청구항 3에 있어서,
    상기 기 설정된 규칙은,
    상기 학습용 이미지를 적어도 한번 2분할하며, 상기 m이 3 이상인 경우 직전에 분할된 서브 영역 중 하나를 다시 2분할하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법.
  5. 청구항 1에 있어서,
    상기 학습용 이미지는 m개(m은 2 이상의 정수)의 균일 크기의 서브 영역으로 구획되며,
    상기 학습용 이미지를 생성하는 단계는,
    상기 서브 영역과 동일 크기의 m개의 사각형 영역에 대한 상기 프레임 상의 배치 위치를 결정하되, 상기 상위 n개의 픽셀들 중 적어도 1순위의 픽셀을 커버하면서 차순위의 픽셀 중 포함 가능한 적어도 하나의 픽셀을 순차적으로 더 커버하도록 배치되는 제1 사각형 영역의 위치를 결정하고, 이후의 남은 픽셀들을 대상으로 동일한 동작 원리를 반복하여 나머지 m-1개의 제2 내지 제m 사각형 영역의 위치를 결정하는 단계; 및
    상기 결정된 m개의 사각형 영역을 그에 대응하는 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해 상기 학습용 이미지를 최종 생성하는 단계를 포함하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법.
  6. 청구항 1에 있어서,
    상기 에지 부분을 검출하는 단계는,
    상기 프레임 내 설정된 소정 관심 영역으로부터 적어도 하나의 관심 색상을 추출하는 단계; 및
    상기 프레임 내에서 상기 관심 색상에 대응하는 영역을 도출한 다음 도출한 영역에 대한 에지 부분을 검출하는 단계를 포함하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 방법.
  7. 무인 이동체의 이동 중에 촬영된 영상에 대한 복수의 프레임 각각으로부터 도로 또는 차선의 에지 부분을 검출하는 에지 검출부;
    상기 프레임 내 복수의 픽셀들 중 상기 에지 부분에 걸린 픽셀들의 좌표를 탐색하고, 상기 복수의 프레임 전체를 기준으로 상기 에지 부분에 걸린 빈도가 높은 상위 n개의 픽셀들의 좌표를 검출하는 픽셀 검출부; 및
    상기 상위 n개의 픽셀들 중 적어도 2개를 이용하여 상기 프레임에서 신경망 학습에 사용되는 적어도 하나의 사각형 영역을 결정하고, 상기 결정된 적어도 하나의 사각형 영역을 리사이징(resizing) 또는 조합하여 설정 규격의 학습용 이미지를 생성하는 이미지 생성부를 포함하며,
    상기 학습용 이미지는 상기 신경망 학습을 위한 입력 데이터로 사용되는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치.
  8. 청구항 7에 있어서,
    상기 이미지 생성부는,
    상기 상위 n개의 픽셀들 중 상위 2개의 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 하나 결정하고, 결정된 최소 사각형 영역을 상기 설정 규격으로 리사이징하여 상기 학습용 이미지를 생성하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치.
  9. 청구항 7에 있어서,
    상기 학습용 이미지는 기 설정된 규칙에 따라 m개(m은 2 이상의 정수)의 서브 영역으로 구획되며,
    상기 이미지 생성부는,
    상기 상위 n개의 픽셀들을 순위에 따라 m개의 그룹으로 구분하여 상기 그룹 각각 별로 상기 그룹 내 픽셀들의 좌표를 모두 커버하는 최소 사각형 영역을 결정한 다음,
    결정된 m개의 최소 사각형 영역을 그에 대응하는 m개의 서브 영역의 크기로 개별 리사이징한 다음 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해, 상기 학습용 이미지를 최종 생성하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치.
  10. 청구항 9에 있어서,
    상기 기 설정된 규칙은,
    상기 학습용 이미지를 적어도 한번 2분할하며, 상기 m이 3 이상인 경우 직전에 분할된 서브 영역 중 하나를 다시 2분할하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치.
  11. 청구항 7에 있어서,
    상기 학습용 이미지는 m개(m은 2 이상의 정수)의 균일 크기의 서브 영역으로 구획되며,
    상기 이미지 생성부는,
    상기 서브 영역과 동일 크기의 m개의 사각형 영역에 대한 상기 프레임 상의 배치 위치를 결정하되, 상기 상위 n개의 픽셀들 중 적어도 1순위의 픽셀을 커버하면서 차순위의 픽셀 중 포함 가능한 적어도 하나의 픽셀을 순차적으로 더 커버하도록 배치되는 제1 사각형 영역의 위치를 결정하고, 이후의 남은 픽셀들을 대상으로 동일한 동작 원리를 반복하여 나머지 m-1개의 제2 내지 제m 사각형 영역의 위치를 결정한 다음,
    상기 결정된 m개의 사각형 영역을 그에 대응하는 상기 m개의 서브 영역의 칸에 각각 삽입하는 것을 통해 상기 학습용 이미지를 최종 생성하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치.
  12. 청구항 7에 있어서,
    상기 에지 검출부는,
    상기 프레임 내 설정된 소정 관심 영역으로부터 적어도 하나의 관심 색상을 추출한 다음, 상기 프레임 내에서 상기 관심 색상에 대응하는 영역을 도출하고, 도출한 영역에 대한 에지 부분을 검출하는 자율 무인 이동체를 학습하기 위한 학습용 이미지 생성 장치.
KR1020180018641A 2018-02-14 2018-02-14 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법 KR101996167B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180018641A KR101996167B1 (ko) 2018-02-14 2018-02-14 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180018641A KR101996167B1 (ko) 2018-02-14 2018-02-14 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101996167B1 true KR101996167B1 (ko) 2019-07-03

Family

ID=67258674

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180018641A KR101996167B1 (ko) 2018-02-14 2018-02-14 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101996167B1 (ko)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
KR102520218B1 (ko) 2021-10-21 2023-04-10 동의대학교 산학협력단 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200173957Y1 (ko) * 1994-11-30 2000-03-02 이해규 신경망회로를 이용한 주행거리 자동유지시스템
KR20170133149A (ko) * 2016-05-25 2017-12-05 주식회사 만도 주행 학습 기반 자율 주행 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200173957Y1 (ko) * 1994-11-30 2000-03-02 이해규 신경망회로를 이용한 주행거리 자동유지시스템
KR20170133149A (ko) * 2016-05-25 2017-12-05 주식회사 만도 주행 학습 기반 자율 주행 시스템 및 방법

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
KR102520218B1 (ko) 2021-10-21 2023-04-10 동의대학교 산학협력단 인공지능형 영상처리를 수행하는 관제 서버에서의 하드웨어 사용을 개선하기 위한 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR101996167B1 (ko) 자율 무인 이동체를 학습하기 위한 학습용 이미지를 생성하는 장치 및 그 방법
KR102003015B1 (ko) 광류를 사용한 중간 뷰의 생성
WO2020052678A1 (en) Method and system for generating synthetic point cloud data using a generative model
CN107368890A (zh) 一种以视觉为中心的基于深度学习的路况分析方法及***
Broggi A massively parallel approach to real-time vision-based road markings detection
CN114365200A (zh) 结构注释
JP4157620B2 (ja) 移動物体検出装置及びその方法
CN108068817A (zh) 一种无人驾驶汽车自动变道装置及方法
KR102051032B1 (ko) 객체 탐지 장치 및 제어 방법
KR102052833B1 (ko) 영상 추적을 이용한 차량 속도 검출 장치 및 방법
CN112036210A (zh) 一种检测障碍物的方法、装置、存储介质和移动机器人
JP2020061140A (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
KR102225753B1 (ko) 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치
US9558410B2 (en) Road environment recognizing apparatus
KR102309705B1 (ko) Cnn 기반 차선 검출을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
Ostankovich et al. Application of cyclegan-based augmentation for autonomous driving at night
JP2020061139A (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
KR102248654B1 (ko) 골프장 내 카트의 자율주행을 위한 카트길 인식 장치 및 방법
KR20200016627A (ko) 자체 운동 추정 방법 및 장치
CN117789159A (zh) 物体检知装置、物体检知方法及存储介质
CN112906450A (zh) 确定车辆附近的占用地图的条目的车辆、***和方法
JP6841553B2 (ja) 撮像装置
JP6918425B2 (ja) 撮影画像に含まれる境界線を検出するための装置、方法、及びプログラム
US11721030B2 (en) Method of autonomous hierarchical multi-drone image capturing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant