KR20240052467A - 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법 - Google Patents
딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법 Download PDFInfo
- Publication number
- KR20240052467A KR20240052467A KR1020220132548A KR20220132548A KR20240052467A KR 20240052467 A KR20240052467 A KR 20240052467A KR 1020220132548 A KR1020220132548 A KR 1020220132548A KR 20220132548 A KR20220132548 A KR 20220132548A KR 20240052467 A KR20240052467 A KR 20240052467A
- Authority
- KR
- South Korea
- Prior art keywords
- background image
- virtual object
- camera
- tracking
- displayed
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000012360 testing method Methods 0.000 title claims description 21
- 230000033001 locomotion Effects 0.000 claims abstract description 35
- 230000004044 response Effects 0.000 claims abstract description 35
- 230000000694 effects Effects 0.000 claims abstract description 22
- 230000008859 change Effects 0.000 claims description 16
- 239000012636 effector Substances 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 14
- 238000012790 confirmation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
Abstract
실시예는 컴퓨팅 장치에 설치된 시뮬레이터 프로그램을 실행하여 실제 환경에 위치한 배경 영상 촬영 카메라로부터 수신한 배경 영상을 선택하고, 상기 배경 영상에 표시할 가상 객체를 선택하고, 상기 가상 객체의 크기 범위, 이동 속도, 회전 속도, 회전 각도, 상기 배경 영상에 연출되는 이펙트 중 적어도 하나를 설정하여 설정 정보를 생성하고, 선택된 배경 영상을 표시하고, 표시된 배경 영상에 선택된 가상 객체를 표시하며 상기 설정 정보에 기초하여 상기 가상 객체의 이동을 제어 및 상기 이펙트를 연출하며, 표시된 상기 배경 영상을 촬영하여 상기 배경 영상 내의 상기 가상 객체를 검출하여 상기 가상 객체의 이동에 대응하여 상기 가상 객체를 추적하는 트래킹 카메라로부터 상기 가상 객체의 트래킹을 위한 딥러닝 학습 데이터를 수집하는 객체 트래킹 방법을 제공할 수 있다.
Description
본 발명은 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법에 관한 것이다.
지상의 물체나 사람을 탐지하거나 추적하기 위해서 최근 드론과 같은 비행체들을 이용하는 경우가 증가하고 있다. 그리고 사람이나 물체를 탐지 또는 추적하는 과정에서 인공지능이 사용될 수 있다. 그런데, 사람이나 물체의 탐지 정확도를 높이기 위해서 인공지능 학습이 필요한데, 학습과정에서 많은 양의 학습데이터를 필요로 한다. 이와 관련하여 가상 데이터의 생성 조건을 다변화시켜 학습 성능을 높이는 가상 데이터를 생성하는 한국 등록 특허 제10-2445556호는 가상 데이터를 생성하는 방법 및 장치에 관한 것이고, 한국 공개 특허 제10-2020-0136723호는 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치에 관한 것이다. 제10-2445556호 및 제10-2020-0136723호는 객체와 객체가 이동하는 환경 또는 가상으로 생성하기 위한 대량의 데이터가 필요한 문제가 있다. 또한, 가상의 환경을 실제 카메라가 촬영한 영상의 환경과 실질적으로 동일한 수준으로 가상의 환경을 구현하는 데는 기술적인 한계가 있어, 가상의 환경을 통해 객체의 추척을 학습하는 것만으로는 추적의 신뢰성과 정확도를 향상시키기 어렵다는 문제가 지적되었다.
본 발명은 전술한 문제점을 해결할 수 있는 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법을 제공할 수 있다.
또한, 본 발명은 실제 배경 영상을 활용하여 가상 객체의 트래킹 학습이 가능한 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법을 제공할 수 있다.
또한, 본 발명은 복수의 배경 영상 촬영 카메라를 활용하여 객체 트래킹 학습의 효율성을 높일 수 있는 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법을 제공할 수 있다.
또한, 본 발명은 실제 촬영된 배경 영상 내의 가상의 객체를 실물 객체와 근접하게 매칭하여 표시함으로써 객체 트래킹 학습 효과를 향상시킬 수 있도록 하는 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법을 제공할 수 있다.
실시예는 컴퓨팅 장치에 설치된 시뮬레이터 프로그램을 실행하여 실제 환경에 위치한 배경 영상 촬영 카메라로부터 수신한 배경 영상을 선택하고, 상기 배경 영상에 표시할 가상 객체를 선택하고, 상기 가상 객체의 크기 범위, 이동 속도, 회전 속도, 회전 각도, 상기 배경 영상에 연출되는 이펙트 중 적어도 하나를 설정하여 설정 정보를 생성하고, 선택된 배경 영상을 표시하고, 표시된 배경 영상에 선택된 가상 객체를 표시하며 상기 설정 정보에 기초하여 상기 가상 객체의 이동을 제어 및 상기 이펙트를 연출하며, 표시된 상기 배경 영상을 촬영하여 상기 배경 영상 내의 상기 가상 객체를 검출하여 상기 가상 객체의 이동에 대응하여 상기 가상 객체를 추적하는 트래킹 카메라로부터 상기 가상 객체의 트래킹을 위한 딥러닝 학습 데이터를 수집하는 객체 트래킹 방법을 제공할 수 있다.
다른 측면에서, 미리 설정된 상기 배경 영상 촬영 카메라와의 최근접 위치와 상기 배경 영상 촬영 카메라로부터의 최원거리 위치 사이의 거리 정보와 상기 객체의 크기 범위를 매칭하고 상기 배경 영상 내에서 상기 가상 객체의 위치에 따라 상기 객체의 크기가 변경되는 객체 트래킹 방법을 제공할 수 있다.
다른 측면에서, 상기 배경 영상 촬영 카메라의 실시간 줌 정보에 기초하여 상기 배경 영상 내의 가상 객체의 크기가 변경되는 객체 트래킹 방법을 제공할 수 있다.
다른 측면에서, 상기 최근접 위치는 표시된 배경 영상의 전체 영역 대비 미리 설정된 비율 내의 가상 객체의 최대 표시 크기에 기초하여 설정되고 상기 최원거리 위치는 상기 실제 환경에 위치한 배경 영상 촬영 카메라의 위치한 지점에서 가상으로 위치한 실물 객체를 제어하는 통신 장치와 실물 객체의 통신 허용 최대 거리에 기초하여 설정되는 객체 트래킹 방법을 제공할 수 있다.
다른 측면에서, 복수의 배경 영상 촬영 카메라들 각각으로부터 배경 영상들을 수신하여 배경 영상들의 경계 라인이 매칭되어 전체로서 하나의 영상이 되도록 영상 처리하여 표시하고, 상기 전체로서 하나의 영상 내에 상기 가상 객체를 표시하여 이동을 제어 및 상기 이펙터를 연출하는 객체 트래킹 방법을 제공할 수 있다.
다른 측면에서, 상기 복수의 배경 영상 촬영 카메라들 중 어느 하나의 촬영 영역의 변경 또는 줌의 변경이 있는 경우 상기 경계 라인의 매칭의 유지를 위해 다른 배경 영상 촬영 카메라의 촬영 영역의 변경 또는 줌을 변경하는 객체 트래킹 방법을 제공할 수 있다.
또 다른 측면에서, 실제 환경에 위치하여 배경 영상을 촬영하는 배경 영상 촬영 카메라; 상기 배경 영상에 표시될 가상 객체의 크기 범위, 이동 속도, 회전 속도, 회전 각도, 상기 배경 영상에 연출되는 이펙트 중 적어도 하나를 설정하여 설정 정보를 생성하고, 디스플레이 장치 상에 상기 배경 영상 촬영 카메라로부터 수신한 배경 영상 및 상기 가상 객체를 표시하는 컴퓨팅 장치; 및 상기 배경 영상을 촬영하여 상기 가상 객체를 검출하여 상기 가상 객체의 이동에 대응하여 상기 가상 객체를 추적하는 트래킹 카메라;를 포함하고, 상기 컴퓨팅 장치는 상기 트래킹 카메라로부터 상기 가상 객체의 트래킹을 위한 딥러닝 학습 데이터를 수집하고, 상기 컴퓨팅 장치는 상기 설정 정보에 기초하여 상기 가상 객체를 상기 배경 영상 내에 표시하는 딥러닝 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템을 제공할 수 있다.
실시예는, 실제 환경을 촬영한 영상 내에 가상의 객체를 연출하고, 배경 영상 내의 가상의 객체를 카메라로 추적 학습할 수 있도록 하는 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법을 제공할 수 있다.
또한, 실물 객체를 이동이나 비행시킬 실제 공간 상에 실물 객체를 실제로 이용할 필요 없이 실제 공간을 촬영하는 것만으로도 실제 공간 상에서 실물 객체의 이동이나 비행 시 실물 객체를 정확하게 추적할 수 있도록 트래킹 카메라를 학습시킬 수 있는 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법을 제공할 수 있다.
또한, 실제 환경을 가상으로 모델링할 필요가 없이 실제 환경을 그대로 반영한 배경 영상을 활용하여 배경 영상 내에 가상의 객체의 이동이나 비행을 연출함으로써 실제 환경의 다양성을 쉽게 확보하고, 실제 환경에서의 카메라의 객체 추적 학습 능력의 신뢰성을 확보할 수 있다.
또한, 소정의 화각 범위를 가지는 복수의 카메라를 조합하여 보다 넓은 환경의 배경 영상을 설정하고, 배경 영상들 전체를 하나의 배경 영상으로 활용함으로써 가상 객체의 활동 반경을 확대할 수 있어 카메라가 다양한 조건 하에서 가상 객체의 추적을 학습할 수 있도록 한다.
또한, 복수의 카메라 중 어느 하나의 촬영 영역의 변경이나 줌의 확대 또는 축소에 대응하여 다른 카메라의 촬영 영역을 변경하거나 줌의 확대 또는 축소가 되도록 하여 복수의 카메라들이 촬영하는 배경 영상들의 경계 라인이 서로 매칭되도록 하여 복수의 배경 영상이 전체로서 하나의 영상이 유지되도록 할 수 있다. 그에 따라, 가상의 객체의 추적하는 카메라의 관점에서 보다 광활한 영역 및 배경 영상의 사실성을 유지하여 배경 영상 내에서 활동하는 가상의 객체의 추적을 진행함으로써 객체 추적 학습 효과를 높일 수 있다.
또한, 실제 환경에서 설치된 카메라의 촬영 방향이나 줌 변경 정도에 동기하여 배경 영상 내의 가상의 객체의 크기를 변경함으로써 실물 객체가 실제 환경에서 이동이나 비행하는 효과를 극대화할 수 있어 카메라의 객체 추적 능력 학습 효과를 높일 수 있다.
또한, 실제 환경에서 배경 영상을 촬영하는 카메라의 위치에 존재하는 통신 장치와 가상의 객체에 대응하는 실물 객체 사이의 허용 가능 통신 최대 거리, 그리고 디스플레이 장치의 표시 영역 대비 허용되는 최대 가상 객체의 표시 크기에 기초하여 원근법에 따른 객체의 크기를 조정함으로써 배경 영상 내에서 객체의 표현의 사실성을 극대화할 수 있고, 그에 따라 카메라의 객체 추적 능력 학습 효과를 높일 수 있다.
또한, 실제 환경에 복수의 배경 영상 촬영 카메라가 위치하는 경우에도 복수의 배경 영상 촬영 카메라의 위치 정보에 따른 기준점을 설정하고 기준점을 기초로 원근법에 따라 표시되는 객체의 크기를 조정함으로써 복수의 배경 영상으로부터 생성된 실질적으로 하나의 배경 영상 내에서 표시되는 객체가 실제 환경 상에서 이동이나 비행하는 실물 객체와의 매칭율을 높일 수 있어 카메라의 객체 추적 능력 학습 효과를 높일 수 있다.
도 1은 본 발명의 실시예에 따른 비행체 트래킹 시스템을 나타낸 것이다.
도 2는 다양한 실시예에 따른 비행체 트래킹 시스템에서 복수의 배경 영상 촬영 카메라를 이용하는 방법을 설명하기 위한 개략도이다.
도 3a는 단말기 상에서 표시되는 제1 및 제2 촬영 영상을 개략적으로 도시한 것이다.
도 3b는 본 발명의 실시예에 따른 객체 트래킹 방법의 흐름도이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 시뮬레이터 프로그램의 실행에 따라 표시되는 배경 선택 유저 인터페이스를 개략적으로 도시한 것이다.
도 5는 본 발명의 실시예에 따른 시뮬레이터 프로그램의 객체 선택 유저 인터페이스를 개략적으로 도시한 것이다.
도 6은 본 발명의 실시예에 따른 시뮬레이터 프로그램의 객체 설정 유저 인터페이스를 개략적으로 도시한 것이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 객체 트래킹 방법을 개략적으로 도시한 것이다.
도 8은 본 발명의 실시예에 따른 딥러닝 네트워크를 활용하여 비행체의 트래킹을 학습하는 것을 설명하기 위한 것이다.
도 2는 다양한 실시예에 따른 비행체 트래킹 시스템에서 복수의 배경 영상 촬영 카메라를 이용하는 방법을 설명하기 위한 개략도이다.
도 3a는 단말기 상에서 표시되는 제1 및 제2 촬영 영상을 개략적으로 도시한 것이다.
도 3b는 본 발명의 실시예에 따른 객체 트래킹 방법의 흐름도이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 시뮬레이터 프로그램의 실행에 따라 표시되는 배경 선택 유저 인터페이스를 개략적으로 도시한 것이다.
도 5는 본 발명의 실시예에 따른 시뮬레이터 프로그램의 객체 선택 유저 인터페이스를 개략적으로 도시한 것이다.
도 6은 본 발명의 실시예에 따른 시뮬레이터 프로그램의 객체 설정 유저 인터페이스를 개략적으로 도시한 것이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 객체 트래킹 방법을 개략적으로 도시한 것이다.
도 8은 본 발명의 실시예에 따른 딥러닝 네트워크를 활용하여 비행체의 트래킹을 학습하는 것을 설명하기 위한 것이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에 개시된 시스템들, 장치들 및 방법들의 구현들은 본 명세서에서 논의된, 예를 들어 하나 이상의 프로세서들 및 시스템 메모리와 같은 컴퓨터 하드웨어를 포함하는 특수 목적 또는 범용 컴퓨터를 포함할 수 있거나 이용할 수 있다. 본 개시사항의 범위 내의 구현들은 또한 컴퓨터-실행가능 명령들 및/또는 데이터 구조들을 운반하거나 저장하기 위한 물리적 및 다른 컴퓨터-판독가능 매체를 포함할 수 있다. 이러한 컴퓨터-판독가능 매체는 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스될 수 있는 임의의 사용 가능한 매체일 수 있다. 컴퓨터-실행가능 명령들을 저장하는 컴퓨터-판독가능 매체는 컴퓨터 저장 매체(디바이스들)이다. 컴퓨터-실행가능 명령들을 운반하는 컴퓨터-판독가능 매체는 송신 매체이다. 따라서, 제한이 아닌 예시로서, 본 개시사항의 구현들은 컴퓨터 저장 매체(디바이스들) 및 송신 매체의 적어도 2개의 뚜렷하게 상이한 종류의 컴퓨터-판독가능 매체를 포함할 수 있다.
컴퓨터 저장 매체(디바이스들)는 RAM, ROM, EEPROM, CD-ROM, 고체 상태 드라이브들("SSD")(예: RAM 기반), 플래시 메모리, 상-변화 메모리("PCM"), 다른 유형들의 메모리, 다른 광 디스크 저장장치, 자기 디스크 저장장치 또는 다른 자기 저장 디바이스들, 또는 컴퓨터-실행가능 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드 수단들을 저장하는데 사용할 수 있고 범용 또는 특수 목적 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다.
본 명세서에 개시된 디바이스들, 시스템들 및 방법들의 구현은 컴퓨터 네트워크를 통해 통신할 수 있다. "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 및/또는 다른 전자 디바이스들 사이에서 전자 데이터 전송을 가능하게 하는 하나 이상의 데이터 링크들로 정의된다. 정보가 네트워크 또는 다른 통신 연결(유선, 무선 또는 유선과 무선의 조합)을 통해 컴퓨터로 송신되거나 제공될 때, 컴퓨터는 이러한 연결을 적절하게 송신 매체로 본다. 송신 매체는 네트워크 및/또는 데이터 링크들을 포함할 수 있으며, 이는 컴퓨터-실행가능 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드 수단을 운반하는데 사용될 수 있고, 범용 또는 특수 목적 컴퓨터에 의해 액세스될 수 있다. 위의 조합들은 또한 컴퓨터-판독가능 매체의 범위에 포함되어야 한다.
컴퓨터-실행가능 명령들은 예를 들어 프로세서에서 실행될 때 범용 컴퓨터, 특수 목적 컴퓨터 또는 특수 목적 처리 디바이스로 하여금 특정 기능 또는 기능들의 그룹을 수행하게 하는 명령들 및 데이터를 포함한다. 컴퓨터실행가능 명령들은 예를 들어 어셈블리 언어, 또는 소스 코드와 같은 바이너리, 중간 형식의 명령들일 수 있다. 주제가 구조적 특징들 및/또는 방법론적 행위들에 특정한 언어로 설명되어 있지만, 첨부된 청구항들에서 정의된 주제는 본 명세서에 설명된 특징들 또는 행위들에 반드시 제한되지 않는다는 것을 이해해야 한다. 오히려, 설명된 특징들 및 행위들은 청구항들을 구현하는 예시적인 형태들로서 설명된다.
- 비행체 트래킹 시스템(10)
도 1은 본 발명의 실시예에 따른 비행체 트래킹 시스템을 나타낸 것이다.
여기서의 비행체 트래킹 시스템은 드론이나 비행기와 같이 비행하는 객체뿐만 아니라 사람이나 자동차나 그 밖의 각종 동물들과 같이 이동하는 객체를 트래킹하는 시스템을 의미함을 유의해야 한다.
도 1을 참조하면, 본 발명의 실시예에 따른 비행체 트래킹 시스템(10)은 딥러닝 비행 테스트용 시뮬레이터(100) 및 배경 영상 촬영 카메라(200)를 포함할 수 있다.
다양한 실시예에서 비행체 트래킹 시스템(10)은 단말기(300)를 더 포함할 수 있다.
다양한 실시예에서 비행체 트래킹 시스템(10)은 디스플레이 장치(500)를 더 포함할 수 있다.
딥러닝 비행 테스트용 시뮬레이터(100)는 컴퓨팅 장치(110), 시뮬레이터 프로그램(120), 트래킹 카메라(130)를 포함할 수 있다.
컴퓨팅 장치(110) 및 단말기(300)는 단순화된 형태로 도시된다. 가상적으로 임의의 컴퓨터 구조가 이 개시의 범위를 벗어남 없이 사용될 수 있다는 것은 이해될 것이다. 다른 실시예에서, 컴퓨팅 장치(110) 및 단말기(300)는 디스플레이 장치, 착용가능 컴퓨팅 장치, 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈-엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 오락 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치(예컨대, 스마트폰)의 형태를 취할 수 있다.
컴퓨팅 장치(110) 및 단말기(300)는 서브 시스템을 포함할 수 있다. 서브시스템은 키보드, 마우스, 터치 스크린, 또는 게임 컨트롤러와 같은 하나 이상의 사용자 입력 장치를 포함하거나 인터페이스로 접속할 수 있다. 일부 실시예에서, 입력 서브시스템은 선택된 고유 사용자 입력(NUI) 구성품을 포함하거나 인터페이스로 접속할 수 있다. 이러한 구성품은 집적되거나 주변적인 것이 될 수 있고, 입력 액션의 변환 및/프로세싱은 온 보드(on-board) 또는 오프 보드(off-board)로 처리될 수 있다. 예시의 NUI 구성품은 대화 및/또는 음성 인식을 위한 마이크로폰, 머신 시각 및/또는 동작 인식을 위한 적외선, 색상, 입체, 및/또는 깊이 카메라, 움직임 검출 및/또는 목적 인식을 위한 두부 추적기, 시선 추적기, 가속도계, 및/또는 자이로스코프뿐만 아니라, 두뇌 활동에 액세스하기 위한 자계 센싱 구성품을 포함할 수 있다.
또한 적절한 경우, 본 명세서에 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 디지털 구성요소들 또는 아날로그 구성요소들 중 하나 이상에서 수행될 수 있다. 예를 들어, 하나 이상의 주문형 집적 회로들(ASICs)은 본 명세서에 설명된 하나 이상의 시스템들 및 절차들을 수행하도록 프로그래밍될 수 있다. 특정 용어들은 특정 시스템 구성요소들을 나타내기 위해 설명 및 청구항들 전체에 걸쳐 사용된다. 당업자가 이해할 수 있는 바와 같이, 구성요소들은 상이한 명칭들로 지칭될 수 있다. 본 문서는 이름은 다르지만 기능에서는 다른지 않는 구성 요소들을 구분하려 하지 않는다. 본 개시사항의 적어도 일부 실시예들은 임의의 컴퓨터-사용가능 매체에 저장된 그러한 로직(예를 들어, 소프트 웨어의 형태)을 포함하는 컴퓨터 프로그램 제품에 관한 것이다. 그러한 소프트웨어는 하나 이상의 데이터 처리디바이스들에서 실행될 때 디바이스가 본 명세서에 설명된 대로 동작하게 한다. 본 명세서에서 논의된 시스템들 및 방법들은 기계 학습 환경들, 신경망들 등과 같은 다양한 컴퓨팅 환경들 및 절차들에서 유용하다. 본 명세서에 기술된 바와 같이, 시스템들 및 방법들은 (처리 디바이스 또는 저장 디바이스와 같은) 디바이스에 의해 사용되는 전력을 감소시킬 수 있고, 시스템의 동작 동안 더 적은 메모리 저장 공간을 필요로 할 수 있다.
배경 영상 촬영 카메라(200)는 야외의 특정 지점에 설치되어 배경 영상을 촬영할 수 있다. 배경 영상 촬영 카메라(200)를 통해 촬영한 배경 영상 데이터는 컴퓨팅 장치(110)로 전송될 수 있다. 일부 실시예에서, 배경 영상 촬영 카메라(200)의 배경 영상 데이터를 저장한 데이터 저장 매체를 배경 영상 촬영 카메라(200)로부터 분리하여 저장 매체를 컴퓨팅 장치(110)에 연결하여 저장 매체에 저장된 배경 영상 데이터를 컴퓨팅 장치(110)로 전송할 수 있다.
배경 영상 촬영 카메라(200)는 제1 화각으로 배경 영상을 촬영할 수 있다. 일부 실시예에서, 배경 영상 촬영 카메라(200)는 360도 전방위 카메라가 될 수 있고, 360도의 화각으로 배경 영상을 촬영할 수도 있다.
단말기(300)는 배경 영상 촬영 카메라(200)를 원격 제어할 수 있다. 예시적으로 단말기(300)는 배경 영상 촬영 카메라(200)의 촬영 방향을 제어할 수 있다. 또한, 단말기(300)는 배경 영상 촬영 카메라(200)의 줌(zoom)을 제어할 수 있다.
도 2는 다양한 실시예에 따른 비행체 트래킹 시스템에서 복수의 배경 영상 촬영 카메라를 이용하는 방법을 설명하기 위한 개략도이다. 그리고 도 3a는 단말기 상에서 표시되는 제1 및 제2 촬영 영상을 개략적으로 도시한 것이다.
도 1 내지 도 3a를 참조하면, 다양한 실시예에서, 배경 영상 촬영 카메라(200)는 복수의 카메라로 구성될 수 있다. 예시적으로 배경 영상 촬영 카메라(200)는 제1 배경 영상 촬영 카메라(210)와 제2 배경 영상 촬영 카메라(220)를 포함할 수 있다.
예시적으로, 제1 배경 영상 촬영 카메라(210)가 제1 지점(p1)에 설치되고, 제2 배경 영상 촬영 카메라(220)가 제1 지점(p1)과는 다른 위치의 제2 지점(p2)에 설치된 경우를 가정한다.
단말기(300)에는 제1 배경 영상 촬영 카메라(210)의 제1 촬영 영상(c1)과 제2 배경 영상 촬영 카메라(220)의 제2 촬영 영상(c2)이 표시될 수 있다.
단말기(300)는 제1 및 제2 촬영 영상(c1, c2) 중 어느 하나의 선택의 이동에 응답하여 대응하는 배경 영상 촬영 카메라의 촬영 방향을 변경하기 위한 제어 신호를 배경 영상 촬영 카메라로 전송할 수 있다. 배경 영상 촬영 카메라는 제어 신호에 응답하여 촬영 방향을 변경할 수 있다. 여기서의 선택의 이동은 예시적으로 터치 및 터치의 이동이 될 수 있으나 이에 한정하는 것은 아니다.
사용자는 단말기(300) 상에서 표시되는 제1 및 제2 촬영 영상(c1, c2) 중 어느 하나의 선택하여 촬영 영상을 이동시킴으로써 배경 영상 촬영 카메라의 촬영 영역을 변경할 수 있다. 그에 따라, 사용자는 제1 및 제2 촬영 영상(c1, c2)에서 중첩 촬영 영역이 발생하지 않도록 할 수 있다.
실시예는, 복수의 배경 영상 촬영 카메라(200)를 이용하여 서로 다른 배경 영역을 촬영할 수 있다. 또한, 복수의 배경 영상 촬영 카메라(200)들이 중첩된 촬영 영역을 촬영하지 않도록 단말기(300)를 통해서 복수의 배경 영상 촬영 카메라(200)들 중 적어도 하나의 카메라의 촬영 방향을 변경할 수 있다.
또한, 실시예는 제1 및 제2 촬영 영상(c1, c2)과 같이 복수의 촬영 영상의 경계라인(bl)이 매칭되도록 허용하여 마치 복수의 촬영 영상이 하나의 카메라를 통해 전체 배경 영역을 촬영한 것과 같은 효과가 나타나도록 할 수 있다.
단말기(300)는 제1 및 제2 촬영 영상(c1, c2)의 표시와 함께 경계 라인 매칭 완료을 입력하기 위한 제1 어포던스(ap1)를 표시할 수 있다. 단말기(300)는 제1 어포던스(ap1)의 선택에 응답하여 제1 및 제2 촬영 영상(c1, c2)의 경계 라인이 현재 매칭 상태로 인식하고 제1 및 제2 배경 영상 촬영 카메라(210, 220)의 현재 화각에 따른 촬영 영역 정보 및 현재의 줌 정보를 저장할 수 있다.
다양한 실시예에서, 단말기(300)는 복수의 배경 영상 촬영 카메라(200)들에 의해 촬영되어 표시되고 있는 복수의 촬영 영상 중 임의의 촬영 영상의 촬영 방향의 제어에 따라 단말기(300)는 선택된 촬영 영상을 촬영하고 있는 배경 영상 촬영 카메라로 촬영 방향의 변경을 위한 제어 신호를 전송할 수 있다. 또한, 단말기(300)는 다른 배경 영상 촬영 카메라의 촬영 방향의 변경을 위한 제어 신호를 자동으로 전송하여 해당 배경 영상 촬영 카메라로 전송할 수 있다.
예시적으로, 제1 배경 영상 촬영 카메라(210)의 촬영 방향을 왼쪽으로 변경하는 경우를 가정한다. 단말기(300)는 제1 배경 영상 촬영 카메라(210)의 촬영 방향의 왼쪽으로의 이동을 위한 선택에 응답하여 제1 배경 영상 촬영 카메라(210)로 촬영 방향의 변경을 위한 제어 신호를 전송하고, 이에 동기하여 촬영 방향 변경전의 제1 배경 영상 촬영 카메라(210)의 화각에 따른 촬영 영역 정보 및 줌 정보 그리고, 제2 배경 영상 촬영 카메라(220)의 현재 화각에 따른 촬영 영역 정보 및 줌 정보에 기초하여 제2 배경 영상 촬영 카메라(220)의 촬영 방향의 왼쪽으로 이동하도록 하는 제어 신호를 생성하여 제2 배경 영상 촬영 카메라(220)로 전송할 수 있다. 즉, 단말기(300)는 제1 배경 영상 촬영 카메라(210)의 촬영 방향의 제어에 따라 촬영 영역이 변경되는 경우 제1 및 제2 촬영 영상(c1, c2)의 중첩 촬영 영상이 발생하지 않으면서도 이들의 경계 라인의 매칭을 유지하기 위해 제2 배경 영상 촬영 카메라(220)의 촬영 방향을 변경하도록 하는 제어 신호를 생성하여 제2 배경 영상 촬영 카메라(220)로 전송할 수 있다. 따라서, 복수의 배경 영상 촬영 카메라(200)들 중 임의의 배경 영상 촬영 카메라의 촬영 방향의 변경에 대응하여 다른 배경 영상 촬영 카메라의 촬영 방향도 자동으로 조정되도록 함으로써 단말기(300)에 표시되는 모든 촬영 영상이 마치 하나의 카메라로 촬영한 것과 같은 효과가 유지도록 할 수 있다.
다양한 실시예에서, 단말기(300)는 복수의 배경 영상 촬영 카메라(200)들 각각의 줌을 확대 또는 축소 명령의 입력을 위한 제2 어포던스(ap2)를 표시할 수 있다. 단말기(300)는 제2 어포던스(ap2)의 선택에 응답하여 선택된 제2 어포던스(ap2)에 대응하는 배경 영상 촬영 카메라의 줌을 확대 또는 축소하기 위한 제어 신호를 대응하는 배경 영상 촬영 카메라로 전송할 수 있다.
또한, 단말기(300)는 임의의 배경 영상 촬영 카메라의 줌의 확대 또는 축소에 동기하여 다른 배경 영상 촬영 카메라의 줌의 확대 또는 축소를 위한 제어 신호를 해당 배경 영상 촬영 카메라로 전송할 수 있다. 예시적으로, 제1 배경 영상 촬영 카메라(210)의 줌을 축소하는 경우를 가정한다. 단말기(300)는 제1 배경 영상 촬영 카메라(210)의 줌의 축소를 위한 제2 어포던스(ap2)의 선택에 응답하여 제1 배경 영상 촬영 카메라(210)로 줌의 축소를 위한 제어 신호를 전송하고, 이에 동기하여 줌 축소전의 제1 배경 영상 촬영 카메라(210)의 화각에 따른 촬영 영역 정보 및 줌 정보 그리고, 제2 배경 영상 촬영 카메라(220)의 현재 화각에 따른 촬영 영역 정보 및 줌 정보에 기초하여 제2 배경 영상 촬영 카메라(220)의 줌의 축소를 위한 제어 신호를 생성하여 제2 배경 영상 촬영 카메라(220)로 전송할 수 있다. 즉, 단말기(300)는 제1 배경 영상 촬영 카메라(210)의 줌의 제어에 따라 촬영 영역이 변경되는 경우 제1 및 제2 촬영 영상(c1, c2)의 중첩 촬영 영상이 발생하지 않으면서도 이들의 경계 라인의 매칭을 유지하기 위해 제2 배경 영상 촬영 카메라(220)의 줌을 축소하도록 하는 제어 신호를 생성하여 제2 배경 영상 촬영 카메라(220)로 전송할 수 있다. 따라서, 복수의 배경 영상 촬영 카메라(200)들 중 임의의 배경 영상 촬영 카메라의 줌의 변경에 대응하여 다른 배경 영상 촬영 카메라의 줌도 자동으로 조정되도록 함으로써 단말기(300)에 표시되는 모든 촬영 영상이 마치 하나의 카메라로 촬영한 것과 같은 효과가 유지도록 할 수 있다.
도 3b는 본 발명의 실시예에 따른 객체 트래킹 방법의 흐름도이다.
도 3b를 참조하면, 본 발명의 실시예에 따른 객체 트래킹 방법(S100)은 실제 환경에 위치한 배경 영상 촬영 카메라로부터 수신한 배경 영상을 선택하는 단계(S110), 배경 영상에 표시할 가상 객체를 선택하는 단계(S130), 가상 객체의 크기 범위, 이동 속도, 회전 속도, 회전 각도, 배경 영상에 연출되는 이펙트 중 적어도 하나를 설정하여 설정 정보를 생성하는 단계(S150), 선택된 배경 영상을 표시하고, 표시된 배경 영상에 선택된 가상 객체를 표시하며 설정 정보에 기초하여 가상 객체의 이동을 제어 및 상기 이펙터를 연출하는 단계(S170) 및 표시된 배경 영상을 촬영하여 배경 영상 내의 가상 객체를 검출하여 가상 객체의 이동에 대응하여 가상 객체를 추적하는 트래킹 카메라로부터 가상 객체의 트래킹을 위한 딥러닝 학습 데이터를 수집하는 단계(S190)를 포함할 수 있다.
이하, 도 4a 내지 도 8을 참조하여, 객체 트래킹 방법을 구체적으로 설명한다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 시뮬레이터 프로그램의 실행에 따라 표시되는 배경 선택 유저 인터페이스를 개략적으로 도시한 것이고, 도 5는 본 발명의 실시예에 따른 시뮬레이터 프로그램의 객체 선택 유저 인터페이스를 개략적으로 도시한 것이며, 도 6은 본 발명의 실시예에 따른 시뮬레이터 프로그램의 객체 설정 유저 인터페이스를 개략적으로 도시한 것이다.
도 4a 및 도 4b를 참조하면, 컴퓨팅 장치(110)에는 시뮬레이터 프로그램(120)이 설치될 수 있다.
- 배경 선택 유저 인터페이스(u1)
시뮬레이터 프로그램(120)이 실행되면, 시뮬레이터 프로그램은 배경 선택 유저 인터페이스(u1)를 표시할 수 있다.
배경 선택 유저 인터페이스(u1)는 카메라 연결 어포던스(cca) 및 배경 영상 어포던스(bca)를 포함할 수 있다.
시뮬레이터 프로그램(120)은 카메라 연결 어포던스(cca)의 선택에 응답하여 배경 영상 촬영 카메라와의 연결을 위한 주소 입력을 위한 제1 서브 유저 인터페이스(su1)를 표시할 수 있다.
사용자는 제1 서브 유저 인터페이스(su1)에 배경 영상 촬영 카메라(200)의 주소를 입력하여 시뮬레이터 프로그램(120)과 배경 영상 촬영 카메라(200)를 서로 동기화할 수 있다.
다양한 실시예에서, 배경 영상 촬영 카메라(200)가 복수개로 구비된 경우 복수의 배경 영상 촬영 카메라(200)와의 동기화를 위해 복수개의 배경 영상 촬영 카메라(200)들 각각의 주소 입력을 위한 제1 서브 유저 인터페이스(su1)를 표시할 수도 있다. 여기서의 주소는 실시간 스트리밍 프로토콜, 즉 RTSP(Real Time Streaming Protocol) 주소가 될 수 있으나 이에 제한되는 것은 아니다.
다양한 실시예에서, 시뮬레이터 프로그램(120)은 단말기(300)와 통신하여 단말기(300)에 등록된 복수의 배경 영상 촬영 카메라(200)들의 주소 정보를 단말기(300)로부터 수신할 수 있다.
시뮬레이터 프로그램(120)은 단말기(300)로부터 수신한 적어도 하나의 배경 영상 촬영 카메라(200)의 주소 정보를 표시하는 제1 서브 유저 인터페이스(su1)를 표시할 수 있다. 시뮬레이터 프로그램(120)은 제1 서브 유저 인터페이스(su1)에 표시된 배경 영상 촬영 카메라(200)의 주소의 선택에 응답하여 제1 서브 유저 인터페이스(su1)의 주소 입력 창에 선택된 배경 영상 촬영 카메라(200)의 주소를 자동으로 입력할 수 있다.
컴퓨팅 장치(110)는 입력된 주소에 매칭되는 배경 영상 촬영 카메라(200)의 촬영 정보 및 배경 영상 촬영 카메라(200)의 촬영 영역과 줌 정보를 실시간으로 배경 영상 촬영 카메라(200)으로부터 수신하고 수신한 촬영 정보인 배경 영상을 후술하는 디스플레이 장치(500) 상에서 표시할 수 있다.
시뮬레이터 프로그램(120)은 제1 서브 유저 인터페이스(su1) 상의 확인 어포던스의 선택에 응답하여 객체 선택 유저 인터페이스(u2)를 표시할 수 있다.
또한, 시뮬레이터 프로그램(120)은 배경 선택 유저 인터페이스(u1) 상의 배경 영상 어포던스(bca)의 선택에 응답하여 배경 영상의 불러드리기 위한 제1 대화 상자(cb1)를 표시할 수 있다. 시뮬레이터 프로그램(120)은 표시된 제1 대화 상자(cb1) 내에 보관된 적어도 하나의 배경 영상의 선택에 응답하여 객체 선택 유저 인터페이스(u2)를 표시할 수 있다.
다양한 실시예에서, 대화 상자 내에 복수의 배경 영상이 저장되고, 이들은 중 적어도 일부는 경계 라인이 서로 매칭되는 배경 영상이 될 수 있다.
시뮬레이터 프로그램(120)은 복수의 배경 영상 중 어느 하나의 선택에 응답하여 선택된 배경 영상과 경계라인이 매칭되는 다른 배경 영상이 존재하는지 여부를 판단하고, 존재하는 경우 경계라인이 매칭되는 다른 배경 영상도 선택할지 여부를 문의하는 대화창을 표시할 수 있다.
다양한 실시예에서, 배경 영상 매칭맵 정보(bcm)를 표시할 수 있다.
예시적으로 시뮬레이터 프로그램(120)은 제1 대화 상자(cb1) 내에 저장된 복수의 배경 영상 중 어느 하나의 배경 영상의 선택에 응답하여 선택된 배경 영상의 경계 라인과 매칭되는 다른 배경 영상이 존재하는 경우 배경 영상 매칭맵 정보(bmc)를 표시할 수 있다. 배경 영상 매칭맵 정보(bmc)에는 복수의 서브 배경들로 구분되고 복수의 서브 배경 중 어느 하나에는 현재 선택한 배경 영상의 위치와 매칭되는 서브 배경이 표시될 수 있다. 그리고, 선택하지 않은 서브 배경의 위치 상에는 해당 위치에 속하는 다른 배경 영상의 파일명 정보가 표시될 수 있다. 제1 대화 상자(cb1) 내에는 다른 배경 영상들이 위치하고, 사용자는 다른 배경 영상들을 선택함으로써 배경 영상 매칭맵 정보(bmc) 상의 서브 배경들을 채워 나갈 수 있다.
시뮬레이터 프로그램(120)은 배경 영상 매칭맵 정보(bmc) 상의 확인 어포던스의 선택에 응답하여 선택된 배경 영상 데이터를 불러드리고, 객체 선택 유저 인터페이스(u2)를 표시할 수 있다.
- 객체 선택 유저 인터페이스(u2)
도 5를 참조하면, 객체 선택 유저 인터페이스(u2)는 객체 추가 어포던스, 객체 정지 및 진행 어포던스, 객체 삭제 어포던스 및 객체 표시창을 포함할 수 있다.
시뮬레이터 프로그램(120)은 객체 추가 어포던스의 선택에 응답하여 객체 선택을 위한 제2 대화 상자(cb2)를 표시할 수 있다. 제2 대화 상자(cb2)에는 미리 저장된 복수의 객체 데이터가 표시될 수 있다. 객체 데이터는 2차원 또는 3차원 객체의 모델 데이터가 될 수 있으나 이에 제한되는 것은 아니다.
시뮬레이터 프로그램(120)은 제2 대화 상자(cb2)에서 선택된 객체 데이터를 객체 표시창에 표시할 수 있다.
객체 표시창에는 객체 데이터의 파일명 정보가 표시될 수 있다. 다만, 이에 제한되는 것은 아니고 객체 데이터의 2차원 또는 3차원 모델이 표시될 수도 있다.
다양한 실시예에서, 복수의 객체 데이터가 선택될 수 있다. 이 경우, 객체 표시창에는 선택된 복수의 객체 데이터가 표시될 수 있다.
시뮬레이터 프로그램(120)은 객체 표시창에서 표시된 객체 데이터의 선택 및 객체 정지 및 진행 어포던스의 선택에 응답하여 선택된 객체 데이터를 정지 모드 또는 진행 모드로 지정할 수 있다. 일부 실시예에서, 객체 데이터에 지정된 정지 모드 또는 진행 모드 정보가 객체 데이터와 함께 표시될 수 있다.
시뮬레이터 프로그램(120)은 객체 표시창에 표시된 객체 데이터의 선택 및 객체 삭제 어포던스의 선택에 응답하여 선택된 객체 데이터를 객체 표시창에서 제거할 수 있다.
- 객체 설정 유저 인터페이스(u3)
도 5 및 도 6을 참조하면, 시뮬레이터 프로그램(120)은 객체 선택 유저 인터페이스(u2)의 확인 어포던스의 선택에 응답하여 객체 설정 유저 인터페이스(u3)를 표시할 수 있다.
객체 설정 유저 인터페이스(u3)는 저장 어포던스, 불러오기 어포던스, 적용 어포던스, 확인 어포던스, 설정적용 어포던스 및 초기화 어포던스를 포함할 수 있다. 또한, 객체 설정 유저 인터페이스(u3)에는 객체 설정창이 표시될 수 있다. 일부 실시예에서, 객체 설정창에는 설정 정보 단축키 정보창이 표시될 수 있다.
시뮬레이터 프로그램(120)은 저장 어포던스의 선택에 응답하여 객체 설정창에서 설정된 설정 사항을 저장할 수 있다. 또한, 시뮬레이터 프로그램(120)은 불러오기 어포던스의 선택에 응답하여 미리 저장된 설정 정보를 불러들일 수 있다. 그리고, 시뮬레이터 프로그램(120)은 미리 저장된 설정 정보를 불러드리면 불러드린 설정 정보에 매칭되도록 객체 설정창의 정보를 업데이트할 수 있다. 시뮬레이터 프로그램(120)은 적용 어포던스의 선택에 응답하여 불러드린 설정 정보의 사항을 저장할 수 있다.
시뮬레이터 프로그램(120)은 객체 설정창에서 객체 데이터의 크기, 이동 속도, 이동 패턴, 회전 속도, 회전 각도 및 이펙트를 설정할 수 있도록 허용할 수 있다. 사용자는 객체 설정창에서 객체 데이터의 크기의 범위를 설정할 수 있다.
예시적으로, 시뮬레이터 프로그램(120)은 객체의 크기의 범위가 설정되면 크기 범위 내의 중간값으로 객체 데이터의 크기를 초기 설정할 수 있다. 그리고, 배경 영상 내에서 객체가 이동할 때, 배경 영상 내의 지면과 수평한 방향으로 배경 영상 촬영 카메라(200)와의 최근접 위치와 배경 영상 촬영 카메라(200)로부터의 최원거리 위치 사이의 거리 정보를 설정할 수 있다. 그리고 시뮬레이터 프로그램(120)은 미리 설정된 최근접 위치와 미리 설정된 최원거리 위치 사이의 중간 지점에 중간값의 크기를 가진 객체를 위치시키고 객체가 비행 중 배경 영상 내의 지면과 수평한 방향을 기준으로 최근접 위치로 가까워지는 비율만큼 객체 데이터의 크기의 범위 내에서 객체 데이터의 크기를 증가시키고, 객체가 비행 중 배경 영상 내의 지면과 수평한 방향을 기준으로 최원거리 위치와 가까워지는 비율만큼 객체 데이터의 크기의 범위 내에서 객체 데이터의 크기를 감소시킬 수 있다.
즉, 최근접 위치와 최원거리 위치 사이의 지면으로부터 수평한 방향으로의 수직 거리와 객체의 크기 범위를 매칭하여 배경 영상 내에서 객체가 상기 최근접 위치로 가까워질수록 상기 객체의 크기의 증가 비율과 상기 최원거리 위치로 가까워질수록 상기 객체의 크기의 감소 비율을 결정할 수 있다. 예시적으로, 배경 영상 내에서 가상 객체가 최근접 위치에 위치하는 경우 객체의 크기는 설정된 범위 내에서 최대값의 크기를 가지고, 배경 영상 내에서 가상 객체가 최원거리 위치에 위치하는 경우 객체의 크기는 설정된 범위 내에서 최소값의 크기를 가질 수 있다.
여기서의 미리 설정된 최근접 위치는 가상의 객체가 배경 영상 촬영 카메라(200)에 인접한 경우 객체의 크기가 후술하는 디스플레이 장치(500)의 표시 화면의 전체 영역 대비 미리 설정된 비율을 초과하는 크기로 객체 전체가 표시되는 것을 고려하여 결정될 수 있다. 또한, 여기서의 미리 설정된 최원거리 위치는 가상의 객체에 대응하는 비행체가 실제 비행할 때 배경 영상 촬영 카메라(200)가 위치한 지점에서 가상으로 위치한 비행체 제어용 통신 장치와 비행체의 정상적인 통신이 허용되는 통신 장치와 비행체 사이의 최대 거리에 기초하여 설정될 수 있다.
다양한 실시예에서, 복수의 배경 영상 촬영 카메라가 실제 환경 상에 위치하는 경우 여기서의 미리 설정된 최근접 위치는 복수의 배경 영상 촬영 카메라가 위치한 지점을 연결하고 지면과 수평한 가상의 다각형의 무게 중심점을 기준으로 가상의 객체가 무게 중심점이 인접한 경우 객체의 크기가 후술하는 디스플레이 장치(500)의 표시 화면의 전체 영역 대비 미리 설정된 비율을 초과하는 크기로 객체 전체가 표시되는 것을 고려하여 결정될 수 있다. 또한, 미리 설정된 최원거리 위치는 가상의 객체에 대응하는 비행체가 실제 비행할 때 무게 중심점에서 가상으로 위치한 비행체 제어용 통신 장치와 비행체의 정상적인 통신이 허용되는 통신 장치와 비행체 사이의 최대 거리에 기초하여 설정될 수 있다.
또한, 시뮬레이터 프로그램(120)은 배경 영상 촬영 카메라(200)의 실시간 줌 정보에 기초하여 배경 영상에 표시될 객체의 크기 변경 비율을 설정할 수 있다. 그리고, 시뮬레이터 프로그램(120)은 배경 영상 촬영 카메라(200)의 줌의 변경에 대응하여 배경 영상에 표시되는 객체의 크기를 실시간으로 변경할 수 있다.
시뮬레이터 프로그램(120)은 객체 선택 유저 인터페이스(u2) 상에서 선택된 ?체 데이터에 지정된 모드가 정지 모드인 경우 객체 설정창에서 이동 속도, 이동 패턴의 설정을 비활성화할 수 있다.
시뮬레이터 프로그램(120)은 객체 선택 유저 인터페이스(u2) 상에서 선택된 객체 데이터에 지정된 모드가 진행 모드인 경우 객체 설정창에서 이동 속도, 이동 패턴의 설정을 활성화할 수 있다.
사용자는 객체 설정창에서 객체의 이동시 속도의 범위를 설정할 수 있다.
시뮬레이터 프로그램(120)은 설정된 객체의 이동 속도 범위 내에서 배경 영상 내에서 비행하는 객체의 이동 속도를 제어할 수 있다. 다양한 실시예에서, 객체의 이동 속도는 설정된 이동 속도 범위 내에서 랜덤하게 변경될 수 있다.
사용자는 객체 설정창에서 객체의 이동 패턴을 설정할 수 있다.
시뮬레이터 프로그램(120)은 설정된 객체의 이동 패턴에 대응하여 배경 영상 내에서 객체를 이동시킬 수 있다.
사용자는 객체 설정창에서 객체의 회전 속도의 범위를 설정할 수 있다.
시뮬레이터 프로그램(120)은 설정된 객체의 회전 속도의 범위 내에서 배경 영상 내에 위치한 객체를 회전시킬 수 있다. 다양한 실시예에서, 객체의 회전 속도는 설정된 회전 속도 범위 내에서 랜덤하게 변경될 수 있다.
사용자는 객체 설정창에서 객체의 회전 각도의 범위를 설정할 수 있다.
시뮬레이터 프로그램(120)은 설정된 객체의 회전 각도의 범위 내에서 배경 영상 내에 위치한 객체를 임의의 각도로 회전시킬 수 있다. 다양한 실시예에서, 객체의 회전 각도는 설정된 회전 각도 범위 내에서 랜덤하게 변경될 수 있다.
사용자는 객체 설정창에서 적어도 하나의 이펙터를 설정할 수 있다. 예시적으로 객체 설정창은 눈, 야간, 비, 안개, 먼지 이펙터를 포함할 수 있다.
시뮬레이터 프로그램(120)은 복수의 이펙터 중 선택된 이펙터의 정보를 저장할 수 있다. 그리고, 시뮬레이터 프로그램(120)은 객체가 배경 영상 내에서 설정된 정보에 따라 비행할 때 선택된 적어도 하나의 이펙터가 배경 영상 내에서 연출되도록 할 수 있다. 다양한 실시예에서, 시뮬레이터 프로그램(120)은 적어도 하나의 이펙터가 시간의 흐름에 따라 이펙터의 연출 또는 연출 일시 중단, 서로 다른 이펙터로 변경을 할 수 있다.
다양한 실시예에서, 이펙터는 비행객체 이펙터를 포함할 수 있다.
비행객체 이펙터가 선택되면, 시뮬레이터 프로그램(120)은 배경 영상 내에서 객체를 표시함과 아울러 임의의 시간 내에 추가적인 비행객체가 출현하도록 할 수 있다.
시뮬레이터 프로그램(120)은 확인 어포던스의 선택에 응답하여 객체 설정 유저 인터페이스(u3)를 종료할 수 있다.
시뮬레이터 프로그램(120)은 설정적용 어포던스의 선택에 응답하여 현재 객체 설정창에서 설정된 정보를 저장할 수 있다.
시뮬레이터 프로그램(120)은 초기화 어포던스의 선택에 응답하여 객체 설정창의 설정 정보를 초기화할 수 있다.
한편, 객체 선택이 완료된 후에 배경 선택을 하고 그 후에 객체 설정이 이루어질 수 있다. 이 경우, 객체 선택 유저 인터페이스(u2), 배경 선택 유저 인터페이스(u1) 및 객체 설정 유저 인터페이스(u3) 순으로 표시되면서 시뮬레이터 환경을 설정할 수도 있다.
- 객체 트래킹 방법
도 7a 및 도 7b는 본 발명의 실시예에 따른 객체 트래킹 방법을 개략적으로 도시한 것이다. 그리고, 도 8은 본 발명의 실시예에 따른 딥러닝 네트워크를 활용하여 비행체의 트래킹을 학습하는 것을 설명하기 위한 것이다.
도 7a 및 도 7b 그리고 도 8을 참조하면, 디스플레이 장치(500) 상에는 선택된 배경 영상이 표시(도 7a)되고, 표시된 배경 영상 내에서 선택된 객체(ob)가 표시(도 7b)될 수 있다.
트래킹 카메라(130)는 디스플레이 장치(500) 상에 표시된 영상을 촬영하며 배경 영상을 인식하며 배경 영상 내의 객체(ob)를 검출할 수 있다.
객체(ob)는 객체 설정창에서 설정된 설정 정보에 기초하여 비행할 수 있다.
트래킹 카메라(130)는 배경 영상 내의 객체(ob)를 추적할 수 있다.
트래킹 카메라(130)는 팬틸트 카메라가 될 수 있다.
트래킹 카메라(130)는 배경 영상 내의 객체(ob)의 비행에 대응하여 객체(ob)를 추적을 위해 좌측, 우측, 상측, 하측 방향으로 이동할 수 있다.
다양한 실시예에서, 트래킹 카메라(130)는 촬영 영상을 컴퓨팅 장치(110)로 전송할 수 있다. 컴퓨팅 장치(110)는 설계된 딥러닝 네트워크를 이용하여 수신한 촬영 영상 내에서 객체(ob)를 검출할 수 있다. 컴퓨팅 장치(110)는 배경 영상 내의 검출된 객체(ob)의 위치 정보를 트래킹 카메라(130)로 전송하여 트래킹 카메라(130)가 객체(ob)를 트래킹 학습하도록 트래킹 카메라(130)를 제어할 수 있다.
다양한 실시예에서, 트래킹 카메라(130)는 촬영 영상을 분석하여 객체(ob)를 검출하여 비행하는 객체(ob)를 트래킹할 수 있다.
컴퓨팅 장치(110)는 트래킹 카메라(130)가 객체(ob)를 트래킹할 때의 트래킹의 정확도를 향상시키기 위하여 트래킹 카메라(130)의 움직임 제어 정보를 학습할 수 있다.
다양한 실시예에서, 트래킹 카메라(130)는 발광장치를 구비할 수 있다. 발광장치는 트래킹 카메라(130)의 주시 방향에 매칭하여 광을 출력할 수 있다. 트래킹 카메라(130)가 객체(ob)를 정확히 추적하는 경우 광은 객체(ob) 또는 객체(ob)와 인접한 영역 상에 조사될 수 있다.
사용자는 객체(ob)와 조사된 광의 이격 거리가 기설정치를 벗어나는 비정상 트래킹 상황의 경우 이를 컴퓨팅 장치(110)에 기록할 수 있다.
컴퓨팅 장치(110)는 비행체의 트래킹 중에 비정상 트래킹 상황으로 지정된 시간 영역에서의 트래킹 데이터를 반영하여 트래킹 카메라(130)의 움직임 제어 정보를 학습할 수 있다.
다양한 실시예에서, 트래킹 카메라(130)의 줌 변경에 대응하여 조사되는 광의 크기가 변경될 수 있다. 예시적으로, 줌이 확대되는 경우 광의 크기가 증가하고, 줌이 축소되는 경우 광의 크기가 축소됨으로써 사용자로 하여금 현재 트래킹 카메라(130)의 줌 상태를 직관적으로 확인할 수 있도록 한다.
다양한 실시예에서, 디스플레이 장치(500) 상에 복수의 배경 영상 촬영 카메라(200)들이 촬영한 배경 영상이 모두 표시되는 경우 이들 배경 영상의 경계라인이 서로 매칭되고 하나의 전체 영상이 되도록 컴퓨팅 장치(110)는 복수의 배경 영상을 영상 처리할 수 있다.
컴퓨팅 장치(110)는 복수의 배경 영상으로서 실질적으로 하나의 배경 영상으로 디스플레이 장치(500) 상에서 표시되는 배경 영상 내의 랜덤한 지점에 객체(ob)를 표시하고 초기 지점에서부터 객체 설정창에서 설정된 설정 정보에 기초하여 객체(ob)의 비행을 제어할 수 있다. 그리고, 트래킹 카메라(130)는 실시간으로 배경 영상 내의 객체(ob)의 검출 및 객체(ob)의 트래킹을 하며 트래킹 학습을 수행할 수 있다.
또한, 컴퓨팅 장치(110)는 미리 설정된 이펙터 효과를 반영한 배경 영상을 표시함으로써 트래킹 카메라(130)의 트래킹 학습 능력을 배가 시킬 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
비행체 트래킹 시스템(10)
비행 테스트용 시뮬레이터(100)
컴퓨팅 장치(110)
시뮬레이터 프로그램(120)
트래킹 카메라(130)
배경 영상 촬영 카메라(200)
제1 배경 영상 촬영 카메라(210)
제2 배경 영상 촬영 카메라(220)
단말기(300)
디스플레이 장치(500)
비행 테스트용 시뮬레이터(100)
컴퓨팅 장치(110)
시뮬레이터 프로그램(120)
트래킹 카메라(130)
배경 영상 촬영 카메라(200)
제1 배경 영상 촬영 카메라(210)
제2 배경 영상 촬영 카메라(220)
단말기(300)
디스플레이 장치(500)
Claims (7)
- 컴퓨팅 장치에 설치된 시뮬레이터 프로그램을 실행하여
실제 환경에 위치한 배경 영상 촬영 카메라로부터 수신한 배경 영상을 선택하고,
상기 배경 영상에 표시할 가상 객체를 선택하고,
상기 가상 객체의 크기 범위, 이동 속도, 회전 속도, 회전 각도, 상기 배경 영상에 연출되는 이펙트 중 적어도 하나를 설정하여 설정 정보를 생성하고,
선택된 배경 영상을 표시하고, 표시된 배경 영상에 선택된 가상 객체를 표시하며 상기 설정 정보에 기초하여 상기 가상 객체의 이동을 제어 및 상기 이펙트를 연출하며,
표시된 상기 배경 영상을 촬영하여 상기 배경 영상 내의 상기 가상 객체를 검출하여 상기 가상 객체의 이동에 대응하여 상기 가상 객체를 추적하는 트래킹 카메라로부터 상기 가상 객체의 트래킹을 위한 딥러닝 학습 데이터를 수집하는
객체 트래킹 방법. - 제1 항에 있어서,
미리 설정된 상기 배경 영상 촬영 카메라와의 최근접 위치와 상기 배경 영상 촬영 카메라로부터의 최원거리 위치 사이의 거리 정보와 상기 객체의 크기 범위를 매칭하고 상기 배경 영상 내에서 상기 가상 객체의 위치에 따라 상기 객체의 크기가 변경되는
객체 트래킹 방법. - 제2 항에 있어서,
상기 배경 영상 촬영 카메라의 실시간 줌 정보에 기초하여 상기 배경 영상 내의 가상 객체의 크기가 변경되는
객체 트래킹 방법. - 제3 항에 있어서,
상기 최근접 위치는 표시된 배경 영상의 전체 영역 대비 미리 설정된 비율 내의 가상 객체의 최대 표시 크기에 기초하여 설정되고
상기 최원거리 위치는 상기 실제 환경에 위치한 배경 영상 촬영 카메라의 위치한 지점에서 가상으로 위치한 실물 객체를 제어하는 통신 장치와 실물 객체의 통신 허용 최대 거리에 기초하여 설정되는
객체 트래킹 방법. - 제1 항에 있어서,
복수의 배경 영상 촬영 카메라들 각각으로부터 배경 영상들을 수신하여 배경 영상들의 경계 라인이 매칭되어 전체로서 하나의 영상이 되도록 영상 처리하여 표시하고, 상기 전체로서 하나의 영상 내에 상기 가상 객체를 표시하여 이동을 제어 및 상기 이펙터를 연출하는
객체 트래킹 방법. - 제5 항에 있어서,
상기 복수의 배경 영상 촬영 카메라들 중 어느 하나의 촬영 영역의 변경 또는 줌의 변경이 있는 경우 상기 경계 라인의 매칭의 유지를 위해 다른 배경 영상 촬영 카메라의 촬영 영역의 변경 또는 줌을 변경하는
객체 트래킹 방법. - 실제 환경에 위치하여 배경 영상을 촬영하는 배경 영상 촬영 카메라;
상기 배경 영상에 표시될 가상 객체의 크기 범위, 이동 속도, 회전 속도, 회전 각도, 상기 배경 영상에 연출되는 이펙트 중 적어도 하나를 설정하여 설정 정보를 생성하고, 디스플레이 장치 상에 상기 배경 영상 촬영 카메라로부터 수신한 배경 영상 및 상기 가상 객체를 표시하는 컴퓨팅 장치; 및
상기 배경 영상을 촬영하여 상기 가상 객체를 검출하여 상기 가상 객체의 이동에 대응하여 상기 가상 객체를 추적하는 트래킹 카메라;를 포함하고,
상기 컴퓨팅 장치는 상기 트래킹 카메라로부터 상기 가상 객체의 트래킹을 위한 딥러닝 학습 데이터를 수집하고,
상기 컴퓨팅 장치는 상기 설정 정보에 기초하여 상기 가상 객체를 상기 배경 영상 내에 표시하는
딥러닝 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220132548A KR20240052467A (ko) | 2022-10-14 | 2022-10-14 | 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220132548A KR20240052467A (ko) | 2022-10-14 | 2022-10-14 | 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240052467A true KR20240052467A (ko) | 2024-04-23 |
Family
ID=90881297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220132548A KR20240052467A (ko) | 2022-10-14 | 2022-10-14 | 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240052467A (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170074413A (ko) | 2015-12-22 | 2017-06-30 | 연세대학교 산학협력단 | 3d 모델을 활용한 2d 영상 학습 데이터 생성 시스템 및 그 생성방법 |
| KR101886754B1 (ko) | 2017-05-04 | 2018-09-10 | 국방과학연구소 | 머신 러닝을 위한 학습 이미지 생성 장치 및 방법 |
| KR20200108609A (ko) | 2019-03-11 | 2020-09-21 | 연세대학교 산학협력단 | 머신러닝 학습 데이터 증강장치 및 증강방법 |
| KR20200136723A (ko) | 2019-05-28 | 2020-12-08 | 한국전자통신연구원 | 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치 |
| KR102291162B1 (ko) | 2020-12-01 | 2021-08-20 | 주식회사 딥노이드 | 인공 지능 학습용 가상 데이터 생성 장치 및 방법 |
| KR102445556B1 (ko) | 2021-06-10 | 2022-09-21 | 주식회사 에이투마인드 | 가상 데이터를 생성하는 방법 및 장치 |
-
2022
- 2022-10-14 KR KR1020220132548A patent/KR20240052467A/ko unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170074413A (ko) | 2015-12-22 | 2017-06-30 | 연세대학교 산학협력단 | 3d 모델을 활용한 2d 영상 학습 데이터 생성 시스템 및 그 생성방법 |
| KR101886754B1 (ko) | 2017-05-04 | 2018-09-10 | 국방과학연구소 | 머신 러닝을 위한 학습 이미지 생성 장치 및 방법 |
| KR20200108609A (ko) | 2019-03-11 | 2020-09-21 | 연세대학교 산학협력단 | 머신러닝 학습 데이터 증강장치 및 증강방법 |
| KR20200136723A (ko) | 2019-05-28 | 2020-12-08 | 한국전자통신연구원 | 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치 |
| KR102291162B1 (ko) | 2020-12-01 | 2021-08-20 | 주식회사 딥노이드 | 인공 지능 학습용 가상 데이터 생성 장치 및 방법 |
| KR102445556B1 (ko) | 2021-06-10 | 2022-09-21 | 주식회사 에이투마인드 | 가상 데이터를 생성하는 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3491493B1 (en) | Gesture based control of autonomous vehicles | |
| US11829139B2 (en) | Applications and skills for an autonomous unmanned aerial vehicle | |
| US11748963B2 (en) | Cross reality system with simplified programming of virtual content | |
| EP3468181A1 (en) | Drone clouds for video capture and creation | |
| US20240062081A1 (en) | Private artificial intelligence (ai) model of a user for use by an autonomous personal companion | |
| EP3675488B1 (en) | Method for recording video on the basis of a virtual reality application, terminal device, and storage medium | |
| US20190025773A1 (en) | Deep learning-based real-time detection and correction of compromised sensors in autonomous machines | |
| US20190156558A1 (en) | Virtual reality system | |
| EP3899786A1 (en) | Detecting objects in crowds using geometric context | |
| US20180061138A1 (en) | Virtual reality system | |
| KR20190110498A (ko) | 영상 파일에서 불특정 인물의 얼굴 영역을 비식별화 처리하는 인공 지능 서버 및 그 방법 | |
| KR20190134694A (ko) | 중앙화된 렌더링 | |
| US10896520B2 (en) | System and method for moment capturing | |
| CN107450573B (zh) | 飞行拍摄控制***和方法、智能移动通信终端、飞行器 | |
| KR20200100046A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
| US20210112194A1 (en) | Method and device for taking group photo | |
| CN113826059A (zh) | 在具有手部姿势交互的混合现实环境中设置相机中的焦点的技术 | |
| WO2021088684A1 (zh) | 全向避障方法及无人飞行器 | |
| WO2020114176A1 (zh) | 对虚拟环境进行观察的方法、设备及存储介质 | |
| US11516296B2 (en) | Location-based application stream activation | |
| WO2022141369A1 (en) | Systems and methods for supporting automatic video capture and video editing | |
| KR20220062400A (ko) | 투사 방법 및 시스템 | |
| BR112019009494A2 (pt) | dispositivo de computação para suportar uma aplicação de realidade aumentada, método de suporte a uma aplicação de realidade aumentada e meio de armazenamento legível por computador | |
| KR20210057598A (ko) | 알림을 제공하는 인공 지능 장치 및 그 방법 | |
| KR20240052467A (ko) | 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법 |