KR102619701B1 - 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법 및 그를 위한 컴퓨팅 장치 - Google Patents
동적 객체에 대한 3차원 자세 추정 데이터 생성 방법 및 그를 위한 컴퓨팅 장치 Download PDFInfo
- Publication number
- KR102619701B1 KR102619701B1 KR1020220190143A KR20220190143A KR102619701B1 KR 102619701 B1 KR102619701 B1 KR 102619701B1 KR 1020220190143 A KR1020220190143 A KR 1020220190143A KR 20220190143 A KR20220190143 A KR 20220190143A KR 102619701 B1 KR102619701 B1 KR 102619701B1
- Authority
- KR
- South Korea
- Prior art keywords
- basic
- skeleton
- dynamic object
- data
- rotation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 117
- 238000003384 imaging method Methods 0.000 claims abstract description 54
- 238000013136 deep learning model Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims description 58
- 238000000926 separation method Methods 0.000 claims description 7
- 238000009795 derivation Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
본 발명의 실시예에 따른 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법을 제공한다. 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법은 회전 가능한 촬영 장치를 통해 촬영된 동적 객체에 대한 동영상을 수신하는 단계, 상기 동영상을 딥 러닝 모델의 입력값으로 이용하여 기초 3D 스켈레톤 데이터를 생성하는 단계, 상기 동적 객체를 추적 촬영하는 과정에서 상기 촬영 장치가 회전된 각도를 포함하는 회전 정보를 도출하는 단계; 및 상기 회전 정보에 기초하여 상기 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행하여 최종 3D 스켈레톤 데이터를 도출하는 단계를 포함한다.
Description
본 발명은 동적 객체의 움직임을 나타내는 3D 스켈레톤 데이터에 대한 회전 보정 및 크기 보정을 수행하는 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법 및 그를 위한 컴퓨팅 장치에 관한 것이다.
일반적으로 원거리 통신을 목적으로 제작된 휴대폰은 기술발전으로 인해 전통적인 통신 기능 외에 카메라 기능이 부가되어 사진이나 영상 촬영이 가능하게 되었다. 특히 스마트폰의 보급 및 스마트폰의 카메라의 기능이 발전됨에 따라, 카메라를 활용한 영상 촬영, 영상의 공유 및 영상 분석 기술이 발전하고 있다. 다만, 카메라 기능이 부가된 스마트폰은 종래의 카메라에 비해 사진 촬영 시 흔들림에 의해 사진이 선명하게 촬영되지 못하는 단점이 있고, 스마트폰을 들고 장시간 동영상을 촬영하는 경우 불편함이 있다.
동영상의 흔들림 및 동영상 촬영의 불편함을 해소하기 위해, 사람이 움직이는 것을 추적 촬영할 수 있는 기능을 가진 소프트웨어 및 하드웨어가 개발되었다. 사람을 촬영하는 촬영 장치의 위치는 고정되고, 별도의 거치대를 통해 촬영 장치를 회전시킴으로써 움직이는 사람에 대한 동영상 촬영이 가능할 수 있다. 다만, 사람이 움직임에 따라, 촬영 장치가 사람을 바라보는 주시 각도가 변경되고 촬영 장치와 사람 간의 거리가 변경될 수 있다. 이러한 상황 하에서 촬영된 동영상에 기초하여 사람의 자세를 추정하기 위한 데이터(3D 스켈레톤 데이터)를 생성하게 되면, 주시 각도의 변동 및 촬영 장치와 사람 간의 거리 변화가 모두 반영된 3D 스켈레톤 데이터가 도출되게 된다. 특히, 주시 각도의 변동이 반영된 3D 스켈레톤 데이터는 사람의 자세를 정확하게 추정하는데 있어 신뢰성이 떨어지는 데이터일 가능성이 높다. 결론적으로, 고정된 촬영 장치를 통해 획득한 동영상을 이용하여 도출된 3D 스켈레톤 데이터는 사람의 자세를 정확하게 추정하는데 있어 신뢰성이 떨어지는 문제점이 있다.
본 발명의 기술적 과제는 동적 객체의 자세를 추정하기 위해 이용되는 데이터의 신뢰성을 높일 수 있는 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법 및 그를 위한 컴퓨팅 장치를 제공하는 것이다.
본 발명의 실시예에 따른 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법을 제공한다. 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법은 회전 가능한 촬영 장치를 통해 촬영된 동적 객체에 대한 동영상을 수신하는 단계, 상기 동영상을 딥 러닝 모델의 입력값으로 이용하여 기초 3D 스켈레톤 데이터를 생성하는 단계, 상기 동적 객체를 추적 촬영하는 과정에서 상기 촬영 장치가 회전된 각도를 포함하는 회전 정보를 도출하는 단계; 및 상기 회전 정보에 기초하여 상기 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행하여 최종 3D 스켈레톤 데이터를 도출하는 단계를 포함한다.
일 예에 의하여, 상기 기초 3D 스켈레톤 데이터를 생성하는 단계는, 제1 딥 러닝 모델을 이용하여 입력되는 상기 동영상에 기초하여 2D 스켈레톤 데이터를 생성하는 단계 및 제2 딥 러닝 모델을 이용하여 2D 스켈레톤 데이터에 기초하여 상기 기초 3D 스켈레톤 데이터를 생성하는 단계를 포함한다.
일 예에 의하여, 상기 회전 정보를 도출하는 단계는, 상기 동영상에서 상기 동적 객체 외의 영역에 대한 특징점을 도출하는 단계, 상기 동적 객체의 이동에 의해 상기 특징점의 변경된 위치를 식별하는 단계 및 상기 특징점의 위치 변화에 기초하여 상기 촬영 장치의 회전 각도를 도출하는 단계를 포함한다.
일 예에 의하여, 상기 동적 객체의 이동에 의해 상기 촬영 장치는 회전되어 상기 촬영 장치가 촬영한 화면 내에서 상기 동적 객체는 중앙 부분에 위치하고, 상기 동적 객체를 기준으로 상기 촬영 장치가 회전됨에 따라 상기 특징점의 위치는 변경된다.
일 예에 의하여, 상기 회전 정보를 도출하는 단계는, 상기 동적 객체를 추적하기 위해 회전되는 상기 촬영 장치에 대한 제어 정보에 기초하여 상기 회전 정보가 도출된다.
일 예에 의하여, 기설정된 시간 마다 촬영된 프레임들을 기준으로 상기 회전 정보는 계속적으로 도출되고, 상기 회전 정보가 도출된 시점에서의 상기 기초 3D 스켈레톤 데이터에 상기 회전 정보를 통한 회전 보정을 통해 상기 최종 3D 스켈레톤 데이터가 도출된다.
일 예에 의하여, 상기 최종 3D 스켈레톤 데이터를 도출하는 단계는 상기 촬영 장치와 상기 동적 객체의 거리의 변화에 따라 상기 기초 3D 스켈레톤 데이터가 표현된 기초 3D 스켈레톤의 크기가 가변되는 것을 보정하는 것을 포함한다.
일 예에 의하여, 상기 촬영 장치가 회전되지 않은 상태에서 촬영된 상기 동영상에 기초하여 도출된 상기 기초 3D 스켈레톤의 크기를 기준으로, 상기 촬영 장치가 회전된 상태에서 촬영된 상기 동영상에 기초하여 도출된 상기 기초 3D 스켈레톤의 크기를 보정한다.
일 예에 의하여, 상기 최종 3D 스켈레톤 데이터를 도출하는 단계는, 상기 기초 3D 스켈레톤의 크기 변화를 파악하는 단계, 상기 기초 3D 스켈레톤의 크기 변화에 따른 가중치를 상기 회전 정보에 인가하는 단계 및 상기 가중치가 인가된 상기 회전 정보에 기초하여 상기 기초 3D 스켈레톤 데이터의 회전 보정을 수행하는 단계를 포함한다.
일 예에 의하여, 상기 기초 3D 스켈레톤의 크기 변화량이 기준 변화량을 벗어나는 경우, 상기 회전 정보에 상기 가중치를 인가하고, 상기 기초 3D 스켈레톤의 크기가 상기 촬영 장치의 회전에 따라 작아지는 경우, 상기 가중치는 1보다 큰 값을 가지고, 상기 기초 3D 스켈레톤의 크기가 상기 촬영 장치의 회전에 따라 커지는 경우, 상기 가중치는 1보다 작은 값을 가진다.
본 발명의 실시예에 따른 동적 객체에 대한 3차원 자세 추정 데이터 생성을 위한 컴퓨팅 장치를 제공한다. 동적 객체에 대한 3차원 자세 추정 데이터 생성을 위한 컴퓨팅 장치는 회전 가능한 촬영 장치를 통해 촬영된 동적 객체에 대한 동영상을 수신하는 수신부, 상기 동영상을 입력값으로 하여 상기 동적 객체에 대응되는 기초 3D 스켈레톤 데이터를 생성하는 딥러닝 모델부, 상기 동적 객체를 추적 촬영하는 과정에서 상기 촬영 장치가 회전된 각도를 포함하는 회전 정보를 도출하는 회전 정보 도출부 및 상기 회전 정보에 기초하여 상기 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행하여 최종 3D 스켈레톤 데이터를 도출하는 보정부를 포함한다.
일 예에 의하여, 상기 회전 정보 도출부는 상기 동영상 내에서 상기 동적 객체가 존재하는 영역 외의 영역에서 특징점을 도출하고, 상기 동적 객체의 이동에 의해 상기 특징점의 위치가 변경되는 것에 기초하여 상기 동적 객체를 추적 촬영하는 상기 촬영 장치의 회전 각도를 도출한다.
일 예에 의하여, 상기 특징점은 상기 동적 객체를 식별하기 위한 경계 박스의 모서리들 중 선택된 적어도 하나 이상의 점을 의미한다.
일 예에 의하여, 상기 보정부는 상기 촬영 장치와 상기 동적 객체의 거리의 변화에 따라 상기 기초 3D 스켈레톤 데이터가 표현된 기초 3D 스켈레톤의 크기가 가변되는 것을 보정하는 크기 보정부를 포함한다.
일 예에 의하여, 상기 보정부는 상기 촬영 장치가 회전되지 않은 상태에서 촬영된 상기 동영상에 기초하여 도출된 상기 기초 3D 스켈레톤의 크기를 기준으로, 상기 촬영 장치가 회전된 상태에서 촬영된 상기 동영상에 기초하여 도출된 상기 기초 3D 스켈레톤의 크기를 보정한다.
일 예에 의하여, 상기 크기 보정부는 기준이 되는 프레임에서 상기 기초 3D 스켈레톤 데이터가 나타내는 복수의 관절점들을 연결하는 연결선의 길이를 기준으로 임의의 프레임에서 상기 기초 3D 스켈레톤 데이터가 나타내는 복수의 관절점들을 연결하는 연결선의 길이를 조절한다.
일 예에 의하여, 상기 보정부는 상기 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행하는 회전 보정부를 포함하고, 상기 회전 보정부는 상기 회전 정보 도출부에 의해 도출된 상기 촬영 장치의 회전 정보에 기초하여 3차원 공간 상에 구현되는 상기 기초 3D 스켈레톤 데이터를 기설정된 중심축을 기준으로 회전시킨다.
일 예에 의하여, 상기 회전 정보 도출부는 상기 기초 3D 스켈레톤 데이터가 표현된 기초 3D 스켈레톤의 크기 변화량에 따른 가중치를 도출하고, 상기 회전 보정부는 가중치가 인가된 상기 회전 정보에 기초하여 상기 기초 3D 스켈레톤 데이터의 회전 보정을 수행하고, 상기 가중치는 상기 동적 객체와 상기 촬영 장치 간의 최초 이격 거리가 변동되는 것을 보상하기 위한 파라미터이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 컴퓨터로 읽을 수 있는 기록 매체는, 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 프로그램이 저장된 것일 수 있다.
본 발명의 실시예에 따르면, 컴퓨팅 장치는 위치가 고정된 촬영 장치가 회전하면서 획득한 동영상을 이용하여 3D 스켈레톤 데이터를 생성하고, 3D 스켈레톤 데이터의 크기 보정, 회전 보정 및 숨겨진 부분의 보정을 수행하는 것을 통해 촬영 장치가 움직이는 동적 객체와 함께 이동하면서 동영상을 촬영한 것에 기초하여 3D 스켈레톤 데이터를 도출한 것과 같은 효과를 구현할 수 있다. 따라서, 동적 객체의 자세를 추정하기 위한 데이터를 생성함에 있어, 컴퓨팅 장치는 더욱 신뢰성이 높은 데이터를 생성할 수 있다.
본 발명의 실시예에 따르면, 촬영 장치에 의해 촬영된 동영상에 기초하여 도출된 기초 3D 스켈레톤 데이터에 대한 크기 보정 및 회전 보정을 수행하여 촬영 장치와 동적 객체 간의 거리 변화 및 촬영 장치의 주시 각도의 변화를 보상할 수 있다.
도 1은 본 발명의 실시예에 따른 동적 객체에 대한 3차원 자 세 추정 데이터 생성을 위한 컴퓨팅 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 촬영 장치를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 촬영 장치의 회전 정보를 산출하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 3D 스켈레톤 데이터의 회전 보정을 수행하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 3D 스켈레톤 데이터의 크기 보정을 수행하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 3D 스켈레톤의 크기에 따라 회전 정보에 가중치를 부여하는 것을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 실시예에 따른 촬영 장치를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 촬영 장치의 회전 정보를 산출하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 3D 스켈레톤 데이터의 회전 보정을 수행하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 3D 스켈레톤 데이터의 크기 보정을 수행하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 3D 스켈레톤의 크기에 따라 회전 정보에 가중치를 부여하는 것을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전문에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 구성의 명칭을 제1, 제2 등으로 구분한 것은 그 구성의 명칭이 동일한 관계로 이를 구분하기 위한 것으로, 하기의 설명에서 반드시 그 순서에 한정되는 것은 아니다.
본 개시의 다양한 실시예들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있고, 컴퓨터 프로그램들은 컴퓨터 판독 가능한 프로그램 코드(code)로부터 형성되고, 컴퓨터로 판독 가능한 매체에 수록될 수 있다. 컴퓨터로 판독 가능한 매체는 물리적으로 단독으로 구분되는 매체 (예컨대, USB 등) 뿐만 아니라, 온라인으로 다운로드 되어 컴퓨터 장치의 저장 매체(예컨대, 메모리 등)에 저장된 경우를 포함한다.
상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 기술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 기술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
도 1은 본 발명의 실시예에 따른 동적 객체에 대한 3차원 자세 추정 데이터 생성을 위한 컴퓨팅 장치를 나타내는 블록도이다.
도 1을 참조하면, 컴퓨팅 장치(200)는 움직이는 동적 객체에 대한 3차원 자세 추정을 위한 데이터를 생성할 수 있다. 동적 객체는 스포츠를 수행하는 사람, 춤을 추는 사람 등과 같이 움직이는 동작을 수행하는 사람을 의미할 수 있다. 3차원 자세 추정을 위한 데이터는 3D 스켈레톤 데이터를 의미할 수 있다. 3D 스켈레톤 데이터는 관절 등의 부위에 대응되는 키포인트(key-point)의 3차원 공간 좌표 상의 위치 좌표와 키포인트의 연결 정보를 포함할 수 있다. 예를 들어, 컴퓨팅 장치(200)는 소프트웨어, 컴퓨터 프로그램 및 스마트폰에 의해 구동되는 어플리케이션이거나, 이들과 하드웨어의 조합으로 이루어질 수 있다. 본 발명의 실시예에 따른 컴퓨팅 장치(200)는 고정된 촬영 장치(100)를 통해 획득된 동영상을 이용하여 3D 스켈레톤 데이터로 생성하고, 3D 스켈레톤 데이터를 보정하는 과정을 수행함으로써, 촬영 장치(100)가 움직이는 동적 객체와 함께 이동하면서 동적 객체에 대한 데이터를 수집한 것과 같은 효과를 구현할 수 있다.
컴퓨팅 장치(200)는 수신부(210), 딥러닝 모델부(230), 회전 정보 도출부(250) 및 보정부(270)를 포함할 수 있다. 컴퓨팅 장치(200)는 동적 객체의 움직임을 촬영하는 촬영 장치(100)와 연동될 수 있다. 촬영 장치(100)는 동적 객체를 추적하여 촬영할 수 있고, 추적 촬영을 위해 회전 가능할 수 있다. 촬영 장치(100)는 피사체의 깊이 정보를 포착할 수 있는 깊이 센서를 포함할 수 있다.
수신부(210)는 촬영 장치(100)가 촬영한 동적 객체의 동영상을 수신할 수 있다. 수신부(210)는 촬영 장치(100)가 동적 객체의 추적 촬영을 위해 회전되는 회전 각도를 포함하는 회전 정보를 촬영 장치(100)로부터 수신할 수 있다.
딥러닝 모델부(230)는 수신부(210)가 수신한 동적 객체에 대한 동영상을 입력값으로 이용하여 동적 객체에 대한 3D 스켈레톤 데이터를 생성할 수 있다. 딥러닝 모델부(230)를 통해 생성된 3D 스켈레톤 데이터는 기초 3D 스켈레톤 데이터로 정의한다. 기초 3D 스켈레톤 데이터는 3D 공간 상에서 구현될 수 있는 데이터일 수 있다. 딥러닝 모델부(230)는 딥러닝 뉴럴 네트워크(Deep-learning neural network)에 기반하여 구현될 수 있다. 예를 들어, 딥러닝 모델부(230)는 순환 신경망(Recurrent Neural Network: RNN), 컨볼루션 신경망(Convolution Neural Network: CNN) 및 심층 신경망(Deep Neural Network: DNN) 등에 기반하여 구현될 수 있다. 딥러닝 모델부(230)를 구현하기 위한 신경망 모델은 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.
일 예로, 딥러닝 모델부(230)는 촬영 장치(100)에 의해 촬영된 2D 동영상에 기초하여 3D 스켈레톤 데이터를 직접 생성할 수 있다. 딥러닝 모델부(230)는 동적 객체의 골격을 인식하여, 골격을 기반으로 관절과 뼈를 구분할 수 있다. 딥러닝 모델부(230)는 관절에 대한 3차원 데이터를 추출함으로써 기초 3D 스켈레톤 데이터를 추출할 수 있다. 딥러닝 모델부(230)는 관절에 대한 3차원 데이터를 추출하는 과정에서 미리 학습되거나 저장된 사람의 관절에 대한 정보를 이용할 수 있다.
일 예로, 딥러닝 모델부(230)는 2D 동영상에 기초하여 2D 스켈레톤 데이터를 생성하는 제1 딥러닝 모델부(231) 및 제1 딥러닝 모델부(231)에 의해 생성된 2D 스켈레톤 데이터에 기초하여 기초 3D 스켈레톤 데이터를 생성하는 제2 딥러닝 모델부(233)를 포함할 수 있다. 제1 딥러닝 모델부(231)는 제1 딥러닝 모델에 의해 구현될 수 있고, 제1 딥러닝 모델은 순환 신경망(Recurrent Neural Network: RNN), 컨볼루션 신경망(Convolution Neural Network: CNN) 및 심층 신경망(Deep Neural Network: DNN) 등에 의해 구현될 수 있다. 제2 딥러닝 모델부(233)는 제2 딥러닝 모델에 의해 구현될 수 있고, 제2 딥러닝 모델은 순환 신경망(Recurrent Neural Network: RNN), 컨볼루션 신경망(Convolution Neural Network: CNN) 및 심층 신경망(Deep Neural Network: DNN) 등에 의해 구현될 수 있다. 제1 딥러닝 모델부(231)는 동적 객체의 관절을 인식할 수 있고, 관절과 관절들을 연결하는 뼈를 구분하여 2D 스켈레톤 데이터를 생성할 수 있다. 제2 딥러닝 모델부(233)는 2D 스켈레톤 데이터에 기초하여 기초 3D 스켈레톤 데이터를 생성할 수 있다.
회전 정보 도출부(250)는 촬영 장치(100)의 회전 정보를 도출할 수 있다. 회전 정보는 촬영 장치(100)가 동적 객체를 추적 촬영하는 과정에서 회전된 각도를 포함할 수 있다. 또한, 회전 정보는 촬영 장치(100)가 특정 각도로 회전되는데 소요되는 시간 정보를 포함할 수 있다. 회전 정보는 기설정된 시간 마다 촬영된 프레임들을 기준으로 계속적으로 도출될 수 있다.
일 예로, 회전 정보 도출부(250)는 동영상 내에서 특징점을 도출하고, 특징점의 위치 변경을 식별하는 것을 통해 촬영 장치(100)의 회전 각도를 도출할 수 있다. 회전 정보 도출부(250)는 동영상에서 동적 객체 외의 영역에 대한 특징점을 도출할 수 있다. 특징점은 동적 객체의 이동에 의해 프레임 밖으로 벗어날 수 있는바, 특징점은 새로운 점으로 지속적으로 업데이트될 수 있다. 특징점은 동적 객체를 식별하기 위한 경계 박스의 모서리들 중 선택된 적어도 하나 이상의 점을 의미할 수 있다. 또한, 특징점은 동영상 내의 동적 객체의 배경 부분에서 선택된 임의의 점을 의미할 수 있다. 회전 정보 도출부(250)는 동적 객체의 이동에 의해 동영상을 구성하는 복수의 프레임들에서 특징점의 변경된 위치를 식별할 수 있다. 동적 객체의 이동에 의해 촬영 장치(100)는 회전될 수 있고, 촬영 장치(100)가 촬영한 화면(일 프레임) 내에서 동적 객체는 중앙 부분에 위치할 수 있다. 동적 객체를 기준으로 촬영 장치(100)가 회전됨에 따라 동적 객체는 화면 내에서 항상 중앙 부분에 위치할 수 있으므로, 특징점의 위치는 촬영 장치(100)가 회전됨에 따라 변경될 수 있다. 중앙 부분은 동영상의 일 프레임에서 중앙을 의미하고, 일 프레임의 가로 방향을 기준으로 중앙을 의미할 수 있다. 회전 정보 도출부(250)는 특징점의 이동 거리를 파악할 수 있고, 특징점과 촬영 장치(100) 간의 이격 거리를 파악할 수 있다. 회전 정보 도출부(250)는 삼각측량법을 이용하여 특징점의 이동 거리와 특징점과 촬영 장치(100) 간의 이격 거리에 기초하여 촬영 장치(100)의 회전 각도를 산출할 수 있다. 추가적으로, 회전 정보 도출부(250)는 특징점의 이동 속도를 산출하는 것을 통해 촬영 장치(100)의 회전 속도를 도출할 수 있다.
일 예로, 회전 정보 도출부(250)는 동적 객체를 추적하기 위해 회전되는 촬영 장치(100)에 대한 제어 정보에 기초하여 회전 정보를 도출할 수 있다. 수신부(210)는 촬영 장치(100)가 동적 객체를 추적 촬영하는 과정에서 회전되는 각도에 대한 정보를 수신할 수 있다. 촬영 장치(100)는 동적 객체를 추적 촬영하는 과정에서 지속적으로 회전되는바, 회전 정보 도출부(250)는 시간에 따른 촬영 장치(100)의 회전 각도에 대한 정보를 도출할 수 있다.
보정부(270)는 기초 3D 스켈레톤 데이터에 대한 크기 보정, 회전 보정 및 숨겨진 부분의 보정을 수행할 수 있다. 보정부(270)는 보정을 통해 최종 3D 스켈레톤 데이터를 도출할 수 있다. 보정부(270)는 기초 3D 스켈레톤 데이터에 대한 크기 보정을 수행하는 크기 보정부(271), 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행하는 회전 보정부(273) 및 기초 3D 스켈레톤 데이터에 대한 숨겨진 부분의 보정을 수행하는 히든 부분 보정부(275)를 포함할 수 있다.
크기 보정부(271)는 촬영 장치(100)와 동적 객체의 거리 변화에 따라 기초 3D 스켈레톤의 크기가 가변되는 것을 보정할 수 있다. 예를 들어, 동적 객체가 촬영 장치(100)로부터 멀어지는 방향으로 이동되는 경우, 동적 객체의 움직임에 기초하여 생성된 기초 3D 스켈레톤의 크기도 시간이 경과할수록 점점 작게 생성될 수 있다. 크기 보정부(271)는 기초 3D 스켈레톤의 크기가 일정하게 생성되도록 특정 시점에서의 기초 3D 스켈레톤의 크기를 기준으로 다른 시점에서의 기초 3D 스켈레톤의 크기를 보정할 수 있다. 일 예로, 특정 시점은 촬영 장치(100)가 회전되지 않은 상태일 수 있다. 즉, 촬영 장치(100)가 회전되지 않은 상태에서 촬영된 동영상에 기초하여 도출된 기초 3D 스켈레톤의 크기를 기준으로, 크기 보정부(271)는 촬영 장치(100)가 회전된 상태에서 촬영된 동영상에 기초하여 도출된 기초 3D 스켈레톤의 크기를 보정할 수 있다. 다른 예로, 특정 시점은 동영상의 총 재생 시간에서 중간 시점일 수 있다. 상술한 예와 달리, 특정 시점은 설계자에 의해 설정될 수 있다.
회전 보정부(273)는 회전 정보 도출부(250)에 의해 도출된 회전 정보에 기초하여 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행하여 최종 3D 스켈레톤 데이터를 도출할 수 있다. 동적 객체가 촬영 장치(100)에서 멀어질수록 동적 객체를 추정하기 위한 데이터의 신뢰성이 낮아질 수 있다. 따라서, 회전 보정부(273)는 촬영 장치(100)가 동적 객체를 추적 촬영하기 위해 회전된 각도에 기초하여 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행할 수 있다. 구체적으로, 회전 보정부(273)는 3D 공간 상에 표현된 기초 3D 스켈레톤을 회전 처리할 수 있다. 이를 통해, 촬영 장치(100)가 동적 객체와 함께 이동하면서 동적 객체를 촬영하고, 촬영된 동영상에 기초하여 3D 스켈레톤 데이터를 도출한 것과 같은 효과가 구현될 수 있다.
히든 부분 보정부(275)는 동적 객체의 신체 부위의 일부가 가려진 상태로 동영상이 촬영된 경우에 가려진 부분의 관절점들을 추정할 수 있다. 즉, 히든 부분 보정부(275)는 가려진 신체 부위의 일부에 대한 관절점들을 추정하여 기초 3D 스켈레톤 데이터를 보정하여 관절점들 중 일부가 생략되지 않은 완전한 상태의 3D 스켈레톤 데이터를 도출할 수 있다. 히든 부분 보정부(275)는 히든 부분(가려진 부분)이 발생된 프레임의 전후 프레임의 3D 스켈레톤 데이터에 기초하여 히든 부분에서의 관절점의 위치를 추정하거나, 기저장된 신체의 관절들에 대한 정보에 기초하여 히든 부분에서의 관절점의 위치를 추정할 수 있다. 일 예로, 히든 부분 보정부(2750)는 3차원 뼈대 모델을 저장할 수 있고, 3차원 뼈대 모델에 대한 인버스 키네마틱스(Inverse Kinematics)를 통해 신체 부위 중에서 히든 부분에 대한 관절의 위치 정보를 도출할 수 있다.
보정부(270)에 의해 크기 보정, 회전 보정 및 히든 부분 보정이 수행된 기초 3D 스켈레톤 데이터는 최종 3D 스켈레톤 데이터로 정의될 수 있다.
본 발명의 실시예에 따르면, 컴퓨팅 장치(200)는 위치가 고정된 촬영 장치(100)가 회전하면서 획득한 동영상을 이용하여 3D 스켈레톤 데이터를 생성하고, 3D 스켈레톤 데이터의 크기 보정, 회전 보정 및 히든 부분의 보정을 수행하는 것을 통해 촬영 장치(100)가 움직이는 동적 객체와 함께 이동하면서 동영상을 촬영한 것에 기초하여 3D 스켈레톤 데이터를 도출한 것과 같은 효과를 구현할 수 있다. 따라서, 동적 객체의 자세를 추정하기 위한 데이터를 생성함에 있어, 컴퓨팅 장치(200)는 더욱 신뢰성이 높은 데이터를 생성할 수 있다.
도 2는 본 발명의 실시예에 따른 촬영 장치를 나타내는 도면이다.
도 1 및 도 2를 참조하면, 촬영 장치(100)는 사용자 단말(101) 및 거치대(105)를 포함할 수 있다. 다만, 사용자 단말(101)을 대체하여 카메라가 적용될 수 있다. 사용자 단말(101)은 동적 객체에 대한 동영상을 촬영할 수 있다. 거치대(105)는 사용자 단말(101)의 촬영 화상에서의 동적 객체의 이동에 대응하여, 동적 객체의 위치가 촬영 화상 중에 중앙 부분에 위치하도록 사용자 단말(101)을 회전시킬 수 있다. 즉, 거치대(105)는 사용자 단말(101)이 이동하는 동적 객체를 추적하여 촬영하도록 사용자 단말(101)을 회전시킬 수 있다. 거치대(105)는 사용자 단말(101)에 내장된 컴퓨팅 장치(200) 또는 별도로 제공되는 서버(미도시)에 내장된 컴퓨팅 장치(200)로부터 제공된 제어 신호에 기초하여 사용자 단말(101)을 회전시킬 수 있다.
사용자는 촬영 화면 내 동적 객체를 터치하거나, 추출할 동적 객체의 특징점에 도형(예를 들어, 사각형 원) 등을 그림으로써 추출할 동적 객체를 설정할 수 있다. 다만, 추적할 대상인 동적 객체를 특정하는 방법은 특별히 제한되지 않을 수 있다.
일 예로, 사용자가 페이스 트래킹을 선택한 경우, 사용자 단말(101)은 촬영된 화상에서 동적 객체의 얼굴을 특징점으로 추출할 수 있다. 동적 객체의 얼굴이 움직일 때 마다, 거치대(105)는 사용자 단말(101)에 내장된 컴퓨팅 장치(200)로부터 수신한 제어 신호에 기초하여 사용자 단말(101)을 회전시킬 수 있다. 이에 따라, 동적 객체가 이동하더라도 사용자 단말(101)이 촬영한 촬영 화상 내에서 동적 객체의 얼굴이 중앙 부분에 위치할 수 있다.
컴퓨팅 장치(200) 내에는 사용자가 특정한 특징점을 추적하기 위한 알고리즘이 내장될 수 있다. 예를 들어, 특징점을 추적하는 알고리즘은 KLT(Kanade-Lucas-Tomasi) Tracking 알고리즘일 수 있으나, 특별히 한정되지 않을 수 있다.
컴퓨팅 장치(200)는 동적 객체를 추적하기 위해 거치대(105)에 전송하는 제어 신호에 기초하여 촬영 장치(100)의 회전 정보를 도출할 수 있다.
도 3은 본 발명의 실시예에 따른 촬영 장치의 회전 정보를 산출하는 과정을 설명하기 위한 도면이다.
도 1 및 도 3을 참조하면, 시간의 흐름에 따라 동적 객체는 이동할 수 있고, 촬영 장치(100)가 촬영한 화상 또는 특정 프레임은 도 3의 (a)에서 도 3의 (b)로 변경될 수 있다. 촬영 장치(100)는 동적 객체를 추적 촬영하기 때문에, 동적 객체는 촬영 장치(100)가 촬영한 화상 또는 특정 프레임에서 항상 중앙 부분에 위치하도록 표현될 수 있다.
동적 객체를 특정하기 위한 경계 박스(10)가 화상 내에 표현될 수 있다. 경계 박스(10)는 동적 객체와 배경을 구분하기 위한 것으로, 이동하는 동적 객체를 따라 화상 내에서 이동될 수 있다.
도 3의 (a)에서, 촬영 장치(100)의 회전 각도를 도출하기 위한 제1 특징점(20a)은 동적 객체를 식별하기 위한 경계 박스(10)의 모서리들 중 선택된 적어도 하나 이상의 점을 의미할 수 있다. 다시 말해, 동적 객체의 추적 촬영을 개시하는 시점에서 제1 특징점(20a)은 경계 박스(10)의 모서리들에서 선택될 수 있다.
도 3의 (b)에서, 동적 객체가 이동함에 따라 최초에 특정한 제1 특징점(20a)의 위치는 변경될 수 있다. 위치가 변경된 특징점은 제2 특징점(20b)으로 정의될 수 있고, 제2 특징점(20b)은 더 이상 경계 박스(10)의 모서리들에 위치하지 않을 수 있다. 회전 정보 도출부(250)는 제1 특징점(20a)과 제2 특징점(20b) 간의 이동 거리를 파악할 수 있다. 또한, 회전 정보 도출부(250)는 제1 특징점(20a)과 촬영 장치(100) 간의 거리 및 제2 특징점(20b)과 촬영 장치(100) 간의 거리를 파악할 수 있다. 회전 정보 도출부(250)는 촬영 장치(100)의 카메라의 기능 및 촬영 장치(100)에 내장된 깊이 센서의 기능을 이용할 수 있다. 회전 정보 도출부(250)는 제1 특징점(20a)과 제2 특징점(20b) 간의 이동 거리, 제1 특징점(20a)과 촬영 장치(100) 간의 거리 및 제2 특징점(20b)과 촬영 장치(100) 간의 거리에 기초하여 이동하는 동적 객체를 추적하기 위해 촬영 장치(100)가 회전된 각도를 도출할 수 있다.
최초로 특정된 제1 특징점(20a)은 동적 객체의 이동에 의해 화상 또는 프레임을 벗어나게 된다. 회전 정보 도출부(250)는 특정된 시간이 경과될 때마다 또는 특정된 프레임의 수 마다 새로운 특징점을 특정할 수 있다. 도 3의 (b)에서 회전 정보 도출부(250)는 경계 박스(10)의 모서리들에서 제3 특징점(20c)을 특정할 수 있고, 제3 특징점(20c)의 위치 변화에 기초하여 촬영 장치(100)가 회전된 각도를 지속적으로 도출할 수 있다.
상술한 예와 달리, 특징점은 동적 객체 이외의 배경에서 선택된 임의의 점일 수 있고, 사용자가 특징점을 직접 특정할 수도 있다. 즉, 특징점을 특정하는 방법에 대해서는 특별히 제한되지 않을 수 있다.
도 4는 본 발명의 실시예에 따른 3D 스켈레톤 데이터의 회전 보정을 수행하는 과정을 설명하기 위한 도면이다. 도 4의 (a)는 도 3의 (b)가 나타내는 동영상의 일 프레임에 기초하여 도출된 기초 3D 스켈레톤 데이터를 의미할 수 있다.
도 1, 도 3 및 도 4를 참조하면, 딥러닝 모델부(230)는 촬영 장치(100)가 촬영한 동영상에 기초하여 기초 3D 스켈레톤 데이터를 생성할 수 있다. 도 4의 (a)는 특정 시점에서의 기초 3D 스켈레톤 데이터에 의해 표현된 기초 3D 스켈레톤을 나타내는 도면이다. 보정부(270)는 기초 3D 스켈레톤 데이터를 보정하여 최종 3D 스켈레톤 데이터를 생성할 수 있다. 구체적으로, 보정부(270)는 회전 정보 도출부(250)에 의해 도출된 회전 정보에 기초하여 3차원 공간 상에 구현되는 기초 3D 스켈레톤 데이터를 기설정된 중심축을 기준으로 회전시킬 수 있다. 도 4의 (b)는 회전 보정이 수행된 최종 3D 스켈레톤 데이터에 의해 표현된 최종 3D 스켈레톤을 나타내는 도면이다. 기초 3D 스켈레톤 데이터를 3차원 공간 상에 표현한 것이 기초 3D 스켈레톤일 수 있고, 최종 3D 스켈레톤 데이터를 3D 공간 상에 표현한 것이 최종 3D 스켈레톤일 수 있다.
보정부(270) 중 회전 보정부(273)는 회전 정보 도출부(250)에 의해 도출된 회전 정보에 기초하여 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행할 수 있다. 회전 보정부(273)는 촬영 장치(100)가 회전된 각도를 포함하는 회전 정보에 기초하여 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행할 수 있다. 이에 따라, 동적 객체의 이동에 의해 촬영 장치(100)가 동적 객체를 사선 방향으로 바라보도록 촬영된 동영상에 기초하여 도출된 기초 3D 스켈레톤 데이터가 보정될 수 있다. 보정된 결과인 최종 3D 스켈레톤 데이터는 마치 동적 객체가 이동을 시작하기 전에 촬영 장치가 동적 객체를 바라보는 방향에서 촬영된 동영상에 기초하여 도출된 데이터로 보여질 수 있다. 다시 말해, 동적 객체가 이동하는 것에 대응하여 촬영 장치(100)가 함께 이동하면서 동적 객체를 촬영하고, 이에 기초하여 3D 스켈레톤 데이터가 도출된 것과 같은 효과가 구현될 수 있다.
도 5는 본 발명의 실시예에 따른 3D 스켈레톤 데이터의 크기 보정을 수행하는 과정을 설명하기 위한 도면이다.
도 1 및 도 5를 참조하면, 크기 보정부(271)는 촬영 장치(100)와 동적 객체의 거리 변화에 따라 기초 3D 스켈레톤의 크기가 가변되는 것을 보정할 수 있다. 예를 들어, 동적 객체가 촬영 장치(100)로부터 멀어지는 방향으로 이동되는 경우, 동적 객체의 움직임에 기초하여 생성된 기초 3D 스켈레톤의 크기도 시간이 경과할수록 점점 작게 생성될 수 있다. 도 5의 (a)는 촬영 장치(100)가 회전되지 않은 상태에서 촬영된 동영상의 일 프레임일 수 있고, 도 5의 (b)는 촬영 장치(100)가 회전된 상태에서 촬영된 동영상의 일 프레임일 수 있다. 동적 객체는 최초에 촬영 장치(100)와 제1 거리(d1)만큼 이격된 장소에 위치하였으나, 이동에 의해 촬영 장치(100)와 제2 거리(d2)만큼 이격된 장소에 위치할 수 있다. 촬영 장치(100)가 회전된 상태에서 촬영된 동영상의 일 프레임 내에서의 동적 객체의 크기는 촬영 장치(100)가 회전되지 않은 상태에서 촬영된 동영상의 일 프레임 내에서의 동적 객체의 크기보다 작을 수 있다. 다시 말해, 촬영 장치(100)가 회전되지 않은 상태에서 촬영된 동영상에 기초하여 도출된 기초 3D 스켈레톤의 크기는 촬영 장치(100)가 회전된 상태에서 촬영된 동영상에 기초하여 도출된 기초 3D 스켈레톤의 크기보다 클 수 있다. 크기 보정부(271)는 도 5의 (b)에 표현된 기초 3D 스켈레톤의 크기가 도 5의 (a)에 표현된 기초 3D 스켈레톤의 크기와 동일해지도록 크기 보정을 수행할 수 있다.
일 예로, 크기 보정부(271)는 기초 3D 스켈레톤 데이터가 나타내는 복수의 관절점들을 연결하는 연결선의 길이를 조절하는 것을 통해 기초 3D 스켈레톤의 크기를 조절할 수 있다. 구체적으로, 크기 보정부(271)는 기준이 되는 프레임에서 기초 3D 스켈레톤 데이터가 나타내는 복수의 관절점들을 연결하는 연결선의 길이를 기준으로 임의의 프레임에서 기초 3D 스켈레톤 데이터가 나타내는 복수의 관절점들을 연결하는 연결선의 길이를 조절할 수 있다. 즉, 크기 보정을 위한 기준이 되는 기초 3D 스켈레톤의 크기는 사용자가 설정한 기준이 되는 프레임에서의 기초 3D 스켈레톤의 크기일 수 있고, 기준이 되는 프레임은 동영상의 개시 시점의 프레임 또는 전체 프레임들 중 중간 프레임일 수 있다. 기준이 되는 프레임은 특별히 제한되지 않을 수 있다. 크기 보정부(271)는 관절점들(키포인트)을 연결한 연결선의 길이를 보정하여 기초 3D 스켈레톤의 크기 조절의 신뢰성이 향상될 수 있다.
다른 예로, 크기 보정부(271)는 기초 3D 스켈레톤 데이터에 의해 표현되는 기초 3D 스켈레톤의 전체 크기를 조절할 수 있다. 다시 말해, 크기 보정부(271)는 기준이 되는 프레임에서 기초 3D 스켈레톤의 크기를 기준으로 나머지 프레임들에서의 기초 3D 스켈레톤의 크기를 조절할 수 있다.
도 6은 본 발명의 실시예에 따른 3D 스켈레톤의 크기에 따라 회전 정보에 가중치를 부여하는 것을 설명하기 위한 도면이다.
도 1 및 도 6을 참조하면, 회전 정보 도출부(250)는 특징점의 위치 이동 정도 및 촬영 장치(100)와 동적 객체의 거리의 변화에 따라 기초 3D 스켈레톤 데이터가 표현된 기초 3D 스켈레톤의 크기가 가변되는 정도를 고려하여 촬영 장치(100)의 회전 각도를 도출할 수 있다. 다시 말해, 회전 정보 도출부(250)는 기초 3D 스켈레톤의 크기가 가변되는 정도를 고려하여 회전 각도에 가중치를 인가할 수 있다. 최종적으로, 가중치가 인가된 회전 각도에 기초하여 회전 보정부(273)는 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행할 수 있다.
촬영 장치(100)가 동일한 각도로 회전되더라도 동적 객체가 촬영 장치(100)에서 멀어지는지 가까워지는지에 따라 동영상에서 나타나는 동적 객체의 포즈는 달라질 수 있다. 예를 들어, 동적 객체가 특정 포즈를 표현하면서 동적 객체가 촬영 장치(100)에서 멀어지는 경우, 동적 객체가 동일한 포즈를 표현하면서 동적 객체가 촬영 장치(100)에서 가까워지는 경우보다 동적 객체는 더 많이 회전된 것처럼 동영상에서 표현될 수 있다. 구체적으로, 촬영 장치(100)가 회전된 각도가 동일하다는 전제 하에, 동적 객체가 촬영 장치(100)에서 멀어지는 방향으로 달리기를 수행하는 경우와 촬영 장치(100)에 가까워지는 방향으로 달리기를 수행하는 경우는 특정 프레임에서 표현된 동적 객체의 포즈는 서로 상이할 수 있다. 더욱 구체적으로, 동적 객체가 촬영 장치(100)에서 멀어지는 방향으로 달리기를 수행하는 경우에는 특정 프레임에서 동적 객체는 상체의 등 부분이 중점적으로 표현될 수 있으나, 촬영 장치(100)에 가까워지는 방향으로 달리기를 수행하는 경우에는 특정 프레임에서 동적 객체는 상체의 가슴 부분이 중점적으로 표현될 수 있다. 따라서, 동적 객체가 촬영 장치(100)에서 멀어지는 방향으로 이동하는 것을 촬영한 동영상에서 도출된 기초 3D 스켈레톤은 더 큰 각도로 회전 보정이 요구될 수 있다. 반대로, 동적 객체가 촬영 장치(100)에서 가까워지는 방향으로 이동하는 것을 촬영한 동영상에서 도출된 기초 3D 스켈레톤은 더 작은 각도로 회전 보정이 요구될 수 있다.
회전 정보 도출부(250)는 기초 3D 스켈레톤의 크기 변화에 따른 가중치를 도출할 수 있다. 회전 보정부(273)는 가중치가 인가된 회전 정보에 기초하여 기초 3D 스켈레톤 데이터의 회전 보정을 수행할 수 있다. 동적 객체가 촬영 장치(100)를 기준으로 가까워지거나 멀어지도록 이동하게 되면, 촬영 장치(100)가 촬영한 동영상에 기초하여 도출되는 기초 3D 스켈레톤의 크기가 가변하게 된다. 기초 3D 스켈레톤의 크기 변화량이 기준 변화량을 벗어나는 경우, 회전 정보 도출부(250)는 회전 정보에 가중치를 인가할 수 있다. 가중치는 동적 객체와 촬영 장치(100) 간의 최초 이격 거리가 변동되는 것을 보상하기 위한 파라미터를 의미할 수 있다. 동적 객체가 촬영 장치(100)를 기준으로 멀어지는 경우, 기초 3D 스켈레톤의 크기가 촬영 장치의 회전에 따라 작아질 수 있다. 이 때, 기초 3D 스켈레톤의 크기 변화량이 기준 변화량을 벗어나는 경우, 회전 정보 도출부(250)는 1보다 큰 값을 가지는 가중치를 도출할 수 있다. 가중치가 1보다 크다는 것은, 특징점의 위치 변화 또는 촬영 장치(100)의 제어 신호로부터 획득된 회전 각도보다 더 큰 각도로 기초 3D 스켈레톤 데이터의 회전 보정이 수행되어야 한다는 것을 의미할 수 있다. 동적 객체가 촬영 장치(100)를 기준으로 가까워지는 경우, 기초 3D 스켈레톤의 크기가 촬영 장치의 회전에 따라 커질 수 있다. 이 때, 기초 3D 스켈레톤의 크기 변화량이 기준 변화량을 벗어나는 경우, 회전 정보 도출부(250)는 1보다 작은 값을 가지는 가중치를 도출할 수 있다. 가중치가 1보다 작다는 것은, 특징점의 위치 변화 또는 촬영 장치(100)의 제어 신호로부터 획득된 회전 각도보다 더 작은 각도로 기초 3D 스켈레톤 데이터의 회전 보정이 수행되어야 한다는 것을 의미할 수 있다. 기준 변화량은 설계자에 의해 결정된 범위를 의미할 수 있다.
회전 정보 도출부(250)는 동적 객체의 최초 위치에서 촬영 장치(100)를 향하는 방향을 기준으로 기설정된 방향으로 이동하는 동적 객체의 기초 3D 스켈레톤의 크기의 변화량에 대한 데이터를 저장할 수 있다. 예를 들어, 기설정된 방향은 동적 객체의 최초 위치에서 촬영 장치(100)를 향하는 방향과 수직하는 방향일 수 있다. 예를 들어, 기설정된 방향은 동적 객체와 촬영 장치(100) 간의 최초 이격 거리를 유지하면서 이동하는 방향을 의미할 수 있다. 회전 정보 도출부(250)는 저장된 데이터에 기초하여 기초 3D 스켈레톤의 크기의 변화량이 기준 변화량을 벗어나는지 여부를 판단할 수 있다. 이 때, 기설정된 방향 또는 기준 변화량은 사용자에 의해 선택되거나 미리 결정될 수 있다.
도 6에서 최초 동적 객체의 위치는 제1 위치(5)일 수 있다. 제2 위치(6)는 제1 위치(5)에서 촬영 장치(100)를 향하는 방향과 수직하는 방향으로 동적 객체가 이동한 위치일 수 있다. 제2 위치(6)는 동적 객체가 촬영 장치(100)에서 멀어지면서 이동한 위치를 의미할 수 있다. 제3 위치(7)는 동적 객체가 제2 위치(6)보다 촬영 장치(100)에서 더 멀어지면서 이동한 위치를 의미할 수 있다. 제4 위치(8)는 동적 객체가 촬영 장치(100)와의 최초 이격 거리를 유지하면서 이동한 위치를 의미할 수 있다. 동적 객체는 제1 위치(5)를 기준으로 서로 상이한 거리를 이동하여 제2 위치(6), 제3 위치(7) 및 제4 위치(8)에 도달하였으나, 촬영 장치(100)의 회전 각도는 동적 객체가 제1 위치(5)를 기준으로 제2 위치(6), 제3 위치(7) 및 제4 위치(8) 각각으로 이동한 모든 경우에서 동일할 수 있다.
일 예로, 동적 객체가 제1 위치(5)에서 제4 위치(8)로 이동한 경우, 동영상에 기초하여 도출된 기초 3D 스켈레톤의 크기는 변동되지 않을 수 있다. 따라서, 크기 보정부(271)는 기초 3D 스켈레톤의 크기를 조절하지 않을 수 있고, 회전 보정부(273)는 촬영 장치(100)가 회전된 회전 각도에 기초하여 기초 3D 스켈레톤 데이터의 회전 보정을 수행할 수 있다.
일 예로, 동적 객체가 제1 위치에서 제2 위치(6)로 이동한 경우, 기초 3D 스켈레톤의 크기는 줄어들 수 있다. 따라서, 크기 보정부(271)는 기초 3D 스켈레톤의 크기를 보정할 수 있다. 이 때, 회전 정보 도출부(250)는 기초 3D 스켈레톤의 크기 변화에 기초하여 1보다 큰 가중치를 도출할 수 있다. 회전 부정부(273)는 1보다 큰 가중치에 기초하여 기초 3D 스켈레톤 데이터의 회전 보정을 수행할 수 있다.
일 예로, 동적 객체가 제1 위치에서 제3 위치(7)로 이동한 경우, 동적 객체가 제1 위치에서 제2 위치(6)로 이동한 경우보다 기초 3D 스켈레톤의 크기는 크게 줄어들 수 있다. 따라서, 크기 보정부(271)는 기초 3D 스켈레톤의 크기를 보정할 수 있다. 이 때, 회전 정보 도출부(250)는 기초 3D 스켈레톤의 크기 변화에 기초하여 1보다 큰 가중치를 도출할 수 있다. 가중치는 기초 3D 스켈레톤의 크기 변화량에 비례할 수 있다. 회전 보정부(273)는 1보다 큰 가중치에 기초하여 기초 3D 스켈레톤 데이터의 회전 보정을 수행할 수 있다.
본 발명의 실시예에 따르면, 동적 객체가 이동하는 방향에 따라 회전 각도에 가중치를 인가함으로써 동적 객체가 이동하는 방향에 영향을 받지 않는 최종 3D 스켈레톤 데이터를 도출할 수 있다.
도 7은 본 발명의 실시예에 따른 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법을 설명하기 위한 순서도이다. 설명의 간략을 위해 중복되는 내용의 기재는 생략한다.
도 7을 참조하면, 촬영 장치를 통해 동적 객체의 동영상을 획득할 수 있다. 동적 객체의 이동에 의해 촬영 장치는 회전될 수 있다(S100).
촬영 장치에 의해 획득된 동영상을 딥러닝 모델의 입력값으로 입력하여, 동적 객체에 대한 기초 3D 스켈레톤 데이터를 생성할 수 있다(S200).
동적 객체를 추적 촬영하는 과정에서 촬영 장치가 회전된 각도를 포함하는 회전 정보를 도출할 수 있다. 회전 정보는 촬영 장치를 제어하기 위한 제어 신호로부터 획득되거나, 동영상 내의 특징점의 이동에 따라 계산될 수 있다.
동적 객체의 이동 방향에 따라, 동적 객체의 움직임을 나타내는 기초 3D 스켈레톤의 크기가 변동될 수 있다. 기초 3D 스켈레톤의 크기 변화량과 기준 변화량을 비교한 결과에 기초하여 회전 각도를 보상하기 위한 가중치가 도출될 수 있다(S400)
기초 3D 스켈레톤의 크기 변화량이 기준 변화량보다 큰 경우, 3D 스켈레톤의 크기 변화에 따른 가중치를 도출할 수 있다. 도출된 가중치는 회전 정보에 인가될 수 있다(S500).
가중치가 인가된 회전 정보에 기초하여 기초 3D 스켈레톤 데이터의 회전 보정이 수행될 수 있다. 또한, 기초 3D 스켈레톤 데이터의 크기 보정이 수행될 수 있다. 크기 보정 및 회전 보정이 수행된 결과, 최종 3D 스켈레톤 데이터가 도출될 수 있다(S600).
기초 3D 스켈레톤의 크기 변화량이 기준 변화량보다 작은 경우, 회전 정보에 따른 기초 3D 스켈레톤 데이터에 대한 회전 보정 및 크기 보정이 수행될 수 있다. 즉, 기초 3D 스켈레톤의 크기 변화량이 작은 경우에는 기초 3D 스켈레톤 데이터의 회전 보정 과정에서 별도의 보상이 필요하지 않을 수 있다. 따라서, 기존에 도출된 회전 정보에 기초하여 기초 3D 스켈레톤 데이터에 대한 회전 보정이 수행되어 최종 3D 스켈레톤 데이터가 도출될 수 있다(S700).
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 기록할 수도 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU (arithmetic logic unit), 디지털 신호 프로세서 (digital signal processor), 마이크로컴퓨터, FPGA (field programmable gate array), PLU (programmable logic unit), 마이크로프로세서, 또는 명령 (instruction) 을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제 (operating system: OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
이상, 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
Claims (19)
- 회전 가능한 촬영 장치를 통해 촬영된 동적 객체에 대한 동영상을 수신하는 단계;
상기 동영상을 딥 러닝 모델의 입력값으로 이용하여 기초 3D 스켈레톤 데이터를 생성하는 단계;
이동하는 상기 동적 객체를 추적 촬영하는 과정에서 상기 촬영 장치가 회전된 각도를 포함하는 회전 정보를 도출하는 단계; 및
상기 회전 정보에 기초하여 상기 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행하여 최종 3D 스켈레톤 데이터를 도출하는 단계를 포함하고,
상기 회전 정보를 도출하는 단계는,
상기 동영상에서 상기 동적 객체 외의 영역에 대한 특징점을 도출하는 단계;
상기 동적 객체의 이동에 의해 상기 특징점의 변경된 위치를 식별하는 단계; 및
상기 특징점의 위치 변화에 기초하여 상기 촬영 장치의 회전 각도를 도출하는 단계를 포함하는,
동적 객체에 대한 3차원 자세 추정 데이터 생성 방법. - 제1 항에 있어서,
상기 기초 3D 스켈레톤 데이터를 생성하는 단계는,
제1 딥 러닝 모델을 이용하여 입력되는 상기 동영상에 기초하여 2D 스켈레톤 데이터를 생성하는 단계; 및
제2 딥 러닝 모델을 이용하여 2D 스켈레톤 데이터에 기초하여 상기 기초 3D 스켈레톤 데이터를 생성하는 단계를 포함하는,
동적 객체에 대한 3차원 자세 추정 데이터 생성 방법. - 삭제
- 제1 항에 있어서,
상기 동적 객체의 이동에 의해 상기 촬영 장치는 회전되어 상기 촬영 장치가 촬영한 화면 내에서 상기 동적 객체는 중앙 부분에 위치하고, 상기 동적 객체를 기준으로 상기 촬영 장치가 회전됨에 따라 상기 특징점의 위치는 변경되는,
동적 객체에 대한 3차원 자세 추정 데이터 생성 방법. - 삭제
- 제1 항에 있어서,
기설정된 시간 마다 촬영된 프레임들을 기준으로 상기 회전 정보는 계속적으로 도출되고,
상기 회전 정보가 도출된 시점에서의 상기 기초 3D 스켈레톤 데이터에 상기 회전 정보를 통한 회전 보정을 통해 상기 최종 3D 스켈레톤 데이터가 도출되는,
동적 객체에 대한 3차원 자세 추정 데이터 생성 방법. - 제1 항에 있어서,
상기 최종 3D 스켈레톤 데이터를 도출하는 단계는 상기 촬영 장치와 상기 동적 객체의 거리의 변화에 따라 상기 기초 3D 스켈레톤 데이터가 표현된 기초 3D 스켈레톤의 크기가 가변되는 것을 보정하는 것을 포함하는,
동적 객체에 대한 3차원 자세 추정 데이터 생성 방법. - 제7 항에 있어서,
상기 촬영 장치가 회전되지 않은 상태에서 촬영된 상기 동영상에 기초하여 도출된 상기 기초 3D 스켈레톤의 크기를 기준으로, 상기 촬영 장치가 회전된 상태에서 촬영된 상기 동영상에 기초하여 도출된 상기 기초 3D 스켈레톤의 크기를 보정하는,
동적 객체에 대한 3차원 자세 추정 데이터 생성 방법. - 제7 항에 있어서,
상기 최종 3D 스켈레톤 데이터를 도출하는 단계는,
상기 기초 3D 스켈레톤의 크기 변화를 파악하는 단계;
상기 기초 3D 스켈레톤의 크기 변화에 따른 가중치를 상기 회전 정보에 인가하는 단계; 및
상기 가중치가 인가된 상기 회전 정보에 기초하여 상기 기초 3D 스켈레톤 데이터의 회전 보정을 수행하는 단계를 포함하는,
동적 객체에 대한 3차원 자세 추정 데이터 생성 방법. - 제9 항에 있어서,
상기 기초 3D 스켈레톤의 크기 변화량이 기준 변화량을 벗어나는 경우, 상기 회전 정보에 상기 가중치를 인가하고,
상기 기초 3D 스켈레톤의 크기가 상기 촬영 장치의 회전에 따라 작아지는 경우, 상기 가중치는 1보다 큰 값을 가지고,
상기 기초 3D 스켈레톤의 크기가 상기 촬영 장치의 회전에 따라 커지는 경우, 상기 가중치는 1보다 작은 값을 가지는,
동적 객체에 대한 3차원 자세 추정 데이터 생성 방법. - 회전 가능한 촬영 장치를 통해 촬영된 동적 객체에 대한 동영상을 수신하는 수신부;
상기 동영상을 입력값으로 하여 상기 동적 객체에 대응되는 기초 3D 스켈레톤 데이터를 생성하는 딥러닝 모델부;
이동하는 상기 동적 객체를 추적 촬영하는 과정에서 상기 촬영 장치가 회전된 각도를 포함하는 회전 정보를 도출하는 회전 정보 도출부; 및
상기 회전 정보에 기초하여 상기 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행하여 최종 3D 스켈레톤 데이터를 도출하는 보정부를 포함하고,
상기 회전 정보 도출부는 상기 동영상 내에서 상기 동적 객체가 존재하는 영역 외의 영역에서 특징점을 도출하고, 상기 동적 객체의 이동에 의해 상기 특징점의 위치가 변경되는 것에 기초하여 상기 동적 객체를 추적 촬영하는 상기 촬영 장치의 회전 각도를 도출하는,
동적 객체에 대한 3차원 자세 추정 데이터 생성을 위한 컴퓨팅 장치. - 삭제
- 제11 항에 있어서,
상기 특징점은 상기 동적 객체를 식별하기 위한 경계 박스의 모서리들 중 선택된 적어도 하나 이상의 점을 의미하는,
동적 객체에 대한 3차원 자세 추정 데이터 생성을 위한 컴퓨팅 장치. - 제11 항에 있어서,
상기 보정부는 상기 촬영 장치와 상기 동적 객체의 거리의 변화에 따라 상기 기초 3D 스켈레톤 데이터가 표현된 기초 3D 스켈레톤의 크기가 가변되는 것을 보정하는 크기 보정부를 포함하는,
동적 객체에 대한 3차원 자세 추정 데이터 생성을 위한 컴퓨팅 장치. - 제14 항에 있어서,
상기 보정부는 상기 촬영 장치가 회전되지 않은 상태에서 촬영된 상기 동영상에 기초하여 도출된 상기 기초 3D 스켈레톤의 크기를 기준으로, 상기 촬영 장치가 회전된 상태에서 촬영된 상기 동영상에 기초하여 도출된 상기 기초 3D 스켈레톤의 크기를 보정하는,
동적 객체에 대한 3차원 자세 추정 데이터 생성을 위한 컴퓨팅 장치. - 제14 항에 있어서,
상기 크기 보정부는 기준이 되는 프레임에서 상기 기초 3D 스켈레톤 데이터가 나타내는 복수의 관절점들을 연결하는 연결선의 길이를 기준으로 임의의 프레임에서 상기 기초 3D 스켈레톤 데이터가 나타내는 복수의 관절점들을 연결하는 연결선의 길이를 조절하는,
동적 객체에 대한 3차원 자세 추정 데이터 생성을 위한 컴퓨팅 장치. - 제11 항에 있어서,
상기 보정부는 상기 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행하는 회전 보정부를 포함하고,
상기 회전 보정부는 상기 회전 정보 도출부에 의해 도출된 상기 촬영 장치의 회전 정보에 기초하여 3차원 공간 상에 구현되는 상기 기초 3D 스켈레톤 데이터를 기설정된 중심축을 기준으로 회전시키는,
동적 객체에 대한 3차원 자세 추정 데이터 생성을 위한 컴퓨팅 장치. - 제17 항에 있어서,
상기 회전 정보 도출부는 상기 기초 3D 스켈레톤 데이터가 표현된 기초 3D 스켈레톤의 크기 변화량에 따른 가중치를 도출하고,
상기 회전 보정부는 가중치가 인가된 상기 회전 정보에 기초하여 상기 기초 3D 스켈레톤 데이터의 회전 보정을 수행하고,
상기 가중치는 상기 동적 객체와 상기 촬영 장치 간의 최초 이격 거리가 변동되는 것을 보상하기 위한 파라미터인,
동적 객체에 대한 3차원 자세 추정 데이터 생성을 위한 컴퓨팅 장치. - 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체에 있어서, 상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
회전 가능한 촬영 장치를 통해 촬영된 동적 객체에 대한 동영상을 수신하는 동작;
상기 동영상을 딥 러닝 모델의 입력값으로 이용하여 기초 3D 스켈레톤 데이터를 생성하는 동작;
이동하는 상기 동적 객체를 추적 촬영하는 과정에서 상기 촬영 장치가 회전된 각도를 포함하는 회전 정보를 도출하는 동작; 및
상기 회전 정보에 기초하여 상기 기초 3D 스켈레톤 데이터에 대한 회전 보정을 수행하여 최종 3D 스켈레톤 데이터를 도출하는 동작을 수행하도록 하고,
상기 회전 정보를 도출하는 동작은,
상기 동영상 내에서 상기 동적 객체가 존재하는 영역 외의 영역에서 특징점을 도출하고, 상기 동적 객체의 이동에 의해 상기 특징점의 위치가 변경되는 것에 기초하여 상기 동적 객체를 추적 촬영하는 상기 촬영 장치의 회전 각도를 도출하는 동작을 포함하는,
저장 매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220190143A KR102619701B1 (ko) | 2022-12-30 | 2022-12-30 | 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법 및 그를 위한 컴퓨팅 장치 |
| PCT/KR2023/017341 WO2024143851A1 (ko) | 2022-12-30 | 2023-11-02 | 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법 및 그를 위한 컴퓨팅 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220190143A KR102619701B1 (ko) | 2022-12-30 | 2022-12-30 | 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법 및 그를 위한 컴퓨팅 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102619701B1 true KR102619701B1 (ko) | 2024-01-02 |
Family
ID=89511913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220190143A KR102619701B1 (ko) | 2022-12-30 | 2022-12-30 | 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법 및 그를 위한 컴퓨팅 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102619701B1 (ko) |
| WO (1) | WO2024143851A1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210089997A (ko) * | 2020-01-09 | 2021-07-19 | 주식회사 엘지유플러스 | 다중 영상 재생 방법 및 장치 |
| KR102421776B1 (ko) * | 2021-09-27 | 2022-07-19 | 주식회사 넥스트도어 | 3차원 객체모델 생성 장치 및 그 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102662620B1 (ko) * | 2018-11-16 | 2024-05-07 | 스냅 인코포레이티드 | 3차원 객체 재구성 |
| CN111260774B (zh) * | 2020-01-20 | 2023-06-23 | 北京百度网讯科技有限公司 | 生成3d关节点回归模型的方法和装置 |
-
2022
- 2022-12-30 KR KR1020220190143A patent/KR102619701B1/ko active IP Right Grant
-
2023
- 2023-11-02 WO PCT/KR2023/017341 patent/WO2024143851A1/ko unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210089997A (ko) * | 2020-01-09 | 2021-07-19 | 주식회사 엘지유플러스 | 다중 영상 재생 방법 및 장치 |
| KR102421776B1 (ko) * | 2021-09-27 | 2022-07-19 | 주식회사 넥스트도어 | 3차원 객체모델 생성 장치 및 그 방법 |
Non-Patent Citations (1)
| Title |
|---|
| Anastasios Yiannakides, "Real-time 3D human pose and motion reconstruction from monocular RGB videos", Computer Animation and Virtual Worlds 30.3-4 (2019.05.22.)* * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024143851A1 (ko) | 2024-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6043856B2 (ja) | Ｒｇｂｄカメラを用いた頭部ポーズ推定 | |
| US9357117B2 (en) | Photographing device for producing composite image and method using the same | |
| JP4586709B2 (ja) | 撮像装置 | |
| CN108958473A (zh) | 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 | |
| CN105678809A (zh) | 手持式自动跟拍装置及其目标跟踪方法 | |
| WO2009091029A1 (ja) | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム | |
| US11436742B2 (en) | Systems and methods for reducing a search area for identifying correspondences between images | |
| WO2023071790A1 (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
| CN109451240B (zh) | 对焦方法、装置、计算机设备和可读存储介质 | |
| CN108702456A (zh) | 一种对焦方法、设备及可读存储介质 | |
| WO2020248396A1 (zh) | 图像拍摄方法、装置、设备以及存储介质 | |
| JP2020053774A (ja) | 撮像装置および画像記録方法 | |
| KR20150031085A (ko) | 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법 | |
| US20200267331A1 (en) | Capturing a photo using a signature motion of a mobile device | |
| US12020448B2 (en) | Systems and methods for updating continuous image alignment of separate cameras | |
| CN110490131B (zh) | 一种拍摄设备的定位方法、装置、电子设备及存储介质 | |
| WO2021184341A1 (en) | Autofocus method and camera system thereof | |
| TWI696147B (zh) | 全景圖形成方法及系統 | |
| KR102619701B1 (ko) | 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법 및 그를 위한 컴퓨팅 장치 | |
| US20150264269A1 (en) | Image-capturing device and method for correcting deviated viewing angle in image capturing | |
| Coaguila et al. | Selecting vantage points for an autonomous quadcopter videographer | |
| CN113056907A (zh) | 拍摄方法、拍摄装置及存储介质 | |
| US20220139107A1 (en) | Landmark temporal smoothing | |
| EP4207088A1 (en) | Method for displaying augmented reality and electronic device for performing same | |
| Garau et al. | Unsupervised continuous camera network pose estimation through human mesh recovery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |