KR20190063153A - 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법 - Google Patents

단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법 Download PDF

Info

Publication number
KR20190063153A
KR20190063153A KR1020170162028A KR20170162028A KR20190063153A KR 20190063153 A KR20190063153 A KR 20190063153A KR 1020170162028 A KR1020170162028 A KR 1020170162028A KR 20170162028 A KR20170162028 A KR 20170162028A KR 20190063153 A KR20190063153 A KR 20190063153A
Authority
KR
South Korea
Prior art keywords
dimensional
single camera
initial
velocity
trajectory
Prior art date
Application number
KR1020170162028A
Other languages
English (en)
Other versions
KR102084252B1 (ko
Inventor
김종성
김명규
김우석
백성민
서상우
홍성진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170162028A priority Critical patent/KR102084252B1/ko
Priority to US16/016,844 priority patent/US10796437B2/en
Publication of KR20190063153A publication Critical patent/KR20190063153A/ko
Application granted granted Critical
Publication of KR102084252B1 publication Critical patent/KR102084252B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T3/0031—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)

Abstract

본 발명은 단일 카메라 기반 초기 3차원 객체 궤적 및 속도 동시 복원 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템은 객체의 출발점에 대한 3차원 공간 좌표 정보 및 단일 카메라의 객체 촬영 영상 정보를 수신하는 수신부; 객체 촬영 영상 정보에서 객체의 2차원 영상 좌표를 획득하는 2차원 좌표 획득부; 및 2차원 영상 좌표와 단일 카메라로부터 객체까지의 깊이 정보에 대해3차원 운동 방정식을 적용하여, 객체의 초기 3차원 속도 및 궤적을 동시에 복원하는 복원부를 포함하는 것을 특징으로 한다.

Description

단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법{SYSTEM AND METHOD FOR SIMULTANEOUS RECONSTTUCTION OF INITIAL 3D TRAJECTORY AND VELOCITY USING SINGLE CAMERA IMAGES}
본 발명은 단일 카메라 기반 초기 3차원 객체 궤적 및 속도 동시 복원 시스템 및 그 방법에 관한 것이다.
초기 3차원 볼(ball) 궤적 및 속도 복원을 위한 종래 기술은 다중 카메라 방식이 사용되고 있는데, 이러한 다중 카메라 방식은 사전에 정밀하게 상호 동기(Mutual Synchronization) 및 상호 보정(Mutual Calibration)이 이루어진 다중 카메라를 반드시 사용해야 하며, 다중 카메라에서 획득되는 다중 카메라 영상에서 2차원 볼 위치를 동시에 추적해야 하고, 다중 카메라 영상에서 추적된 2차원 볼 위치에 해당하는 3차원 볼 위치를 복잡한 3차원 삼각 측량을 통해 복원해야 하는 제약이 존재하는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 복잡한 상호 동기, 상호 보정 및 삼각 측량의 과정 없이, 단일 카메라로 촬영된 단일 카메라 영상에서 추적되는 2차원 객체 위치에 3차원 운동 방정식을 적용하여, 초기 3차원 궤적 및 속도를 동시에 복원하는 것이 가능한 시스템 및 그 방법을 제공하는 데 그 목적이 있다.
본 발명에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템은 객체의 출발점에 대한 3차원 공간 좌표 정보 및 단일 카메라의 객체 촬영 영상 정보를 수신하는 수신부; 객체 촬영 영상 정보에서 객체의 2차원 영상 좌표를 획득하는 2차원 좌표 획득부; 및 2차원 영상 좌표와 단일 카메라로부터 객체까지의 깊이 정보에 대해3차원 운동 방정식을 적용하여, 객체의 초기 3차원 속도 및 궤적을 동시에 복원하는 복원부를 포함하는 것을 특징으로 한다.
본 발명에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법은 객체의 초기 3차원 속도의 크기값 및 객체의 3차원 공간 좌표의 깊이값을 변수로 하는 3차원 운동 방정식을 수립하는 단계와, 단일 카메라의 촬영 정보를 이용하여 객체 통과점의 2차원 영상 좌표를 계산하고, 객체의 3차원 방향 벡터를 계산하는 단계 및 2차원 영상 좌표 및 객체의 3차원 방향 벡터를 이용하여 3차원 운동 방정식의 해를 구하고, 객체의 초기 3차원 속도 및 궤적을 복원하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법은 축구 킥, 골프 샷과 같은 구기 스포츠 기술을 가상으로 체험 및 훈련할 수 있도록 하는 가상 구기 스포츠 시스템에서 3차원 볼 궤적 시뮬레이션에 필요한 초기 3차원 볼 궤적 및 속도를 단일 카메라에서 촬영되는 단일 카메라 영상을 이용하여 동시에 복원하는 것이 가능한 효과가 있다.
본 발명에 따르면, 상호 동기 및 상호 보정된 다중 카메라를 사용하여 촬영된 다중 카메라 영상에서 2차원 볼 위치를 추적한 후 삼각 측량을 적용하여 초기 3차원 볼 궤적 및 속도를 각각 복원하는 종래의 다중 카메라 방식과는 다르게, 단일 카메라만을 사용하여 복잡한 상호 동기, 상호 보정 및 삼각 측량 과정 없이 단일 카메라 영상에서 추적되는 2차원 볼 위치에 직접 3차원 운동 방정식을 적용하여 초기 볼 궤적 및 속도를 동시 복원하는 효과가 있다.
본 발명에 따르면 운동학적 원리를 이용하여 운동 방정식을 직접 적용하여 객체(볼)의 초기 3차원 궤적 및 속도를 동시 복원하는 것이 가능하여, 객체(볼)의 3차원 궤적 및 속도의 정확도를 동시에 효과적으로 향상시킬 수 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 단일 카메라 영상 기반 초기 3차원 궤적 및 속도 동시 복원을 위한 정보 획득 상황을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 실제 축구 킥을 촬영한 단일 카메라 영상을 도시한다.
도 4는 도 3에 도시한 단일 카메라 영상에서 실제 볼의 3차원 궤적과 속도를 복원한 결과를 나타내는 도면이다.
도 5는 본 발명의 실사예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템이 적용된 실제의 가상 축구 킥 및 골프 샷 훈련 시스템을 도시한다.
도 6은 도 5에 도시한 가상 축구 킥 및 골프 샷 훈련 시스템에 사용된 실제 단일 카메라를 도시한다.
도 7은 본 발명의 다른 실시예에 따른 단일 카메라의 이동 및 회전 시의 객체의 3차원 궤적 및 속도 복원을 위한 정보 획득 상황을 나타내는 도면이다.
도 8은 본 발명의 실사예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법을 나타내는 순서도이다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다.
가상 구기 스포츠 시스템(Virtual Ball Sports System)에서는 선수가 차거나 친 볼의 3차원 궤적을 시뮬레이션함으로써 축구 킥(Soccer Kick), 골프 샷(Golf Shot)과 같은 구기 스포츠 기술을 가상으로 체험 및 훈련 할 수 있도록 한다.
이와 같이 볼의 3차원 궤적을 시뮬레이션하기 위해서는 초기 3차원 볼 속도가 필요한데, 초기 3차원 볼 속도는 초기 3차원 볼 궤적을 복원함으로써 계산될 수 있다.
통상적으로 초기 3차원 볼 궤적 및 속도의 복원을 위해서는 볼이 통과하는 지점에 사전에 정밀하게 상호 동기 및 상호 보정이 이루어진 스테레오 카메라(Stereo Camera) 등과 같은 두 대 이상의 카메라, 즉 다중 카메라를 설치하여 다중 카메라 영상(Multiple Camera Images)을 촬영하고, 촬영된 다중 카메라 영상에서 2차원 볼 위치를 동시에 추적한 다음, 삼각 측량을 통해 다중 카메라 영상에서 추적된 2차원 볼 위치에 해당하는 3차원 볼 위치를 복원하고, 복원된 3차원 볼 위치를 연결하는 초기 3차원 볼 궤적으로부터 초기 3차원 볼 속도를 계산하는 다중 카메라 방식이 사용된다.
그러나 이러한 다중 카메라 방식은 상호 동기 및 상호 보정된 다중 카메라를 이용하여 획득한 영상에서 2차원 볼 위치를 추적한 후, 삼각 측량을 적용하여 초기 3차원 볼 궤적 및 속도를 각각 복원하여야 하는 바, 그 과정이 복잡한 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 축구 킥, 골프 샷과 같은 구기 스포츠 기술을 가상으로 체험 및 훈련할 수 있도록 하는 가상 구기 스포츠 시스템에 적용되어, 3차원 볼 궤적 시뮬레이션(3D Ball Trajectory Simulation)에 필요한 초기 3차원 볼 속도 및 궤적(Initial 3D Ball Velocity and Trajectory)를 한 대의 단일 카메라(Single Camera)에서 획득되는 단일 카메라 영상(Single Camera Images)을 기반으로 동시 복원(Simultaneous Reconstruction)하는 시스템 및 그 방법에 관한 것이다.
도 1은 본 발명의 실시예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템을 나타내는 블록도이다.
본 발명에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템은 객체의 출발점에 대한 3차원 공간 좌표 정보 및 단일 카메라의 객체 촬영 영상 정보를 수신하는 수신부(100); 객체 촬영 영상 정보에서 객체의 2차원 영상 좌표를 획득하는 2차원 좌표 획득부(200); 및 2차원 영상 좌표와 단일 카메라로부터 객체까지의 깊이 정보에 대해3차원 운동 방정식을 적용하여, 객체의 초기 3차원 속도 및 궤적을 동시에 복원하는 복원부(300)를 포함한다.
도 1에는 수신부(100)가 객체 출발점의 3차원 공간 좌표 정보, 3차원 운동 방정식 정보, 단일 카메라 초점 길이 및 광중심 정보, 단일 카메라에서 촬영된 영상 정보를 수신하는 것으로 도시하였으나, 이는 본 발명의 실시예를 설명하기 위한 도시 사항으로서, 이러한 수신 정보들은 수신부를 통해 2차원 좌표 획득부 및 복원부로 전달되는 것에 국한되지 않는다.
예컨대, 3차원 운동 방정식 정보는 복원부(300)에 저장되어 초기 3차원 볼 궤적 및 속도 복원이 필요할 시에 호출되는 것 역시 가능하다.
본 발명의 실시예에 따른 수신부(100)는 단일 카메라의 초점 길이, 객체의 실제 직경 및 단일 카메라의 촬영 영상에서 관찰되는 상기 객체의 직경에 대한 정보를 포함하는 객체 촬영 영상 정보를 수신한다.
즉, 서술하는 객체 촬영 영상 정보는 단일 카메라가 획득한 이미지 그 자체뿐 아니라, 객체의 초기 3차원 볼 궤적 및 속도 동시 복원을 위해 필요한 데이터들을 포함하는 개념이다. 객체 촬영 영상 정보를 이용한 초기 3차원 볼 궤적 및 속도 동시 복원의 자세한 실시예는 후술한다.
본 발명의 실시예에 따른 2차원 좌표 획득부(200)는 객체가 단일 카메라의 촬영 범위를 통과할 때 검출되는 객체 통과점(도 2의 W 1 , W 2 , W 3 3차원 공간 좌표에 해당하는 지점)의 2차원 픽셀 좌표와 단일 카메라의 광중심 정보를 이용하여 객체의 2차원 영상 좌표(이하 c)를 획득한다.
본 발명의 실시예에 따른 복원부(300)는 2차원 영상 좌표와 전술한 객체 촬영 영상 정보를 이용하여 객체 통과점의 3차원 공간 좌표를 복원한다.
본 발명의 실시예에 따른 3차원 운동 방정식은 객체의 출발점에 대한 대한 3차원 공간 좌표 정보(도 2의 W 0 )와 객체 통과점(단일 카메라를 통해 촬영된 객체의 첫번째 통과점)의 3차원 공간 좌표(도 2의 W 1 )를 이용하여 계산된 객체 속도의 방향 벡터를 포함하고, 3차원 공간 좌표의 깊이값 및 상기 객체의 초기 3차원 속도의 크기값을 변수로 포함한다.
본 발명의 실시예에 따른 복원부(300)는 연속된 객체 통과점에 대한 3차원 운동 방정식이 누적된 선형 시스템을 이용하여, 객체 통과점의 3차원 공간 좌표의 깊이값 및 객체의 초기 3차원 속도의 크기값의 해를 동시에 계산하여, 객체의 초기 3차원 궤적 및 속도를 복원한다.
이하, 도 2를 참조하여 단일 카메라 기반 초기 3차원 궤적 및 속도 동시 복원에 대해 상세히 설명한다.
1. 단일 카메라로부터 볼까지의 깊이(depth)
도 2는 본 발명의 실시예에 따른 단일 카메라 영상 기반 초기 3차원 궤적 및 속도 동시 복원을 위한 정보 획득 상황을 나타내는 도면이다.
전술한 바와 같이, 본 발명의 실시예에 따르면 단일 카메라(10)를 사용하므로, 종래 기술과 같이 다중 카메라를 사용함에 따른 복잡한 상호 동기, 상호 보정 및 삼각 측정 과정이 필요없다.
도 2에서 설명되는 모든 3차원 공간 좌표(3D World Coordinate)는 도 2의 우측 하단에 나타난 것과 같은 카메라 중심의 3차원 공간 좌표계(Camera-centered 3D World Coordinate System, 1) 상에서 정의된다.
초점 길이(Focal Length)가 f인 단일 카메라(10)에서 실제 직경(Diameter)이 D[mm]인 볼의 직경이 단일 카메라 영상(20)에서 d[pixel]로 관찰된다면 단일 카메라(110)에서 볼까지의 깊이 Z[mm]는 다음 [수학식 1]과 같은 비례관계에 있다.
Figure pat00001
초점 길이 f는 단일 카메라의 내부 파라미터(Internal Parameter)로써 카메라 내부 보정(Camera Internal Calibration)을 통해서 사전에 미리 계산된다.
카메라 내부 보정은 관련 분야에서 다양한 방법들이 제안되어 있으며, 그 중 한 방법이 적용된다.
이때, 볼의 직경 d는 단일 카메라 영상(20)에서 볼 검출 과정을 통해서 최초에 한 번만 계산하면 되는 값이다.
본 발명에 따르면, 출발점 및 첫번째 통과점에 대한 3차원 공간 좌표를 이용하여, 그 후 연속하는 통과점에 대한 3차원 공간 좌표를 획득하고 궤적을 복원하게 되는 바, 볼의 직경은 c1(21)에 대해 최초 한번만 계산하면 된다.
볼의 중심점과 직경을 포함하여 볼 검출 기술은 관련 분야에서 다양한 방법들이 제안되어 있으며, 그 중 한 방법이 적용된다.
그러나 볼의 중심점과 직경을 포함한 볼 검출에는 많은 시간이 소요되므로 본 발명에서는 도 2의 단일 카메라 영상(20)과 같이, 첫번째 볼 검출에만 적용하고 이후에는 많은 시간이 소요되지 않는 볼 추적 기술을 적용한다(볼 추적 기술도 관련 분야에서 많은 방법이 제안되어 있으므로 그 중의 한 방법을 이용한다).
단, 볼 추적 기술로는 추적된 볼의 중심점만 계산되며 볼의 직경은 계산되지 않으며, 이는 전술한 바와 같이 첫번째 통과점 이후의 통과점에 대한 볼의 직경은 계산할 필요가 없기 때문이다.
단일 카메라(10)의 초점 길이 f와 볼의 실제 직경 D, 그리고 단일 카메라 영상(20)에서 관찰되는 볼의 직경 d가 획득되면, 단일 카메라(10)로부터 볼까지의 깊이(Depth) Z는 다음 [수학식 2]와 같이 계산된다.
Figure pat00002
2. 볼 출발점(Starting Point) 및 볼 통과점의 3차원 공간 좌표
볼이 출발하기 전 타석에 놓여 있는 때 볼 출발점(Starting Point)(140)의 3차원 공간 좌표(3D World Coordinate) 다음 [수학식 3]과 같은 3×1 벡터
Figure pat00003
로 정의될 수 있다.
Figure pat00004
축구 킥, 골프 샷과 같이 가상 구기 스포츠 훈련을 통하여 킥, 샷 등을 반복 연습할 때에는 볼 출발점(140)이 정해져 있기 때문에 볼 출발점(140)의 3차원 공간 좌표
Figure pat00005
는 사전에 간단히 측정할 수 있다.
다음, 볼이 출발한 이후에 카메라의 촬영 범위를 통과할 때 첫번째로 검출되는 볼 통과점(Passing Point)(150)의 3차원 공간 좌표는 다음 수학식과 같이 3×1 벡터
Figure pat00006
로 정의될 수 있다.
Figure pat00007
여기에서
Figure pat00008
는 단일 카메라에서 볼까지의 깊이 값이며,
Figure pat00009
는 3×1 벡터로써 볼 중심점(160)의 2차원 영상 좌표(2D Image Coordinate)이다. [수학식 3]에서 실제 직경이
Figure pat00010
인 볼이 영상에서 직경
Figure pat00011
라면 초점 길이가
Figure pat00012
인 단일 카메라에서 볼까지의 깊이
Figure pat00013
는 [수학식 2]를 기반으로 다음 [수학식 5]와 같이 계산될 수 있다.
Figure pat00014
또한, [수학식 3]에서 볼 중심점(160)의 2차원 영상 좌표
Figure pat00015
는 카메라의 내부 구조로부터 다음 [수학식 6]과 같이 계산될 수 있다.
Figure pat00016
여기에서,
Figure pat00017
는 볼 중심점(P1)의 2차원 픽셀 좌표(2D Pixel Coordinate)이며,
Figure pat00018
는 카메라의 광중심(Optical Center)으로 카메라 내부 파라미터로서 초점 길이
Figure pat00019
와 같이 카메라 내부 보정을 통해 사전에 계산되는 값이다.
단일 카메라(10)의 촬영 범위를 통과할 때 두번째로 추적되는 볼 통과점의 3차원 공간 좌표는 동일하게 다음 [수학식 7]과 같이 3×1 벡터
Figure pat00020
로 정의될 수 있다.
Figure pat00021
여기서 두번째 통과점을 지나는 볼 중심점의 2차원 영상 좌표
Figure pat00022
는 다음 [수학식 8]과 같이 계산될 수 있다.
Figure pat00023
또한, 단일 카메라 촬영 범위를 통과할 때 관찰되는 n번째 볼 통과점의 3차원 공간 좌표는 동일하게 다음 [수학식 9]와 같이 3×1 벡터
Figure pat00024
로 정의될 수 있다.
Figure pat00025
여기서 n번째 통과점을 지나는 볼 중심점의 2차원 영상 좌표
Figure pat00026
는 다음 [수학식 10]과 같이 계산될 수 있다.
Figure pat00027
3. 3차원 운동 방정식 및 초기 3차원 궤적 및 속도 동시 복원
볼의 초기 3차원 궤적(
Figure pat00028
)은 볼의 초기 출발점(P0)
Figure pat00029
과 초기 통과점들
Figure pat00030
,
Figure pat00031
,...,
Figure pat00032
을 연결하는 궤적으로 다음 [수학식 11]과 같이 정의된다.
Figure pat00033
그런데 볼은 초기에는 동일한 선속도(Linear Velocity) v를 가지는 직선 운동을 하기 때문에 볼의 초기 3차원 궤적
Figure pat00034
은 3차원 곡선이 아닌 3차원 선이라고 할 수 있다.
또한, 볼의 초기 통과점들
Figure pat00035
,
Figure pat00036
,...,
Figure pat00037
은 카메라에 의해 동일한 시간 간격 t으로 관찰되기 때문에 볼의 초기 통과점들
Figure pat00038
,
Figure pat00039
,...,
Figure pat00040
의 관계는 다음 [수학식 12]와 같은 3차원 운동 방정식을 적용할 수 있다.
Figure pat00041
여기에서 m은 도 2에 도시한 바와 같이, 통과점들 간에 볼이 이동한 거리로써 다음 [수학식 13]과 같이 3×1 벡터로 정의될 수 있다.
Figure pat00042
또한 볼의 거리 m은 볼의 초기 3차원 속도(180) v와 다음 [수학식 14]와 같은 관계가 있다.
Figure pat00043
여기서 t는 통과점들 간의 시간 차이로 카메라의 촬영 속도에 의해 결정된다. 볼의 초기 3차원 속도 v는 다음 [수학식 15]와 같이 3×1 벡터로 정의될 수 있다.
Figure pat00044
볼의 초기 3차원 속도 v는 볼의 초기 속력 S와 볼의 초기 3차원 방향 u과의 관계가 다음 [수학식 16]과 같이 정의된다.
Figure pat00045
여기서 볼의 초기 3차원 방향 u는 다음 [수학식 17]과 같이 3×1 벡터로 정의될 수 있다.
Figure pat00046
여기에서, 볼의 초기 출발점(P0)
Figure pat00047
와 첫번째 통과점(P1)
Figure pat00048
로부터 볼의 초기 3차원 방향 u는 다음 [수학식 18]과 같이 계산할 수 있다.
Figure pat00049
상기 수학식들을 통해 3차원 운동 방정식은 다음 [수학식 19]와 같이 다시 정의될 수 있다.
Figure pat00050
여기에서 첫번째 볼의 깊이
Figure pat00051
는 [수학식 5]와 같이 계산될 수 있으며, 볼 중심점들의 2차원 영상 좌표
Figure pat00052
,
Figure pat00053
, ...,
Figure pat00054
는 각각 [수학식 6], [수학식 8], [수학식 10] 과 계산될 수 있고, 볼의 초기 방향 u은 [수학식16]과 같이 계산될 수 있다. 그러므로 [수학식 17]로부터 볼의 깊이
Figure pat00055
,...,
Figure pat00056
, 그리고 볼의 초기 속력 S 를 계산하기 위한 3n×n 선형 시스템(Linear System)을 다음과 같이 정의할 수 있다.
Figure pat00057
A는 3n×n 행렬로써 다음 [수학식 21]과 같이 정의된다.
Figure pat00058
b는 3n ×1 벡터로써 다음 [수학식 22]와 같이 정의된다.
Figure pat00059
X는 n×1 벡터로써 다음 [수학식 23]과 같이 정의된다.
Figure pat00060
정의된 3n×n 선형 시스템의 해(Solution) X는 다음 [수학식 24]와 같이 계산된다.
Figure pat00061
여기에서 A +는 3n×n 선형 시스템 A의 의사역행렬(Pseudoinverse Matrix)로서 다음 [수학식 25]와 같이 n×n 행렬로 계산된다.
Figure pat00062
그러므로, 본 발명의 실시예에 따르면, 내부 보정을 통해서 단일 카메라의 초점 길이
Figure pat00063
와 광중심
Figure pat00064
을 계산하고, 볼의 초기 출발점(140)
Figure pat00065
과 첫번째 통과점
Figure pat00066
, 그리고 볼 중심점들의 2차원 영상 좌표
Figure pat00067
,
Figure pat00068
,...,
Figure pat00069
만을 측정하면, 이로부터 볼의 초기 3차원 궤적
Figure pat00070
과 볼의 초기 3차원 속도 v를 단일 카메라(10)에서 획득되는 단일 카메라 영상(20)에서 카메라 중심의 3차원 공간 좌표계(1) 상에서 모두 효과적으로 동시에 복원할 수 있다.
도 3은 본 발명의 실시예에 따른 실제 축구 킥을 촬영한 단일 카메라 영상을 도시한다.
도 3에서 보여지는 것처럼 단일 카메라를 통해 볼의 첫번째, 두번째 및 세번째 통과점이 촬영되었다. 이때, 통과점들 간의 시간 차이 t는 6.24ms이며, 이 값은 카메라의 촬영 속도에 의해 결정된다.
도 4는 도 3에 도시한 단일 카메라 영상에서 실제 볼의 3차원 궤적과 속도를 복원한 결과를 나타내는 도면이다.
상단 시점(Top View)와 측면 시점(Side View)의 두 그래프에서 적색 원으로 볼의 출발점과 통과점들의 3차원 공간 좌표를 표시해 주고 있고, 녹색 선으로 복원된 볼의 초기 3차원 궤적을 표시해 주고 있다. 이때, 통과점들 간 볼이 이동한 거리
Figure pat00071
은 78.1mm이며, 볼의 초기 속력 S 는 45.038km/h로 복원되었고, 복원된 볼의 초기 3차원 방향 u로부터 계산된 탄도각(Elevation Angle)은 16.778 deg, 좌우각(Azimuth Angle)은 5.334deg로 계산되었음을 보여주고 있다.
도 5는 본 발명의 실사예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템이 적용된 실제의 가상 축구 킥 및 골프 샷 훈련 시스템을 도시한다.
단일 카메라를 통해 축구 킥 및 골프 샷에 대한 초기 3차원 볼 궤적 및 속도를 복원하여 3차원 볼 궤적 시뮬레이션을 가능하게 한다.
도 6은 도 5에 도시한 가상 축구 킥 및 골프 샷 훈련 시스템에 사용된 실제 단일 카메라를 도시한다.
도 6에서 보여주는 것과 제안된 방법은 다중 카메라를 사용하지 않고 단일 카메라를 사용하여 3차원 볼 궤적 시뮬레이션에 필요한 초기 3차원 볼 궤적 및 속도를 복원할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 단일 카메라의 이동 및 회전 시의 객체의 3차원 궤적 및 속도 복원을 위한 정보 획득 상황을 나타내는 도면이다.
단일 카메라(10')가 3차원 공간 상에서 회전 및 이동을 하였다면, 비카메라 중심 3차원 공간 좌표계(Noncamera-centered 3D World Coordinate System)(2) 상에서 다음과 같이 볼의 초기 3차원 궤적 및 속도를 복원할 수 있다.
이 때, 비카메라 중심 3차원 공간 좌표계(2) 상에서 단일 카메라(10')의 회전 및 이동은 카메라 외부 파라미터(External Parameters)로써 카메라 외부 보정(Camera External Calibration)을 통해서 사전에 미리 계산할 수 있다.
카메라 외부 보정은 관련 분야에서 기제안된 다양한 방법 중 어느 한 방법이 적용되는 것으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.
비카메라 중심 3차원 공간 좌표계(2) 상에서 단일 카메라(10')의 회전은 다음 [수학식 26]과 같이 3×3 행렬 R로 정의될 수 있다.
Figure pat00072
또한, 비카메라 중심 3차원 공간 좌표계(2) 상에서 단일 카메라(10')의 이동은 다음 [수학식 27]과 같이 3×1 백터 t로 정의될 수 있다.
Figure pat00073
단일 카메라(10')가 비카메라 중심 3차원 공간 좌표계(2) 상에서 3×3 행렬 R만큼 회전을 하고 3×1 백터 t만큼 이동을 하였다면, 회전 및 이동에 의해 볼의 초기 3차원 궤적
Figure pat00074
은 카메라 중심 3차원 공간 좌표계(1) 상에서 복원된 볼의 초기 3차원 궤적
Figure pat00075
을 다음 [수학식 28]과 같이 변환하여 획득된다.
Figure pat00076
여기서
Figure pat00077
는 비카메라 중심 3차원 공간 좌표계(2) 상 볼의 초기 출발점(P0')의 3차원 공간 좌표로서, 카메라 중심 3차원 공간 좌표계(1) 상 초기 출발점(P0)
Figure pat00078
과 다음 [수학식 29]와 같은 관계로부터 변환되어 획득된다.
Figure pat00079
또한,
Figure pat00080
는 비카메라 중심 3차원 공간 좌표계(2)상 볼의 첫번째 통과점(P1')으로 카메라 중심 3차원 공간 좌표계(1) 상 첫번째 통과점(P1)
Figure pat00081
과 다음 [수학식 30]과 같은 관계로부터 변환될 수 있다.
Figure pat00082
그리고 회전에 의해 볼의 초기 3차원 속도
Figure pat00083
는 카메라 중심 3차원 공간 좌표계(1) 상 초기 3차원 속도 v와 다음 [수학식 31]과 같이 관계로부터 변환될 수 있다.
Figure pat00084
위와 같이 단일 카메라(10')가 비카메라 중심 3차원 공간 좌표계(2) 상에서 3×3 행렬 R만큼 회전을 하고 3×1 백터 t만큼 이동을 하여도, 단일 카메라(10')의 내부 보정을 통해서 단일 카메라의 초점 길이 f와 광중심 (p 0 , q 0 )을 계산하고, 카메라 중심 3차원 공간 좌표계(1) 상에서 볼의 초기 출발점(P0) W 0 과 첫번째 통과점(P1) W 1 , 그리고 볼 중심점의 2차원 영상 좌표 c 1 , c 2 , ..., c n 만을 측정하면, 이로부터 비카메라 중심 3차원 공간 좌표계(2) 상에서 볼의 초기 3차원 궤적
Figure pat00085
과 볼의 초기 차원 속도 v R을 단일 카메라(10')에서 획득되는 단일 카메라 영상(20')에서 3차원적으로 모두 효과적으로 동시에 복원할 수 있다.
도 8은 본 발명의 실사예에 따른 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법을 나타내는 순서도이다.
도 8에 따르면, 객체의 초기 3차원 속도의 크기값 및 객체의 3차원 공간 좌표의 깊이값을 변수로 하는 3차원 운동 방정식을 수립하는 단계(S100), 단일 카메라의 촬영 정보를 이용하여 객체 통과점의 2차원 영상 좌표를 계산하고, 객체의 3차원 방향 벡터를 계산하는 단계(S200) 및 2차원 영상 좌표 및 객체의 3차원 방향 벡터를 이용하여 3차원 운동 방정식의 해를 구하고, 객체의 초기 3차원 속도 및 궤적을 복원하는 단계(S300)가 포함된다.
S100 단계는 단일 카메라의 촬영 범위 내 객체 통과점의 3차원 공간 좌표 및 객체 통과점들 간의 거리에 대하여 3차원 운동 방정식을 수립하되, 객체의 출발점의 3차원 공간 좌표와 최초의 객체 통과점의 3차원 공간 좌표로부터 계산된 객체의 3차원 방향 벡터 및 2차원 영상 좌표를 이용하여 3차원 운동 방정식이 누적된 선형 시스템을 수립한다.
S200 단계는 상기 객체가 상기 단일 카메라의 촬영 범위를 통과할 때 검출되는 객체 통과점의 2차원 픽셀 좌표와 상기 단일 카메라의 광중심 정보를 이용하여 상기 객체의 2차원 영상 좌표를 획득한다.
S200 단계는 상기 단일 카메라의 초점 길이, 상기 객체의 실제 직경, 상기 단일 카메라의 촬영 영상에서 관찰되는 상기 객체의 직경에 대한 정보 및 상기 2차원 영상 좌표를 이용하여 상기 객체 통과점의 3차원 공간 좌표를 복원하고, 상기 객체의 3차원 방향 벡터를 계산한다.
S300 단계는 상기 객체 통과점의 3차원 공간 좌표의 깊이값 및 상기 객체의 초기 3차원 속도의 크기값의 해를 동시에 계산하여, 상기 객체의 초기 3차원 궤적 및 속도를 복원한다.
S300 단계는 상기 단일 카메라가 이동 및 회전된 경우, 이동 및 회전 정보를 이용하여 상기 복원된 객체의 3차원 속도 및 궤적을 변환하여, 비카메라 중심 3차원 공간 좌표계 상에서의 초기 3차원 궤적 및 속도를 복원한다.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 수신부 200: 2차원 좌표 획득부
300: 초기 3차원 속도 및 궤적 복원부

Claims (13)

  1. 객체의 출발점에 대한 3차원 공간 좌표 정보 및 단일 카메라의 객체 촬영 영상 정보를 수신하는 수신부;
    상기 객체 촬영 영상 정보에서 상기 객체의 2차원 영상 좌표를 획득하는 2차원 좌표 획득부; 및
    상기 2차원 영상 좌표 및 상기 단일 카메라로부터 객체까지의 깊이 정보에 대해3차원 운동 방정식을 적용하여, 상기 객체의 초기 3차원 속도 및 궤적을 동시에 복원하는 복원부
    를 포함하는 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
  2. 제1항에 있어서,
    상기 수신부는 상기 단일 카메라의 초점 길이, 상기 객체의 실제 직경 및 상기 단일 카메라의 촬영 영상에서 관찰되는 상기 객체의 직경에 대한 정보를 포함하는 상기 객체 촬영 영상 정보를 수신하는 것
    인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
  3. 제1항에 있어서,
    상기 2차원 좌표 획득부는, 상기 객체가 상기 단일 카메라의 촬영 범위를 통과할 때 검출되는 객체 통과점의 2차원 픽셀 좌표와 상기 단일 카메라의 광중심 정보를 이용하여 상기 객체의 2차원 영상 좌표를 획득하는 것
    인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
  4. 제3항에 있어서,
    상기 객체 통과점은 상기 객체의 출발 후 상기 단일 카메라의 촬영 범위를 통과할 때 최초로 검출되는 통과점이고, 상기 깊이 정보는 상기 최초로 검출되는 객체 통과점과 상기 단일 카메라 간의 거리인 것
    을 특징으로 하는 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
  5. 제3항에 있어서,
    상기 복원부는 상기 2차원 영상 좌표와 상기 객체 촬영 영상 정보를 이용하여 상기 객체 통과점의 3차원 공간 좌표를 복원하는 것
    인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
  6. 제5항에 있어서,
    상기 3차원 운동 방정식은 상기 객체의 출발점에 대한 3차원 공간 좌표 정보와 상기 객체 통과점의 3차원 공간 좌표를 이용하여 계산된 객체 속도의 방향 벡터를 포함하고, 상기 3차원 공간 좌표의 깊이값 및 상기 객체의 초기 3차원 속도의 크기값을 변수로 포함하며,
    상기 복원부는 연속된 상기 객체 통과점에 대한 상기 3차원 운동 방정식이 누적된 선형 시스템을 이용하여, 상기 객체 통과점의 3차원 공간 좌표의 깊이값 및 상기 객체의 초기 3차원 속도의 크기값의 해를 동시에 계산하여, 상기 객체의 초기 3차원 궤적 및 속도를 복원하는 것
    인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
  7. 제5항에 있어서,
    상기 복원부는 상기 단일 카메라의 이동 및 회전 정보를 이용하여 상기 복원된 객체의 초기 3차원 궤적 및 상기 복원된 객체의 3차원 속도를 변환하여, 비카메라 중심 3차원 공간 좌표계 상에서의 상기 객체의 초기 3차원 궤적 및 속도를 동시에 복원하는 것
    인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템.
  8. (a) 객체의 초기 3차원 속도의 크기값 및 상기 객체의 3차원 공간 좌표의 깊이값을 변수로 하는 3차원 운동 방정식을 수립하는 단계;
    (b) 단일 카메라의 촬영 정보를 이용하여 객체 통과점의 2차원 영상 좌표를 계산하고, 상기 객체의 3차원 방향 벡터를 계산하는 단계; 및
    (c) 상기 2차원 영상 좌표 및 객체의 3차원 방향 벡터를 이용하여 상기 3차원 운동 방정식의 해를 구하고, 상기 객체의 초기 3차원 속도 및 궤적을 복원하는 단계
    를 포함하는 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
  9. 제8항에 있어서,
    상기 (a) 단계는 상기 단일 카메라의 촬영 범위 내 객체 통과점의 3차원 공간 좌표 및 상기 객체 통과점들 간의 거리에 대하여 상기 3차원 운동 방정식을 수립하되,
    상기 객체의 출발점의 3차원 공간 좌표와 최초의 상기 객체 통과점의 3차원 공간 좌표로부터 계산된 상기 객체의 3차원 방향 벡터 및 상기 2차원 영상 좌표를 이용하여 상기 3차원 운동 방정식이 누적된 선형 시스템을 수립하는 것
    인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
  10. 제7항에 있어서,
    상기 (b) 단계는 상기 객체가 상기 단일 카메라의 촬영 범위를 통과할 때 검출되는 객체 통과점의 2차원 픽셀 좌표와 상기 단일 카메라의 광중심 정보를 이용하여 상기 객체의 2차원 영상 좌표를 획득하는 것
    인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
  11. 제10항에 있어서,
    상기 (b) 단계는 상기 단일 카메라의 초점 길이, 상기 객체의 실제 직경, 상기 단일 카메라의 촬영 영상에서 관찰되는 상기 객체의 직경에 대한 정보 및 상기 2차원 영상 좌표를 이용하여 상기 객체 통과점의 3차원 공간 좌표를 복원하고, 상기 객체의 3차원 방향 벡터를 계산하는 것
    인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
  12. 제8항에 있어서,
    상기 (c) 단계는 상기 객체 통과점의 3차원 공간 좌표의 깊이값 및 상기 객체의 초기 3차원 속도의 크기값의 해를 동시에 계산하여, 상기 객체의 초기 3차원 궤적 및 속도를 복원하는 것
    인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
  13. 제8항에 있어서,
    상기 (c) 단계는 상기 단일 카메라가 이동 및 회전된 경우, 이동 및 회전 정보를 이용하여 상기 복원된 객체의 3차원 속도 및 궤적을 변환하여, 비카메라 중심 3차원 공간 좌표계 상에서의 초기 3차원 궤적 및 속도를 복원하는 것
    인 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 방법.
KR1020170162028A 2017-11-29 2017-11-29 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법 KR102084252B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170162028A KR102084252B1 (ko) 2017-11-29 2017-11-29 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법
US16/016,844 US10796437B2 (en) 2017-11-29 2018-06-25 System and method for simultaneously reconstructing initial 3D trajectory and velocity of object by using single camera images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170162028A KR102084252B1 (ko) 2017-11-29 2017-11-29 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190063153A true KR20190063153A (ko) 2019-06-07
KR102084252B1 KR102084252B1 (ko) 2020-03-03

Family

ID=66632577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170162028A KR102084252B1 (ko) 2017-11-29 2017-11-29 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US10796437B2 (ko)
KR (1) KR102084252B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733758B2 (en) 2018-10-30 2020-08-04 Rapsodo Pte. Ltd. Learning-based ground position estimation
US10832418B1 (en) * 2019-05-09 2020-11-10 Zoox, Inc. Object velocity from images
KR102214492B1 (ko) * 2020-08-21 2021-02-10 마스코리아 주식회사 도로 유고 검지 및 알림 시스템
KR102594249B1 (ko) 2020-11-18 2023-10-26 한국전자통신연구원 실감 인터랙션 기반의 가상 훈련 방법 및 장치
CN112884829A (zh) * 2020-12-17 2021-06-01 深圳市高创自动化技术有限公司 一种世界坐标映射到实时图像中的图形化辅助方式
CN117315147B (zh) * 2023-09-25 2024-05-24 北京理工大学 一种基于单相机的雪车雪橇3d轨迹重建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110012626A (ko) * 2009-07-31 2011-02-09 삼성전기주식회사 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법
KR20110064544A (ko) * 2009-12-08 2011-06-15 한국전자통신연구원 단일 카메라 영상 기반의 객체 거리 및 위치 추정 장치 및 방법
KR20110089021A (ko) * 2010-01-29 2011-08-04 주식회사 팬택 3차원 위치 정보 획득 장치 및 방법
KR20120035021A (ko) * 2010-10-04 2012-04-13 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
KR20170103365A (ko) * 2016-03-04 2017-09-13 한국전자통신연구원 고속 동작 물체의 객체 궤적 추적장치 및 그 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434789A (en) * 1993-10-06 1995-07-18 Fraker; William F. GPS golf diagnostic system
US8335345B2 (en) 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
KR101019782B1 (ko) 2010-06-29 2011-03-04 (주) 골프존 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치
KR101231387B1 (ko) 2012-01-20 2013-02-07 정미애 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법
KR101244044B1 (ko) 2012-03-19 2013-03-15 정미애 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법
US8948457B2 (en) * 2013-04-03 2015-02-03 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
KR101462079B1 (ko) 2013-04-10 2014-11-17 클라트 주식회사 골프 시뮬레이터
KR20150071781A (ko) 2013-12-18 2015-06-29 한국전자통신연구원 궤적변환 기반 이동궤적 모델링 장치 및 방법
KR101649181B1 (ko) 2015-01-22 2016-08-18 주식회사 인피니전 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법
JP6236600B1 (ja) * 2017-06-02 2017-11-29 株式会社Ｇｐｒｏ 飛行パラメータ測定装置及び飛行パラメータ測定方法
US10380409B2 (en) * 2017-11-16 2019-08-13 Blast Motion Inc. Method for estimating a 3D trajectory of a projectile from 2D camera images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110012626A (ko) * 2009-07-31 2011-02-09 삼성전기주식회사 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법
KR20110064544A (ko) * 2009-12-08 2011-06-15 한국전자통신연구원 단일 카메라 영상 기반의 객체 거리 및 위치 추정 장치 및 방법
KR20110089021A (ko) * 2010-01-29 2011-08-04 주식회사 팬택 3차원 위치 정보 획득 장치 및 방법
KR20120035021A (ko) * 2010-10-04 2012-04-13 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
KR20170103365A (ko) * 2016-03-04 2017-09-13 한국전자통신연구원 고속 동작 물체의 객체 궤적 추적장치 및 그 방법

Also Published As

Publication number Publication date
US10796437B2 (en) 2020-10-06
KR102084252B1 (ko) 2020-03-03
US20190164295A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
KR20190063153A (ko) 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법
US10260862B2 (en) Pose estimation using sensors
US9378559B2 (en) System and method for motion estimation
CN103714571B (zh) 一种基于摄影测量的单像机三维重建方法
JP2020506487A (ja) シーンから深度情報を取得するための装置および方法
GB2557465A (en) Method for calibrating a camera and calibration system
WO2003017680A1 (en) 3d video conferencing system
CN108364304A (zh) 一种用于单目机载目标检测的***和方法
JP2014211404A (ja) モーションキャプチャー方法
US9990857B2 (en) Method and system for visual pedometry
CN111199576B (zh) 一种基于移动平台的室外大范围人体姿态重建方法
EP1941719A2 (en) System and method for calibrating a set of imaging devices and calculating 3d coordinates of detected features in a laboratory coordinate system
TW201827788A (zh) 用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測 方法
Mukai et al. The recovery of object shape and camera motion using a sensing system with a video camera and a gyro sensor
CN107449403B (zh) 一种时-空四维联合成像模型及应用
Tjaden et al. High-speed and robust monocular tracking
JPH05196437A (ja) ３次元情報入力装置
Knorr et al. Leveraging the user's face for absolute scale estimation in handheld monocular SLAM
Skulimowski et al. Refinement of depth from stereo camera ego-motion parameters
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
TW201537137A (zh) 雙影像導引追瞄之射擊系統與方法
CN110785792A (zh) 3d建模方法、电子设备、存储介质及程序产品
KR101375708B1 (ko) 복수 영상을 이용한 모션 캡처 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 매체
JP3655065B2 (ja) 位置・姿勢検出装置と位置・姿勢検出方法と３次元形状復元装置及び３次元形状復元方法
Chong et al. A photogrammetric application in virtual sport training

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant