KR101019823B1 - Apparatus and method for sensing moving object and virtual golf simulation device using the same - Google Patents

Apparatus and method for sensing moving object and virtual golf simulation device using the same Download PDF

Info

Publication number
KR101019823B1
KR101019823B1 KR1020100062205A KR20100062205A KR101019823B1 KR 101019823 B1 KR101019823 B1 KR 101019823B1 KR 1020100062205 A KR1020100062205 A KR 1020100062205A KR 20100062205 A KR20100062205 A KR 20100062205A KR 101019823 B1 KR101019823 B1 KR 101019823B1
Authority
KR
South Korea
Prior art keywords
image
coordinates
multiple exposure
images
processing
Prior art date
Application number
KR1020100062205A
Other languages
Korean (ko)
Inventor
김원일
김영찬
우창헌
한민수
이태화
최명선
정재욱
강신
이승우
박한빛
김명우
김용우
허성국
Original Assignee
(주) 골프존
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 골프존 filed Critical (주) 골프존
Priority to KR1020100062205A priority Critical patent/KR101019823B1/en
Application granted granted Critical
Publication of KR101019823B1 publication Critical patent/KR101019823B1/en
Priority to PCT/KR2011/004758 priority patent/WO2012002731A2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3658—Means associated with the ball for indicating or measuring, e.g. speed, direction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/04—Games or sports accessories not covered in groups A63B1/00 - A63B69/00 for small-room or indoor sporting games
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0031—Tracking the path of an object, e.g. a ball inside a soccer pitch at the starting point
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0034—Tracking the path of an object, e.g. a ball inside a soccer pitch during flight
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/20—Distances or displacements
    • A63B2220/24—Angular displacement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: An apparatus and a method for sensing a moving object and a virtual golf simulation device using the same are provided to extend sensing process capability and range about an object. CONSTITUTION: An apparatus for sensing a moving object comprises one or more cameras(310,320), a stroboscopic unit(330), and a sensing treatment unit(220). The camera device acquires an image of plural frames about kinematic state of an object. The stroboscopic device operates flash per each frame several times and makes multiple exposure image obtained. The sensing process unit is composed of a first processing unit and a second processing unit. The first processing unit measures the coordinate about a separated object image. The second processing unit measures the coordinate about an overlapped object image.

Description

오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치{APPARATUS AND METHOD FOR SENSING MOVING OBJECT AND VIRTUAL GOLF SIMULATION DEVICE USING THE SAME}Object motion sensing device and sensing method, and virtual golf simulation device using the same {APPARATUS AND METHOD FOR SENSING MOVING OBJECT AND VIRTUAL GOLF SIMULATION DEVICE USING THE SAME}

본 발명은 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치에 관한 것으로 더욱 상세하게는 골프공 등과 같은 운동하는 오브젝트의 이미지를 취득하여 이를 분석함으로써 그 물리적 정보를 산출할 수 있도록 하는 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치에 관한 것이다.The present invention relates to an object motion sensing device and a sensing method, and a virtual golf simulation device using the same. More specifically, an object for calculating physical information by obtaining an image of a moving object such as a golf ball and analyzing the same. It relates to a motion sensing device and a sensing method, and a virtual golf simulation device using the same.

최근 야구, 축구, 농구, 그리고 골프 등과 같은 인기 스포츠 경기를 실내나 특정 장소에서 시뮬레이션을 통해 인터액티브 스포츠 게임(Interactive Sports Game)의 형태로 즐길 수 있도록 하는 여러 가지 다양한 장치들에 대한 개발이 활발하게 이루어지고 있다.Recently, various developments have been actively developed to enable popular sports games such as baseball, soccer, basketball, and golf to be enjoyed in the form of interactive sports games through simulation indoors or in specific places. It is done.

이와 같은 인터액티브 스포츠 게임에서 야구공, 축구공, 농구공 및 골프공 등의 볼을 이용하는 스포츠에 대한 시뮬레이션이 이루어지도록 하기 위해 운동하는 오브젝트, 즉 볼의 움직임에 대한 물리적 정보를 정확하게 센싱하기 위한 각종 센싱시스템에 대한 연구 개발이 매우 활발하게 진행되고 있는 실정이다.In such an interactive sports game, various kinds of objects for accurately sensing physical information about the movement of an object, that is, a ball, are used to simulate a sport using a ball such as a baseball ball, a soccer ball, a basketball ball, and a golf ball. The research and development of the sensing system is very active.

예컨대 적외선 센서를 이용한 센싱시스템, 레이저 센서를 이용한 센싱시스템, 음향 센서를 이용한 센싱시스템, 그리고 카메라 센서를 이용한 센싱시스템 등 다양한 센싱시스템이 등장하고 있다.For example, various sensing systems such as a sensing system using an infrared sensor, a sensing system using a laser sensor, a sensing system using an acoustic sensor, and a sensing system using a camera sensor are emerging.

본 발명은 낮은 해상도의 저속 카메라 장치와 스트로보 장치를 이용하여 운동하는 오브젝트에 대한 다중 노출 이미지를 취득하여 그 취득된 이미지에서 오브젝트의 이미지를 정확하게 추출하여 중심점 좌표를 구할 수 있으며, 특히 운동하는 오브젝트의 속도에 따라 또는 다중 노출 이미지상의 오브젝트 이미지의 패턴에 따라 각각 별개의 프로세스에 의해 처리되도록 함으로써 낮은 해상도의 저속 카메라 장치를 기반으로 함에도 불구하고 운동하는 오브젝트에 대한 센싱 처리 능력 및 범위를 확장시킬 수 있고 정확한 센싱을 할 수 있도록 하는 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치를 제공하기 위한 것이다.According to the present invention, a multi-exposure image of a moving object is obtained by using a low-resolution low-speed camera device and a strobe device, and the center point coordinates can be obtained by accurately extracting the image of the object from the acquired image. Each process can be processed by separate processes according to speed or according to patterns of object images on multiple-exposure images to extend sensing processing power and range for moving objects despite being based on low resolution low speed camera devices. An object motion sensing apparatus and a sensing method for enabling accurate sensing, and a virtual golf simulation apparatus using the same.

본 발명의 일 실시예에 따른 오브젝트 운동 센싱장치는, 오브젝트의 운동 상태에 관하여 각각 복수개의 프레임의 이미지를 취득하는 적어도 하나의 카메라 장치; 각 프레임 당 복수회의 플래시를 작동시킴으로써 다중 노출 이미지가 취득되도록 하는 스트로보 장치; 및 취득된 다중 노출 이미지에서 서로 분리된 오브젝트 이미지에 대한 오브젝트의 좌표를 측정하는 제1 프로세싱 수단과, 취득된 다중 노출 이미지에서 서로 중첩된 오브젝트 이미지에 대한 오브젝트의 좌표를 측정하는 제2 프로세싱 수단을 포함하는 센싱처리부를 포함한다.Object motion sensing apparatus according to an embodiment of the present invention, at least one camera device for obtaining a plurality of images of the frame with respect to the motion state of the object; A stroboscopic apparatus for causing multiple exposure images to be acquired by operating multiple flashes per frame; And first processing means for measuring the coordinates of the object with respect to the object image separated from each other in the obtained multiple exposure image, and second processing means for measuring the coordinates of the object with respect to the object image superimposed on each other in the acquired multiple exposure image. It includes a sensing processing unit including.

또한 바람직하게는, 상기 카메라 장치와 상기 스트로보 장치에 대해 각각 일정하게 고정된 주기의 트리거 신호를 발생시키는 신호발생부를 더 포함하는 것을 특징으로 한다.Also preferably, the camera device and the strobe device further comprises a signal generator for generating a trigger signal of a fixed period, respectively.

또한 바람직하게는, 상기 신호발생부는, 상기 스트로보 장치의 각 프레임 당 복수회의 플래시 사이의 시간 간격이 실질적으로 동일하게 되도록 트리거 신호를 발생시키도록 구성되는 것을 특징으로 한다.Also preferably, the signal generator may be configured to generate a trigger signal such that a time interval between a plurality of flashes per frame of the strobe device is substantially the same.

또한 바람직하게는, 상기 신호발생부는, 상기 스트로보 장치의 일 프레임 내의 복수회의 플래시 사이의 시간 간격과 해당 프레임의 마지막 플래시부터 다음 프레임의 첫 번째 플래시까지의 시간 간격이 서로 다르게 되도록 트리거 신호를 발생시키도록 구성되는 것을 특징으로 한다.Also preferably, the signal generator may generate a trigger signal such that a time interval between a plurality of flashes in one frame of the stroboscopic device and a time interval from the last flash of the frame to the first flash of the next frame are different from each other. It is characterized in that it is configured to.

한편, 본 발명의 다른 일 실시예에 따른 오브젝트 운동 센싱장치는, 오브젝트의 운동 상태에 관하여 각각 복수개의 프레임의 이미지를 취득하는 적어도 하나의 카메라 장치; 각 프레임 당 일정하게 고정된 주기로 복수회의 플래시를 작동시킴으로써 다중 노출 이미지가 취득되도록 하는 스트로보 장치; 및 상기 스트로보 장치의 플래시의 고정된 주기에 따른 소정 속도 이상으로 운동하는 오브젝트의 이미지로부터 오브젝트 좌표를 측정하는 제1 프로세싱 수단과, 플래시의 고정된 주기에 따른 소정 속도 미만으로 운동하는 오브젝트의 이미지로부터 오브젝트 좌표를 측정하는 제2 프로세싱 수단을 포함하는 센싱처리부를 포함한다.On the other hand, the object motion sensing device according to another embodiment of the present invention, at least one camera device for acquiring a plurality of images of the frame with respect to the motion state of the object; A stroboscopic apparatus for acquiring multiple exposure images by operating a plurality of flashes at a fixed fixed period per frame; And first processing means for measuring object coordinates from an image of an object moving at or above a predetermined speed according to a fixed period of flash of the stroboscopic device, and from an image of the object moving below a predetermined speed according to a fixed period of flash. And a sensing processor including second processing means for measuring object coordinates.

또한 바람직하게는, 상기 센싱처리부는, 취득된 다중 노출 이미지에서 배경 및 노이즈를 제거하는 전처리 수단을 더 포함하는 것을 특징으로 한다.Also preferably, the sensing processing unit may further include preprocessing means for removing background and noise from the obtained multiple exposure image.

또한 바람직하게는, 상기 제1 프로세싱 수단은 취득된 다중 노출 이미지에서 서로 분리된 오브젝트 이미지를 처리함으로써 오브젝트의 좌표를 측정하도록 구성되며, 상기 제2 프로세싱 수단은 취득된 다중 노출 이미지에서 서로 중첩된 오브젝트 이미지를 처리함으로써 오브젝트의 좌표를 측정하도록 구성되는 것을 특징으로 한다.Also preferably, the first processing means is configured to measure the coordinates of the objects by processing object images separated from each other in the acquired multiple exposure image, wherein the second processing means are objects superimposed on each other in the acquired multiple exposure image And measure the coordinates of the object by processing the image.

또한 바람직하게는, 상기 제1 프로세싱 수단은, 취득된 다중 노출 이미지에서 오브젝트로서 추정되는 소정 간격으로 분리된 오브젝트 이미지를 추출하는 제1 이미지추출수단과, 추출된 이미지를 통해 각 오브젝트 이미지의 중심점 좌표를 획득하는 제1 좌표측정수단을 포함하며, 상기 제2 프로세싱 수단은, 취득된 다중 노출 이미지에서 오브젝트로서 추정되는 중첩된 오브젝트 이미지를 추출하는 제2 이미지추출수단과, 추출된 이미지를 통해 중첩된 이미지의 복수개의 중심점 좌표를 획득하는 제2 좌표측정수단을 포함하는 것을 특징으로 한다.Also preferably, the first processing means may include first image extracting means for extracting an object image separated at a predetermined interval estimated as an object from the acquired multiple exposure image, and coordinates of the center point of each object image through the extracted image; And first coordinate measuring means for obtaining a second image extracting means, wherein the second processing means comprises: second image extracting means for extracting a superimposed object image estimated as an object from the acquired multiple exposure image, and superimposed through the extracted image; And second coordinate measuring means for obtaining a plurality of center point coordinates of the image.

한편, 본 발명의 또 다른 일 실시예에 따른 오브젝트 운동 센싱장치는, 운동하는 오브젝트에 대한 다중 노출 이미지를 취득하는 센서부; 및 취득된 다중 노출 이미지에서 오브젝트 이미지의 패턴에 따라 각각 서로 다른 이미지 처리를 함으로써 각각 오브젝트의 좌표를 측정하는 복수개의 프로세싱 수단을 포함하는 센싱처리부를 포함한다.On the other hand, the object motion sensing apparatus according to another embodiment of the present invention, the sensor unit for obtaining a multiple exposure image for the object to be moved; And a sensing processor including a plurality of processing means for measuring coordinates of the object by performing different image processing on the acquired multiple exposure image according to the pattern of the object image.

또한 바람직하게는, 상기 센서부는, 취득된 다중 노출 이미지가 상기 운동하는 오브젝트의 속도에 따라 소정 간격으로 서로 분리된 오브젝트의 이미지 및 서로 중첩된 오브젝트의 이미지 중 적어도 한가지 이미지를 포함할 수 있도록 구성되는 것을 특징으로 한다.Also preferably, the sensor unit may be configured such that the acquired multiple exposure image may include at least one of an image of an object separated from each other and an image of an object superimposed on each other at predetermined intervals according to the speed of the moving object. It is characterized by.

또한 바람직하게는, 상기 센싱처리부는, 취득된 다중 노출 이미지에서 서로 분리된 오브젝트의 이미지를 처리함으로써 오브젝트의 좌표를 측정하는 제1 프로세싱 수단과, 취득된 다중 노출 이미지에서 서로 중첩된 오브젝트의 이미지를 처리함으로써 오브젝트의 좌표를 측정하는 제2 프로세싱 수단을 포함하는 것을 특징으로 한다.Also preferably, the sensing processing unit may include first processing means for measuring coordinates of an object by processing images of objects separated from each other in the obtained multiple exposure image, and an image of an object overlapping each other in the obtained multiple exposure image. And second processing means for measuring the coordinates of the object by processing.

한편, 본 발명의 또 다른 일 실시예에 따른 오브젝트 운동 센싱장치는, 운동하는 제1 오브젝트 및 상기 제1 오브젝트에 의해 운동하는 제2 오브젝트에 대한 다중 노출 이미지를 취득하는 센서부; 취득된 다중 노출 이미지에서 상기 제1 오브젝트의 이미지를 처리함으로써 상기 제1 오브젝트의 좌표를 측정하는 제1 오브젝트 프로세싱 수단; 및 취득된 다중 노출 이미지에서 상기 제2 오브젝트의 이미지를 처리함으로써 상기 제2 오브젝트의 좌표를 측정하는 제2 오브젝트 프로세싱 수단을 포함한다.On the other hand, the object motion sensing apparatus according to another embodiment of the present invention, the sensor unit for obtaining a multiple exposure image for the first object to exercise and the second object to exercise by the first object; First object processing means for measuring coordinates of the first object by processing the image of the first object in the acquired multiple exposure image; And second object processing means for measuring the coordinates of the second object by processing the image of the second object in the obtained multiple exposure image.

또한 바람직하게는, 상기 제2 오브젝트 프로세싱 수단은, 취득된 다중 노출 이미지에서 서로 분리된 제2 오브젝트의 이미지를 처리함으로써 제2 오브젝트의 좌표를 측정하는 제1 프로세싱 수단과, 취득된 다중 노출 이미지에서 서로 중첩된 제2 오브젝트의 이미지를 처리함으로써 제2 오브젝트의 좌표를 측정하는 제2 프로세싱 수단을 포함하는 것을 특징으로 한다.Also preferably, the second object processing means may include first processing means for measuring coordinates of the second object by processing images of second objects separated from each other in the acquired multiple exposure image, and in the acquired multiple exposure image. And second processing means for measuring the coordinates of the second object by processing the images of the second objects superimposed on each other.

한편, 본 발명의 일 실시예에 따른 오브젝트 운동 센싱방법은, 운동하는 오브젝트에 대한 다중 노출 이미지를 취득하는 단계; 취득된 다중 노출 이미지에서 오브젝트로서 추정되는 이미지를 추출하는 단계; 및 상기 추출된 오브젝트 이미지가 서로 분리된 오브젝트 이미지인 경우 제1 프로세스에 의해 처리되며, 상기 추출된 오브젝트 이미지가 서로 중첩된 오브젝트 이미지인 경우 제2 프로세스에 의해 처리되는 단계를 포함한다.On the other hand, the object motion sensing method according to an embodiment of the present invention, the method comprising the steps of obtaining a multiple exposure image for the object to be exercised; Extracting an image estimated as an object from the obtained multiple exposure image; And processing by the first process when the extracted object images are object images separated from each other, and processing by the second process when the extracted object images are object images superimposed on each other.

또한 바람직하게는, 상기 다중 노출 이미지를 취득하는 단계는, 적어도 하나의 카메라 장치가 운동하는 오브젝트에 대한 복수 프레임의 이미지를 취득하며, 스트로보 장치가 각 프레임 당 복수회의 플래시를 작동시키는 단계를 포함하는 것을 특징으로 한다.Also preferably, acquiring the multiple exposure image comprises acquiring a plurality of frames of images of an object on which at least one camera device is moving, and the stroboscope device operating a plurality of flashes each frame. It is characterized by.

또한 바람직하게는, 상기 다중 노출 이미지를 취득하는 단계는, 적어도 하나의 카메라 장치 및 스트로보 장치가 동기화되는 단계와, 상기 카메라 장치에 의해 영상이 계속적으로 캡처되는 단계와, 캡처되는 영상으로부터 오브젝트의 초기 위치를 확인하는 단계와, 상기 카메라 장치 및 스트로보 장치 각각에 대한 트리거 신호를 발생시키는 단계와, 상기 카메라 장치가 운동하는 오브젝트에 대한 복수 프레임의 이미지를 취득하며, 상기 스트로보 장치가 각 프레임 당 복수회의 플래시를 작동시키는 단계를 포함하는 것을 특징으로 한다.Also preferably, acquiring the multiple-exposure image comprises: synchronizing at least one camera device and strobe device, continuously capturing an image by the camera device, and initializing an object from the captured image. Confirming a position, generating a trigger signal for each of the camera apparatus and the stroboscopic apparatus, acquiring a plurality of frames of images of the object to which the camera apparatus is moving, and the stroboscopic apparatus multiple times per frame Operating a flash.

또한 바람직하게는, 상기 카메라 장치에 의한 복수 프레임 사이의 주기는 일정하게 고정되며, 상기 스트로보 장치에 의한 각 프레임 당 복수회의 플래시 사이의 시간 간격이 실질적으로 동일하게 고정되는 것을 특징으로 한다.Also preferably, the period between the plurality of frames by the camera device is fixed constantly, and the time interval between the plurality of flashes per frame by the strobe device is fixed substantially the same.

또한 바람직하게는, 상기 제1 프로세스는 서로 분리된 오브젝트 이미지에 대한 피팅 단계와, 피팅된 각각의 오브젝트 이미지의 중심점 좌표를 획득하는 단계를 포함하며, 상기 제2 프로세스는 서로 중첩된 오브젝트 이미지에 대한 피팅 단계와, 피팅된 중첩된 오브젝트 이미지의 복수개의 중심점 좌표를 획득하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the first process may include fitting to object images separated from each other, and obtaining coordinates of the center point of each fitted object image, wherein the second process is performed on object images superimposed on each other. And fitting the plurality of center point coordinates of the fitted overlapped object image.

한편, 본 발명의 다른 일 실시예에 따른 오브젝트 운동 센싱방법은, 운동하는 제1 오브젝트 및 상기 제1 오브젝트에 의해 운동하는 제2 오브젝트에 대한 다중 노출 이미지를 취득하는 단계; 취득된 다중 노출 이미지에서 상기 제1 오브젝트의 이미지를 처리함으로써 상기 제1 오브젝트의 좌표를 측정하는 단계; 및 취득된 다중 노출 이미지에서 상기 제2 오브젝트가 서로 분리되어 나타나는 경우 제1 프로세스에 의해 처리되며, 상기 제2 오브젝트가 서로 중첩되어 나타나는 경우 제2 프로세스에 의해 처리됨으로써 상기 제2 오브젝트의 좌표를 측정하는 단계를 포함한다.On the other hand, the object motion sensing method according to another embodiment of the present invention, the method comprising: obtaining a multiple exposure image for the first object to exercise and the second object to exercise by the first object; Measuring coordinates of the first object by processing the image of the first object in the acquired multiple exposure image; And when the second objects appear separately from each other in the obtained multiple exposure image, the first object is processed by the first process, and when the second objects overlap with each other, the second object is processed by the second process to measure the coordinates of the second object. It includes a step.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는, 골퍼에 의해 타격되어 운동하는 골프공에 대한 다중 노출 이미지를 취득하는 센서부; 상기 센서부에 의해 취득된 다중 노출 이미지에서 골프공의 이미지의 패턴에 따라 각각 서로 다른 이미지 처리를 함으로써 각각 골프공의 좌표를 측정하는 복수개의 프로세싱 수단을 포함하는 센싱처리부; 상기 센싱처리부에서 측정된 좌표를 3차원 좌표로 변환시키는 컨버팅부; 및 상기 3차원 좌표를 기초로 운동하는 골프공에 관한 물리 정보를 계산함으로써 골프공의 궤적을 시뮬레이션하는 시뮬레이터를 포함한다.On the other hand, the virtual golf simulation apparatus according to an embodiment of the present invention, the sensor unit for obtaining a multi-exposure image for the golf ball hit by the golfer to move; A sensing processor including a plurality of processing means for measuring coordinates of the golf ball by performing different image processing on the basis of the pattern of the golf ball image in the multiple exposure image acquired by the sensor unit; A converting unit converting the coordinates measured by the sensing processing unit into 3D coordinates; And a simulator for simulating the trajectory of the golf ball by calculating physical information about the golf ball moving based on the three-dimensional coordinates.

한편, 본 발명의 다른 일 실시예에 따른 가상 골프 시뮬레이션 장치는, 스윙되는 골프클럽 및 상기 골프클럽에 의해 타격되어 운동하는 골프공에 대한 다중 노출 이미지를 취득하는 센서부; 상기 센서부에 의해 취득된 다중 노출 이미지에서 상기 골프클럽에 관한 이미지에 대한 처리를 통해 골프클럽의 좌표를 측정하는 제1 센싱처리수단과, 상기 취득된 다중 노출 이미지에서 상기 골프공의 이미지의 패턴에 따라 각각 서로 다른 이미지 처리를 함으로써 각각 골프공의 좌표를 측정하는 복수개의 프로세싱 수단을 포함하는 제2 센싱처리수단을 포함하는 센싱처리부; 상기 센싱처리부에서 측정된 좌표를 3차원 좌표로 변환시키는 컨버팅부; 및 상기 3차원 좌표를 기초로 골프클럽 및 골프공에 관한 물리 정보를 계산함으로써 골프공의 궤적을 시뮬레이션하는 시뮬레이터를 포함한다.On the other hand, a virtual golf simulation apparatus according to another embodiment of the present invention, the sensor unit for obtaining a multi-exposure image of the golf club and the golf ball hit by the golf club swinging; First sensing processing means for measuring the coordinates of the golf club by processing the image of the golf club in the multiple exposure image acquired by the sensor unit, and the pattern of the image of the golf ball in the obtained multiple exposure image A sensing processor including a second sensing processing means including a plurality of processing means for measuring coordinates of a golf ball, respectively, by performing different image processing according to each other; A converting unit converting the coordinates measured by the sensing processing unit into 3D coordinates; And a simulator for simulating the trajectory of the golf ball by calculating physical information about the golf club and the golf ball based on the three-dimensional coordinates.

또한 바람직하게는, 상기 센서부는, 상기 타격된 골프공에 관하여 각각 복수 프레임의 이미지를 취득하는 적어도 하나의 카메라 장치와, 각 프레임 당 복수회의 플래시를 작동시킴으로써 다중 노출 이미지가 취득되도록 하는 스트로보 장치를 포함하는 것을 특징으로 한다.Also preferably, the sensor unit may include at least one camera device for acquiring a plurality of frames of images about the hit golf ball, and a stroboscopic device for acquiring multiple exposure images by operating a plurality of flashes per frame. It is characterized by including.

또한 바람직하게는, 상기 카메라 장치와 상기 스트로보 장치에 대해 각각 일정하게 고정된 주기의 트리거 신호를 발생시키는 신호발생부를 더 포함하는 것을 특징으로 한다.Also preferably, the camera device and the strobe device further comprises a signal generator for generating a trigger signal of a fixed period, respectively.

또한 바람직하게는, 상기 복수개의 프로세싱 수단은, 취득된 다중 노출 이미지에서 복수개의 골프공 이미지가 서로 분리되어 나타나는 경우 각각의 골프공 이미지에 대한 처리를 통해 골프공의 좌표를 측정하는 제1 프로세싱 수단과, 취득된 다중 노출 이미지에서 복수개의 골프공 이미지가 서로 중첩되어 나타나는 경우 상기 중첩된 이미지에 대한 처리를 통해 골프공의 좌표를 측정하는 제2 프로세싱 수단을 포함하는 것을 특징으로 한다.Also preferably, the plurality of processing means may include first processing means for measuring the coordinates of the golf ball by processing the respective golf ball images when the plurality of golf ball images appear separately from each other in the obtained multiple exposure image. And second processing means for measuring the coordinates of the golf ball by processing the overlapped image when the plurality of golf ball images appear to overlap each other in the acquired multiple exposure image.

또한 바람직하게는, 상기 시뮬레이터에 의한 가상 골프 시뮬레이션 과정에서 골퍼에 의해 이루어지는 스윙의 종류 또는 비거리에 따라 상기 제1 프로세싱 수단 및 제2 프로세싱 수단 중 어느 하나가 선택적으로 적용되도록 구성되는 것을 특징으로 한다.Also preferably, any one of the first processing means and the second processing means may be selectively applied according to the type or distance of the swing made by the golfer in the virtual golf simulation process by the simulator.

본 발명에 따른 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치는 본 발명은 낮은 해상도의 저속 카메라 장치와 스트로보 장치를 이용하여 운동하는 오브젝트에 대한 다중 노출 이미지를 취득하여 취득된 이미지상의 오브젝트의 이미지를 정확하게 추출하여 중심점 좌표를 구할 수 있으며, 특히 운동하는 오브젝트의 속도에 따라 또는 다중 노출 이미지상의 오브젝트 이미지의 패턴에 따라 각각 별개의 프로세스에 의해 처리되도록 함으로써 낮은 해상도의 저속 카메라 장치를 기반으로 함에도 불구하고 운동하는 오브젝트에 대한 센싱 처리 능력 및 범위를 확장시킬 수 있고 센싱의 정확성을 향상시키도록 하는 효과가 있다.The object motion sensing device and the sensing method according to the present invention, and the virtual golf simulation device using the same according to the present invention is obtained by obtaining a multi-exposure image of a moving object using a low-resolution low-speed camera device and a strobe device Accurately extract the image of the object to obtain the center point coordinates, especially based on the low resolution low speed camera device by being processed by separate processes according to the speed of the moving object or according to the pattern of the object image on the multiple exposure image. Despite this, it is possible to extend the sensing processing capability and range of the moving object and to improve the accuracy of sensing.

도 1은 본 발명의 일 실시예에 따른 센싱장치 또는 가상 골프 시뮬레이션 장치에 관하여 나타낸 블록도이다.
도 2는 도 1에 도시된 센싱장치 또는 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예에 관하여 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 센싱장치의 카메라 장치 및 스트로보 장치의 작동 신호 체계에 관하여 나타낸 도면이다.
도 4의 (a) 및 (b)는 도 2에 도시된 시스템에 따라 취득한 오브젝트의 이미지 패턴을 각각 나타낸 도면이다.
도 5의 (a)는 도 4의 (a)에 도시된 패턴의 이미지의 실제 취득된 이미지의 일 예를 나타낸 도면이며, 도 5의 (b)는 (a)에 도시된 이미지에 대한 전처리 된 이미지를 나타낸 도면이다.
도 6은 도 4의 (a)에 도시된 패턴의 이미지에 대해 복수 프레임의 이미지를 겹쳐서 나타낸 것으로서 오브젝트 이미지를 추출하는 과정을 나타낸 도면이다.
도 7의 (a)는 도 4의 (a)에 도시된 패턴의 이미지에서 오브젝트에 대한 피팅 과정을 나타낸 도면이고, 도 7의 (b)는 (a)의 오브젝트 피팅 과정에 따라 피팅되어 중심점이 추출된 상태를 나타낸 도면이다.
도 8은 도 7에 도시된 바와 같이 중심점이 추출된 오브젝트에 대한 스트로보 조명 간격과의 매칭에 관하여 설명하기 위한 도면이다.
도 9의 (a)는 도 4의 (b)에 도시된 패턴의 이미지의 실제 취득된 이미지의 일 예를 나타낸 도면이며, 도 9의 (b)는 (a)에 도시된 이미지에 대한 전처리 된 이미지를 나타낸 도면이다.
도 10은 도 4의 (b)에 도시된 패턴의 이미지에 노이즈가 형성된 이미지의 일 예를 나타낸 도면이며, 도 10의 (b)는 (a)에 도시된 이미지에 대한 축 상의 픽셀값에 관한 그래프이다.
도 11은 도 4의 (b)에 도시된 패턴의 이미지에서 중첩된 오브젝트의 이미지 영역에 대한 피팅 과정을 나타낸 도면이다.
도 12의 (a) 및 (b)는 도 11에 도시된 피팅된 오브젝트의 이미지 영역에 대한 중심점 추출과정을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 센싱방법에 관한 플로우 차트를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치에서의 센싱방법에 관한 플로우 차트를 나타낸 도면이다.1 is a block diagram showing a sensing device or a virtual golf simulation device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a screen golf system to which the sensing device or the virtual golf simulation device shown in FIG. 1 is applied.
3 is a diagram illustrating an operation signal system of a camera device and a strobe device of a sensing device according to an embodiment of the present invention.
4A and 4B are diagrams each showing an image pattern of an object acquired according to the system shown in FIG. 2.
FIG. 5A is a diagram showing an example of an actual acquired image of the image of the pattern shown in FIG. 4A, and FIG. 5B is preprocessed for the image shown in FIG. A diagram showing an image.
FIG. 6 is a diagram illustrating a process of extracting an object image as overlapping images of a plurality of frames with respect to the image of the pattern illustrated in FIG. 4A.
FIG. 7A illustrates a fitting process for an object in the image of the pattern illustrated in FIG. 4A, and FIG. 7B illustrates a fitting process according to the object fitting process of FIG. It is a figure which shows the extracted state.
FIG. 8 is a diagram for describing matching with a strobe illumination interval for an object from which a center point is extracted as illustrated in FIG. 7.
FIG. 9A is a diagram showing an example of an actual acquired image of the image of the pattern shown in FIG. 4B, and FIG. 9B is preprocessed for the image shown in FIG. A diagram showing an image.
FIG. 10 is a diagram illustrating an example of an image in which noise is formed in an image of the pattern illustrated in FIG. 4B, and FIG. 10B illustrates a pixel value on an axis of the image illustrated in FIG. It is a graph.
FIG. 11 is a diagram illustrating a fitting process for an image region of an object overlapped in the image of the pattern illustrated in FIG. 4B.
12A and 12B illustrate a process of extracting a center point of an image area of the fitted object illustrated in FIG. 11.
13 is a flowchart illustrating a sensing method according to an embodiment of the present invention.
14 is a flowchart illustrating a sensing method in a virtual golf simulation apparatus according to an embodiment of the present invention.

본 발명에 따른 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치에 관한 실시예를 도면을 참조하여 좀 더 구체적으로 설명한다.An embodiment of an object motion sensing apparatus and a sensing method and a virtual golf simulation apparatus using the same according to the present invention will be described in more detail with reference to the accompanying drawings.

본 발명에 따른 오브젝트 운동 센싱장치는 골프와 같은 볼을 이용하는 스포츠 등에서 운동하는 볼, 즉 오브젝트의 운동상태에 관한 이미지를 취득하여 이를 분석함으로써 센싱이 이루어지는 모든 시스템에 적용 가능하며, 그 일 예로서 가상 골프 시뮬레이션 장치가 적용되는 소위 스크린 골프 시스템 등에 적용이 가능하다.The object motion sensing apparatus according to the present invention is applicable to all systems in which sensing is performed by acquiring and analyzing an image of a ball, ie, an object's motion state, that is exercised in a sport using a ball such as golf, and the like as an example. It can be applied to a so-called screen golf system to which a golf simulation device is applied.

도 1 및 도 2에서는 이와 같은 본 발명에 따른 오브젝트 운동 센싱장치 및 이를 이용한 가상 골프 시뮬레이션 장치의 개략적인 구성에 관하여 나타내고 있다.1 and 2 illustrate a schematic configuration of the object motion sensing apparatus and the virtual golf simulation apparatus using the same according to the present invention.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 오브젝트 운동 센싱장치 및 이를 이용하는 가상 골프 시뮬레이션 장치에 관하여 설명한다.First, an object motion sensing apparatus and a virtual golf simulation apparatus using the same will be described with reference to FIGS. 1 and 2.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 오브젝트 운동 센싱장치는, 카메라 장치(310, 320), 스트로보 장치(330), 신호발생부(210) 등을 포함하는 센서부와, 상기 센서부에서 취득된 이미지를 처리함으로써 운동하는 오브젝트에 대한 이미지를 처리하여 중심점 좌표를 추출하는 센싱처리부(220)를 포함하여 구성된다.As shown in FIG. 1, an object motion sensing apparatus according to an exemplary embodiment includes a sensor unit including a camera device 310 and 320, a strobe device 330, a signal generator 210, and the like. And a sensing processing unit 220 for processing the image of the moving object by extracting the center point coordinates by processing the image acquired by the sensor unit.

상기 센싱처리부(220)는 취득된 다중 노출 이미지상에 오브젝트가 서로 분리된 상태로 나타나는 경우 이에 대한 각 오브젝트의 중심점 좌표를 추출하는 제1 프로세싱 수단과, 다중 노출 이미지상에 오브젝트가 서로 중첩된 상태로 나타나는 경우 이에 대한 오브젝트 이미지 영역의 중심점 좌표를 추출하는 제2 프로세싱 수단을 포함하여 이루어진다. 상기 센싱처리부(220)에 관한 좀 더 구체적인 사항에 대해서는 후술하기로 한다.The sensing processing unit 220 may include first processing means for extracting coordinates of the center point of each object when the objects appear in a separated state from each other on the obtained multiple exposure image, and the objects overlap each other on the multiple exposure image. And a second processing means for extracting the coordinates of the center point of the object image area. More specific details regarding the sensing processing unit 220 will be described later.

한편, 상기 카메라 장치(310, 320)는 오브젝트의 초기 위치에서부터 오브젝트가 운동 방향을 따라 운동하는 상태에 관하여 복수개의 프레임의 이미지를 취득하도록 구비된다.On the other hand, the camera device (310, 320) is provided to acquire an image of a plurality of frames with respect to the state in which the object moves along the direction of movement from the initial position of the object.

도 1에서는 상기 카메라 장치(310, 320)가 두 대 구비되는 경우에 관하여 나타내고 있으나 이에 한정되지 않고 한대 또는 그 이상의 카메라 장치가 구비되는 모든 경우를 포함할 수 있다.Although FIG. 1 illustrates a case in which two camera apparatuses 310 and 320 are provided, the present invention is not limited thereto and may include all cases in which one or more camera apparatuses are provided.

상기 스트로보 장치(330)는 LED 등을 이용한 조명장치로서 상기 카메라 장치의 촬영용 광원으로 이용되며, 소정의 시간 간격으로 스트로보 조명(소정의 시간 간격으로 복수회의 조명 플래시가 작동되는 방식임)이 발생하여 상기 카메라 장치(310, 320)에 의해 다중 노출 이미지가 취득되도록 한다.The strobe device 330 is used as a light source for photographing the camera device as an illumination device using an LED light, and the strobe light is generated at predetermined time intervals (that is, a plurality of illumination flashes are operated at predetermined time intervals). The multiple exposure image is acquired by the camera apparatuses 310 and 320.

즉 카메라 장치에 의해 촬영되는 하나의 프레임의 이미지에 상기 스트로보 장치(330)에 의한 플래시 횟수만큼 오브젝트가 촬영되어 나타나는 다중 노출 이미지를 취득하게 된다.That is, a multiple exposure image, in which an object is photographed by the number of flashes by the strobe apparatus 330, is acquired in an image of one frame photographed by a camera apparatus.

카메라 장치(310, 320)와 스트로보 장치(330)의 작동에 관한 구체적인 사항에 대해서는 후술하기로 한다.Details of operations of the camera apparatuses 310 and 320 and the strobe apparatus 330 will be described later.

한편, 상기 카메라 장치(310, 320) 및 스트로보 장치(330)의 작동을 위한 트리거(trigger) 신호는 신호발생부(210)에 의해 발생하며, 상기 카메라 장치(310, 320)와 스트로보 장치(330)에 의한 다중 노출 이미지는 센싱처리부(220)에서 처리가 되어 시뮬레이터(100)로 전달된다.Meanwhile, a trigger signal for operating the camera devices 310 and 320 and the strobe device 330 is generated by the signal generator 210 and the camera devices 310 and 320 and the strobe device 330. The multiple exposure image is processed by the sensing processor 220 and transmitted to the simulator 100.

상기 시뮬레이터(100)는 제어부(M), 데이터베이스(110), 영상처리부(120) 및 영상출력부(130) 등을 포함하여 구성됨이 바람직하다.The simulator 100 preferably includes a controller M, a database 110, an image processor 120, an image output unit 130, and the like.

상기 제어부(M)는 상기 센싱처리부(220)에서 이미지 처리되어 획득된 오브젝트의 좌표 정보를 전달받아 이를 3차원 좌표 정보로 변환하여 오브젝트의 운동 궤적 시뮬레이션을 위한 소정의 물리적 정보를 산출하여 영상처리부(120)로 전달한다.The controller M receives the coordinate information of the object obtained by the image processing by the sensing processor 220, converts the coordinate information of the object into 3D coordinate information, and calculates predetermined physical information for simulating the motion trajectory of the object. 120).

이때 오브젝트의 운동 궤적의 시뮬레이션을 위한 소정의 데이터는 데이터베이스(110)로부터 추출하여 이용하고 상기 영상처리부(120)에서 오브젝트의 운동 궤적에 관한 시뮬레이션 영상 처리는 상기 데이터베이스(110)에 저장된 영상데이터가 추출됨으로써 이루어질 수 있다.At this time, the predetermined data for the simulation of the motion trajectory of the object is extracted from the database 110 and the image processing unit 120 extracts the image data stored in the database 110 in the simulation image processing of the motion trajectory of the object. This can be done by.

여기서 상기 센싱처리부(220)로부터 전달받은 오브젝트의 좌표 정보를 3차원 좌표 정보로 변환하는 컨버팅수단이 상기 제어부(M)와는 별도로 구비되도록 하는 것도 가능하다.Here, the converting means for converting the coordinate information of the object received from the sensing processing unit 220 into the three-dimensional coordinate information may be provided separately from the control unit (M).

상기한 바와 같은 장치 구성을 갖는 센싱장치 또는 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예에 관하여 도 2에서 도시하고 있다.An example of a screen golf system to which a sensing device or a virtual golf simulation device having the device configuration as described above is applied is shown in FIG. 2.

도 2에 도시된 바와 같이 골프 부스(B)의 일측에 골프공(10)이 놓이는 골프티와 그라운드(페어웨이 매트, 러프 매트 및 벙커 매트 중 적어도 하나를 포함하도록 함이 바람직하다)가 구비되는 타격 매트(30)와 골퍼가 골프 스윙을 하도록 구비되는 스윙플레이트(20)가 구비된다.As shown in FIG. 2, a golf tee and a ground (preferably including at least one of a fairway mat, a rough mat and a bunker mat) on which the golf ball 10 is placed on one side of the golf booth B are provided. The mat 30 and the golfer is provided with a swing plate 20 provided to make a golf swing.

골프 부스(B)의 전방에는 영상출력부(130)에 의해 구현되는 가상 골프 시뮬레이션 영상이 표시되는 스크린(40)이 구비되며, 천장에는 카메라 장치(310, 320)와 스트로보 장치(330)가 각각 구비된다.In front of the golf booth (B) is provided with a screen 40 for displaying a virtual golf simulation image implemented by the image output unit 130, the camera device (310, 320) and the strobe device 330 on the ceiling, respectively It is provided.

도 2에서는 상기 카메라 장치(310, 320)가 각각 천장과 벽 쪽에 구비되는 경우에 관하여 나타내고 있으나 이에 한정되지 않고 골프공(10)의 운동 상태에 관한 이미지를 효과적으로 취득할 수 있으면서 골퍼에 의한 스윙에 방해되지 않고 골퍼에 의해 타격된 골프공에 의해 충돌할 염려가 없는 미리 설정된 위치이면 어느 위치이든 설치가 가능하다.In FIG. 2, the camera devices 310 and 320 are provided on the ceiling and the wall, respectively, but the present invention is not limited thereto. Any position can be installed as long as it is a predetermined position that is not obstructed and that there is no fear of collision by the golf ball hit by the golfer.

그리고 도 2에서 스트로보 장치(330)가 천장에 설치되어 타격 지점에 실질적으로 수직 방향으로 스트로보 조명을 제공하도록 설치되어 있는 경우에 관하여 나타내고 있는데, 이에 한정되지 않고 효과적인 스트로보 조명을 제공할 수 있는 위치이면 어느 위치이든 가능하다.2 shows a case in which the strobe device 330 is installed on the ceiling and installed to provide strobe light in a direction substantially perpendicular to the point of impact, but is not limited thereto. Any location is possible.

상기한 바와 같은 시스템에서 골퍼가 스윙플레이트(20)에서 타격매트(30) 상의 골프공(10)을 스크린(40)을 향하여 타격하면, 도 2에 도시된 바와 같이 타격이 이루어지는 소정 영역을 촬영하고 있는 카메라 장치(310, 320)가 각각 복수 프레임의 이미지를 취득하고 이때 스트로보 장치(330)는 하나의 프레임당 복수회의 플래시를 터뜨려 운동하는 골프공에 대한 다중 노출 이미지를 취득하게 된다.In the system as described above, when the golfer hits the golf ball 10 on the hitting mat 30 toward the screen 40 in the swing plate 20, the predetermined area where the hit is made as shown in FIG. The camera apparatuses 310 and 320 acquire images of a plurality of frames, respectively, and the strobe apparatus 330 acquires a multiple exposure image of a golf ball that fires a plurality of flashes per frame.

도 3에서는 신호발생부(210, 도 1 참조)에 의한 카메라 장치와 스트로보 장치의 트리거 신호 발생 체계에 관하여 나타내고 있다.In FIG. 3, a trigger signal generation system of the camera apparatus and the strobe apparatus by the signal generator 210 (see FIG. 1) is illustrated.

도 3에 도시된 바와 같이 카메라 장치에 대한 트리거 신호는 tc 시간 간격으로 이루어진다. 즉 한 프레임당 tc 시간 간격으로 트리거 신호가 발생한다. 이때 한 프레임당 노출되는 시간은 te 시간이며(이때 tc > te 가 되도록 함이 바람직하다) tc - te 시간 동안 취득된 이미지에 대한 데이터가 센싱처리부(220, 도 1 참조)로 전송이 이루어지도록 함이 바람직하다.As shown in FIG. 3, the trigger signal for the camera device is made at tc time intervals. That is, the trigger signal is generated at tc time intervals per frame. At this time, the exposure time per frame is te time (where tc> te is preferable), and the data about the image acquired during the tc-te time is transmitted to the sensing processor 220 (see FIG. 1). This is preferred.

즉 도 3에 도시된 바와 같이 카메라 장치의 한 프레임당 트리거 신호 발생 시간 간격 동안 카메라 장치의 노출이 이루어지고 취득된 다중 노출 이미지에 대한 데이터가 센싱처리부로 전송이 된다.That is, as shown in FIG. 3, the camera apparatus is exposed during the trigger signal generation time interval of the camera apparatus, and data about the obtained multiple exposure image is transmitted to the sensing processor.

그리고 카메라 장치의 노출 시간(te 시간) 동안 스트로보 장치에 의한 스트로보 조명은 복수회 발생되는데, 도 3에서는 스트로보 조명의 트리거 신호가 ts1의 시간 간격으로 3회 발생하는 경우에 관하여 나타내고 있다.The strobe illumination by the strobe apparatus is generated a plurality of times during the exposure time (te time) of the camera apparatus. In FIG. 3, the trigger signal of the strobe illumination is generated three times at a time interval of ts1.

즉 카메라 장치의 노출 시간(te 시간) 동안 스트로보 조명은 동일한 시간 간격인 ts1 시간 간격으로 3회 발생하는 것이다. 이때 신호발생부(210, 도 1 참조)에 의해 카메라 장치와 스트로보 장치는 맨 첫 번째 트리거 신호가 동시에 발생되도록 동기화되도록 함이 바람직하다.That is, during the exposure time (te time) of the camera device, strobe illumination occurs three times at the same time interval ts1 time interval. At this time, the camera device and the strobe device are preferably synchronized by the signal generator 210 (see FIG. 1) so that the first trigger signal is simultaneously generated.

그리고 도 3에 도시된 바와 같이 3회의 스트로보 조명 중 마지막 스트로보 조명의 트리거 신호로부터 다음 프레임의 첫 번째 스트로보 조명의 트리거 신호까지의 시간은 ts2 시간 간격이 되도록 함이 바람직하며, 상기 ts1과 ts2 시간 간격이 서로 동일하게 되도록 설정될 수도 있으나 도 3에 도시된 바와 같이 ts1 시간과 ts2 시간이 서로 다르게 되도록 설정됨이 바람직하며, ts2 시간이 ts1 시간 보다 더 길게 되도록 설정될 수 있다.As shown in FIG. 3, the time from the trigger signal of the last strobe light to the trigger signal of the first strobe light of the next frame among the three strobe lights is preferably ts2 time interval, and the time interval between ts1 and ts2 times. 3 may be set to be equal to each other, but as shown in FIG. 3, the ts1 time and the ts2 time may be set to be different from each other, and the ts2 time may be set to be longer than the ts1 time.

상기한 바와 같이 카메라 장치와 스트로보 장치 각각의 트리거 신호 간격이 일정하게 되도록 고정되어 있음으로 말미암아 취득되는 다중 노출 이미지상의 오브젝트 이미지의 간격도 일정하게 나타날 수밖에 없다. As described above, the distance between the trigger signal of each of the camera device and the strobe device is fixed so that the distance between the object images on the multiple exposure image acquired is constant.

따라서 센싱처리부에서 다중 노출 이미지를 처리함에 있어서 상기 다중 노출 이미지상에 존재하는 오브젝트 이미지와 여러 가지 노이즈로부터 정확한 오브젝트 이미지를 상기한 트리거 신호의 일정하게 고정된 간격에 관한 특징으로부터 효과적으로 분리할 수 있다.Therefore, in processing the multiple exposure image, the sensing processor can effectively separate the correct object image from the object image existing on the multiple exposure image and various noises from the feature regarding the fixed fixed interval of the trigger signal.

또한, 카메라 장치의 각 프레임당 스트로보 조명의 간격이 일정하게 고정되어 있기 때문에 다중 노출 이미지에서 오브젝트의 운동 속도에 따라 여러 가지 패턴의 이미지가 발생할 수 있다.In addition, since the interval of strobe illumination per frame of the camera device is fixed at a constant, various patterns of images may be generated according to the movement speed of the object in the multiple exposure image.

도 4에서는 도 3에 도시된 신호 발생 체계에 따른 카메라 장치와 스트로보 장치에 의해 취득되는 다중 노출 이미지의 두 가지 패턴을 (a) 및 (b)에서 각각 도시하고 있다.In FIG. 4, two patterns of the multiple exposure image acquired by the camera apparatus and the strobe apparatus according to the signal generation system illustrated in FIG. 3 are illustrated in (a) and (b), respectively.

즉 도 4에서는 골프공이 골프클럽에 의해 타격됨에 따라 운동하는 상태에 관하여 도 3에 도시된 트리거 신호 체계에 따라 취득된 두 가지 패턴의 이미지에 관하여 나타내고 있다(I1 및 I2).That is, FIG. 4 shows two patterns of images acquired according to the trigger signal system shown in FIG. 3 regarding the state in which the golf ball is hit by the golf club (I1 and I2).

도 4의 (a)에 도시된 이미지(I1)에서는 골프클럽 이미지(C1, C2, C3)와 골프공 이미지(11a, 11b, 11c)가 다중 노출에 의해 취득된 경우로서, 오브젝트 이미지(11a, 11b, 11c)가 서로 소정 간격 분리되어 나타난 경우이다.In the image I1 shown in FIG. 4A, the golf club images C1, C2, C3 and the golf ball images 11a, 11b, and 11c are obtained by multiple exposure, and the object images 11a, 11b and 11c are separated from each other by a predetermined interval.

그리고 도 4의 (b)에 도시된 이미지(I2)는 골프공이 서로 중첩되어 소정 크기의 이미지 영역(12)으로서 나타나는 경우에 관하여 나타내고 있다.The image I2 shown in FIG. 4B shows a case where the golf balls overlap each other and appear as the image area 12 of a predetermined size.

즉 도 4의 (a)에 도시된 이미지는 골프공이 고속으로 운동하기 때문에 각각의 스트로보 조명이 트리거 될 때 소정 거리 떨어진 상태로 이미지가 형성된 경우이고, 도 4의 (b)에 도시된 이미지는 골프공이 저속으로 운동하기 때문에 골프공이 멀리 진행하기 전에 스트로보 조명이 각각 트리거 되어 서로 중첩되어 나타나는 경우이다.That is, the image shown in (a) of FIG. 4 is a case where the image is formed at a predetermined distance when each strobe light is triggered because the golf ball moves at high speed, and the image shown in (b) of FIG. Because the ball is moving at low speed, the strobe lights are triggered and overlap each other before the golf ball goes far.

본 발명에 따른 오브젝트 운동 센싱장치의 센싱처리부는, 상기한 바와 같이 오브젝트가 스트로보 장치의 플래시의 고정된 주기에 따른 소정 속도 이상의 고속으로 운동함으로써 다중 노출 이미지상에 오브젝트가 서로 분리된 상태로 나타나는 경우 이에 대한 각 오브젝트의 중심점 좌표를 추출하는 제1 프로세싱 수단과, 오브젝트가 스트로보 장치의 플래시의 고정된 주기에 따른 소정 속도 미만의 저속으로 운동함으로써 다중 노출 이미지상에 오브젝트가 서로 중첩된 상태로 나타나는 경우 이에 대한 오브젝트 이미지 영역의 중심점 좌표를 추출하는 제2 프로세싱 수단을 구비하는 것을 특징으로 한다.In the sensing processing unit of the object motion sensing apparatus according to the present invention, when the objects appear as separated from each other on the multiple exposure image by moving the object at a high speed or higher than a predetermined speed according to a fixed period of the flash of the strobe device as described above. The first processing means for extracting the coordinates of the center point of each object, and the objects appear to overlap each other on the multiple exposure image by moving the object at a low speed below a predetermined speed according to a fixed period of the flash of the strobe device. And second processing means for extracting the coordinates of the center point of the object image region.

또한 본 발명에 따른 오브젝트 운동 센싱장치의 센싱처리부는, 운동하는 제1 오브젝트에 의해 운동하는 제2 오브젝트에 대한 다중 노출 이미지로부터 상기 제1 오브젝트에 대한 중심점과 상기 제2 오브젝트에 대한 중심점을 모두 추출하도록 하는 제1 오브젝트 프로세싱 수단과 제2 오브젝트 프로세싱 수단을 구비하도록 할 수 있다.The sensing processor of the object motion sensing apparatus according to the present invention extracts both a center point for the first object and a center point for the second object from the multiple exposure image of the second object moving by the first object that is moving. And first object processing means and second object processing means.

예컨대, 도 4의 (a) 및 (b)에 도시된 바와 같이 스윙되는 골프클럽에 의해 골프공이 운동하는 경우, 다중 노출 이미지로부터 스윙되는 골프클럽에 관한 이미지를 분석하여 그 중심점 좌표를 추출하는 제1 오브젝트 프로세싱 수단과, 상기 골프공에 관한 이미지를 분석하여 그 중심점 좌표를 추출하는 제2 오브젝트 프로세싱 수단을 각각 구비할 수 있다. 이에 대한 구체적인 사항은 후술하기로 한다.For example, when a golf ball is moved by a golf club swinging as shown in FIGS. 4A and 4B, the center point coordinates are extracted by analyzing an image of the golf club swinging from the multiple exposure image. And first object processing means and second object processing means for analyzing the image of the golf ball and extracting the coordinates of the center point. Details thereof will be described later.

먼저 도 5 내지 도 8을 참조하여 상기 제1 프로세싱 수단에 의한 상기 도 4의 (a)에 도시된 바와 같은 서로 분리된 오브젝트 이미지의 처리에 관하여 설명한다.First, the processing of the object images separated from each other as shown in FIG. 4A by the first processing means will be described with reference to FIGS. 5 to 8.

도 5의 (a)는 서로 분리된 오브젝트에 관한 이미지를 포함하는 다중 노출 이미지 원본을 나타내고 있는데, 320 X 240의 낮은 해상도의 75 fps의 저속으로 동작하는 카메라 장치와 330Hz의 스트로보 장치를 이용하여 취득한 이미지이다.FIG. 5 (a) shows an original multiple exposure image including images of objects separated from each other, which is obtained by using a camera device operating at a low resolution of 75 fps and a stroboscopic device of 330 Hz with a low resolution of 320 × 240. Image.

도 5의 (a)에 나타낸 바와 같은 원본 이미지에 대해 차연산(Subtraction) 등을 통해 정지되어 있는 이미지, 즉 배경 이미지 등을 제거하고 가우시안 블러(Gausian Blur) 등의 소정의 전처리 과정을 거친 이미지에 대해 도 5의 (b)에서 나타내고 있다.On the image which has been fixed with subtraction or the like for the original image as shown in (a) of FIG. 5, the background image is removed and subjected to a predetermined preprocessing process such as Gaussian Blur. It is shown in FIG.5 (b).

도 5의 (b)에 도시된 바와 같이 소정의 전처리 과정을 거치고 난 후에 취득되는 이미지에는 오브젝트에 관한 이미지와 그 밖의 노이즈 등이 함께 존재하게 된다.As shown in (b) of FIG. 5, an image acquired after a predetermined preprocessing process includes an image of an object and other noise.

여기서 도 6에 도시된 바와 같이 오브젝트로서 추정되는 이미지를 추출하도록 함이 바람직하다.Here, as shown in FIG. 6, it is preferable to extract an image estimated as an object.

도 6에 도시된 이미지는 카메라 장치에 의해 촬영된 복수 프레임의 이미지를 한장의 이미지로 겹쳐서 나타낸 것으로, 3회의 스트로보 조명에 의해 나타나는 3개의 오브젝트 이미지가 하나의 이미지 세트를 구성한다고 할 때, S0 이미지 세트는 0번 프레임에 대한 이미지이고, S1 이미지 세트는 1번 프레임에 대한 이미지이며, S2 이미지 세트는 2번 프레임에 대한 이미지를 나타낸 것이다.The image shown in FIG. 6 is a superimposed image of a plurality of frames taken by the camera device into a single image. S0 image when three object images represented by three strobe lights constitute one image set. The set is an image for frame 0, the S1 image set is an image for frame 1, and the S2 image set represents an image for frame 2.

여기서 오브젝트의 이미지로서 추정되는 이미지를 윤곽 체크나 체크 윈도우 등을 통해 추출할 수 있는데, 오브젝트가 아닌 것으로 추정되는 이미지들을 제외시키면서 최종적으로 오브젝트로서 추정되는 이미지만 남도록 하는 방식으로 처리가 가능하다.Here, the image estimated as the image of the object may be extracted through a contour check or a check window, and the like may be processed in such a manner that only the image estimated as the object remains while excluding the images estimated as non-objects.

즉 오브젝트는 일정한 사이즈(골프공의 이미지인 경우 일정한 지름)를 가지고 있으므로 이를 고려하여 다중 노출 이미지상의 각각의 이미지에 대한 윤곽을 체크하여 그 체크된 윤곽이 오브젝트라고 하기에 너무 크거나 너무 작은 경우 이를 제외시킬 수 있다.That is, since the object has a certain size (a constant diameter in the case of a golf ball image), the contour is checked for each image on the multi-exposure image in consideration of this, and if the checked contour is too large or too small to be called an object, Can be excluded.

그리고 도 6에 도시된 바와 같이 다중 노출 이미지상의 각각의 이미지(11)의 크기에 맞게 해당 이미지(11)가 포함되도록 체크 윈도우(W)를 형성시키고 체크 윈도우(W)의 가로방향 길이와 세로방향 길이의 비율(aspect ratio)을 체크한다. As shown in FIG. 6, the check window W is formed to include the image 11 according to the size of each image 11 on the multiple exposure image, and the horizontal length and the vertical direction of the check window W are included. Check the aspect ratio.

오브젝트가 만약 골프공이라면, 골프공에 대한 aspect ratio는 거의 일정해야 하므로, 다중 노출 이미지상의 각 이미지(11)에 대한 체크 윈도우(W)의 aspect ratio가 너무 커서 넓은 폭을 갖거나 너무 작아서 폭이 너무 좁은 경우에는 이를 오브젝트가 아닌 것으로 보아 제외시킬 수 있다.If the object is a golf ball, the aspect ratio for the golf ball should be nearly constant, so the aspect ratio of the check window (W) for each image 11 on the multiple exposure image is too large to have a wide width or too small to have a width. If it is too narrow, you can exclude it as not an object.

상기한 바와 같이 예시된 방법에 의해 다중 노출 이미지상에서 오브젝트로서 추정되는 이미지(11)를 추출할 수 있다.As described above, the image 11 estimated as an object on the multiple exposure image can be extracted by the illustrated method.

한편, 상기한 바와 같이 오브젝트 이미지로서 추출된 이미지(11)는 도 7에 도시된 바와 같이 각각 오브젝트의 형상으로 피팅(Fitting) 됨으로써 그 중심점 좌표가 추출될 수 있다.Meanwhile, as illustrated in FIG. 7, the image 11 extracted as the object image is fitted into the shape of the object, and thus the center point coordinates may be extracted.

도 7의 (a)는 도 6에 도시된 다중 노출 이미지에서 추출된 하나의 이미지 세트에 관하여 확대하여 나타낸 도면이고, 도 7의 (b)는 오브젝트에 관하여 피팅한 결과를 나타낸 것이다.FIG. 7A is an enlarged view of one image set extracted from the multiple exposure image shown in FIG. 6, and FIG. 7B is a result of fitting to an object.

도 7의 (a)에 도시된 바와 같이 오브젝트의 이미지는 전처리 과정을 거치면서 부분적으로 훼손되어 나타나며, 특히 스트로보 조명의 영향으로 오브젝트가 스트로보 조명을 받는 쪽은 상대적으로 온전한 상태의 이미지를 나타내는 반면, 스트로보 조명을 받는 쪽의 반대쪽은 쉐이드(Shade)가 발생하게 됨으로써 오브젝트의 형상은 그 쉐이드 되는 영역의 크기에 따라 왜곡되어 나타난다.As shown in (a) of FIG. 7, the image of the object is partially deteriorated during the preprocessing process. In particular, the object receiving the strobe light due to the influence of the strobe light shows an image of a relatively intact state. On the opposite side of the strobe light, a shade is generated so that the shape of the object is distorted according to the size of the shaded area.

도 7의 (a)에서 오브젝트 이미지(11)의 조명을 받는 영역(R1)과 쉐이드 된 영역(R2)을 각각 나타내고 있다.In FIG. 7A, the illuminated region R1 and the shaded region R2 of the object image 11 are shown.

이와 같은 경우, 쉐이드 된 영역(R2)을 고려하지 않고 훼손된 오브젝트 이미지(11)를 피팅(Fitting)하게 되면 중심점의 좌표가 크게 왜곡되어 나타나게 되므로 바람직하지 않다.In such a case, fitting the damaged object image 11 without considering the shaded region R2 is not preferable because the coordinates of the center point are greatly distorted.

따라서 도 7의 (a)에 도시된 바와 같이 오브젝트 이미지(11)의 조명을 받는 영역(R1)을 기준으로 하여 피팅 커브(FC)로 쉐이드 된 영역(R2)이 적절히 포함되도록 피팅됨이 바람직하다.Therefore, as shown in FIG. 7A, it is preferable to fit the region R2 shaded with the fitting curve FC based on the illuminated region R1 of the object image 11 as appropriate. .

여기서 상기 피팅 커브(FC)는 오브젝트의 사이즈에 관한 정보를 미리 저장해 놓고 그 저장된 오브젝트 사이즈에 관한 정보에 의해 형성될 수도 있고, 오브젝트 이미지(11)의 사이즈를 측정하여 그 측정된 사이즈에 따른 피팅 커브를 형성시킬 수도 있다.Here, the fitting curve FC may be formed by storing information about the size of the object in advance and information on the stored object size, and measuring the size of the object image 11 to fit the fitting curve according to the measured size. May be formed.

상기한 바와 같은 피팅에 의해 도 7의 (b)에 도시된 바와 같은 피팅된 오브젝트 이미지(11)를 획득할 수 있고, 피팅된 오브젝트 이미지에서 피팅된 형상을 통해 오브젝트의 중심점(CP) 좌표를 정확하게 추출할 수 있다.By fitting as described above, a fitted object image 11 as shown in FIG. 7B can be obtained, and the center point (CP) coordinates of the object can be accurately determined through the fitted shape in the fitted object image. Can be extracted.

상기한 바와 같은 방식으로 추출된 모든 오브젝트 이미지의 중심점을 추출함으로써 취득된 이미지에서 오브젝트의 2차원 좌표에 관한 정보를 정확하게 산출할 수 있게 된다.By extracting the center points of all the object images extracted in the manner as described above, it is possible to accurately calculate information about the two-dimensional coordinates of the object in the acquired image.

그런데, 중심점이 추출된 모든 이미지 중에서 오브젝트가 아닌 이미지가 포함되어 있을 수 있다.However, all images extracted from the center point may include images other than objects.

이와 같은 경우, 도 8에 도시된 바와 같이 특정 룰(Rule)에 의해 정확하게 오브젝트 이미지만을 추출할 수 있다.In this case, as shown in FIG. 8, only an object image may be extracted accurately by a specific rule.

즉 도 3에 도시된 카메라 장치와 스트로보 장치의 트리거 신호 체계에 의할 때, 오브젝트는 하나의 프레임에서 3개의 이미지를 나타내어야 하고 각각의 오브젝트 이미지 사이의 간격은 스트로보 조명의 주기, 즉 트리거 시간 간격(ts1 및 ts2, 도 3 참조)과 동일한 비율에 의한 간격을 유지하고 있어야 한다.That is, according to the trigger signal system of the camera apparatus and the stroboscopic apparatus shown in FIG. 3, the object should represent three images in one frame, and the interval between each object image is a period of strobe illumination, that is, a trigger time interval. (ts1 and ts2, see FIG. 3) should maintain the interval by the same ratio.

도 8에 도시된 바와 같이 각 이미지 세트(S0, S1)에서 각각의 오브젝트 이미지(11a, 11b, 11c)의 간격 a 및 b, 또는 d 및 e는 서로 실질적으로 동일하여야 하고, a와 c 또는 b와 c의 비율은 스트로보 조명의 트리거 시간 간격의 ts1 및 ts2(도 3 참조)의 비율과 실질적으로 동일하여야 한다.As shown in Fig. 8, the intervals a and b, or d and e, of the respective object images 11a, 11b and 11c in each image set S0 and S1 should be substantially equal to each other, and a and c or b The ratio of and c should be substantially equal to the ratio of ts1 and ts2 (see FIG. 3) of the trigger time interval of strobe illumination.

상기한 바와 같은 룰에 의해 각각의 이미지 세트 상의 오브젝트 이미지가 정확하게 추출되었는지 확인하여 정확하게 추출된 이미지는 최종 오브젝트 이미지로서 확정을 하고, 이미지 세트에서 오브젝트 개수가 부족하거나 과다한 경우 상기한 룰에 맞도록 보정하여 최종적인 오브젝트 이미지로서 확정을 한다.The rule as described above confirms that the object image on each image set is correctly extracted, and the extracted image is confirmed as the final object image. When the number of objects in the image set is insufficient or excessive, it is corrected to meet the above rule. To confirm the final object image.

상기한 바와 같이 최종적으로 확정된 오브젝트 이미지의 중심점 좌표를 최종 좌표로서 확정을 한다.As described above, the center point coordinates of the finally determined object image are determined as final coordinates.

따라서 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득된 낮은 품질의 이미지를 이용함에도 불구하고 오브젝트에 대한 중심점 좌표를 정확하게 추출할 수 있다.Therefore, despite using a low quality image obtained by a low resolution low speed camera device and a stroboscopic device, the center point coordinates of the object can be accurately extracted.

이와 같이 최종적으로 확정된 각각의 오브젝트의 중심점 좌표는 소정의 툴(Tool)에 의해 3차원 좌표로 변환되고 이를 기초로 시뮬레이션 될 오브젝트의 운동 궤적의 물리적 정보가 산출된다.The coordinates of the center point of each object finally determined as described above are converted into three-dimensional coordinates by a predetermined tool, and the physical information of the motion trajectory of the object to be simulated is calculated based on this.

한편, 도 9 내지 도 12를 참조하여 상기 제2 프로세싱 수단에 의한 상기 도 4의 (b)에 도시된 바와 같은 서로 중첩된 오브젝트 이미지의 처리에 관하여 설명한다.Meanwhile, with reference to FIGS. 9 to 12, processing of object images superimposed on each other as shown in FIG. 4B by the second processing means will be described.

도 9의 (a)는 서로 중첩된 오브젝트에 관한 이미지를 포함하는 다중 노출 이미지 원본을 나타내고 있는데, 320 X 240의 낮은 해상도의 75 fps의 저속으로 동작하는 카메라 장치와 330Hz의 스트로보 장치를 이용하여 취득한 이미지이다.FIG. 9 (a) shows an original multiple exposure image including images of objects superimposed on each other, which is obtained by using a camera device operating at a low speed of 75 fps with a low resolution of 320 × 240 and a stroboscopic device at 330Hz. Image.

도 9의 (a)에 나타낸 바와 같은 원본 이미지에 대해 차연산 등을 통해 정지되어 있는 이미지, 즉 배경 이미지 등을 제거하고 가우시안 블러(Gausian Blur) 등의 소정의 전처리 과정을 거친 이미지에 대해 도 9의 (b)에서 나타내고 있다.For an image that is stationary, such as a background image, is removed from the original image as shown in FIG. 9 (a), that is, a background image is removed and subjected to a predetermined preprocessing process such as Gaussian Blur. It is shown by (b) of the.

도 9의 (b)에 도시된 바와 같이 소정의 전처리 과정을 거치고 난 후에 취득되는 이미지에는 오브젝트에 관한 이미지와 그 밖의 노이즈 등이 함께 존재하게 된다.As shown in (b) of FIG. 9, an image acquired after a predetermined preprocessing process includes an image of an object and other noise.

여기서 도 10에 도시된 바와 같이 중첩된 오브젝트의 이미지 영역으로서 추정되는 이미지를 추출하도록 함이 바람직하다.Here, as shown in FIG. 10, it is preferable to extract an image estimated as an image region of an overlapping object.

먼저 운동하는 오브젝트의 운동방향 추정 툴 또는 프로그램 등에 의해 오브젝트의 운동방향을 추정한다. 도 10의 (a)에 도시된 바와 같이 추정된 운동방향 축(13) 상에 걸쳐 있는 소정의 이미지 영역을 중첩된 오브젝트의 이미지 영역(12)으로서 추출한다.First, the motion direction of the object is estimated by the motion direction estimation tool or the program of the moving object. As shown in Fig. 10A, a predetermined image region spanning on the estimated direction of motion axis 13 is extracted as the image region 12 of the superimposed object.

이와 같이 추출된 오브젝트 이미지 영역에 대해서도 도 10의 (a)에 도시된 바와 같이 노이즈(N1)가 나타날 수 있는데, 이미지상에서 N1 부분이 진짜 오브젝트의 이미지인지 노이즈인지 결정하기 위해서 도 10의 (b)에 도시된 바와 같이 운동방향 축(13) 상의 이미지의 픽셀값을 조사함으로써 알 수 있다.The noise N1 may also appear in the extracted object image region as shown in FIG. 10A. In order to determine whether the N1 portion of the image is a real object image or noise in FIG. This can be seen by examining the pixel values of the image on the axial axis 13 as shown in FIG.

도 10의 (b)는 도 10의 (a)에 도시된 각각의 이미지(N1 및 12)에 대한 운동방향 축(13) 상의 픽셀값(Pixel Intensity)의 분포를 나타낸 그래프이다.FIG. 10B is a graph showing the distribution of pixel intensity on the axis of motion 13 for each of the images N1 and 12 shown in FIG. 10A.

오브젝트가 서로 중첩되어 소정 크기를 갖는 하나의 이미지 영역으로 나타나므로 픽셀값의 분포에서 미리 설정된 임계값을 기준으로 상기 임계값 이상으로 유지되는 영역이 미리 설정된 소정 범위에 해당하는 경우 해당 이미지를 중첩된 오브젝트에 대한 이미지 영역으로서 추출할 수 있고, 반대로 픽셀값의 분포가 임계값 이상으로 유지되는 영역의 길이가 매우 짧다면 이는 중첩된 오브젝트에 대한 이미지가 아닌 것으로 판단하여 제외시킬 수 있다.Since the objects overlap each other and appear as one image area having a predetermined size, when the area maintained above the threshold value is based on a preset threshold value in the distribution of pixel values, the corresponding image is overlapped. It can be extracted as an image area for an object, and conversely, if the length of the area where the distribution of pixel values is maintained above a threshold value is very short, it can be determined to exclude the image for the overlapping object.

도 10의 (b)에서 노이즈 이미지(N1)는 a1 ~ a2의 픽셀값 구간을 갖고, 오브젝트 이미지 영역(12)은 a3 ~ a4의 픽셀값 구간을 갖는 것으로 나오는데, a3 ~ a4의 구간이 중첩된 오브젝트의 이미지 영역으로서 추정하기에 충분할 정도로 긴 구간을 갖기 때문에 오브젝트의 이미지 영역으로서 추출할 수 있고, 반면 a1 ~ a2 구간은 중첩된 오브젝트의 이미지 영역이라고 하기에 너무 짧은 픽셀값 구간을 가지므로 제외시킬 수 있다.In FIG. 10B, the noise image N1 has a pixel value section of a1 to a2, and the object image region 12 has a pixel value section of a3 to a4. The sections of a3 to a4 overlap each other. It can be extracted as the image area of the object because it has a section long enough to be estimated as the image area of the object, while the sections a1 to a2 have a pixel value section that is too short to be called an image area of the overlapping object. Can be.

상기한 바와 같은 방식으로 다중 노출 이미지상에서 중첩된 오브젝트 이미지 영역으로서 추정되는 이미지를 추출할 수 있다.In this manner, it is possible to extract an image estimated as an overlapping object image region on the multiple exposure image.

한편, 상기한 바와 같은 방식으로 추출된 이미지 영역은 피팅을 통해 중심점 좌표가 획득될 수 있는데, 도 11에 도시된 바와 같이 운동방향 축(13)을 기준으로 이미지 영역(12)의 양쪽 끝 윤곽 부분에 각각 오브젝트의 형상에 따른 피팅 커브(HC1 및 HC2)를 형성시킨다.On the other hand, the image region extracted in the above-described manner can be obtained by the center point coordinates through the fitting, as shown in Figure 11 the contour portion of both ends of the image region 12 with respect to the axis of the movement direction (13) Fitting curves HC1 and HC2 are formed in accordance with the shape of the object, respectively.

상기 피팅 커브(HC1 및 HC2)는 운동방향 축(13)을 따라 이미지 영역(12)의 중심부에서 양쪽 끝 윤곽 쪽으로 이동시키면서 각각의 피팅 커브(HC1 및 HC2)상의 픽셀값을 조사하여 픽셀값이 급격하게 떨어지기 시작하는 부분에 위치하게 된다.The fitting curves HC1 and HC2 move from the center of the image area 12 toward the both end contours along the direction of movement axis 13 and irradiate the pixel values on the respective fitting curves HC1 and HC2 so that the pixel values are abrupt. It is located at the point where it starts to fall.

상기한 바와 같이 피팅(Fitting)된 이미지 영역(12)은 도 12에 도시된 바와 같이 두 개의 중심점 좌표가 추출될 수 있다.As illustrated in FIG. 12, two center point coordinates may be extracted from the fitted image region 12.

즉 도 12의 (a)에 도시된 바와 같이 피팅된 양쪽 오브젝트의 중심점으로서 추정되는 추정 중심점(EP1 및 EP2)을 각각 설정하고, 각각의 추정 중심점(EP1 및 EP2)의 위치를 보정함으로써 도 12의 (b)에 도시된 바와 같이 정확한 중심점(CP1 및 CP2)을 획득할 수 있게 되는 것이다.That is, as shown in FIG. 12A, the estimated center points EP1 and EP2 estimated as the center points of both fitted objects are set, respectively, and the positions of the respective estimated center points EP1 and EP2 are corrected. As shown in (b), it is possible to obtain the correct center point (CP1 and CP2).

도 12의 (a)에 도시된 바와 같이 추정된 각각의 중심점 EP1과 EP2는 피팅된 커브(HC1 및 HC2)에 대한 3 방향 길이(r1, r2, r3 및 r4, r5, r6)를 조사함으로써 정확한 중심점으로 이동할 수 있다.Each center point EP1 and EP2 estimated as shown in (a) of FIG. 12 is accurate by examining three directions of lengths r1, r2, r3 and r4, r5, r6 with respect to the fitted curves HC1 and HC2. You can move to the center point.

즉 오브젝트가 골프공인 경우, 도 12의 (a)에 도시된 바와 같이 피팅된 오브젝트는 각각 반원커브(HC1, HC2)에 의해 피팅되고, 오브젝트가 원 형상이므로 그 중심점으로부터 3 방향 길이는 모두 일치가 되어야 한다.That is, when the object is a golf ball, the fitted object is fitted by semicircular curves HC1 and HC2, respectively, as shown in FIG. 12 (a). Should be.

따라서 도 12의 (a)에 도시된 3 방향 길이, 즉 r1, r2, r3와 r4, r5, r6는 모두 실질적으로 동일한 길이를 갖도록 추정 중심점(EP1, EP2)이 보정된다.Therefore, the estimated center points EP1 and EP2 are corrected such that the three-direction lengths shown in Fig. 12A, that is, r1, r2, r3 and r4, r5, r6, all have substantially the same length.

상기한 바와 같은 방식에 의해 도 12의 (b)에 도시된 바와 같이 중첩된 오브젝트에 대한 이미지 영역(12)의 두 개의 중심점(CP1, CP2)이 각각 확정될 수 있다.As described above, as illustrated in FIG. 12B, two center points CP1 and CP2 of the image area 12 for the overlapping objects may be determined.

따라서 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 중첩되어 형체를 알아볼 수 없을 정도의 이미지를 통해서도 중첩된 오브젝트에 대한 중심점 좌표를 정확하게 추출할 수 있다.Therefore, the coordinates of the center point of the superimposed objects can be accurately extracted even through the images of the low resolution low speed camera device and the strobe device that cannot be recognized.

이와 같이 최종적으로 확정된 중첩된 오브젝트 이미지 영역의 중심점 좌표는 소정의 툴(Tool)에 3차원 좌표로 변환되고 이를 기초로 시뮬레이션 될 오브젝트의 운동 궤적의 물리적 정보가 산출된다.The center point coordinates of the finally determined overlapping object image area are converted into three-dimensional coordinates in a predetermined tool, and physical information of the motion trajectory of the object to be simulated is calculated based on the coordinates.

한편, 도 13 및 도 14를 참조하여 본 발명에 따른 오브젝트 운동 센싱방법의 각각의 실시예에 관한 플로우 차트에 관하여 설명한다.On the other hand, with reference to Figs. 13 and 14 will be described in the flow chart of each embodiment of the object motion sensing method according to the present invention.

도 13에 도시된 바와 같이 먼저 신호발생부에 의해 트리거 신호가 인가되어 카메라 장치와 스트로보 장치가 각각 소정의 주기로 오브젝트가 놓인 소정 영역에 대한 이미지를 계속적으로 캡처(capture)한다(S10).As shown in FIG. 13, a trigger signal is first applied by the signal generator so that the camera apparatus and the strobe apparatus continuously capture an image of a predetermined region where an object is placed at predetermined intervals (S10).

상기한 바와 같이 카메라 장치가 소정 영역에 대한 이미지를 계속적으로 캡처하면서, 오브젝트의 초기 위치를 감지한다(S20). 오브젝트의 초기 위치를 감지하는 것은 추후 오브젝트가 운동함에 따라 취득되는 다중 노출 이미지상에서 오브젝트의 초기 위치가 특정됨으로써 이를 기준으로 오브젝트의 운동방향 추정 등을 할 수 있기 때문이다. 따라서 오브젝트의 초기 위치에 대한 좌표값을 상기 오브젝트 초기 위치 감지단계에서 확정해 놓도록 함이 바람직하다.As described above, the camera device detects an initial position of the object while continuously capturing an image of a predetermined area (S20). The detection of the initial position of the object is because the initial position of the object is specified on the multiple exposure image acquired as the object moves later, and thus the direction of movement of the object can be estimated based on this. Therefore, it is preferable to determine the coordinate value of the initial position of the object in the object initial position detection step.

그 다음, 오브젝트의 트리거링(Triggering)이 감지된다(S30). 예컨대 골프공의 경우 골프클럽에 의해 타격되는 임팩트 시점이 감지되는 것과 같이 오브젝트의 운동 시작 시점이 감지되는 것이다.Next, triggering of the object is detected (S30). For example, in the case of a golf ball, the starting point of the movement of the object is detected as the impact point of time hit by the golf club is detected.

오브젝트의 운동이 트리거링되면, 그트리거링된 시점을 전후하여 카메라 장치는 스트로보 조명 하에서 복수 프레임의 다중 노출 이미지를 취득하여 저장한다(S40).When the movement of the object is triggered, before and after the triggered time point, the camera device acquires and stores multiple exposure images of a plurality of frames under strobe lighting (S40).

이때 운동하는 제1 오브젝트(예컨대 골프클럽)에 의해 운동하는 제2 오브젝트(예컨대 골프공)의 이미지가 취득되어 저장되는 경우, 취득된 이미지에서 상기 제1 오브젝트에 관한 이미지 처리를 통해 중심점 좌표를 추출하는 제1 오브젝트 프로세스가 실행되고, 또한 취득된 이미지에서 상기 제2 오브젝트에 관한 이미지 처리를 통해 중심점 좌표를 추출하는 제2 오브젝트 프로세스가 실행된다.In this case, when an image of a second object (for example, a golf ball) exercising by the first object (for example, a golf club) is acquired and stored, the center point coordinates are extracted through image processing on the first object from the acquired image. A first object process is executed, and a second object process for extracting the center point coordinates through image processing on the second object is executed in the acquired image.

상기 제1 오브젝트 프로세스와 제2 오브젝트 프로세스는 동시에 실행될 수도 있고, 둘 중 어느 하나만 실행되는 경우도 있을 수 있다.The first object process and the second object process may be executed simultaneously, or only one of the two may be executed.

먼저 제2 오브젝트 프로세스가 실행되는 경우, 취득된 이미지상에서 제2 오브젝트의 이미지 패턴을 인식하고(S100), 제1 프로세싱 수단에 의한 제1 프로세스가 실행되고(S110), 제2 프로세싱 수단에 의한 제2 프로세스가 실행된다(S120).First, when the second object process is executed, the image pattern of the second object is recognized on the acquired image (S100), and the first process by the first processing means is executed (S110), and the first process by the second processing means is performed. 2 processes are executed (S120).

상기한 제1 프로세스(S110)와 제2 프로세스(S120)는 동시에 실행될 수도 있고 선택적으로 실행될 수도 있다.The first process S110 and the second process S120 may be executed simultaneously or selectively.

상기 제1 프로세스를 실행하는 제1 프로세싱 수단에 의해 분리된 오브젝트 이미지에 대한 중심점 좌표가 추출된다(S130, 도 5 내지 도 8 참조).The center point coordinates for the separated object image are extracted by the first processing means for executing the first process (S130, see FIGS. 5 to 8).

그리고 상기 제2 프로세스를 실행하는 제2 프로세싱 수단에 의해 중첩된 오브젝트 이미지에 대한 복수개의 중심점 좌표가 추출된다(S140, 도 9 내지 도 12 참조).The plurality of center point coordinates of the overlapped object images are extracted by the second processing means for executing the second process (S140, see FIGS. 9 through 12).

여기서 상기한 제1 프로세스 실행 과정에서 다중 노출 이미지상에 중첩된 오브젝트에 관한 이미지가 있는 경우 이를 제외하도록 처리하고, 상기한 제2 프로세스 실행 과정에서 다중 노출 이미지상에 분리된 오브젝트에 관한 이미지가 있는 경우 이를 제외하도록 처리한다.In this case, if there is an image of an object superimposed on the multi-exposure image in the process of executing the first process, the process is excluded to remove the image. If so, the process is excluded.

즉 오브젝트가 고속으로 운동하는 경우(오브젝트가 분리되어 나타나는 경우), 상기한 제1 프로세스와 제2 프로세스가 모두 실행되되 제2 프로세스 실행 과정에서 분리된 오브젝트 이미지는 제외되므로 결국 제1 프로세스의 실행 결과에 따라 중심점 좌표가 획득되고, 오브젝트가 저속으로 운동하는 경우(오브젝트가 중첩되어 나타나는 경우), 상기한 제1 프로세스와 제2 프로세스가 모두 실행되되 제1 프로세스 실행 과정에서 중첩된 오브젝트 이미지는 제외되므로 결국 제2 프로세스의 실행 결과에 따라 중심점 좌표가 획득된다.That is, when the object moves at a high speed (the object appears separated), both the first process and the second process are executed, but the object image separated during the execution of the second process is excluded. If the coordinates of the center point are obtained, and the object is moving at a slow speed (object overlapping), both the first process and the second process are executed, but the overlapped object image is excluded from the first process. As a result, the center point coordinates are obtained according to the execution result of the second process.

한편, 상기 S40 단계에서 취득된 다중 노출 이미지에서 제1 오브젝트의 이미지 패턴을 인식하고(S200), 제1 오브젝트 프로세싱 수단에 의한 제1 오브젝트 프로세스가 실행된다(S210).Meanwhile, the image pattern of the first object is recognized in the multiple exposure image acquired in step S40 (S200), and the first object process by the first object processing means is executed (S210).

그리고 다중 노출 이미지상에서 제1 오브젝트의 이미지에 대한 중심점 좌표가 추출된다(S220).In operation S220, the center point coordinates of the image of the first object are extracted from the multiple exposure image.

예컨대 골프클럽으로 스윙하여 골프공을 타격하는 경우, 다중 노출 이미지상에 골프클럽에 관한 이미지와 골프공에 관한 이미지가 모두 포함되는데, 타격되어 운동하는 골프공에 관한 이미지 처리는 상기한 S100 ~ S140 과정에 의해 이루어지고, 스윙되는 골프클럽에 관한 이미지 처리는 S200 ~ S220 과정에 의해 이루어진다.For example, in the case of hitting a golf ball by swinging a golf club, both the image of the golf club and the image of the golf ball are included in the multi-exposure image. The image processing of the golf club is made by the process, and swing is made by the process S200 ~ S220.

한편, 상기한 바와 같이 제1 오브젝트와 제2 오브젝트에 관한 중심점 좌표가 획득되면, 이를 3차원 좌표로 변환시킨다(S300).Meanwhile, as described above, when the coordinates of the center point of the first object and the second object are obtained, the coordinates are converted into three-dimensional coordinates (S300).

그리고 상기 변환된 3차원 좌표를 기초로 운동하는 오브젝트(제1 오브젝트 및 제2 오브젝트)의 물리 정보가 계산되어 그 운동 궤적이 시뮬레이션 된다(S310).The physical information of the object (first object and second object) moving based on the converted 3D coordinates is calculated and the motion trajectory is simulated (S310).

한편, 도 14에서는 본 발명에 따른 가상 골프 시뮬레이션 장치에 적용된 오브젝트 운동 센싱장치의 센싱방법의 일 예에 관하여 나타내고 있다.14 illustrates an example of a sensing method of the object motion sensing device applied to the virtual golf simulation device according to the present invention.

가상 골프경기가 진행되면서(S1), 시뮬레이터는 골퍼가 티샷(Tee Shot)을 할 차례인지(S2), 아이언샷(Iron Shot)을 할 차례인지(S3), 어프로치샷(Approach Shot)을 할 차례인지(S4), 퍼팅(Putting)을 할 차례인지(S5) 등을 각각 판단한다.As the virtual golf game progresses (S1), the simulator turns the golfer's turn to tee shot (S2), iron shot (S3), and approach shot. It is determined whether it is time to perform recognition (S4), putting (Putting) (S5), respectively.

티샷, 아이언샷 및 어프로치샷 등을 하는 경우에는 도 13에 도시된 센싱방법이 적용되며, 퍼팅을 하는 경우에는 도 13에 도시된 센싱방법 중 제1 프로세스에 따른 이미지 처리 방법을 제외한 방법이 적용됨이 바람직하다.In the case of tee shot, iron shot, and approach shot, the sensing method shown in FIG. 13 is applied, and in the case of putting, the sensing method shown in FIG. 13 is applied except for the image processing method according to the first process. desirable.

즉 티샷, 아이언샷 및 어프로치샷 등을 하는 경우, 먼저 카메라 장치와 스트로보 장치에 대한 트리거 신호가 신호발생부를 통해 발생한다(S11). 그리고 골프공의 초기 위치가 감지되고(S21), 골프공의 임팩트 시점이 감지된다(S31).That is, when the tee shot, the iron shot and the approach shot, etc., first, a trigger signal for the camera device and the strobe device is generated through the signal generator (S11). And the initial position of the golf ball is detected (S21), the impact point of the golf ball is detected (S31).

골프공이 임팩트 되면 운동하는 골프공에 대해 상기 카메라 장치 및 스트로보 장치에 의해 복수 프레임의 다중 노출 이미지가 취득되어 저장된다(S41).When the golf ball is impacted, multiple exposure images of a plurality of frames are acquired and stored by the camera device and the stroboscopic device with respect to the moving golf ball (S41).

그리고 제1 프로세스(S111)와 제2 프로세스(S121)가 동시에 실행되며, 상기 제1 프로세스에 의해 다중 노출 이미지상의 분리된 골프공 이미지에 대한 중심점 좌표를 추출하고(S131), 상기 제2 프로세스에 의해 다중 노출 이미지상의 중첩된 골프공 이미지에 대한 중심점 좌표를 추출한다(S141).The first process S111 and the second process S121 are executed at the same time, and the center process coordinates of the separated golf ball image on the multiple exposure image are extracted by the first process (S131). The center point coordinates for the superimposed golf ball image on the multiple exposure image are extracted (S141).

예컨대 골퍼가 티샷을 하는 경우, 보통 티샷은 1번 우드(Wood) 드라이버로 강하게 타격하므로 골프공이 고속으로 운동하게 되는데 이와 같이 고속으로 운동하는 골프공에 대한 다중 노출 이미지를 취득하면 십중팔구 골프공의 이미지가 스트로보 플래시의 간격과 대응되도록 서로 분리되어 나타난다. 이렇게 서로 분리된 골프공 이미지가 나타나는 경우 제2 프로세스가 실행되면 이를 제외하도록 이미지 처리하고 제1 프로세스가 실행되면 이를 소정의 처리를 하여 중심점 좌표를 추출하게 되는 것이다.For example, when a golfer makes a tee shot, the tee shot is hit hard by a wood driver number 1, so the golf ball moves at a high speed. Are separated from each other to match the spacing of the strobe flash. When the golf ball images separated from each other appear as described above, image processing is performed to exclude when the second process is executed, and when the first process is executed, the center point coordinates are extracted by predetermined processing.

만약 골퍼가 어프로치샷을 하는 경우, 비거리에 따라 골퍼가 골프공을 강하게 타격할 수도 있고 약하게 타격할 수도 있는데, 골퍼가 타격한 골프공에 대한 다중 노출 이미지가 취득되어 제1 프로세스와 제2 프로세스가 동시에 실행되면 골프공이 분리되어 나타나든 중첩되어 나타나든 상기 제1 프로세스와 제2 프로세스 중 어느 하나에 의해 골프공의 중심점 좌표가 획득될 수 있게 된다.If the golfer takes an approach shot, the golfer may hit the golf ball strongly or weakly, depending on the distance of the golfer. When executed at the same time, the center point coordinates of the golf ball can be obtained by one of the first process and the second process, whether the golf ball appears separately or overlaps.

한편, 골퍼가 퍼팅을 하는 경우에는 상기한 제1 프로세스는 실행되지 않고 제2 프로세스만 실행되도록 함이 바람직하다.On the other hand, when the golfer is putting, it is preferable that only the second process is executed without the first process being executed.

즉 카메라 장치와 스트로보 장치에 대한 트리거 신호가 신호발생부를 통해 발생하고(S12), 골프공의 초기 위치가 감지되며(S22), 퍼터에 의한 골프공의 임팩트 시점이 감지된다(S32).That is, a trigger signal for the camera device and the strobe device is generated through the signal generator (S12), the initial position of the golf ball is detected (S22), and the impact point of the golf ball by the putter is detected (S32).

퍼팅이 되면 운동하는 골프공에 대해 상기 카메라 장치 및 스트로보 장치에 의해 복수 프레임의 다중 노출 이미지가 취득되어 저장되며(S42), 제2 프로세스(S121)가 실행되어 다중 노출 이미지상의 중첩된 골프공 이미지에 대한 중심점 좌표를 추출한다(S141).When the putting is performed, the multiple exposure image of a plurality of frames is acquired and stored by the camera device and the strobe device for the moving golf ball (S42), and the second process (S121) is executed to superimpose the golf ball image on the multiple exposure image. Extract the coordinates of the center point for (S141).

상기한 바와 같이 모든 타격의 경우에 다중 노출 이미지에서 추출된 골프공 이미지의 중심점 좌표 정보가 소정의 툴에 의해 3차원 좌표로 변환되고(S301), 골프공에 관한 3차원 좌표 정보를 기초로 골프공의 물리 정보가 계산되어 골프공의 궤적이 시뮬레이션 됨으로써 가상 골프 시뮬레이션이 이루어진다(S311).As described above, the center point coordinate information of the golf ball image extracted from the multi-exposure image is converted into three-dimensional coordinates by a predetermined tool in the case of all the hits (S301), and the golf is based on the three-dimensional coordinate information on the golf ball. The physical information of the ball is calculated to simulate the trajectory of the golf ball, thereby performing a virtual golf simulation (S311).

한편, 도 14에서는 카메라 장치와 스트로보 장치에 의해 골프공의 이미지만을 추출하여 중심점을 추출하는 과정에 대해서만 나타내고 있으나, 상기 카메라 장치와 스트로보 장치에 의해 취득되는 다중 노출 이미지에는 골프클럽에 관한 이미지도 포함되어 있으므로 도 13의 S200 ~ S220 과정에 의해 골프클럽에 관한 이미지 처리를 통한 중심점 좌표 추출이 가능하며, 그 추출된 좌표 정보가 골프공의 물리 정보 계산의 기초로 이용될 수 있도록 하는 것도 가능하다.Meanwhile, in FIG. 14, only a process of extracting a center point by extracting only an image of a golf ball by the camera device and the strobe device is shown, but the multiple exposure image acquired by the camera device and the strobe device also includes an image of a golf club. Since it is possible to extract the center point coordinates through the image processing of the golf club by the process of S200 ~ S220 of Figure 13, it is also possible that the extracted coordinate information can be used as the basis of the physical information calculation of the golf ball.

10:골프공, 20:스윙플레이트
30:타격매트, 40:스크린
100:시뮬레이터, 110:데이터베이스
120:영상처리부, 130:영상출력부
210:신호발생부, 220:센싱처리부
310, 320:카메라 장치, 330:스트로보 장치10: golf ball, 20: swing plate
30: hit mat, 40: screen
100: simulator, 110: database
120: image processing unit, 130: image output unit
210: signal generator, 220: sensing processor
310, 320: camera unit, 330: strobe unit

Claims (25)

오브젝트의 운동 상태에 관하여 각각 복수개의 프레임의 이미지를 취득하는 적어도 하나의 카메라 장치;
각 프레임당 복수회의 플래시를 작동시킴으로써 다중 노출 이미지가 취득되도록 하는 스트로보 장치; 및
취득된 다중 노출 이미지에서 서로 분리된 오브젝트 이미지에 대한 오브젝트의 좌표를 측정하는 제1 프로세싱 수단과, 취득된 다중 노출 이미지에서 서로 중첩된 오브젝트 이미지에 대한 오브젝트의 좌표를 측정하는 제2 프로세싱 수단을 포함하는 센싱처리부;
를 포함하는 오브젝트 운동 센싱장치.At least one camera device for acquiring an image of a plurality of frames with respect to the motion state of the object;
A stroboscopic apparatus for causing multiple exposure images to be acquired by operating a plurality of flashes per frame; And
First processing means for measuring the coordinates of the object with respect to the object image separated from each other in the acquired multiple exposure image, and second processing means for measuring the coordinates of the object with respect to the object image superimposed on each other in the acquired multiple exposure image; Sensing processing unit;
Object motion sensing device comprising a. 제1항에 있어서,
상기 카메라 장치와 상기 스트로보 장치에 대해 각각 일정하게 고정된 주기의 트리거 신호를 발생시키는 신호발생부를 더 포함하는 것을 특징으로 하는 오브젝트 운동 센싱장치.The method of claim 1,
And a signal generator for generating a trigger signal at a fixed period for the camera device and the strobe device, respectively. 제2항에 있어서, 상기 신호발생부는,
상기 스트로보 장치의 각 프레임 당 복수회의 플래시 사이의 시간 간격이 실질적으로 동일하게 되도록 트리거 신호를 발생시키도록 구성되는 것을 특징으로 하는 오브젝트 운동 센싱장치.The method of claim 2, wherein the signal generator,
And generate a trigger signal such that a time interval between a plurality of flashes per frame of the strobe device is substantially equal. 제3항에 있어서, 상기 신호발생부는,
상기 스트로보 장치의 일 프레임 내의 복수회의 플래시 사이의 시간 간격과 해당 프레임의 마지막 플래시부터 다음 프레임의 첫 번째 플래시까지의 시간 간격이 서로 다르게 되도록 트리거 신호를 발생시키도록 구성되는 것을 특징으로 하는 오브젝트 운동 센싱장치.The method of claim 3, wherein the signal generator,
And generating a trigger signal so that a time interval between a plurality of flashes in one frame of the strobe device and a time interval from the last flash of the frame to the first flash of the next frame are different from each other. Device. 오브젝트의 운동 상태에 관하여 각각 복수개의 프레임의 이미지를 취득하는 적어도 하나의 카메라 장치;
각 프레임 당 일정하게 고정된 주기로 복수회의 플래시를 작동시킴으로써 다중 노출 이미지가 취득되도록 하는 스트로보 장치; 및
상기 스트로보 장치의 플래시의 고정된 주기에 따른 소정 속도 이상으로 운동하는 오브젝트의 이미지로부터 오브젝트 좌표를 측정하는 제1 프로세싱 수단과, 플래시의 고정된 주기에 따른 소정 속도 미만으로 운동하는 오브젝트의 이미지로부터 오브젝트 좌표를 측정하는 제2 프로세싱 수단을 포함하는 센싱처리부;
를 포함하는 오브젝트 운동 센싱장치.At least one camera device for acquiring an image of a plurality of frames with respect to the motion state of the object;
A stroboscopic apparatus for acquiring multiple exposure images by operating a plurality of flashes at a fixed fixed period per frame; And
First processing means for measuring object coordinates from an image of an object moving at a predetermined speed or more according to a fixed period of the flash of the stroboscopic device, and an object from the image of the object moving below a predetermined speed according to the fixed period of the flash A sensing processor including second processing means for measuring coordinates;
Object motion sensing device comprising a. 제1항 또는 제5항에 있어서, 상기 센싱처리부는,
취득된 다중 노출 이미지에서 배경 및 노이즈를 제거하는 전처리 수단을 더 포함하는 것을 특징으로 하는 오브젝트 운동 센싱장치.The method according to claim 1 or 5, wherein the sensing processing unit,
And a pre-processing means for removing background and noise from the acquired multiple exposure image. 제5항에 있어서,
상기 제1 프로세싱 수단은 취득된 다중 노출 이미지에서 서로 분리된 오브젝트 이미지를 처리함으로써 오브젝트의 좌표를 측정하도록 구성되며,
상기 제2 프로세싱 수단은 취득된 다중 노출 이미지에서 서로 중첩된 오브젝트 이미지를 처리함으로써 오브젝트의 좌표를 측정하도록 구성되는 것을 특징으로 하는 오브젝트 운동 센싱장치.The method of claim 5,
The first processing means is configured to measure the coordinates of the object by processing the object images separated from each other in the obtained multiple exposure image,
And said second processing means is configured to measure coordinates of an object by processing object images superimposed on each other in the acquired multiple exposure image. 제1항 또는 제7항에 있어서,
상기 제1 프로세싱 수단은, 취득된 다중 노출 이미지에서 오브젝트로서 추정되는 소정 간격으로 분리된 오브젝트 이미지를 추출하는 제1 이미지추출수단과, 추출된 이미지를 통해 각 오브젝트 이미지의 중심점 좌표를 획득하는 제1 좌표측정수단을 포함하며,
상기 제2 프로세싱 수단은, 취득된 다중 노출 이미지에서 오브젝트로서 추정되는 중첩된 오브젝트 이미지를 추출하는 제2 이미지추출수단과, 추출된 이미지를 통해 중첩된 이미지의 복수개의 중심점 좌표를 획득하는 제2 좌표측정수단을 포함하는 것을 특징으로 하는 오브젝트 운동 센싱장치.8. The method of claim 1 or 7,
The first processing means may include first image extracting means for extracting object images separated at predetermined intervals estimated as objects from the obtained multiple exposure image, and first coordinates for obtaining center point coordinates of each object image through the extracted images. Including coordinate measuring means,
The second processing means may include second image extracting means for extracting a superimposed object image estimated as an object from the acquired multiple exposure image, and second coordinates for obtaining a plurality of center point coordinates of the superimposed image through the extracted image. Object sensing apparatus comprising a measuring means. 운동하는 오브젝트에 대한 다중 노출 이미지를 취득하는 센서부; 및
취득된 다중 노출 이미지에서 오브젝트 이미지의 패턴에 따라 각각 서로 다른 이미지 처리를 함으로써 각각 오브젝트의 좌표를 측정하는 복수개의 프로세싱 수단을 포함하는 센싱처리부를 포함하는 오브젝트 운동 센싱장치.A sensor unit for obtaining a multiple exposure image of a moving object; And
And a sensing processing unit including a plurality of processing means for measuring coordinates of an object by performing different image processing on the acquired multiple exposure image according to the pattern of the object image. 제9항에 있어서, 상기 센서부는,
취득된 다중 노출 이미지가 상기 운동하는 오브젝트의 속도에 따라 소정 간격으로 서로 분리된 오브젝트의 이미지 및 서로 중첩된 오브젝트의 이미지 중 적어도 한가지 이미지를 포함할 수 있도록 구성되는 것을 특징으로 하는 오브젝트 운동 센싱장치.The method of claim 9, wherein the sensor unit,
And the acquired multiple exposure image comprises at least one of an image of an object separated from each other and an image of an object superimposed on each other at predetermined intervals according to the speed of the moving object. 제10항에 있어서, 상기 센싱처리부는,
취득된 다중 노출 이미지에서 서로 분리된 오브젝트의 이미지를 처리함으로써 오브젝트의 좌표를 측정하는 제1 프로세싱 수단과,
취득된 다중 노출 이미지에서 서로 중첩된 오브젝트의 이미지를 처리함으로써 오브젝트의 좌표를 측정하는 제2 프로세싱 수단을 포함하는 것을 특징으로 하는 오브젝트 운동 센싱장치.The method of claim 10, wherein the sensing processing unit,
First processing means for measuring the coordinates of the object by processing the images of the objects separated from each other in the obtained multiple exposure image,
And second processing means for measuring the coordinates of the object by processing the images of the objects superimposed on each other in the obtained multiple exposure image. 운동하는 제1 오브젝트 및 상기 제1 오브젝트에 의해 운동하는 제2 오브젝트에 대한 다중 노출 이미지를 취득하는 센서부;
취득된 다중 노출 이미지에서 상기 제1 오브젝트의 이미지를 처리함으로써 상기 제1 오브젝트의 좌표를 측정하는 제1 오브젝트 프로세싱 수단; 및
취득된 다중 노출 이미지에서 상기 제2 오브젝트의 이미지를 처리함으로써 상기 제2 오브젝트의 좌표를 측정하는 제2 오브젝트 프로세싱 수단을 포함하는 오브젝트 운동 센싱장치.A sensor unit configured to acquire a multiple exposure image of a first object moving and a second object moving by the first object;
First object processing means for measuring coordinates of the first object by processing the image of the first object in the acquired multiple exposure image; And
And second object processing means for measuring the coordinates of the second object by processing the image of the second object in the acquired multiple exposure image. 제12항에 있어서, 상기 제2 오브젝트 프로세싱 수단은,
취득된 다중 노출 이미지에서 서로 분리된 제2 오브젝트의 이미지를 처리함으로써 제2 오브젝트의 좌표를 측정하는 제1 프로세싱 수단과,
취득된 다중 노출 이미지에서 서로 중첩된 제2 오브젝트의 이미지를 처리함으로써 제2 오브젝트의 좌표를 측정하는 제2 프로세싱 수단을 포함하는 것을 특징으로 하는 오브젝트 운동 센싱장치.The method of claim 12, wherein the second object processing means,
First processing means for measuring coordinates of the second object by processing an image of a second object separated from each other in the obtained multiple exposure image,
And second processing means for measuring the coordinates of the second object by processing the images of the second objects superimposed on each other in the obtained multiple exposure image. 운동하는 오브젝트에 대한 다중 노출 이미지를 취득하는 단계;
취득된 다중 노출 이미지에서 오브젝트로서 추정되는 이미지를 추출하는 단계; 및
상기 추출된 오브젝트 이미지가 서로 분리된 오브젝트 이미지인 경우 제1 프로세스에 의해 처리되며, 상기 추출된 오브젝트 이미지가 서로 중첩된 오브젝트 이미지인 경우 제2 프로세스에 의해 처리되는 단계를 포함하는 오브젝트 운동 센싱방법.Acquiring multiple exposure images of the moving object;
Extracting an image estimated as an object from the obtained multiple exposure image; And
And processing by the first process when the extracted object images are object images separated from each other, and processing by the second process when the extracted object images are object images superimposed on each other. 제14항에 있어서, 상기 다중 노출 이미지를 취득하는 단계는,
적어도 하나의 카메라 장치가 운동하는 오브젝트에 대한 복수 프레임의 이미지를 취득하며, 스트로보 장치가 각 프레임 당 복수회의 플래시를 작동시키는 단계를 포함하는 것을 특징으로 하는 오브젝트 운동 센싱방법.The method of claim 14, wherein acquiring the multiple exposure image comprises:
Obtaining a plurality of frames of images of an object on which the at least one camera device is moving, and the stroboscope device operating a plurality of flashes per frame. 제14항에 있어서, 상기 다중 노출 이미지를 취득하는 단계는,
적어도 하나의 카메라 장치 및 스트로보 장치가 동기화되는 단계와,
상기 카메라 장치에 의해 영상이 계속적으로 캡처되는 단계와,
캡처되는 영상으로부터 오브젝트의 초기 위치를 확인하는 단계와,
상기 카메라 장치 및 스트로보 장치 각각에 대한 트리거 신호를 발생시키는 단계와,
상기 카메라 장치가 운동하는 오브젝트에 대한 복수 프레임의 이미지를 취득하며, 상기 스트로보 장치가 각 프레임 당 복수회의 플래시를 작동시키는 단계를 포함하는 것을 특징으로 하는 오브젝트 운동 센싱방법.The method of claim 14, wherein acquiring the multiple exposure image comprises:
Synchronizing at least one camera device and strobe device;
Continuously capturing images by the camera device;
Identifying an initial position of the object from the captured image,
Generating a trigger signal for each of the camera device and the strobe device;
And acquiring a plurality of frames of images of an object to be moved by the camera device, and operating the flash several times per frame by the stroboscopic device. 제15항 또는 제16항에 있어서,
상기 카메라 장치에 의한 복수 프레임 사이의 주기는 일정하게 고정되며, 상기 스트로보 장치에 의한 각 프레임당 복수회의 플래시 사이의 시간 간격이 실질적으로 동일하게 고정되는 것을 특징으로 하는 오브젝트 운동 센싱방법.The method according to claim 15 or 16,
The period between the plurality of frames by the camera device is fixed constantly, the time interval between the plurality of flashes for each frame by the strobe device is fixed substantially the same. 제14항에 있어서,
상기 제1 프로세스는 서로 분리된 오브젝트 이미지에 대한 피팅 단계와, 피팅된 각각의 오브젝트 이미지의 중심점 좌표를 획득하는 단계를 포함하며,
상기 제2 프로세스는 서로 중첩된 오브젝트 이미지에 대한 피팅 단계와, 피팅된 중첩된 오브젝트 이미지의 복수개의 중심점 좌표를 획득하는 단계를 포함하는 것을 특징으로 하는 오브젝트 운동 센싱방법.The method of claim 14,
The first process includes fitting to object images separated from each other, and obtaining center point coordinates of each fitted object image,
And said second process comprises fitting to object images superimposed on each other and obtaining a plurality of center point coordinates of the fitted overlapped object images. 운동하는 제1 오브젝트 및 상기 제1 오브젝트에 의해 운동하는 제2 오브젝트에 대한 다중 노출 이미지를 취득하는 단계;
취득된 다중 노출 이미지에서 상기 제1 오브젝트의 이미지를 처리함으로써 상기 제1 오브젝트의 좌표를 측정하는 단계; 및
취득된 다중 노출 이미지에서 상기 제2 오브젝트가 서로 분리되어 나타나는 경우 제1 프로세스에 의해 처리되며, 상기 제2 오브젝트가 서로 중첩되어 나타나는 경우 제2 프로세스에 의해 처리됨으로써 상기 제2 오브젝트의 좌표를 측정하는 단계를 포함하는 오브젝트 운동 센싱방법.Acquiring multiple exposure images of a first object that is moving and a second object that is moving by the first object;
Measuring coordinates of the first object by processing the image of the first object in the acquired multiple exposure image; And
The second object is processed by the first process when the second objects appear separately from each other in the acquired multiple exposure image, and the second object is processed by the second process when the second objects overlap each other to measure the coordinates of the second object. Object movement sensing method comprising the step. 골퍼에 의해 타격되어 운동하는 골프공에 대한 다중 노출 이미지를 취득하는 센서부;
상기 센서부에 의해 취득된 다중 노출 이미지에서 골프공의 이미지의 패턴에 따라 각각 서로 다른 이미지 처리를 함으로써 각각 골프공의 좌표를 측정하는 복수개의 프로세싱 수단을 포함하는 센싱처리부;
상기 센싱처리부에서 측정된 좌표를 3차원 좌표로 변환시키는 컨버팅부; 및
상기 3차원 좌표를 기초로 운동하는 골프공에 관한 물리 정보를 계산함으로써 골프공의 궤적을 시뮬레이션하는 시뮬레이터;
를 포함하는 가상 골프 시뮬레이션 장치.A sensor unit which acquires a multiple exposure image of a golf ball hit by a golfer and moving;
A sensing processor including a plurality of processing means for measuring coordinates of the golf ball by performing different image processing on the basis of the pattern of the golf ball image in the multiple exposure image acquired by the sensor unit;
A converting unit converting the coordinates measured by the sensing processing unit into 3D coordinates; And
A simulator for simulating a trajectory of a golf ball by calculating physical information about a golf ball moving based on the three-dimensional coordinates;
Virtual golf simulation device comprising a. 스윙되는 골프클럽 및 상기 골프클럽에 의해 타격되어 운동하는 골프공에 대한 다중 노출 이미지를 취득하는 센서부;
상기 센서부에 의해 취득된 다중 노출 이미지에서 상기 골프클럽에 관한 이미지에 대한 처리를 통해 골프클럽의 좌표를 측정하는 제1 센싱처리수단과, 상기 취득된 다중 노출 이미지에서 상기 골프공의 이미지의 패턴에 따라 각각 서로 다른 이미지 처리를 함으로써 각각 골프공의 좌표를 측정하는 복수개의 프로세싱 수단을 포함하는 제2 센싱처리수단을 포함하는 센싱처리부;
상기 센싱처리부에서 측정된 좌표를 3차원 좌표로 변환시키는 컨버팅부; 및
상기 3차원 좌표를 기초로 골프클럽 및 골프공에 관한 물리 정보를 계산함으로써 골프공의 궤적을 시뮬레이션하는 시뮬레이터;
를 포함하는 가상 골프 시뮬레이션 장치.A sensor unit for obtaining a multiple exposure image of a golf club swinging and a golf ball hit by the golf club and exercising;
First sensing processing means for measuring the coordinates of the golf club by processing the image of the golf club in the multiple exposure image acquired by the sensor unit, and the pattern of the image of the golf ball in the obtained multiple exposure image A sensing processor including a second sensing processing means including a plurality of processing means for measuring coordinates of a golf ball, respectively, by performing different image processing according to each other;
A converting unit converting the coordinates measured by the sensing processing unit into 3D coordinates; And
A simulator for simulating the trajectory of the golf ball by calculating physical information about the golf club and the golf ball based on the three-dimensional coordinates;
Virtual golf simulation device comprising a. 제20항 또는 제21항에 있어서, 상기 센서부는,
상기 타격된 골프공에 관하여 각각 복수 프레임의 이미지를 취득하는 적어도 하나의 카메라 장치와,
각 프레임 당 복수회의 플래시를 작동시킴으로써 다중 노출 이미지가 취득되도록 하는 스트로보 장치를 포함하는 것을 특징으로 하는 가상 골프 시뮬레이션 장치.The method of claim 20 or 21, wherein the sensor unit,
At least one camera device for acquiring an image of a plurality of frames with respect to the hit golf ball,
And a stroboscopic device for acquiring multiple exposure images by operating a plurality of flashes per frame. 제22항에 있어서,
상기 카메라 장치와 상기 스트로보 장치에 대해 각각 일정하게 고정된 주기의 트리거 신호를 발생시키는 신호발생부를 더 포함하는 것을 특징으로 하는 가상 골프 시뮬레이션 장치.The method of claim 22,
And a signal generator for generating a trigger signal of a fixed period for the camera device and the strobe device, respectively. 제20항에 있어서, 상기 복수개의 프로세싱 수단은,
취득된 다중 노출 이미지에서 복수개의 골프공 이미지가 서로 분리되어 나타나는 경우 각각의 골프공 이미지에 대한 처리를 통해 골프공의 좌표를 측정하는 제1 프로세싱 수단과,
취득된 다중 노출 이미지에서 복수개의 골프공 이미지가 서로 중첩되어 나타나는 경우 상기 중첩된 이미지에 대한 처리를 통해 골프공의 좌표를 측정하는 제2 프로세싱 수단을 포함하는 것을 특징으로 하는 가상 골프 시뮬레이션 장치.The method of claim 20, wherein the plurality of processing means,
First processing means for measuring the coordinates of the golf ball by processing the respective golf ball images when the plurality of golf ball images appear separately from each other in the obtained multiple exposure image;
And a second processing means for measuring the coordinates of the golf ball by processing the overlapped image when the plurality of golf ball images appear to overlap each other in the acquired multiple exposure image. 제24항에 있어서,
상기 시뮬레이터에 의한 가상 골프 시뮬레이션 과정에서 골퍼에 의해 이루어지는 스윙의 종류 또는 비거리에 따라 상기 제1 프로세싱 수단 및 제2 프로세싱 수단 중 어느 하나가 선택적으로 적용되도록 구성되는 것을 특징으로 하는 가상 골프 시뮬레이션 장치.25. The method of claim 24,
Virtual golf simulation apparatus, characterized in that configured to selectively apply any one of the first processing means and the second processing means according to the type or distance of the swing made by the golfer during the virtual golf simulation process by the simulator.
KR1020100062205A 2010-06-29 2010-06-29 Apparatus and method for sensing moving object and virtual golf simulation device using the same KR101019823B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100062205A KR101019823B1 (en) 2010-06-29 2010-06-29 Apparatus and method for sensing moving object and virtual golf simulation device using the same
PCT/KR2011/004758 WO2012002731A2 (en) 2010-06-29 2011-06-29 Sensing device and method for moving object and virtual golf simulation device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100062205A KR101019823B1 (en) 2010-06-29 2010-06-29 Apparatus and method for sensing moving object and virtual golf simulation device using the same

Publications (1)

Publication Number Publication Date
KR101019823B1 true KR101019823B1 (en) 2011-03-04

Family

ID=43938477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100062205A KR101019823B1 (en) 2010-06-29 2010-06-29 Apparatus and method for sensing moving object and virtual golf simulation device using the same

Country Status (2)

Country Link
KR (1) KR101019823B1 (en)
WO (1) WO2012002731A2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101048091B1 (en) 2011-03-22 2011-07-08 (주) 골프존 Apparatus and method for virtual golf simulation, and sensing device and method used to the same
KR101276054B1 (en) * 2011-06-27 2013-06-17 동서대학교산학협력단 Ball mark tracking system
KR101602222B1 (en) * 2015-04-29 2016-03-10 (주)레드골프 Golf balls recognition of golf simulation
KR20160090632A (en) 2015-01-22 2016-08-01 주식회사 인피니전 Flight information estimator and estimation method of the flying objects
KR101645693B1 (en) * 2015-02-26 2016-08-04 주식회사 파온테크 Apparatus and method for simulation golf putting using virtual cross stripes
WO2017126850A1 (en) * 2016-01-22 2017-07-27 주식회사 골프존뉴딘 Sensing device and sensing method used for baseball practice apparatus, baseball practice apparatus using same, and control method therefor
KR20170130039A (en) * 2016-05-18 2017-11-28 이미화 Golf balls recognition of golf simulation
KR20190062156A (en) 2017-11-27 2019-06-05 최은정 A method of recognizing only golf ball objects in photograph using cameras in a golf simulator

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3107123B1 (en) * 2020-02-06 2022-01-21 Centre Nat Etd Spatiales Method and device for optical detection.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264016A (en) 2000-03-15 2001-09-26 Sumitomo Rubber Ind Ltd Motion-measuring instrument for ball
JP2003117044A (en) 2001-04-26 2003-04-22 Photron Ltd Hit ball diagnosing device
US20050026710A1 (en) 2003-08-01 2005-02-03 Yi-Ching Pao Apparatus and method for monitoring launch parameters of a launched sports object
KR20090021407A (en) * 2007-08-27 2009-03-04 마이크로 인스펙션 주식회사 Apparatus for measuring motion of golf ball and control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001264016A (en) 2000-03-15 2001-09-26 Sumitomo Rubber Ind Ltd Motion-measuring instrument for ball
JP2003117044A (en) 2001-04-26 2003-04-22 Photron Ltd Hit ball diagnosing device
US20050026710A1 (en) 2003-08-01 2005-02-03 Yi-Ching Pao Apparatus and method for monitoring launch parameters of a launched sports object
KR20090021407A (en) * 2007-08-27 2009-03-04 마이크로 인스펙션 주식회사 Apparatus for measuring motion of golf ball and control method thereof

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101048091B1 (en) 2011-03-22 2011-07-08 (주) 골프존 Apparatus and method for virtual golf simulation, and sensing device and method used to the same
KR101276054B1 (en) * 2011-06-27 2013-06-17 동서대학교산학협력단 Ball mark tracking system
KR20160090632A (en) 2015-01-22 2016-08-01 주식회사 인피니전 Flight information estimator and estimation method of the flying objects
KR101645693B1 (en) * 2015-02-26 2016-08-04 주식회사 파온테크 Apparatus and method for simulation golf putting using virtual cross stripes
KR101602222B1 (en) * 2015-04-29 2016-03-10 (주)레드골프 Golf balls recognition of golf simulation
KR20170088049A (en) * 2016-01-22 2017-08-01 주식회사 골프존뉴딘 Apparatus for base-ball practice, sensing device and sensing method used to the same and control method for the same
WO2017126850A1 (en) * 2016-01-22 2017-07-27 주식회사 골프존뉴딘 Sensing device and sensing method used for baseball practice apparatus, baseball practice apparatus using same, and control method therefor
KR101865576B1 (en) 2016-01-22 2018-06-08 주식회사 골프존뉴딘홀딩스 Apparatus for base-ball practice, sensing device and sensing method used to the same and control method for the same
US10486024B2 (en) 2016-01-22 2019-11-26 Newdin Contents Co., Ltd. Sensing device and sensing method used in baseball practice apparatus, baseball practice apparatus using the sensing device and the sensing method, and method of controlling the baseball practice apparatus
KR20170130039A (en) * 2016-05-18 2017-11-28 이미화 Golf balls recognition of golf simulation
KR101995098B1 (en) 2016-05-18 2019-07-01 이미화 Golf balls recognition of golf simulation
KR20190062156A (en) 2017-11-27 2019-06-05 최은정 A method of recognizing only golf ball objects in photograph using cameras in a golf simulator
KR102084858B1 (en) 2017-11-27 2020-03-04 최은정 A method of recognizing only golf ball objects in photograph using cameras in a golf simulator

Also Published As

Publication number Publication date
WO2012002731A3 (en) 2012-04-26
WO2012002731A2 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
KR101019823B1 (en) Apparatus and method for sensing moving object and virtual golf simulation device using the same
US10486043B2 (en) Sensing device and sensing method used in baseball practice apparatus, baseball practice apparatus using the sensing device and the sensing method, and method of controlling the baseball practice apparatus
CA2830488C (en) Sensing device and method used for virtual golf simulation apparatus
US9162132B2 (en) Virtual golf simulation apparatus and sensing device and method used for the same
JP5626939B2 (en) Sensing processing device for moving ball, sensing processing method, and virtual golf simulation device using the same
WO2010083449A2 (en) Methods and systems for sports simulation
KR101912126B1 (en) Apparatus for base-ball practice, sensing device and sensing method used to the same and control method for the same
JP5572853B2 (en) Sensing device for moving object, sensing processing method, and virtual golf simulation device using the same
KR101019829B1 (en) Sensing processing device and method for moving object, and virtual golf simulation device using the same
KR101019801B1 (en) Apparatus and method for sensing moving object and virtual golf simulation device using the same
KR101019902B1 (en) Sensing processing device and method for moving object, and virtual golf simulation device using the same
KR101019782B1 (en) Sensing processing device and method for moving object, and virtual golf simulation device using the same
KR20170085460A (en) Apparatus for base-ball practice, sensing device and sensing method used to the same and control method for the same
KR101019824B1 (en) Apparatus and method for sensing moving object and virtual golf simulation device using the same
RU2736259C1 (en) Sensor device for reading information on a golf throw and a measurement method using a system
KR101019847B1 (en) Sensing processing device and method for moving object, and virtual golf simulation device using the same
KR101019798B1 (en) Apparatus and method for sensing moving object and virtual golf simulation device using the same
WO2012002733A2 (en) Sensing device and sensing processing method for moving object and virtual golf simulation device using the same
KR102262886B1 (en) Haptic type sports recognition system using Infrared depth camera sensor
KR20220035616A (en) Device for sensing golf swing and method for sensing impact position on club head using the same

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150113

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170105

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 10