KR101019847B1 - Sensing processing device and method for moving object, and virtual golf simulation device using the same - Google Patents

Abstract

PURPOSE: An apparatus and a method for sensing a moving ball and a virtual golf simulation device using the same are provided to enhance sensing accuracy while incurring low processing costs. CONSTITUTION: An apparatus for sensing a moving ball comprises a list generating unit(270), a list correcting unit(280), and a center point calculating unit. The list generating unit classifies each image extracted as a ball image from a multiple exposure image into a prescribed unit and generates a list. The list correcting unit corrects the generated list to correspond to the interval rate of stroboscopic illumination. The center point calculating unit extracts the center of each image, which is assumed to be a ball image, from a multiple exposure image.

Description

운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치{SENSING PROCESSING DEVICE AND METHOD FOR MOVING OBJECT, AND VIRTUAL GOLF SIMULATION DEVICE USING THE SAME}SENSING PROCESSING DEVICE AND METHOD FOR MOVING OBJECT, AND VIRTUAL GOLF SIMULATION DEVICE USING THE SAME}

본 발명은 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치에 관한 것으로 더욱 상세하게는 골프공 등과 같은 운동하는 볼의 이미지를 취득하여 이를 분석함으로써 그 물리적 정보를 산출할 수 있도록 하는 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치에 관한 것이다.The present invention relates to a sensing processing apparatus, a sensing processing method, and a virtual golf simulation apparatus using the same for a moving ball. More particularly, the physical information can be calculated by acquiring and analyzing an image of a moving ball such as a golf ball. The present invention relates to a sensing processing apparatus, a sensing processing method, and a virtual golf simulation apparatus using the same for a moving ball.

최근 야구, 축구, 농구, 그리고 골프 등과 같은 인기 스포츠 경기를 실내나 특정 장소에서 시뮬레이션을 통해 인터액티브 스포츠 게임(Interactive Sports Game)의 형태로 즐길 수 있도록 하는 여러 가지 다양한 장치들에 대한 개발이 활발하게 이루어지고 있다.Recently, various developments have been actively developed to enable popular sports games such as baseball, soccer, basketball, and golf to be enjoyed in the form of interactive sports games through simulation indoors or in specific places. It is done.

이와 같은 인터액티브 스포츠 게임에서 야구공, 축구공, 농구공 및 골프공 등의 볼을 이용하는 스포츠에 대한 시뮬레이션이 이루어지도록 하기 위해 운동하는 볼, 즉 볼의 움직임에 대한 물리적 정보를 정확하게 센싱하기 위한 각종 센싱시스템에 대한 연구 개발이 매우 활발하게 진행되고 있는 실정이다.In such an interactive sports game, a ball is used to accurately sense physical information about the movement of a ball, that is, a ball, in order to simulate a sport using a ball such as a baseball ball, a soccer ball, a basketball ball, and a golf ball. The research and development of the sensing system is very active.

예컨대 적외선 센서를 이용한 센싱시스템, 레이저 센서를 이용한 센싱시스템, 음향 센서를 이용한 센싱시스템, 그리고 카메라 센서를 이용한 센싱시스템 등 다양한 센싱시스템이 등장하고 있다.For example, various sensing systems such as a sensing system using an infrared sensor, a sensing system using a laser sensor, a sensing system using an acoustic sensor, and a sensing system using a camera sensor are emerging.

본 발명은 운동하는 볼에 대한 이미지를 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득함으로써 나타나는 볼 이미지의 유실이나 볼 이미지의 인식 오류 등으로 말미암은 센싱처리의 부정확성 문제를 극복하여, 볼 이미지를 정확하게 추출하여 정확한 중심점 좌표가 획득되도록 함으로써 저렴한 비용으로 높은 센싱 처리 능력 및 센싱의 정확성을 구현할 수 있도록 하는 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치를 제공하기 위한 것이다.The present invention overcomes the problem of sensing inaccuracy caused by the loss of the ball image or the recognition error of the ball image, which is obtained by acquiring an image of a moving ball by a low-resolution low-speed camera device and a stroboscopic device. It is to provide a sensing processing apparatus, a sensing processing method, and a virtual golf simulation apparatus using the same for a moving ball that can be obtained by extracting the accurate center point coordinates to achieve a high sensing processing capacity and sensing accuracy at low cost.

본 발명의 일 실시예에 따른 센싱처리장치는, 운동하는 볼에 대한 스트로보 조명에 의한 복수 프레임의 다중 노출 이미지를 통한 센싱처리장치에 있어서, 상기 다중 노출 이미지에서 볼 이미지로서 추출된 각각의 이미지에 대해 소정 단위로 분류하여 리스트를 생성하는 리스트 생성수단; 및 상기 생성된 리스트에 대해 상기 스트로보 조명의 주기에 대응되도록 보정하는 리스트 보정수단을 포함한다.In the sensing processing apparatus according to an embodiment of the present invention, in the sensing processing apparatus through a multiple exposure image of a plurality of frames by stroboscopic illumination of the moving ball, each sensing image extracted as a ball image from the multiple exposure image List generating means for generating a list by classifying the data in predetermined units; And list correction means for correcting the generated list so as to correspond to the period of the strobe illumination.

또한 바람직하게는, 상기 다중 노출 이미지에서 볼 이미지로서 추정되는 각각의 이미지에 대한 중심점을 추출하는 중심점 추출수단을 더 포함하며, 상기 리스트 생성수단은 상기 중심점이 추출된 각각의 이미지에 대해 상기 리스트를 생성하도록 구성되는 것을 특징으로 한다.Also preferably, the apparatus further comprises a center point extracting means for extracting a center point for each image estimated as an image to be viewed in the multiple exposure image, wherein the list generating means may generate the list for each image from which the center point is extracted. And to generate.

또한 바람직하게는, 상기 리스트 생성수단은, 상기 중심점이 추출된 각각의 이미지를 상기 각 프레임별로 분류하여 상기 리스트를 생성하도록 구성되며, 상기 리스트 보정수단은,각 프레임당 상기 스트로보 조명의 간격 비율에 대응되도록 상기 생성된 리스트를 보정하도록 구성되는 것을 특징으로 한다.Also preferably, the list generating means is configured to generate the list by classifying each image from which the center point is extracted for each of the frames, and the list correcting means is configured according to an interval ratio of the strobe illumination per frame. And correct the generated list so as to correspond.

또한 바람직하게는, 상기 리스트 생성수단은, 각 프레임별 상기 중심점이 추출된 이미지의 개수가 상기 각 프레임당 스트로보 조명의 회수에 대응되도록 하는 모든 경우의 조합을 포함하는 리스트를 생성하도록 구성되는 것을 특징으로 한다.Also preferably, the list generating means is configured to generate a list including a combination of all cases in which the number of extracted center points for each frame corresponds to the number of stroboscopic lights per frame. It is done.

또한 바람직하게는, 상기 리스트 보정수단은, 상기 리스트로부터 상기 각 프레임별 스트로보 조명의 간격 비율에 대응되는 조합을 선택하여 누락된 이미지를 복구하거나 초과된 이미지를 삭제하도록 하는 이미지 복구수단을 더 포함하는 것을 특징으로 한다.Also preferably, the list correction means may further include image recovery means for selecting a combination corresponding to the interval ratio of the strobe illumination for each frame from the list to recover the missing image or to delete the excess image. It is characterized by.

또한 바람직하게는, 상기 다중 노출 이미지는 복수개의 카메라 장치에 의해 각각 복수 프레임씩 취득되며, 상기 리스트 생성수단에 의해 생성된 리스트 또는 상기 리스트 보정수단에 의해 보정된 리스트상의 각각의 이미지에 대해 소정의 번호를 부여하여 라벨링하며 각각의 카메라 장치에서 취득한 동일한 이미지에 대해 상기 라벨링된 각각의 이미지를 매칭시키는 라벨링 수단을 더 포함하는 것을 특징으로 한다.Also preferably, the multiple exposure image is acquired by a plurality of camera apparatuses each by a plurality of frames, and predetermined for each image on the list generated by the list generating means or the list corrected by the list correcting means. And labeling means for labeling the numbered images and matching each of the labeled images with respect to the same image acquired by the respective camera apparatus.

한편, 본 발명의 다른 일 실시예에 따른 센싱처리장치는, 스트로보 조명 하에 복수개의 카메라 장치 각각에 의해 취득되는 운동하는 볼에 대한 복수 프레임의 다중 노출 이미지를 통한 센싱처리장치에 있어서, 상기 다중 노출 이미지에서 볼 이미지로서 추출된 각각의 이미지에 대해 상기 프레임별로 분류하여 리스트를 생성하는 리스트 생성수단; 및 상기 리스트상의 각각의 이미지에 대해 소정의 번호를 부여하여 라벨링하며 각각의 카메라 장치에서 취득한 동일한 이미지에 대해 상기 라벨링된 각각의 이미지를 매칭시키는 라벨링 수단을 포함한다.On the other hand, the sensing processing apparatus according to another embodiment of the present invention, in the sensing processing apparatus through a multiple exposure image of a plurality of frames for the moving ball obtained by each of the plurality of camera apparatus under the strobe illumination, the multiple exposure List generating means for generating a list by classifying each image extracted as an image to be viewed from an image for each frame; And labeling means for labeling each image on the list by assigning a predetermined number and matching each labeled image with respect to the same image acquired by each camera apparatus.

또한 바람직하게는, 상기 리스트 생성수단에 의해 생성된 리스트에 대해 상기 스트로보 조명의 주기에 대응되도록 보정하는 리스트 보정수단을 더 포함하는 것을 특징으로 한다.Also preferably, the list generated by the list generating means further comprises a list correction means for correcting to correspond to the period of the strobe illumination.

또한 바람직하게는, 상기 리스트 생성수단은, 각 프레임별로 상기 라벨링된 이미지의 개수가 상기 각 프레임당 스트로보 조명의 회수에 대응되도록 하는 모든 경우의 조합을 포함하는 리스트를 생성하도록 구성되며, 상기 리스트 보정수단은, 상기 각 프레임당 스트로보 조명의 간격 비율에 대응되도록 상기 생성된 리스트상의 이미지를 보정하도록 구성되는 것을 특징으로 한다.Also preferably, the list generating means is configured to generate a list including a combination of all cases in which the number of the labeled images for each frame corresponds to the number of stroboscopic lights per frame, and correcting the list. The means is configured to correct the image on the generated list so as to correspond to an interval ratio of strobe illumination per frame.

한편, 본 발명의 일 실시예에 따른 센싱처리방법은, 운동하는 볼에 대한 스트로보 조명에 의한 복수 프레임의 다중 노출 이미지를 통한 센싱처리방법에 있어서, 상기 다중 노출 이미지에서 볼 이미지로서 추출된 각각의 이미지에 대해 소정 단위로 분류하여 리스트를 생성하는 단계; 및 상기 생성된 리스트에 대해 상기 스트로보 조명의 주기에 대응되도록 보정하는 단계를 포함한다.On the other hand, in the sensing processing method according to an embodiment of the present invention, in the sensing processing method through a multiple exposure image of a plurality of frames by the stroboscopic illumination of the moving ball, each of the extracted as a ball image from the multiple exposure image Generating a list by classifying the images in predetermined units; And correcting the generated list to correspond to the period of the strobe illumination.

또한 바람직하게는, 상기 다중 노출 이미지에서 볼 이미지로서 추정되는 이미지를 추출하는 단계와, 상기 추정된 볼 이미지 각각의 중심점을 추출하는 단계를 더 포함하여, 상기 중심점이 추출된 각각의 이미지에 대해 상기 리스트가 생성되도록 한 것을 특징으로 한다.Also preferably, the method may further include extracting an image estimated as a ball image from the multiple exposure image, and extracting a center point of each of the estimated ball images. The list is generated.

또한 바람직하게는, 상기 리스트를 생성하는 단계는, 상기 중심점이 추출된 각각의 이미지에 대해 각 프레임별로 분류하는 단계와, 상기 각 프레임별 분류된 이미지의 개수가 상기 각 프레임당 스트로보 조명의 회수보다 작은 경우, 상기 각 프레임별 분류된 이미지에서 누락된 이미지가 포함되는 모든 경우의 조합에 관한 누락 리스트를 생성하는 단계와, 상기 각 프레임별 분류된 이미지의 개수가 상기 각 프레임당 스트로보 조명의 회수보다 많은 경우, 상기 각 프레임별 분류된 이미지에서 초과된 이미지가 제외되는 모든 경우의 조합에 관한 초과 리스트를 생성하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the generating of the list may include classifying each center of each image from which the center point is extracted for each frame, and the number of images classified for each frame is greater than the number of stroboscopic lights per each frame. If it is small, generating a missing list of all combinations of missing images in the classified images for each frame, and wherein the number of classified images for each frame is less than the number of stroboscopic lights per each frame. In many cases, the method may include generating an excess list of all combinations of cases in which excess images are excluded from the classified images for each frame.

또한 바람직하게는, 상기 보정하는 단계는, 상기 리스트에서 각각의 분류된 이미지의 중심점 사이의 간격 비율이 상기 각 프레임당 스트로보 조명의 간격 비율에 대응되는 이미지를 선택하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the correcting may include selecting an image in which the interval ratio between the center points of each classified image corresponds to the interval ratio of strobe illumination per frame. .

또한 바람직하게는, 상기 보정하는 단계는, 상기 누락 리스트에서 상기 각 프레임당 스트로보 조명의 간격 비율에 대응되는 조합을 선택하여 누락된 이미지를 복구하는 단계와, 상기 초과 리스트에서 상기 각 프레임당 스트로보 조명의 간격 비율에 대응되는 조합을 선택하여 초과된 이미지를 삭제하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the correcting may include recovering the missing image by selecting a combination corresponding to the spacing ratio of the strobe illumination per frame in the missing list, and strobe illumination per each frame in the excess list. Selecting a combination corresponding to the interval ratio of the to erase the excess image.

또한 바람직하게는, 상기 다중 노출 이미지는 복수개의 카메라 장치에 의해 각각 복수 프레임씩 취득되며, 상기 각 프레임별 분류된 각각의 이미지에 대해 소정의 번호를 부여하여 라벨링하는 단계와, 상기 각각의 카메라 장치에서 취득한 동일한 이미지에 대해 상기 라벨링된 각각의 이미지를 매칭시키는 단계를 더 포함하는 것을 특징으로 한다.Also preferably, the multiple exposure image is acquired by a plurality of camera apparatuses each by a plurality of frames, and labeled and labeled with a predetermined number for each image classified for each frame, and each camera apparatus; And matching each of the labeled images with respect to the same image acquired in.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는, 골퍼에 의해 타격되어 운동하는 골프공에 대한 복수 프레임의 다중 노출 이미지를 취득하는 카메라 장치 및 스트로보 장치를 포함하는 센서부; 상기 다중 노출 이미지에서 볼 이미지로서 추정되는 각각의 이미지에 대한 중심점을 추출하는 중심점 추출수단과, 상기 중심점이 추출된 각각의 이미지에 대해 각 프레임 단위로 분류하여 리스트를 생성하는 리스트 생성수단과, 상기 생성된 리스트에 대해 상기 스트로보 조명의 주기에 대응되도록 보정하는 리스트 보정수단을 포함하는 센싱처리부; 상기 센싱처리부에서 결정된 중심점의 좌표를 3차원 좌표로 변환시키는 컨버팅부; 및 상기 3차원 좌표를 기초로 운동하는 골프공에 관한 물리 정보를 계산함으로써 골프공의 궤적을 시뮬레이션하는 시뮬레이터를 포함한다.On the other hand, the virtual golf simulation apparatus according to an embodiment of the present invention, the sensor unit including a camera device and a strobe device for obtaining a multi-exposure image of a plurality of frames for the golf ball hit by the golfer and moving; A center point extracting means for extracting a center point for each image estimated as a ball image in the multiple exposure image, list generating means for generating a list by classifying each center extracted image in each frame unit; A sensing processor including a list correction means for correcting the generated list so as to correspond to the period of the strobe illumination; A converting unit converting the coordinates of the center point determined by the sensing processing unit into three-dimensional coordinates; And a simulator for simulating the trajectory of the golf ball by calculating physical information about the golf ball moving based on the three-dimensional coordinates.

본 발명에 따른 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치는 운동하는 볼에 대한 이미지를 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득함으로써 나타나는 볼 이미지의 유실이나 볼 이미지의 인식 오류 등으로 말미암은 센싱처리의 부정확성 문제를 극복하여, 볼 이미지를 정확하게 추출하여 정확한 중심점 좌표가 획득되도록 함으로써 저렴한 비용으로 높은 센싱 처리 능력 및 센싱의 정확성을 구현할 수 있도록 하는 효과가 있다.According to the present invention, a sensing processing apparatus, a sensing processing method, and a virtual golf simulation apparatus using the same are lost of a ball image which is obtained by acquiring an image of a moving ball by a low resolution low speed camera device and a stroboscopic device. By overcoming the inaccuracy of sensing process caused by the recognition error of the ball image, the accurate extraction of the ball image is obtained by accurately extracting the ball image, thereby enabling high sensing processing capacity and sensing accuracy at low cost.

도 1은 본 발명의 일 실시예에 따른 센싱처리장치 또는 가상 골프 시뮬레이션 장치에 관하여 나타낸 블록도이다.
도 2는 도 1에 도시된 센싱처리장치 또는 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예에 관하여 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 센싱처리장치에서 처리하는 이미지를 취득하는 카메라 장치 및 스트로보 장치의 작동 신호 체계에 관하여 나타낸 도면이다.
도 4의 (a) 및 (b)는 도 2에 도시된 시스템에 따라 취득한 볼의 이미지 패턴을 각각 나타낸 도면이다.
도 5의 (a)는 도 4의 (a)에 도시된 패턴의 이미지의 실제 취득된 이미지의 일 예를 나타낸 도면이며, 도 5의 (b)는 (a)에 도시된 이미지에 대한 전처리 된 이미지를 나타낸 도면이다.
도 6은 도 5의 (b)에 도시된 이미지를 확대하여 복수 프레임을 겹쳐서 나타낸 것으로서 볼 이미지를 추출하는 과정을 나타낸 도면이다.
도 7은 추출된 볼 이미지에 대해 피팅하여 그 중심점이 추출된 상태를 나타낸 도면이다.
도 8은 중심점이 추출된 볼 이미지에 대해 복수 프레임을 겹쳐서 나타낸 이미지의 일 예를 나타낸 것이다.
도 9의 (a)는 도 8에 도시된 각각의 볼 이미지를 프레임별로 분류하여 나타낸 것이고, 도 9의 (b)는 도 9의 (a)의 1 프레임에서 누락된 볼 이미지에 대해 가능한 조합에 대한 누락리스트를 나타낸 것이다.
도 10은 도 9의 (a)의 2 프레임에서 초과된 볼 이미지에 대해 가능한 조합에 대한 초과리스트를 나타낸 것이다.
도 11은 취득되는 각각의 볼 이미지에 대한 스트로보 조명 간격과의 관계를 설명하기 위한 도면이다.
도 12는 복수개의 카메라 각각에서의 라벨링 및 매칭 결과에 관하여 나타낸 도면이다.
도 13은 본 발명에 따른 센싱처리방법에 관한 일 실시예를 나타내는 플로우 차트이다.1 is a block diagram showing a sensing processing apparatus or a virtual golf simulation apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a screen golf system to which the sensing processing apparatus or the virtual golf simulation apparatus illustrated in FIG. 1 is applied.
3 is a diagram illustrating an operation signal system of a camera apparatus and a strobe apparatus for acquiring an image processed by a sensing processing apparatus according to an embodiment of the present invention.
4A and 4B are diagrams each showing an image pattern of a ball acquired according to the system shown in FIG.
FIG. 5A is a diagram showing an example of an actual acquired image of the image of the pattern shown in FIG. 4A, and FIG. 5B is preprocessed for the image shown in FIG. A diagram showing an image.
FIG. 6 is a view illustrating a process of extracting a ball image as an enlarged image of the image illustrated in FIG. 5B by overlapping a plurality of frames.
7 is a view showing a state in which the center point is extracted by fitting to the extracted ball image.
8 illustrates an example of an image in which a plurality of frames are overlapped with respect to a ball image from which a center point is extracted.
FIG. 9 (a) shows each ball image shown in FIG. 8 classified by frames, and FIG. 9 (b) shows possible combinations of missing ball images in one frame of FIG. 9 (a). A list of omissions is shown.
FIG. 10 shows the excess list for possible combinations for the ball image exceeded in the two frames of FIG. 9 (a).
FIG. 11 is a diagram for explaining a relationship with a strobe illumination interval for each ball image acquired. FIG.
12 is a diagram illustrating a labeling and a matching result in each of a plurality of cameras.
13 is a flowchart illustrating an embodiment of a sensing processing method according to the present invention.

본 발명에 따른 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치에 관한 실시예를 도면을 참조하여 좀 더 구체적으로 설명한다.An embodiment of a sensing processing apparatus, a sensing processing method, and a virtual golf simulation apparatus using the same according to the present invention will be described in more detail with reference to the accompanying drawings.

본 발명에 따른 운동하는 볼에 대한 센싱처리장치는 골프와 같은 볼을 이용하는 스포츠 등에서 운동하는 볼의 운동상태에 관한 이미지를 취득하여 이를 분석함으로써 센싱이 이루어지는 모든 시스템에 적용 가능하며, 그 일 예로서 가상 골프 시뮬레이션 장치가 적용되는 소위 스크린 골프 시스템 등에 적용이 가능하다.The sensing processing apparatus for the ball to be exercised according to the present invention is applicable to all systems in which sensing is performed by acquiring and analyzing an image of the motion state of the ball to be exercised in a sport using a ball such as golf. It can be applied to a so-called screen golf system to which a virtual golf simulation device is applied.

도 1 및 도 2에서는 이와 같은 본 발명에 따른 운동하는 볼에 대한 센싱처리장치 및 이를 이용한 가상 골프 시뮬레이션 장치의 개략적인 구성에 관하여 나타내고 있다.1 and 2 illustrate a schematic configuration of a sensing processing apparatus for a moving ball and a virtual golf simulation apparatus using the same according to the present invention.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱처리장치 및 이를 이용하는 가상 골프 시뮬레이션 장치에 관하여 설명한다.First, a sensing processing apparatus for a ball moving according to an embodiment of the present invention and a virtual golf simulation apparatus using the same will be described with reference to FIGS. 1 and 2.

도 1에 도시된 바와 같이 본 발명은 카메라 장치(310, 320), 스트로보 장치(330), 신호발생부(210) 등을 포함하는 센서부에서 취득된 이미지를 처리함으로써 운동하는 볼에 대한 이미지를 처리하여 중심점 좌표를 추출하는 센싱처리장치(220)에 관한 것으로서, 본 발명의 일 실시예에 따른 센싱처리장치(220)는 전처리 수단(230), 이미지 추출수단(240), 라벨링 수단(250), 중심점 추출수단(260), 리스트 생성수단(270) 및 리스트 보정수단(280) 등을 포함하여 구성됨이 바람직하다.As shown in FIG. 1, the present invention provides an image of a ball moving by processing an image acquired by a sensor unit including a camera device 310, 320, a strobe device 330, a signal generator 210, and the like. The sensing processing apparatus 220 for extracting the coordinates of the center point by processing, the sensing processing apparatus 220 according to an embodiment of the present invention is pre-processing means 230, image extraction means 240, labeling means 250 , The center point extracting means 260, the list generating means 270, and the list correcting means 280 are preferably configured.

먼저 상기 센서부에 관하여 설명하면, 상기 카메라 장치(310, 320)는 볼의 초기 위치에서부터 볼이 운동 방향을 따라 운동하는 상태에 관하여 복수개의 프레임의 이미지를 취득하도록 구비된다.First, the sensor unit will be described. The camera devices 310 and 320 are provided to acquire images of a plurality of frames with respect to a state in which the ball moves along the direction of movement from the initial position of the ball.

도 1에서는 카메라 장치(310, 320)가 두 대 구비되는 경우에 관하여 나타내고 있으나 이에 한정되지 않고 한대 또는 그 이상의 카메라 장치가 구비되는 모든 경우를 포함할 수 있다.Although FIG. 1 illustrates a case where two camera devices 310 and 320 are provided, the present invention is not limited thereto and may include all cases where one or more camera devices are provided.

상기 스트로보 장치(330)는 LED 등을 이용한 조명장치로서 상기 카메라 장치의 촬영용 광원으로 이용되며, 소정의 시간 간격으로 스트로보 조명(소정의 시간 간격으로 복수회의 조명 플래시가 작동되는 방식임)이 발생하여 상기 카메라 장치(310, 320)에 의해 다중 노출 이미지가 취득되도록 한다.The strobe device 330 is used as a light source for photographing the camera device as an illumination device using an LED light, and the strobe light is generated at predetermined time intervals (that is, a plurality of illumination flashes are operated at predetermined time intervals). The multiple exposure image is acquired by the camera apparatuses 310 and 320.

즉 카메라 장치에 의해 촬영되는 하나의 프레임의 이미지에 상기 스트로보 장치(330)에 의한 플래시 횟수만큼 볼이 촬영되어 나타나는 다중 노출 이미지를 취득하게 된다.That is, a multiple exposure image, in which a ball is photographed as many times as the number of flashes by the strobe apparatus 330, is acquired in an image of one frame photographed by a camera apparatus.

카메라 장치(310, 320)와 스트로보 장치(330)의 작동에 관한 구체적인 사항에 대해서는 후술하기로 한다.Details of operations of the camera apparatuses 310 and 320 and the strobe apparatus 330 will be described later.

한편, 상기 카메라 장치(310, 320) 및 스트로보 장치(330)의 작동을 위한 트리거(trigger) 신호는 신호발생부(210)에 의해 발생하며, 상기 카메라 장치(310, 320)와 스트로보 장치(330)에 의한 다중 노출 이미지는 본 발명에 따른 센싱처리부(220)에서 처리가 되어 시뮬레이터(100)로 전달된다.Meanwhile, a trigger signal for operating the camera devices 310 and 320 and the strobe device 330 is generated by the signal generator 210 and the camera devices 310 and 320 and the strobe device 330. The multiple exposure image by) is processed by the sensing processor 220 according to the present invention and transmitted to the simulator 100.

본 발명의 일 실시예에 따른 센싱처리장치(220)의 전처리 수단(230)은 취득된 다중 노출 이미지에서 배경과 노이즈 등을 적절히 제거하도록 구현된다.The preprocessing means 230 of the sensing processing apparatus 220 according to an embodiment of the present invention is implemented to appropriately remove background and noise from the obtained multiple exposure image.

이미지 추출수단(240)은 상기 전처리 된 이미지에서 볼에 관한 이미지를 적절히 추출하도록 구현된다.The image extracting means 240 is implemented to properly extract an image relating to the ball from the preprocessed image.

또한 중심점 추출수단(260)은 추출된 볼 이미지에 대해 적절히 피팅(Fitting) 함으로써 피팅된 볼 이미지의 중심점을 추출하도록 구현된다.In addition, the center point extracting means 260 is implemented to extract a center point of the fitted ball image by appropriately fitting the extracted ball image.

그리고 라벨링 수단(250)은 상기한 바와 같이 중심점이 추출된 각각의 볼 이미지에 대해 프레임별로 서로 다른 상태의 볼 이미지에 대해 서로 다른 번호가 부여되도록 각각의 볼 이미지에 대해 라벨링(Labelling) 함으로써 복수개의 카메라 장치가 동시에 사용되는 경우 각각의 카메라 장치에서 취득한 이미지를 서로 매칭시키도록 하기 위한 것이다.As described above, the labeling means 250 labels a plurality of ball images by labeling each ball image such that a different number is assigned to each ball image having a different state for each ball image from which the center point is extracted. When the camera apparatus is used at the same time, it is to match the images acquired by each camera apparatus with each other.

한편, 리스트 생성수단(270)은 상기 다중 노출 이미지에서 볼 이미지로서 추출된 각각의 이미지에 대해 소정 단위로 분류하여 리스트를 생성하고, 상기 리스트 보정수단(280)은 리스트 생성수단(270)에 의해 생성된 리스트에 대해 상기 스트로보 조명의 간격 비율에 대응되도록 보정함으로써 정확한 중심점 좌표가 획득되도록 하기 위한 것이다.Meanwhile, the list generating means 270 generates a list by classifying each image extracted as a ball image from the multiple exposure image in a predetermined unit, and the list correcting means 280 is generated by the list generating means 270. The corrected center point coordinates are obtained by correcting the generated list so as to correspond to the spacing ratio of the strobe illumination.

한편, 상기 시뮬레이터(100)는 제어부(M), 데이터베이스(110), 영상처리부(120) 및 영상출력부(130) 등을 포함하여 구성됨이 바람직하다.On the other hand, the simulator 100 is preferably configured to include a controller (M), the database 110, the image processing unit 120 and the image output unit 130, and the like.

상기 제어부(M)는 상기 센싱처리장치(220)에서 이미지 처리되어 획득된 운동하는 볼의 좌표 정보를 전달받아 이를 3차원 좌표 정보로 변환하여 볼의 운동 궤적 시뮬레이션을 위한 소정의 물리적 정보를 산출하여 영상처리부(120)로 전달한다.The control unit M receives the coordinate information of the moving ball obtained by image processing in the sensing processing apparatus 220 and converts the coordinate information into three-dimensional coordinate information to calculate predetermined physical information for the motion trajectory simulation of the ball. Transfer to the image processing unit 120.

이때 볼의 운동 궤적의 시뮬레이션을 위한 소정의 데이터는 데이터베이스(110)로부터 추출하여 이용하고 상기 영상처리부(120)에서 볼의 운동 궤적에 관한 시뮬레이션 영상 처리는 상기 데이터베이스(110)에 저장된 영상데이터가 추출됨으로써 이루어질 수 있다.At this time, the predetermined data for the simulation of the motion trajectory of the ball is extracted from the database 110, and the image processing unit 120 extracts the image data stored in the database 110 for the simulation image processing of the motion trajectory of the ball. This can be done by.

여기서 상기 센싱처리장치(220)로부터 전달받은 운동하는 볼의 좌표 정보를 3차원 좌표 정보로 변환하는 컨버팅수단이 상기 제어부(M)와는 별도로 구비되도록 하는 것도 가능하다.Here, the converting means for converting the coordinate information of the moving ball received from the sensing processing apparatus 220 into three-dimensional coordinate information may be provided separately from the control unit (M).

상기한 바와 같은 장치 구성을 갖는 센싱처리장치 또는 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예에 관하여 도 2에서 도시하고 있다.An example of a screen golf system to which a sensing processing device or a virtual golf simulation device having the device configuration as described above is applied is shown in FIG. 2.

도 2에 도시된 바와 같이 골프 부스(B)의 일측에 골프공(10)이 놓이는 골프티와 그라운드(페어웨이 매트, 러프 매트 및 벙커 매트 중 적어도 하나를 포함하도록 함이 바람직하다)가 구비되는 타격 매트(30)와 골퍼가 골프 스윙을 하도록 구비되는 스윙플레이트(20)가 구비된다.As shown in FIG. 2, a golf tee and a ground (preferably including at least one of a fairway mat, a rough mat and a bunker mat) on which the golf ball 10 is placed on one side of the golf booth B are provided. The mat 30 and the golfer is provided with a swing plate 20 provided to make a golf swing.

골프 부스(B)의 전방에는 영상출력부(130)에 의해 구현되는 가상 골프 시뮬레이션 영상이 표시되는 스크린(40)이 구비되며, 천장에는 카메라 장치(310, 320)와 스트로보 장치(330)가 각각 구비된다.In front of the golf booth (B) is provided with a screen 40 for displaying a virtual golf simulation image implemented by the image output unit 130, the camera device (310, 320) and the strobe device 330 on the ceiling, respectively It is provided.

도 2에서는 상기 카메라 장치(310, 320)가 각각 천장과 벽 쪽에 구비되는 경우에 관하여 나타내고 있으나 이에 한정되지 않고 골프공(10)의 운동 상태에 관한 이미지를 효과적으로 취득할 수 있으면서 골퍼에 의한 스윙에 방해되지 않고 골퍼에 의해 타격된 골프공에 의해 충돌할 염려가 없는 미리 설정된 위치이면 어느 위치이든 설치가 가능하다.In FIG. 2, the camera devices 310 and 320 are provided on the ceiling and the wall, respectively, but the present invention is not limited thereto. Any position can be installed as long as it is a predetermined position that is not obstructed and that there is no fear of collision by the golf ball hit by the golfer.

그리고 도 2에서 스트로보 장치(330)가 천장에 설치되어 타격 지점에 실질적으로 수직 방향으로 스트로보 조명을 제공하도록 설치되어 있는 경우에 관하여 나타내고 있는데, 이에 한정되지 않고 효과적인 스트로보 조명을 제공할 수 있는 위치이면 어느 위치이든 가능하다.2 shows a case in which the strobe device 330 is installed on the ceiling and installed to provide strobe light in a direction substantially perpendicular to the point of impact, but is not limited thereto. Any location is possible.

상기한 바와 같은 시스템에서 골퍼가 스윙플레이트(20)에서 타격매트(30) 상의 골프공(10)을 스크린(40)을 향하여 타격하면, 도 2에 도시된 바와 같이 타격이 이루어지는 소정 영역을 촬영하고 있는 카메라 장치(310, 320)가 각각 복수 프레임의 이미지를 취득하고 이때 스트로보 장치(330)는 하나의 프레임당 복수회의 플래시를 터뜨려 운동하는 골프공에 대한 다중 노출 이미지를 취득하게 된다.In the system as described above, when the golfer hits the golf ball 10 on the hitting mat 30 toward the screen 40 in the swing plate 20, the predetermined area where the hit is made as shown in FIG. The camera apparatuses 310 and 320 acquire images of a plurality of frames, respectively, and the strobe apparatus 330 acquires a multiple exposure image of a golf ball that fires a plurality of flashes per frame.

도 3에서는 신호발생부(210, 도 1 참조)에 의한 카메라 장치와 스트로보 장치의 트리거 신호 발생 체계에 관하여 나타내고 있다.In FIG. 3, a trigger signal generation system of the camera apparatus and the strobe apparatus by the signal generator 210 (see FIG. 1) is illustrated.

도 3에 도시된 바와 같이 카메라 장치에 대한 트리거 신호는 tc 시간 간격으로 이루어진다. 즉 한 프레임당 tc 시간 간격으로 트리거 신호가 발생한다. 이때 한 프레임당 노출되는 시간은 te 시간이며(이때 tc > te 가 되도록 함이 바람직하다) tc - te 시간 동안 취득된 이미지에 대한 데이터가 센싱처리장치(220, 도 1 참조)로 전송되도록 함이 바람직하다.As shown in FIG. 3, the trigger signal for the camera device is made at tc time intervals. That is, the trigger signal is generated at tc time intervals per frame. In this case, the exposure time per frame is te time (where tc> te is preferable), and the data about the image acquired during the tc-te time is transmitted to the sensing processing apparatus 220 (see FIG. 1). desirable.

즉 도 3에 도시된 바와 같이 카메라 장치의 한 프레임당 트리거 신호 발생 시간 간격 동안 카메라 장치의 노출이 이루어지고 취득된 다중 노출 이미지에 대한 데이터가 센싱처리장치로 전송이 된다.That is, as shown in FIG. 3, the camera device is exposed during the trigger signal generation time interval of the camera device, and data about the obtained multiple exposure image is transmitted to the sensing processing device.

그리고 카메라 장치의 노출 시간(te 시간) 동안 스트로보 장치에 의한 스트로보 조명은 복수회 발생되는데, 도 3에서는 스트로보 조명의 트리거 신호가 ts1의 시간 간격으로 3회 발생하는 경우에 관하여 나타내고 있다.The strobe illumination by the strobe apparatus is generated a plurality of times during the exposure time (te time) of the camera apparatus. In FIG. 3, the trigger signal of the strobe illumination is generated three times at a time interval of ts1.

즉 카메라 장치의 노출 시간(te 시간) 동안 스트로보 조명은 동일한 시간 간격인 ts1 시간 간격으로 3회 발생하는 것이다. 이때 신호발생부(210, 도 1 참조)에 의해 카메라 장치와 스트로보 장치는 맨 첫 번째 트리거 신호가 동시에 발생되도록 동기화되도록 함이 바람직하다.That is, during the exposure time (te time) of the camera device, strobe illumination occurs three times at the same time interval ts1 time interval. At this time, the camera device and the strobe device are preferably synchronized by the signal generator 210 (see FIG. 1) so that the first trigger signal is simultaneously generated.

그리고 도 3에 도시된 바와 같이 3회의 스트로보 조명 중 마지막 스트로보 조명의 트리거 신호로부터 다음 프레임의 첫 번째 스트로보 조명의 트리거 신호까지의 시간은 ts2 시간 간격이 되도록 함이 바람직하며, 상기 ts1과 ts2 시간 간격이 서로 동일하게 되도록 설정될 수도 있으나 도 3에 도시된 바와 같이 ts1 시간과 ts2 시간이 서로 다르게 되도록 설정됨이 바람직하며, 좀 더 바람직하게는 ts2 시간이 ts1 시간 보다 더 길게 되도록 설정됨이 바람직하다. As shown in FIG. 3, the time from the trigger signal of the last strobe light to the trigger signal of the first strobe light of the next frame among the three strobe lights is preferably ts2 time interval, and the time interval between ts1 and ts2 times. 3 may be set to be the same, but it is preferable that the ts1 time and the ts2 time are set to be different from each other, more preferably, the ts2 time is set to be longer than the ts1 time. .

상기한 바와 같이 카메라 장치와 스트로보 장치 각각의 트리거 신호 간격이 일정하게 되도록 고정되어 있음으로 말미암아 취득되는 다중 노출 이미지상의 볼 이미지의 간격도 일정하게 나타날 수밖에 없다. As described above, since the interval between the trigger signals of the camera device and the strobe device is fixed to be constant, the distance between the ball images on the multiple-exposure image acquired is inevitably shown.

따라서 센싱처리장치에서 다중 노출 이미지를 처리함에 있어서 상기 다중 노출 이미지상에 존재하는 볼 이미지와 여러 가지 노이즈로부터 정확한 볼 이미지를 상기한 트리거 신호의 일정하게 고정된 간격에 관한 특징으로부터 효과적으로 분리할 수 있다.Therefore, in processing the multiple exposure image in the sensing processing device, it is possible to effectively separate the accurate ball image from the ball image existing on the multiple exposure image and various noises from the feature regarding the fixed fixed interval of the trigger signal. .

또한, 카메라 장치의 각 프레임당 스트로보 조명의 간격이 일정하게 고정되어 있기 때문에 다중 노출 이미지에서 볼의 운동 속도에 따라 여러 가지 패턴의 이미지가 발생할 수 있다.In addition, since the interval of strobe lighting is fixed at each frame of the camera device, various patterns of images may be generated according to the speed of movement of the ball in the multiple exposure image.

도 4는 골프클럽에 의해 볼(골프공)을 타격함에 따라 운동하는 볼의 이미지를 취득하는 경우로서, 도 3에 도시된 신호 발생 체계에 따른 카메라 장치와 스트로보 장치에 의해 취득되는 다중 노출 이미지의 두 가지 패턴을 (a) 및 (b)에서 각각 나타내고 있다.FIG. 4 is a case of acquiring an image of a ball moving by hitting a ball (golf ball) by a golf club. FIG. 4 shows a multiple exposure image acquired by a camera device and a stroboscopic device according to the signal generation system shown in FIG. Two patterns are shown in (a) and (b), respectively.

도 4의 (a)에 도시된 이미지(I1)에서는 골프클럽 이미지(C1, C2, C3)와 볼 이미지(11a, 11b, 11c)가 다중 노출에 의해 취득된 경우로서, 볼 이미지(11a, 11b, 11c)가 서로 소정 간격 분리되어 나타난 경우이다.In the image I1 shown in FIG. 4A, the golf club images C1, C2, C3 and the ball images 11a, 11b, and 11c are obtained by multiple exposure, and the ball images 11a and 11b are obtained. , 11c) appear to be separated from each other by a predetermined interval.

그리고 도 4의 (b)에 도시된 이미지(I2)는 볼이 서로 중첩되어 소정 크기의 이미지 영역(12)으로서 나타나는 경우에 관하여 나타내고 있다.The image I2 shown in FIG. 4B shows a case where the balls overlap each other and appear as an image area 12 of a predetermined size.

즉 도 4의 (a)에 도시된 이미지는 볼이 고속으로 운동하기 때문에 각각의 스트로보 조명이 트리거 될 때 소정 거리 떨어진 상태로 이미지가 형성된 경우이고, 도 4의 (b)에 도시된 이미지는 볼이 저속으로 운동하기 때문에 볼이 멀리 진행하기 전에 스트로보 조명이 각각 트리거 되어 서로 중첩되어 나타나는 경우이다.That is, the image shown in (a) of FIG. 4 is a case where the image is formed at a predetermined distance when each strobe light is triggered because the ball moves at high speed, and the image shown in (b) of FIG. Because of this slow motion, the strobe lights are triggered before the ball travels farther and appear superimposed on each other.

본 발명에 따른 센싱처리장치 및 센싱처리방법은 도 4의 (a)에 도시된 바와 같이 볼이 스트로보 조명의 고정된 주기에 따른 소정 속도 이상의 고속으로 운동함으로써 다중 노출 이미지상에 볼이 서로 분리된 상태로 나타나는 경우 이에 대한 각 볼의 중심점 좌표를 정확하게 취득하기 위한 것에 관한 것으로, 본 발명에 따른 센싱처리방법에 의하면 도 4의 (b)에 도시된 바와 같이 볼이 중첩되어 나타나는 경우에는 이를 제외시킨다. In the sensing processing apparatus and the sensing processing method according to the present invention, as shown in FIG. The present invention relates to precisely acquiring the coordinates of the center point of each ball when it appears as a state, and according to the sensing processing method according to the present invention, when the balls overlap as shown in FIG. .

그리고 상기한 바와 같이 제외된 중첩된 볼에 관한 이미지는 별도의 이미지 처리수단에 의해 처리되고 이는 본 발명의 범위를 벗어나므로 이에 대한 구체적인 설명은 생략한다.And as described above, the image of the overlapped ball is excluded is processed by a separate image processing means and this is beyond the scope of the present invention, a detailed description thereof will be omitted.

이하 도 5 내지 도 12를 참조하여 본 발명에 따른 운동하는 볼에 대한 센싱처리장치에 의한 상기 도 4의 (a)에 도시된 바와 같은 서로 분리된 볼 이미지의 처리에 관하여 설명한다.Hereinafter, with reference to FIGS. 5 to 12, the processing of the ball images separated from each other as shown in FIG. 4A by the sensing processing apparatus for the moving ball according to the present invention will be described.

도 5의 (a)는 서로 분리된 볼에 관한 이미지를 포함하는 다중 노출 이미지 원본을 나타내고 있는데, 320 X 240의 낮은 해상도의 75 fps의 저속으로 동작하는 카메라 장치와 330Hz의 스트로보 장치를 이용하여 취득한 이미지이다.FIG. 5 (a) shows an original multiple exposure image including images of balls separated from each other, which is obtained by using a low speed camera device having a low resolution of 320 × 240 and a fusing device of 330 Hz and a 330 Hz strobe device. Image.

도 5의 (a)에 나타낸 바와 같은 원본 이미지에 대해 차연산(Subtraction) 등을 통해 정지되어 있는 이미지, 즉 배경 이미지 등을 제거하고 가우시안 블러(Gausian Blur) 등의 소정의 전처리 과정을 거친 이미지에 대해 도 5의 (b)에서 나타내고 있다.On the image which has been fixed with subtraction or the like for the original image as shown in (a) of FIG. 5, the background image is removed and subjected to a predetermined preprocessing process such as Gaussian Blur. It is shown in FIG.5 (b).

이와 같이 다중 노출 이미지상의 배경과 노이즈가 적절하게 제거된 상태에서 볼 이미지를 추출하는 것이 더욱 용이하게 된다. 이에 대해서는 도 6에서 도시하고 있다.In this way, it is easier to extract the image to be viewed with the background and noise on the multiple exposure image properly removed. This is illustrated in FIG. 6.

도 6에 도시된 이미지는 카메라 장치에 의해 촬영된 복수 프레임의 이미지를 한장의 이미지로 겹쳐서 나타낸 것으로, 3회의 스트로보 조명에 의해 나타나는 3개의 볼 이미지가 하나의 이미지 세트를 구성한다고 할 때, S0 이미지 세트는 0번 프레임에 대한 이미지이고, S1 이미지 세트는 1번 프레임에 대한 이미지이며, S2 이미지 세트는 2번 프레임에 대한 이미지를 나타낸 것이다.The image shown in FIG. 6 is a superimposed image of a plurality of frames taken by the camera device into a single image. S0 image when three ball images represented by three strobe lights constitute one image set. The set is an image for frame 0, the S1 image set is an image for frame 1, and the S2 image set represents an image for frame 2.

여기서 볼의 이미지로서 추정되는 이미지를 윤곽 체크나 체크 윈도우 등을 통해 추출할 수 있는데, 볼이 아닌 것으로 추정되는 이미지들을 제외시키면서 최종적으로 볼로서 추정되는 이미지만 남도록 하는 방식으로 처리가 가능하다.Here, the image estimated as the image of the ball may be extracted through a contour check or a check window, and the like may be processed in such a manner that only the image estimated as the ball remains while excluding the images estimated as the non-ball.

즉 볼은 일정한 지름을 가지고 있으므로 이를 고려하여 다중 노출 이미지상의 각각의 이미지에 대한 윤곽을 체크하여 그 체크된 윤곽이 볼이라고 하기에 너무 크거나 너무 작은 경우 이를 제외시킬 수 있다.That is, since the ball has a constant diameter, the contour of each image on the multi-exposure image may be checked in consideration of this, and it may be excluded if the checked contour is too large or too small to be called a ball.

그리고 도 6에 도시된 바와 같이 다중 노출 이미지상의 각각의 이미지(11)의 크기에 맞게 해당 이미지(11)가 포함되도록 체크 윈도우(W)를 형성시키고 체크 윈도우(W)의 가로방향 길이와 세로방향 길이의 비율(aspect ratio)을 체크한다. As shown in FIG. 6, the check window W is formed to include the image 11 according to the size of each image 11 on the multiple exposure image, and the horizontal length and the vertical direction of the check window W are included. Check the aspect ratio.

볼은 원형이므로 이에 대한 aspect ratio는 거의 일정해야 하므로, 다중 노출 이미지상의 각 이미지(11)에 대한 체크 윈도우(W)의 aspect ratio가 너무 넓은 폭을 갖거나 폭이 너무 좁은 경우 이를 볼이 아닌 것으로 보아 제외시킬 수 있다.Since the ball is circular, the aspect ratio for this should be almost constant, so if the aspect ratio of the check window (W) for each image 11 on the multiple exposure image is too wide or too narrow, it is not a ball. Can be excluded.

상기한 바와 같이 예시된 방법에 의해 다중 노출 이미지상에서 볼로서 추정되는 이미지(11)를 추출할 수 있다.As described above, the image 11 estimated as a ball on the multiple exposure image can be extracted by the illustrated method.

한편, 상기한 바와 같이 볼 이미지로서 추출된 이미지(11)는 도 7에 도시된 바와 같이 각각 볼의 형상에 따른 피팅커브(FC)로 피팅(Fitting) 됨으로써 그 중심점(CP) 좌표가 추출될 수 있다.Meanwhile, as illustrated in FIG. 7, the image 11 extracted as the ball image is fitted to the fitting curve FC according to the shape of the ball, and thus the center point CP coordinates may be extracted. have.

모든 프레임의 이미지에 대해 상기한 바와 같이 볼 이미지가 추출되고 피팅되어 중심점이 추출되면, 도 8에 도시된 바와 같이 모든 프레임의 이미지를 하나의 이미지로 취합하여 볼이 진행함에 따라 나타나는 모든 볼의 이미지가 한 장의 이미지에 표시될 수 있다.When the ball image is extracted and fitted as described above with respect to the images of all the frames, and the center point is extracted, as shown in FIG. 8, the images of all the balls appearing as the ball proceeds by combining the images of all the frames into one image. Can be displayed on a single image.

도 8은 도 3에 도시된 카메라 장치와 스트로보 조명의 트리거 신호 간격에 따라 취득된 이미지에 대해 중심점이 추출된 상태의 이미지에 대해 3개의 프레임을 취합하여 나타낸 이미지의 일 예를 나타낸 것이다.FIG. 8 illustrates an example of an image in which three frames are collected for an image having a center point extracted from an image acquired according to a trigger signal interval of a camera apparatus and strobe illumination shown in FIG. 3.

도 8에서 S0 이미지 세트는 0 프레임의 볼 이미지를, S1 이미지 세트는 1 프레임의 볼 이미지를, 그리고 S2 이미지 세트는 2 프레임의 볼 이미지를 각각 나타낸 것이다.In FIG. 8, the S0 image set represents a ball image of 0 frames, the S1 image set represents a ball image of one frame, and the S2 image set represents a ball image of two frames.

모든 프레임 상의 각각의 볼 이미지에 대해 중심점 좌표가 추출되었으나 도 8에 도시된 바와 같이 표시된 볼 이미지의 개수가 스트로보 조명의 횟수와 맞지 않을 수 있다.The center point coordinates have been extracted for each ball image on every frame, but the number of ball images displayed may not match the number of strobe illuminations as shown in FIG. 8.

예컨대 골프클럽으로 볼을 타격하는 경우, 어떤 상태에서 볼이 골프클럽에 가려져서 유실됨으로써 볼 이미지의 개수가 스트로보 조명의 횟수보다 더 적게 나타날 수도 있고, 골프클럽에 관한 이미지가 볼 이미지로서 잘못 추출되어 볼 이미지로서 추출된 이미지의 개수가 스트로보 조명의 횟수보다 더 많게 나타날 수도 있다.For example, when hitting a ball with a golf club, the ball may be hidden by the golf club under some conditions, causing the number of ball images to appear less than the number of strobe lights, or the image of the golf club is incorrectly extracted as a ball image. The number of images extracted as an image may appear more than the number of strobe lights.

도 8의 0 프레임의 이미지 세트(S0)는 정상적으로 3회의 스트로보 조명의 횟수에 맞게 나타나고 있으나, 1 프레임의 이미지 세트(S1)는 3회의 스트로보 조명에 대해 2개의 볼 이미지만 나타난 경우이고 2 프레임의 이미지 세트(S2)는 3회의 스트로보 조명에 대해 4개의 볼 이미지가 나타난 경우이다.The image set S0 of frame 0 of FIG. 8 normally appears to match the number of three strobe lights. However, the image set S1 of one frame shows only two ball images for three strobe lights. The image set S2 is a case where four ball images appear for three strobe lights.

여기서 1 프레임의 이미지 세트(S1)는 볼 이미지 하나가 유실되었고, 2 프레임의 이미지 세트(S2)는 다른 이미지가 볼 이미지로서 잘못 추출된 것으로 볼 수 있다.In this case, the image set S1 of one frame is lost in one ball image, and the image set S2 of two frames is incorrectly extracted as a ball image.

따라서 도 9 내지 도 11에 도시된 바와 같이 가능한 볼의 조합에 대한 리스트를 생성하여 이에 대해 스트로보 조명의 간격 비율에 대응하도록 보정함으로써 정확한 결과가 도출되도록 함이 바람직하다.Therefore, it is preferable to generate a list of possible combinations of balls as shown in FIGS. 9 to 11 and correct them to correspond to the spacing ratio of strobe illumination so that accurate results are obtained.

먼저 도 9의 (a)에 도시된 바와 같이 0 frame 상의 이미지(11a, 11b, 11c)와 1 frame 상의 이미지(u1, u2), 그리고 2 frame 상의 이미지(u3, u4, u5, u6) 등 각각의 이미지에 대해 프레임별로 분류가 되도록 함이 바람직하다.First, as illustrated in (a) of FIG. 9, images 11a, 11b, and 11c on 0 frame, images u1 and u2 on 1 frame, and images u3, u4, u5, and u6 on 2 frames are respectively. It is desirable to classify the images by frames.

여기서 1 frame과 2 frame에 대해 추가적인 누락 리스트 및 초과 리스트가 생성되도록 함이 필요하다. 도 9의 (b)에서는 1 frame에 대한 누락 리스트를, 도 10에서는 2 frame에 대한 초과 리스트를 각각 나타내고 있다.Here, it is necessary to generate additional missing lists and excess lists for 1 frame and 2 frames. In FIG. 9B, the missing list for one frame is shown, and the excess list for two frames is shown in FIG. 10.

도 9의 (a)에 도시된 바와 같이 1 frame 상에는 두 개의 이미지(u1, u2)가 존재하므로 스트로보 조명의 횟수(3회)에 맞지 않다. 따라서 볼 이미지 하나가 유실된 것으로 보고 도 9의 (b)에 도시된 바와 같이 유실된 볼 이미지(ug)가 첫번째인지, 두번째인지, 아니면 세번째인지 각각의 경우에 대한 누락 리스트를 생성한다.As shown in (a) of FIG. 9, two images u1 and u2 exist on one frame, and thus do not correspond to the number of strobe illuminations (three times). Accordingly, as one ball image is lost, a missing list for each case is generated as shown in (b) of FIG. 9, whether the lost ball image ug is first, second, or third.

도 9의 (b)에 도시된 바와 같이 0 frame과 1 frame에 대해 3가지 경우의 수가 존재하게 된다.As shown in (b) of FIG. 9, three cases exist for 0 frames and 1 frame.

한편,도 10에 도시된 바와 같이 2 frame 상에는 4개의 이미지(u3, u4, u5, u6)가 존재하므로 다른 이미지 하나가 볼 이미지로 잘못 인식된 경우로 보고 도 10에 도시된 바와 같이 어느 것이 잘못 인식된 이미지(ux)인지에 대한 모든 경우의 수를 가정하여 초과 리스트를 생성한다.Meanwhile, as shown in FIG. 10, since four images u3, u4, u5, and u6 exist on two frames, one of the other images is incorrectly recognized as a viewable image. An excess list is generated assuming the number of all cases of whether it is a recognized image (ux).

여기서 1 frame의 경우 3가지 경우의 수가 존재하였고 2 frame의 경우 4가지 경우의 수가 존재하므로 모두 12가지 경우의 수가 존재하게 된다.In this case, three frames exist in one frame and four frames exist in two frames, so there are twelve cases in all.

상기한 바와 같은 방식으로 모든 프레임에 대한 리스트를 생성함이 바람직하다.It is preferable to generate a list for all frames in the manner described above.

이와 같이 생성된 리스트 상의 모든 경우 중 어떤 경우가 스트로보 조명의 간격 비율에 대응하는지 여부를 판단하여 대응되는 조합을 선택함으로써 리스트를 보정하여 좀 더 정확한 중심점이 획득되도록 할 수 있다.By determining whether any of the cases on the list generated in this way corresponds to the spacing ratio of the strobe illumination, the list may be corrected by selecting a corresponding combination so that a more accurate center point may be obtained.

즉 도 3에서 설명한 바와 같이 각 프레임별로 스트로보 조명의 간격(a 및 b, 그리고 d 및 e)은 서로 실질적으로 동일하다. 여기서 a와 d(또는 b와 e)는 서로 다를 수 있다. 왜냐하면 볼이 점차 가속되거나 감속되는 경우 프레임별로 각각의 볼 이미지의 간격이 약간씩 달라질 수 있기 때문이다.That is, as illustrated in FIG. 3, the spacings a and b and d and e of the strobe illumination are substantially the same for each frame. Here, a and d (or b and e) may be different. This is because, when the ball is gradually accelerated or decelerated, the spacing of each ball image may vary slightly from frame to frame.

그러나 이 경우에도 a와 d의 비율은 b와 e의 비율과 실질적으로 동일하며 각각의 볼 이미지의 간격(제1 간격)과 0 프레임의 마지막 볼 이미지의 중심점으로부터 1 프레임의 첫번째 볼 이미지의 중심점까지의 간격(제2 간격)은 서로 다르며 상기 제1 간격과 제2 간격 사이의 비율은 일정해야 한다.However, even in this case, the ratio of a to d is substantially the same as the ratio of b to e, and the distance (first interval) of each ball image and the center point of the last ball image of the zero frame to the center point of the first ball image of one frame The intervals of (second interval) of are different from each other and the ratio between the first interval and the second interval should be constant.

즉 도 3에 도시된 카메라 장치와 스트로보 장치의 트리거 신호 체계에 의할 때, 볼은 하나의 프레임에서 3개의 이미지를 나타내어야 하고 각각의 볼 이미지 사이의 간격은 스트로보 조명의 주기, 즉 트리거 시간 간격(ts1 및 ts2, 도 3 참조)과 동일한 비율에 의한 간격을 유지하고 있어야 한다.That is, according to the trigger signal system of the camera apparatus and the stroboscopic apparatus shown in FIG. 3, the ball should represent three images in one frame, and the interval between each ball image is a period of strobe illumination, that is, a trigger time interval. (ts1 and ts2, see FIG. 3) should maintain the interval by the same ratio.

따라서 도 11에 도시된 바와 같이 각 이미지 세트(S0, S1)에서 각각의 볼 이미지(11a, 11b, 11c)의 간격 a 및 b 또는 d 및 e는 서로 실질적으로 동일하여야 하고, a와 c 또는 b와 c의 비율은 스트로보 조명의 트리거 시간 간격의 ts1 및 ts2(도 3 참조)의 비율과 실질적으로 동일하여야 한다.Therefore, as shown in FIG. 11, the intervals a and b or d and e of the respective ball images 11a, 11b and 11c in each image set S0 and S1 should be substantially equal to each other, and a and c or b The ratio of and c should be substantially equal to the ratio of ts1 and ts2 (see FIG. 3) of the trigger time interval of strobe illumination.

이와 같이 도 9 및 도 10에 도시된 리스트 중에서 상기한 바와 같은 스트로보 조명의 간격에 대한 룰에 대응되는 조합을 선택한다.In this way, a combination corresponding to the rule for the spacing of the strobe light as described above is selected from the lists shown in FIGS. 9 and 10.

이때 볼 이미지가 유실된 경우에 대해서는 상기한 바와 같은 룰에 따라 누락된 볼 이미지를 복구시킬 수도 있고, 초과된 볼 이미지를 적절하게 삭제시킬 수도 있다.In this case, when the ball image is lost, the missing ball image may be restored or the excess ball image may be appropriately deleted according to the above-described rule.

따라서 스트로보 조명에 관한 룰에 맞게 보정된 리스트 상의 각 이미지의 중심점 좌표를 최종적으로 확정된 볼 이미지의 중심점 좌표로서 확정을 한다.Therefore, the center point coordinates of each image on the list corrected according to the strobe lighting rule are determined as the center point coordinates of the ball image finally determined.

한편, 본 발명에 따른 센싱처리장치 및 방법은 도 2에 도시된 바와 같이 복수개의 카메라 장치가 설치된 경우를 기본으로 할 수 있는데, 이와 같은 경우 도 12에 도시된 바와 같이 서로 다른 카메라 장치에서 취득된 동일한 프레임에 관한 이미지에 대해서는 각각의 볼 이미지에 대해 적절한 번호가 부여되어 서로 매칭될 필요가 있다.Meanwhile, the sensing processing apparatus and method according to the present invention may be based on a case where a plurality of camera apparatuses are installed as shown in FIG. 2, and in this case, acquired by different camera apparatuses as shown in FIG. 12. Images relating to the same frame need to be given appropriate numbers for each ball image and match each other.

즉 도 12에 도시된 바와 같이 제1 카메라에서 취득된 (a) 이미지에서 0 프레임의 이미지 세트(S0-1)는 제2 카메라에서 취득된 (b) 이미지에서 0 프레임의 이미지 세트(S0-2)와 서로 동일하게 대응하여야 하므로 각각의 볼 이미지에 대해 서로 동일한 번호가 부여되도록 라벨링됨이 바람직하다.That is, as shown in FIG. 12, the image set S0-1 of 0 frames in the image (a) acquired by the first camera is the image set S0-2 of frame 0 in the image (b) acquired by the second camera. It is preferable that each ball image is labeled so that the same number is assigned to each ball image.

마찬가지로 1 프레임의 경우 제1 카메라의 S1-1 이미지 세트와 제2 카메라의 S1-2 이미지 세트 각각의 볼 이미지는 서로 동일하게 대응되도록 라벨링됨이 바람직하다. 2 프레임의 경우도 마찬가지로 적용된다.Similarly, in the case of one frame, the ball images of each of the S1-1 image set of the first camera and the S1-2 image set of the second camera are preferably labeled to correspond to each other. The same applies to the case of two frames.

따라서 복수개의 카메라 장치가 사용되는 경우 동일한 프레임 상에 존재하는 동일한 볼 이미지는 복수개의 카메라 장치 각각이 서로 동일하게 인식할 수 있어 같은 볼에 대한 동일한 이미지에 대해 서로 다르게 판단하는 등의 오류를 방지할 수 있고 정확한 중심점 좌표 추출이 가능하게 된다.Therefore, when a plurality of camera apparatuses are used, the same ball image existing on the same frame may be recognized by each of the plurality of camera apparatuses to prevent each other from differently judging the same image of the same ball. And accurate center point coordinate extraction is possible.

따라서 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득된 낮은 품질의 이미지를 이용함에도 불구하고 볼에 대한 중심점 좌표를 정확하게 추출할 수 있다.Therefore, despite using a low quality image acquired by a low resolution low speed camera device and a stroboscopic device, the center point coordinates of the ball can be accurately extracted.

이와 같이 최종적으로 확정된 각각의 볼의 중심점 좌표는 소정의 툴(Tool)에 의해 3차원 좌표로 변환되고 이를 기초로 시뮬레이션 될 볼의 운동 궤적의 물리적 정보가 산출된다.The center point coordinates of each ball finally determined as described above are converted into three-dimensional coordinates by a predetermined tool, and physical information of the motion trajectory of the ball to be simulated is calculated based on the tool.

한편, 도 13을 참조하여 본 발명의 일 실시예에 따른 오브젝트 운동 센싱방법에 관한 플로우 차트에 관하여 설명한다.On the other hand, with reference to Figure 13 will be described in the flow chart of the object motion sensing method according to an embodiment of the present invention.

먼저 신호발생부에 의해 트리거 신호가 인가되어 카메라 장치와 스트로보 장치가 각각 소정의 주기로 오브젝트의 운동상태에 관하여 다중 노출 이미지를 취득한다(S10).First, a trigger signal is applied by the signal generator so that the camera apparatus and the stroboscopic apparatus acquire multiple exposure images with respect to the motion state of the object at predetermined cycles (S10).

그리고 취득된 다중 노출 이미지에 대해 배경이미지 및 각종 노이즈를 제거하기 위한 여러 가지 이미지 전처리 단계가 진행된다(S20).In operation S20, various image preprocessing steps are performed to remove a background image and various noises of the acquired multiple exposure image.

그리고 전처리 된 이미지에서 볼 이미지를 추출하고(S30), 추출된 볼 이미지 각각에 대한 중심점을 추출한다(S40).The ball image is extracted from the preprocessed image (S30), and a center point for each of the extracted ball images is extracted (S40).

그리고 상기한 바와 같이 중심점이 추출된 각각의 볼 이미지를 프레임별로 분류한다(S50).As described above, each ball image extracted from the center point is classified for each frame (S50).

분류된 각각의 프레임에서 볼 이미지의 개수가 스트로보 조명의 횟수에 대응하는 경우도 있고 대응하지 않는 경우도 있을 수 있다.The number of images to be viewed in each classified frame may or may not correspond to the number of strobe lights.

이 중에서 볼 이미지의 개수가 스트로보 조명의 횟수에 대응하지 않는 경우, 상기 스트로보 조명의 횟수에 대응되도록 하는 볼 이미지의 모든 조합을 포함하도록 리스트를 생성한다(S60).If the number of ball images does not correspond to the number of strobe lights, the list is generated to include all combinations of the ball images to correspond to the number of strobe lights (S60).

그리고 상기 생성된 리스트에서 각 프레임별로 스트로보 조명의 간격 비율에 대응되는 조합을 선택함으로써 각 프레임별로 볼 이미지의 누락이 있는 경우 누락된 부분을 복구하고 각 프레임별로 다른 이미지가 끼어있는 경우 초과된 이미지를 적절히 삭제한다(S80).By selecting a combination corresponding to the spacing ratio of the strobe light for each frame in the generated list, if there is a missing image to be seen for each frame, the missing portion is recovered, and if the other image is jammed for each frame, the excess image is taken. Delete appropriately (S80).

상기한 바와 같은 과정에 의해 볼 이미지의 최종 중심점이 확정되는데, 이때 두 대 이상의 카메라 장치에서 각각 다중 노출 이미지가 취득되는 경우, 상기한 바와 같은 일련의 과정들은 각각의 카메라 장치에서 취득된 다중 노출 이미지에 대해 이루어지며 각각의 카메라 장치에서 동일한 장면에 대해 취득된 동일한 이미지에 대해서는 상기 중심점이 추출된 각각의 볼 이미지에 대해 적절히 라벨링(Labelling) 함으로써 각각의 카메라 장치에서 취득된 이미지에 대해 서로 매칭시킬 수 있다.The final center point of the image to be viewed is determined by the process as described above. In the case where multiple exposure images are acquired in each of two or more camera devices, the series of processes as described above are performed by the multiple exposure images acquired in each camera device. For the same image acquired for the same scene in each camera device, the center point can be matched with each other for the image acquired in each camera device by appropriately labeling each ball image from which the center point is extracted. have.

상기한 바와 같이 볼 이미지의 라벨링 과정과 이를 통한 각 이미지의 매칭 과정이 완료되면 최종적으로 볼의 중심점 좌표가 확정이 된다(S90).As described above, when the labeling process of the ball image and the matching process of each image are completed, the coordinates of the center point of the ball are finally determined (S90).

10:골프공, 20:스윙플레이트
30:타격매트, 40:스크린
100:시뮬레이터, 110:데이터베이스
120:영상처리부, 130:영상출력부
210:신호발생부, 220:센싱처리부
310, 320:카메라 장치, 330:스트로보 장치10: golf ball, 20: swing plate
30: hit mat, 40: screen
100: simulator, 110: database
120: image processing unit, 130: image output unit
210: signal generator, 220: sensing processor
310, 320: camera unit, 330: strobe unit

Claims (16)

운동하는 볼에 대한 스트로보 조명에 의한 복수 프레임의 다중 노출 이미지를 통한 센싱처리장치에 있어서,
상기 다중 노출 이미지에서 볼 이미지로서 추출된 각각의 이미지에 대해 소정 단위로 분류하여 리스트를 생성하는 리스트 생성수단; 및
상기 생성된 리스트에 대해 상기 스트로보 조명의 간격 비율에 대응되도록 보정하는 리스트 보정수단;
을 포함하는 센싱처리장치.In the sensing processing apparatus through multiple exposure image of a plurality of frames by strobe illumination for a moving ball,
List generating means for generating a list by classifying each image extracted as a ball image from the multiple exposure image in a predetermined unit; And
List correction means for correcting the generated list so as to correspond to an interval ratio of the strobe illumination;
Sensing processing device comprising a. 제1항에 있어서,
상기 다중 노출 이미지에서 볼 이미지로서 추정되는 각각의 이미지에 대한 중심점을 추출하는 중심점 추출수단을 더 포함하며,
상기 리스트 생성수단은 상기 중심점이 추출된 각각의 이미지에 대해 상기 리스트를 생성하도록 구성되는 것을 특징으로 하는 센싱처리장치.The method of claim 1,
A center point extracting means for extracting a center point for each image estimated as a ball image in the multiple exposure image,
And the list generating means is configured to generate the list for each image from which the center point is extracted. 제2항에 있어서,
상기 리스트 생성수단은, 상기 중심점이 추출된 각각의 이미지를 상기 각 프레임별로 분류하여 상기 리스트를 생성하도록 구성되며,
상기 리스트 보정수단은, 각 프레임당 상기 스트로보 조명의 간격 비율에 대응되도록 상기 생성된 리스트를 보정하도록 구성되는 것을 특징으로 하는 센싱처리장치.The method of claim 2,
The list generating means is configured to generate the list by classifying each image from which the center point is extracted for each frame.
And the list correction means is configured to correct the generated list so as to correspond to an interval ratio of the strobe illumination per frame. 제3항에 있어서, 상기 리스트 생성수단은,
각 프레임별 상기 중심점이 추출된 이미지의 개수가 상기 각 프레임당 스트로보 조명의 횟수에 대응되도록 하는 모든 경우의 조합을 포함하는 리스트를 생성하도록 구성되는 것을 특징으로 하는 센싱처리장치.The method of claim 3, wherein the list generating means,
And generating a list including a combination of all cases in which the number of the extracted center points of each frame corresponds to the number of strobe illuminations per each frame. 제4항에 있어서, 상기 리스트 보정수단은,
상기 리스트로부터 상기 각 프레임별 스트로보 조명의 간격 비율에 대응되는 조합을 선택하여 누락된 이미지를 복구하거나 초과된 이미지를 삭제하도록 하는 이미지 복구수단을 더 포함하는 것을 특징으로 하는 센싱처리장치.The method of claim 4, wherein the list correction means,
And image recovery means for selecting a combination corresponding to the spacing ratio of the strobe illumination for each frame from the list to recover the missing image or to delete the excess image. 제2항에 있어서,
상기 다중 노출 이미지는 복수개의 카메라 장치에 의해 각각 복수 프레임씩 취득되며,
상기 리스트 생성수단에 의해 생성된 리스트 또는 상기 리스트 보정수단에 의해 보정된 리스트 상의 각각의 이미지에 대해 소정의 번호를 부여하여 라벨링하며 각각의 카메라 장치에서 취득한 동일한 이미지에 대해 상기 라벨링된 각각의 이미지를 매칭시키는 라벨링 수단을 더 포함하는 것을 특징으로 하는 센싱처리장치.The method of claim 2,
The multiple exposure image is acquired by a plurality of camera apparatuses each by a plurality of frames,
Each image on the list generated by the list generating means or the list corrected by the list correcting means is assigned with a predetermined number and labeled, and each labeled image is labeled with respect to the same image acquired by each camera apparatus. Sensing processing apparatus further comprises a labeling means for matching. 스트로보 조명 하에 복수개의 카메라 장치 각각에 의해 취득되는 운동하는 볼에 대한 복수 프레임의 다중 노출 이미지를 통한 센싱처리장치에 있어서,
상기 다중 노출 이미지에서 볼 이미지로서 추출된 각각의 이미지에 대해 상기 프레임별로 분류하여 리스트를 생성하는 리스트 생성수단; 및
상기 리스트상의 각각의 이미지에 대해 소정의 번호를 부여하여 라벨링하며 각각의 카메라 장치에서 취득한 동일한 이미지에 대해 상기 라벨링된 각각의 이미지를 매칭시키는 라벨링 수단;
을 포함하는 센싱처리장치.In the sensing processing apparatus through multiple exposure images of a plurality of frames for a moving ball obtained by each of a plurality of camera apparatus under strobe illumination,
List generating means for generating a list by classifying each image extracted as a ball image from the multiple exposure image for each frame; And
Labeling means for labeling each image on the list by assigning a predetermined number and matching each labeled image with the same image acquired by each camera apparatus;
Sensing processing device comprising a. 제7항에 있어서,
상기 리스트 생성수단에 의해 생성된 리스트에 대해 상기 스트로보 조명의 간격 비율에 대응되도록 보정하는 리스트 보정수단을 더 포함하는 것을 특징으로 하는 센싱처리장치.The method of claim 7, wherein
And a list correcting means for correcting the list generated by the list generating means so as to correspond to an interval ratio of the strobe illumination. 제8항에 있어서,
상기 리스트 생성수단은, 각 프레임별로 상기 라벨링된 이미지의 개수가 상기 각 프레임당 스트로보 조명의 횟수에 대응되도록 하는 모든 경우의 조합을 포함하는 리스트를 생성하도록 구성되며,
상기 리스트 보정수단은, 상기 각 프레임당 스트로보 조명의 간격 비율에 대응되도록 상기 생성된 리스트상의 이미지를 보정하도록 구성되는 것을 특징으로 하는 센싱처리장치.The method of claim 8,
The list generating means is configured to generate a list including a combination of all cases in which the number of the labeled images for each frame corresponds to the number of strobe lights per frame,
And the list correcting means is configured to correct an image on the generated list so as to correspond to an interval ratio of strobe illumination per frame. 운동하는 볼에 대한 스트로보 조명에 의한 복수 프레임의 다중 노출 이미지를 통한 센싱처리방법에 있어서,
상기 다중 노출 이미지에서 볼 이미지로서 추출된 각각의 이미지에 대해 소정 단위로 분류하여 리스트를 생성하는 단계; 및
상기 생성된 리스트에 대해 상기 스트로보 조명의 간격 비율에 대응되도록 보정하는 단계;
를 포함하는 센싱처리방법.In the sensing processing method through a multi-exposure image of a plurality of frames by stroboscopic illumination of a moving ball,
Generating a list by classifying each image extracted as a ball image from the multiple exposure image by a predetermined unit; And
Correcting the generated list to correspond to an interval ratio of the strobe illumination;
Sensing processing method comprising a. 제10항에 있어서,
상기 리스트를 생성하는 단계는, 상기 다중 노출 이미지에서 볼 이미지로서 추정되는 이미지를 추출하는 단계와, 상기 추정된 볼 이미지 각각의 중심점을 추출하는 단계를 포함하여,
상기 중심점이 추출된 각각의 이미지에 대해 상기 리스트가 생성되도록 한 것을 특징으로 하는 센싱처리방법.The method of claim 10,
The generating of the list may include extracting an image estimated as a ball image from the multiple exposure image, and extracting a center point of each of the estimated ball images.
And a list is generated for each image from which the center point is extracted. 제11항에 있어서, 상기 리스트를 생성하는 단계는,
상기 중심점이 추출된 각각의 이미지에 대해 각 프레임별로 분류하는 단계와,
상기 각 프레임별 분류된 이미지의 개수가 상기 각 프레임당 스트로보 조명의 횟수보다 작은 경우, 상기 각 프레임별 분류된 이미지에서 누락된 이미지가 포함되는 모든 경우의 조합에 관한 누락 리스트를 생성하는 단계와,
상기 각 프레임별 분류된 이미지의 개수가 상기 각 프레임당 스트로보 조명의 횟수보다 많은 경우, 상기 각 프레임별 분류된 이미지에서 초과된 이미지가 제외되는 모든 경우의 조합에 관한 초과 리스트를 생성하는 단계를 포함하는 것을 특징으로 하는 센싱처리방법.The method of claim 11, wherein generating the list comprises:
Classifying each center for each image from which the center point is extracted;
When the number of images classified by each frame is less than the number of strobe illuminations by each frame, generating a missing list regarding all combinations of missing images in the classified images by each frame;
If the number of images classified for each frame is greater than the number of strobe illuminations for each frame, generating an excess list of combinations of all cases in which excess images are excluded from the images classified for each frame. Sensing processing method characterized in that. 제12항에 있어서, 상기 보정하는 단계는,
상기 리스트에서 각각의 분류된 이미지의 중심점 사이의 간격 비율이 상기 스트로보 조명의 간격 비율에 대응되는 이미지를 선택하는 단계를 포함하는 것을 특징으로 하는 센싱처리방법.The method of claim 12, wherein the correcting step,
Selecting an image in which the interval ratio between the center points of each classified image corresponds to the interval ratio of the strobe illumination. 제12항에 있어서, 상기 보정하는 단계는,
상기 누락 리스트에서 상기 스트로보 조명의 간격 비율에 대응되는 조합을 선택하여 누락된 이미지를 복구하는 단계와,
상기 초과 리스트에서 상기 스트로보 조명의 간격 비율에 대응되는 조합을 선택하여 초과된 이미지를 삭제하는 단계를 포함하는 것을 특징으로 하는 센싱처리방법.The method of claim 12, wherein the correcting step,
Recovering the missing image by selecting a combination corresponding to the spacing ratio of the strobe lights from the missing list;
And selecting a combination corresponding to the interval ratio of the strobe illumination from the excess list and deleting the excess image. 제10항에 있어서,
상기 다중 노출 이미지는 복수개의 카메라 장치에 의해 각각 복수 프레임씩 취득되며,
상기 생성된 리스트 또는 상기 보정된 리스트 상의 각각의 이미지에 대해 소정의 번호를 부여하여 라벨링하는 단계와,
상기 각각의 카메라 장치에서 취득한 동일한 이미지에 대해 상기 라벨링된 각각의 이미지를 매칭시키는 단계를 더 포함하는 것을 특징으로 하는 센싱처리방법.The method of claim 10,
The multiple exposure image is acquired by a plurality of camera apparatuses each by a plurality of frames,
Labeling a given number for each image on the generated list or the corrected list;
And matching each of the labeled images with respect to the same image acquired by the respective camera apparatus. 골퍼에 의해 타격되어 운동하는 골프공에 대한 복수 프레임의 다중 노출 이미지를 취득하는 카메라 장치 및 스트로보 장치를 포함하는 센서부;
상기 다중 노출 이미지에서 볼 이미지로서 추정되는 각각의 이미지에 대한 중심점을 추출하는 중심점 추출수단과, 상기 중심점이 추출된 각각의 이미지에 대해 각 프레임 단위로 분류하여 리스트를 생성하는 리스트 생성수단과, 상기 생성된 리스트에 대해 상기 스트로보 조명의 간격 비율에 대응되도록 보정하는 리스트 보정수단을 포함하는 센싱처리부;
상기 센싱처리부에서 결정된 중심점의 좌표를 3차원 좌표로 변환시키는 컨버팅부; 및
상기 3차원 좌표를 기초로 운동하는 골프공에 관한 물리 정보를 계산함으로써 골프공의 궤적을 시뮬레이션하는 시뮬레이터;
를 포함하는 가상 골프 시뮬레이션 장치.A sensor unit including a camera device and a strobe device for acquiring a multiple exposure image of a plurality of frames of a golf ball hit by a golfer and moving;
A center point extracting means for extracting a center point for each image estimated as a ball image in the multiple exposure image, list generating means for generating a list by classifying each center extracted image in each frame unit; A sensing processor including a list correction means for correcting the generated list so as to correspond to an interval ratio of the strobe illumination;
A converting unit converting the coordinates of the center point determined by the sensing processing unit into three-dimensional coordinates; And
A simulator for simulating a trajectory of a golf ball by calculating physical information about a golf ball moving based on the three-dimensional coordinates;
Virtual golf simulation device comprising a.

Images