KR102431863B1 - Wearable device for putting guide using augmented reality and method therefor - Google Patents
Wearable device for putting guide using augmented reality and method therefor Download PDFInfo
- Publication number
- KR102431863B1 KR102431863B1 KR1020200133480A KR20200133480A KR102431863B1 KR 102431863 B1 KR102431863 B1 KR 102431863B1 KR 1020200133480 A KR1020200133480 A KR 1020200133480A KR 20200133480 A KR20200133480 A KR 20200133480A KR 102431863 B1 KR102431863 B1 KR 102431863B1
- Authority
- KR
- South Korea
- Prior art keywords
- putting
- unit
- user
- golf ball
- mark
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/36—Training appliances or apparatus for special sports for golf
- A63B69/3608—Attachments on the body, e.g. for measuring, aligning, restraining
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/36—Training appliances or apparatus for special sports for golf
- A63B69/3667—Golf stance aids, e.g. means for positioning a golfer's feet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/36—Training appliances or apparatus for special sports for golf
- A63B69/3676—Training appliances or apparatus for special sports for golf for putting
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0636—3D visualisation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/0658—Position or arrangement of display
- A63B2071/0661—Position or arrangement of display arranged on the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B2071/0694—Visual indication, e.g. Indicia
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
증강현실을 이용한 퍼팅 가이드를 위한 웨어러블 장치가 제공된다. 웨어러블장치는 사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세를 가이드하기 위한 가이드 정보를 저장하는 저장부와, 증강 영상을 영사하기 위한 영사부와, 촬영을 위한 카메라부와, 상기 카메라부가 촬영한 영상에서 홀컵 및 골프공을 식별하는 식별부와, 상기 홀컵의 위치, 상기 골프공의 위치 및 상기 홀컵과 상기 골프공 사이의 그린의 경사 방향 및 정도에 따라 퍼팅 라인을 도출하는 퍼팅라인검출부와, 상기 골프공의 위치 및 상기 퍼팅 라인을 기준으로 모범 어드레스 자세를 가이드하기 위한 복수의 증강영상을 생성하고, 생성한 증강영상을 상기 영사부를 통해 영사하는 퍼팅자세보조부를 포함한다. A wearable device for a putting guide using augmented reality is provided. The wearable device includes a storage unit for storing guide information for guiding a model address posture derived based on the user's body size, golf ball position, and stroke line, a projection unit for projecting an augmented image, and a camera unit for shooting and an identification unit for identifying a hole cup and a golf ball in the image taken by the camera unit, and a putting line according to the position of the hole cup, the position of the golf ball, and the inclination direction and degree of the green between the hole cup and the golf ball A putting line detection unit for deriving, and a putting posture auxiliary unit for generating a plurality of augmented images for guiding a model address posture based on the position of the golf ball and the putting line, and projecting the generated augmented image through the projection unit do.
Description
본 발명은 퍼팅 가이드 기술에 관한 것으로, 보다 상세하게는, 증강현실(AR: augmented reality)을 이용한 퍼팅 가이드를 위한 웨어러블 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to a putting guide technology, and more particularly, to a wearable device for a putting guide using augmented reality (AR) and a method therefor.
일반적으로 골프 경기는 티박스에서 그린까지 골프공을 타격하여 그린의 홀컵에 골프공을 넣는 프로세스를 갖는 경기이다. 특히, 그린에서 이루어지는 퍼팅의 경우에는 그린 상의 라인 혹은 브레이크 등의 그린 상태를 정확히 파악하여 정확한 힘과 방향 등으로 퍼팅해야 하므로 골프 경기를 함에 있어서 매우 까다롭고 힘든 부분이기도 하다. In general, a golf game is a game having a process of hitting a golf ball from a tee box to the green and putting the golf ball into the hole cup of the green. In particular, in the case of putting on the green, it is very difficult and difficult to play golf because it is necessary to accurately grasp the condition of the green such as the line or break on the green and putt with the correct force and direction.
웨어러블 장치(wearable device)는 안경, 시계, 의복 등과 같이 착용할 수 있는 형태로 된 컴퓨터를 뜻한다. 궁극적으로는 사용자가 거부감 없이 신체의 일부처럼 항상 착용하고 사용할 수 있으며 인간의 능력을 보완하거나 배가시키는 것이 목표이다. 기본 기능들로는 언제 어디서나, 쉽게 사용할 수 있고, 착용하여 사용하기에 편하며, 안전하고 보기 좋은 특성이 요구된다. A wearable device refers to a computer in a wearable form, such as glasses, a watch, and clothes. Ultimately, users can always wear and use it as a part of the body without objection, and the goal is to complement or multiply human capabilities. Basic functions are required to be easy to use anytime, anywhere, comfortable to wear and use, and to be safe and good looking.
이는 단순히 액세서리처럼 전자기기를 몸에 착용하는 것이 아니라, 사용자 신체의 가장 가까운 위치에서 사용자와 소통할 수 있는 전자기기이다. 웨어러블 디바이스의 장점은 주변 환경에 대한 상세 정보나 개인의 신체 변화를 실시간으로 끊이지 않고 지속적으로 수집할 수 있다는 것이다. 예를 들어 스마트 안경의 경우 눈에 보이는 주변의 모든 정보의 기록이 가능하며 스마트 속옷은 체온, 심장박동과 같은 생체신호를 꾸준히 수집할 수 있다. This is not simply an electronic device worn on the body like an accessory, but an electronic device that can communicate with the user from the closest location of the user's body. The advantage of wearable devices is that they can continuously and continuously collect detailed information about the surrounding environment or changes in an individual's body in real time. For example, in the case of smart glasses, it is possible to record all information in the visible surroundings, and smart underwear can continuously collect bio-signals such as body temperature and heartbeat.
웨어러블 디바이스는 다양한 영역의 다양한 사업자들에게 새로운 사업 분야로 선택받고 있다. 액세서리형에서 시작하여 직물, 의류 일체형, 신체부착형, 그리고 궁극적인 목표인 생체이식형으로, 신체에 근접하는 방향으로 발전해 나갈 전망이다. 하지만 장시간 사용할 수 있도록 저전력 기술, 착용감을 향상시킬 수 있도록 초소형, 유연/신축 전자 기술 등의 개발이 더욱 절실히 요구되며, 착용 컴퓨터가 양산하는 다양한 문제들에 대한 대비책도 마련되어야 할 것이다. Wearable devices are being chosen as a new business field by various operators in various fields. It is expected to develop in a direction closer to the body, starting from an accessory type, to a fabric, an integrated clothing type, a body attachment type, and an ultimate goal, a bioimplant type. However, the development of low-power technology for long-term use and ultra-small, flexible/stretchable electronic technology to improve wearing comfort is more urgently required, and countermeasures against various problems mass-produced by wearable computers should be prepared.
본 발명의 목적은 퍼팅 시 증강 현실을 이용하여 안정적인 어드레스 자세에서 퍼팅을 수행할 수 있도록 가이드하기 위한 웨어러블 장치 및 이를 위한 방법을 제공함에 있다. It is an object of the present invention to provide a wearable device for guiding to perform putting in a stable address posture using augmented reality during putting and a method therefor.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 증강현실을 이용한 퍼팅 가이드를 위한 웨어러블 장치는 사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세를 가이드하기 위한 가이드 정보를 저장하는 저장부와, 증강 영상을 영사하기 위한 영사부와, 촬영을 위한 카메라부와, 상기 카메라부가 촬영한 영상에서 홀컵 및 골프공을 식별하는 식별부와, 상기 홀컵의 위치, 상기 골프공의 위치 및 상기 홀컵과 상기 골프공 사이의 그린의 경사 방향 및 정도에 따라 퍼팅 라인을 도출하는 퍼팅라인검출부와, 상기 골프공의 위치 및 상기 퍼팅 라인을 기준으로 모범 어드레스 자세를 가이드하기 위한 복수의 증강영상을 생성하고, 생성한 증강영상을 상기 영사부를 통해 영사하는 퍼팅자세보조부를 포함한다. A wearable device for a putting guide using augmented reality according to a preferred embodiment of the present invention for achieving the object as described above guides the model address posture derived based on the user's body size, the position of the golf ball, and the stroke line. A storage unit for storing guide information for, a projection unit for projecting an augmented image, a camera unit for shooting, an identification unit for identifying a hole cup and a golf ball from the image taken by the camera unit, the position of the hole cup, A putting line detection unit for deriving a putting line according to the position of the golf ball and the inclination direction and degree of the green between the hole cup and the golf ball, and a model address posture based on the position of the golf ball and the putting line to guide It generates a plurality of augmented images for, and includes a putting posture assisting unit for projecting the generated augmented image through the projection unit.
상기 가이드 정보는 사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세에서 발의 위치를 포함하며, 상기 퍼팅자세보조부는 상기 발의 위치를 나타내는 스탠스마크를 포함하는 증강영상을 생성하고, 상기 스탠스마크를 포함하는 증강영상을 상기 영사부를 통해 영사하는 것을 특징으로 한다. The guide information includes the position of the foot in the model address posture derived based on the user's body size, the position of the golf ball, and the stroke line, and the putting posture assisting unit generates an augmented image including a stance mark indicating the position of the foot And, characterized in that for projecting the augmented image including the stance mark through the projection unit.
상기 가이드 정보는 사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세에서 퍼터 헤드의 위치를 더 포함하며, 상기 퍼팅자세보조부는 상기 스탠스마크에 사용자의 발이 기 설정된 면적 이상 중첩되면, 상기 퍼터 헤드의 위치를 나타내는 퍼터헤드마크를 포함하는 증강영상을 생성하고, 상기 퍼터헤드마크를 포함하는 증강영상을 상기 영사부를 통해 영사하는 것을 특징으로 한다. The guide information further includes the position of the putter head in the model address posture derived based on the user's body size, the position of the golf ball, and the stroke line, and the putting posture assisting unit is more than a preset area of the user's foot in the stance mark. When overlapped, an augmented image including a putter head mark indicating the position of the putter head is generated, and the augmented image including the putter head mark is projected through the projection unit.
상기 가이드 정보는 사용자의 신체 사이즈, 골프공의 위치, 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세에서 사용자의 시선이 골프공을 지면에 수직으로 바라볼 때, 골프공과 사용자가 착용한 가이드장치의 소정의 기준점까지의 거리를 더 포함하며, 상기 퍼팅자세보조부는 상기 스탠스마크에 사용자의 발이 기 설정된 면적 이상 중첩되고, 상기 퍼터헤드마크에 퍼터 헤드가 기 설정된 면적 이상 중첩되면, 사용자의 시선을 가이드 하는 시선 가이드 마크 및 사용자의 시선의 위치를 트래킹하는 시선 트래킹 마크를 포함하는 증강 영상을 생성하고, 상기 시선 가이드 마크 및 상기 시선 트래킹 마크를 포함하는 증강영상을 상기 영사부를 통해 영사하는 것을 특징으로 한다. When the user's gaze looks at the golf ball perpendicular to the ground in the model address posture derived based on the user's body size, the position of the golf ball, and the stroke line, the guide information is a predetermined value of the golf ball and the guide device worn by the user. Further comprising a distance to the reference point of, the putting posture assisting unit overlaps the stance mark by more than a preset area, and when the putter head overlaps the putter head mark by more than a preset area, guides the user's gaze An augmented image including a gaze guide mark and a gaze tracking mark for tracking the position of the user's gaze is generated, and the augmented image including the gaze guide mark and the gaze tracking mark is projected through the projection unit.
상기 가이드 정보는 사용자가 선택한 스트로크 라인을 더 포함하며, 상기 퍼팅자세보조부는 상기 스탠스마크에 사용자의 발이 기 설정된 면적 이상 중첩되고, 상기 퍼터헤드마크에 퍼터 헤드가 기 설정된 면적 이상 중첩되면, 사용자가 선택한 스트로크 라인에 따라 사용자가 퍼터의 그립 부분을 잡았을 때 사용자의 손이 시작되는 그립 시작 부분으로부터 연장되는 어깨선가이드라인을 포함하는 증강 영상을 생성하고, 상기 어깨선가이드라인을 포함하는 증강영상을 상기 영사부를 통해 영사하는 것을 특징으로 한다. The guide information further includes a stroke line selected by the user, and the putting posture assisting unit overlaps the stance mark by more than a preset area, and when the putter head overlaps the putter head mark by a preset area or more, the user When the user grasps the grip portion of the putter according to the selected stroke line, an augmented image including a shoulder line guideline extending from a grip start portion where the user's hand starts is generated, and the augmented image including the shoulder line guideline is generated by the projection unit It is characterized by projecting through.
상기 장치는 퍼팅 시 백 스로우 및 팔로우 스로우 각각의 말단을 나타내는 백스로우마크 및 팔로우스로우마크를 포함하는 증강영상을 생성하고, 생성된 증강영상을 영사부를 통해 영사하는 스트로크보조부를 더 포함한다. The apparatus further includes a stroke assist unit for generating an augmented image including a back-throw mark and a follow-through mark indicating the ends of each of the back-throw and follow-throw when putting, and projecting the generated augmented image through the projection unit.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 웨어러블 장치의 증강현실을 이용한 퍼팅 가이드를 위한 방법은 퍼팅라인검출부가 상기 홀컵의 위치, 상기 골프공의 위치 및 상기 홀컵과 상기 골프공 사이의 그린의 경사 방향 및 정도에 따라 퍼팅 라인을 도출하는 단계와, 퍼팅자세보조부가 상기 골프공의 위치 및 상기 퍼팅 라인을 기준으로 모범 어드레스 자세를 가이드하기 위한 복수의 증강영상을 생성하여 생성한 증강영상을 영사하는 단계를 포함한다. In a method for a putting guide using augmented reality of a wearable device according to a preferred embodiment of the present invention for achieving the object as described above, the putting line detection unit is the position of the hole cup, the position of the golf ball, and the hole cup and the golf The step of deriving a putting line according to the inclination direction and degree of the green between the balls, and the putting posture assisting unit generates and generates a plurality of augmented images for guiding a model address posture based on the position of the golf ball and the putting line and projecting an augmented image.
상기 증강영상을 영사하는 단계는 상기 퍼팅자세보조부가 사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세에서 발의 위치를 나타내는 스탠스마크를 도출하고, 상기 스탠스마크를 포함하는 증강영상을 상기 영사부를 통해 영사하는 단계를 포함한다. In the step of projecting the augmented image, the putting posture assist unit derives a stance mark indicating the position of the foot in an exemplary address posture derived based on the user's body size, the position of the golf ball, and the stroke line, and the stance mark includes and projecting the augmented image through the projection unit.
상기 증강영상을 영사하는 단계는 상기 스탠스마크에 사용자의 발이 기 설정된 면적 이상 중첩되면, 상기 퍼팅자세보조부가 사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세에서 퍼터 헤드의 위치를 나타내는 퍼터헤드마크를 도출하고, 상기 퍼터헤드마크를 포함하는 증강영상을 영사하는 단계를 더 포함한다. In the step of projecting the augmented image, when the user's foot overlaps the stance mark by more than a preset area, the putting posture assisting unit is a putter head in a model address posture derived based on the user's body size, golf ball position, and stroke line. Deriving a putter head mark indicating the position of, further comprising the step of projecting an augmented image including the putter head mark.
상기 증강영상을 영사하는 단계는 상기 스탠스마크에 사용자의 발이 기 설정된 면적 이상 중첩되고, 상기 퍼터헤드마크에 퍼터 헤드가 기 설정된 면적 이상 중첩되면, 상기 퍼팅자세보조부가 사용자의 신체 사이즈, 골프공의 위치, 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세에서 사용자의 시선이 골프공을 지면에 수직으로 바라볼 때, 골프공과 사용자가 착용한 가이드장치의 소정의 기준점까지의 거리를 기초로 사용자의 시선을 가이드 하는 시선 가이드 마크 및 사용자의 시선의 위치를 트래킹하는 시선 트래킹 마크를 포함하는 증강 영상을 생성하고, 상기 시선 가이드 마크 및 상기 시선 트래킹 마크를 포함하는 증강영상을 영사하는 단계를 더 포함한다. In the step of projecting the augmented image, when the user's foot overlaps the stance mark by more than a preset area, and when the putter head overlaps the putter head mark by more than a preset area, the putting posture assisting unit includes the user's body size, golf ball When the user's gaze looks at the golf ball perpendicular to the ground in the model address posture derived based on the position and stroke line, the user's gaze is determined based on the distance between the golf ball and the predetermined reference point of the guide device worn by the user. The method further includes generating an augmented image including a gaze guide mark for guiding and a gaze tracking mark for tracking the position of the user's gaze, and projecting the augmented image including the gaze guide mark and the gaze tracking mark.
상기 증강영상을 영사하는 단계는 상기 스탠스마크에 사용자의 발이 기 설정된 면적 이상 중첩되고, 상기 퍼터헤드마크에 퍼터 헤드가 기 설정된 면적 이상 중첩되면, 상기 퍼팅자세보조부가 사용자가 선택한 스트로크 라인에 따라 사용자가 퍼터의 그립 부분을 잡았을 때 사용자의 손이 시작되는 그립 시작 부분으로부터 연장되는 어깨선가이드라인을 포함하는 증강 영상을 생성하고, 상기 어깨선가이드라인을 포함하는 증강영상을 영사하는 단계를 더 포함한다. In the step of projecting the augmented image, when the user's foot overlaps the stance mark by more than a preset area, and the putter head overlaps the putter head mark by more than a preset area, the putting posture assisting unit according to the stroke line selected by the user The method further includes generating an augmented image including a shoulder line guide line extending from a grip start portion where the user's hand starts when holding the grip portion of the putter, and projecting the augmented image including the shoulder line guide line.
상기 방법은 스트로크보조부가 퍼팅 시 백 스로우 및 팔로우 스로우 각각의 말단을 나타내는 백스로우마크 및 팔로우스로우마크를 포함하는 증강영상을 생성하고, 생성된 증강영상을 영사하는 단계를 더 포함한다. The method further includes the step of generating an augmented image including the back-throw mark and the follow-through mark indicating the respective ends of the back-throw and follow-throw when the stroke assist unit is putting, and projecting the generated augmented image.
본 발명에 따르면, 퍼팅 시 증강 현실을 이용하여 안정적인 자세를 가지도록 가이드 함으로써 사용자의 퍼팅 실력 향상에 기여한다. According to the present invention, by guiding to have a stable posture using augmented reality when putting, it contributes to the improvement of the user's putting ability.
도 1은 본 발명의 실시예에 따른 증강현실을 이용한 골프 스윙 및 퍼팅 자세 가이드를 위한 웨어러블 장치가 사용되는 환경을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 증강현실을 이용한 골프 스윙 및 퍼팅 자세 가이드를 위한 웨어러블 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 증강현실을 이용한 골프 스윙 및 퍼팅 자세 가이드를 위한 웨어러블 장치의 제어부의 세부 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 식별모델의 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 식별모델의 객체 식별 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 증강현실을 이용한 퍼팅 가이드를 위한 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 그린을 분석하는 방법을 설명하기 위한 화면 예이다.
도 8은 본 발명의 실시예에 따른 퍼팅 라인을 도출하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 퍼팅 라인을 도출하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 퍼터 헤드의 위치를 가이드하기 위한 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 스트로크 라인을 가이드하기 위한 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 스트로크 라인의 종류에 따른 자세를 가이드하기 위한 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 안정적인 어드레스 자세를 가이드하기 위한 방법을 설명하기 위한 측면도이다.
도 14는 본 발명의 실시예에 따른 안정적인 어드레스 자세를 가이드하기 위한 시선 교정 방법을 설명하기 위한 평면도이다.
도 15는 본 발명의 실시예에 따른 안정적인 어드레스 자세를 가이드하기 위한 시선 교정을 완료한 상태의 도면이다.
도 16은 본 발명의 실시예에 따른 백 스로우 및 팔로우 스로우를 가이드하기 위한 방법을 설명하기 위한 도면이다. 1 is a view for explaining an environment in which a wearable device for a golf swing and putting posture guide using augmented reality according to an embodiment of the present invention is used.
2 is a block diagram for explaining the configuration of a wearable device for a golf swing and putting posture guide using augmented reality according to an embodiment of the present invention.
3 is a block diagram for explaining a detailed configuration of a control unit of a wearable device for a golf swing and putting posture guide using augmented reality according to an embodiment of the present invention.
4 is a view for explaining the configuration of an identification model according to an embodiment of the present invention.
5 is a diagram for explaining an object identification method of an identification model according to an embodiment of the present invention.
6 is a flowchart for explaining a method for a putting guide using augmented reality according to an embodiment of the present invention.
7 is a screen example for explaining a method of analyzing a green according to an embodiment of the present invention.
8 is a view for explaining a method of deriving a putting line according to an embodiment of the present invention.
9 is a view for explaining a method of deriving a putting line according to an embodiment of the present invention.
10 is a view for explaining a method for guiding the position of the putter head according to an embodiment of the present invention.
11 is a view for explaining a method for guiding a stroke line according to an embodiment of the present invention.
12 is a view for explaining a method for guiding a posture according to a type of a stroke line according to an embodiment of the present invention.
13 is a side view for explaining a method for guiding a stable address posture according to an embodiment of the present invention.
14 is a plan view for explaining a gaze correction method for guiding a stable address posture according to an embodiment of the present invention.
15 is a view of a state in which gaze correction for guiding a stable address posture according to an embodiment of the present invention is completed.
16 is a view for explaining a method for guiding a back throw and a follow throw according to an embodiment of the present invention.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in the present specification and claims described below should not be construed as being limited to their ordinary or dictionary meanings, and the inventors should develop their own inventions in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be appropriately defined as a concept of a term for explanation. Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical ideas of the present invention, so various equivalents that can replace them at the time of the present application It should be understood that there may be water and variations.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are denoted by the same reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some components are exaggerated, omitted, or schematically illustrated in the accompanying drawings, and the size of each component does not fully reflect the actual size.
먼저, 본 발명의 실시예에 따른 증강현실을 이용한 골프 스윙 및 퍼팅 자세 가이드를 위한 웨어러블 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 증강현실을 이용한 골프 스윙 및 퍼팅 자세 가이드를 위한 웨어러블 장치가 사용되는 환경을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 증강현실을 이용한 골프 스윙 및 퍼팅 자세 가이드를 위한 웨어러블 장치의 구성을 설명하기 위한 블록도이다. 도 3은 본 발명의 실시예에 따른 증강현실을 이용한 골프 스윙 및 퍼팅 자세 가이드를 위한 웨어러블 장치의 제어부의 세부 구성을 설명하기 위한 블록도이다. 도 4는 본 발명의 실시예에 따른 식별모델(IM)의 구성을 설명하기 위한 도면이다. 도 5는 본 발명의 실시예에 따른 식별모델(IM)의 객체 식별 방법을 설명하기 위한 도면이다. First, a wearable device for guiding a golf swing and putting posture using augmented reality according to an embodiment of the present invention will be described. 1 is a view for explaining an environment in which a wearable device for a golf swing and putting posture guide using augmented reality according to an embodiment of the present invention is used. 2 is a block diagram for explaining the configuration of a wearable device for a golf swing and putting posture guide using augmented reality according to an embodiment of the present invention. 3 is a block diagram for explaining a detailed configuration of a control unit of a wearable device for a golf swing and putting posture guide using augmented reality according to an embodiment of the present invention. 4 is a view for explaining the configuration of the identification model (IM) according to an embodiment of the present invention. 5 is a diagram for explaining an object identification method of an identification model (IM) according to an embodiment of the present invention.
먼저, 도 1에 도시된 바와 같이, 본 발명은 사용자가 본 발명의 실시예에 따른 가이드장치(100)를 착용한 상태에서 퍼팅을 수행하는 상황을 상정한다. 가이드장치(100)는 웨어러블(wearable) 장치이며, 바람직하게 스마트글라스와 같은 안경형 혹은 고글형 장치인 것이 바람직하다. First, as shown in FIG. 1 , the present invention assumes a situation in which the user performs putting while wearing the
도 2를 참조하면, 본 발명의 실시예에 따른 가이드장치(100)는 카메라부(110), 위치정보부(120), 센서부(130), 영상부(140), 통신부(150), 입력부(160), 표시부(170), 저장부(180) 및 제어부(190)를 포함한다. Referring to FIG. 2 , the
카메라부(110)는 영상을 촬영하기 위한 것으로, 적어도 이미지 센서를 포함한다. 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 카메라부(110)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 아날로그 신호를 디지털 신호로 변환하여 제어부(190)로 출력할 수 있다. 이는 각 픽셀의 픽셀값이 될 수 있다. 특히, 카메라부(110)는 뎁스카메라(111)를 포함한다. 뎁스카메라(111)는 이미지 센서를 통해 촬영된 영상의 각 픽셀의 픽셀값에 추가로 뎁스값을 생성하여 제어부(190)로 전달한다. 본 발명의 다른 실시예에 따르면, 뎁스카메라(111) 대신 다른 종류의 3D 센서가 이용될 수 있다. 이러한 3D 센서는 레이저, 적외선, 가시광 등을 이용하는 다양한 방식의 센서를 이용할 수 있다. 3D 센서는 예컨대, TOP(Time of Flight), 위상변위(Phase-shift) 및 Online Waveform Analysis 중 어느 하나를 이용하는 레이저 방식 3차원 스캐너, 광 삼각법을 이용하는 레이저 방식 3차원 스캐너, 백색광 혹은 변조광을 이용하는 광학방식 3차원 스캐너, Handheld Real Time 방식의 PHOTO, 광학방식 3차원 스캐너, Pattern Projection 혹은 Line Scanning을 이용하는 광학방식, 레이저 방식 전신 스캐너, 사진 측량(Photogrammetry)을 이용하는 사진방식 스캐너, 키네틱(Kinect Fusion)을 이용하는 실시간(Real Time) 스캐너 등을 예시할 수 있다. The
위치정보부(120)는 위성(예컨대, GPS 위성)으로부터 위치 신호, 예컨대, GPS 신호를 수신하기 위한 것이다. 예컨대, 위치정보부(120)는 지속적으로 위성으로부터 위치 신호(GPS 신호)를 수신하여, 수신된 위치 신호를 제어부(190)로 전달할 수 있다. 그러면, 제어부(190)는 수신되는 위치 신호를 통해 사용자장치(100)의 위치 좌표, 즉, 위도, 경도, 고도를 추출할 수 있다. The
센서부(130)는 복수의 관성 센서를 포함한다. 여기서, 관성 센서는 가속도 센서, 자이로 센서 등을 예시할 수 있다. 이에 따라, 센서부(130)는 복수의 관성 센서를 통해 가이드장치(100)의 오일러각을 측정할 수 있다. 이러한 오일러각은 요(YAW), 롤(ROLL) 및 (PITCH)를 포함한다. 센서부(130)는 지속적으로 사용자장치(200)의 오일러각을 측정하고, 측정된 오일러각을 제어부(190)로 전달한다. 그러면, 제어부(190)는 가이드장치(100)의 오일러각을 기초로 사용자의 시선의 방향을 도출할 수 있다. The
영사부(140)는 제어부(190)의 제어에 따라 다양한 정보를 가지는 영상, 즉, 증강 영상을 글라스(101)에 영사한다. 이에 따라, 사용자는 영사부(140)가 글라스(101)에 영사한 증강영상과 가시광선을 통해 글라스(101)로 입사되는 실제 환경이 중첩된 증강현실 영상을 인식할 수 있다. 증강 영상은 골프공, 홀컵, 발, 퍼터 등의 위치를 나타내기 위한 다양한 마크와 어드레스 자세에서 사용자의 시선을 교정하기 위한 마크 등을 포함한다. The
통신부(150)는 다른 장치와 통신하기 위한 것이다. 통신부(150)는 필요한 경우, 특정 골프장의 지형에 대한 정보를 포함하는 지도를 제공하는 사이트에 접속하여 해당 지도를 다운로드 받을 수 있다. 통신부(150)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신기(Tx) 및 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기(Rx)를 포함할 수 있다. 그리고 통신부(150)는 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(Modem)을 포함할 수 있다. The
입력부(160)는 가이드장치(100)의 각 종 기능, 동작 등을 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(190)에 전달한다. 입력부(160)는 전원을 켜거나, 끄기 위한 전원 키를 비롯하여, 가이드장치(100)에 대한 직접 입력을 위한 다양한 키를 포함할 수 있다. The
표시부(170)는 제어부(190)로부터 화면 표시를 위한 데이터를 수신하여 수신된 데이터를 화면으로 표시할 수 있다. 웨어러블 기기의 특성 상 표시부(170)의 크기는 작지만 예컨대, 배터리 잔량 등을 표시하는 등의 특화된 내용의 화면을 표시하기 위한 용도로 사용될 수 있다. 표시모듈(260)은 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. The
저장부(180)는 가이드장치(100)의 동작에 필요한 각 종 데이터, 애플리케이션, 가이드장치(100)의 동작에 따라 발생된 각 종 데이터를 저장한다. 이러한 저장부(180)는 스토리지, 메모리 등이 될 수 있다. 특히, 저장부(180)는 선택적으로, 가이드장치(100)의 부팅(booting) 및 운영(operation)을 위한 운영체제(OS, Operating System), 본 발명의 실시예에 따라 필요한 동작을 수행하는 애플리케이션을 저장할 수 있다. 저장부(180)는 사용자의 신체 사이즈를 저장한다. 특히, 본 발명의 실시예에 따르면, 사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 사용자의 모범 어드레스 자세를 미리 도출하고, 도출된 모범 어드레스 자세를 가이드하기 위한 가이드 정보가 미리 입력되며, 저장부(180)는 이러한 가이드 정보를 저장한다. 가이드 정보는 사용자의 모범 어드레스 자세에서 사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 도출되는 발의 위치, 퍼터 헤드의 위치 및 사용자의 시선이 골프공을 지면에 수직으로 바라볼 때, 골프공과 사용자가 착용한 가이드장치의 소정의 기준점까지의 거리를 포함한다. 또한, 가이드 정보는 사용자가 선택한 스트로크 라인을 더 포함한다. 즉, 사용자가 선택한 스트로크 라인이 직선형 라인인지 혹은 곡선형 라인이지 여부가 저장된다. 저장부(180)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The
제어부(190)는 가이드장치(100)의 전반적인 동작 및 가이드장치(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(190)는 중앙 처리 장치(Central Processing Unit : CPU), 애플리케이션 프로세서(Application Processor), GPU(Graphic Processing Unit) 등이 될 수 있다. The
도 3을 참조하면, 제어부(190)는 학습부(210), 식별부(220), 퍼팅라인검출부(300), 퍼팅자세보조부(400) 및 스트로크보조부(500)를 포함한다. Referring to FIG. 3 , the
학습부(210)는 본 발명의 실시예에 따른 식별모델(IM)을 생성하고, 식별부(220)는 이러한 학습부(210)는 기계학습(machine learning) 또는 심층학습(deep learning)을 통해 식별모델(IM)을 생성하기 위한 것이다. 학습부(210)는 식별모델(IM)이 도 5에 도시된 바와 같이, 카메라부(110)를 통해 촬영된 영상 내에서 예컨대, 홀컵(HC: Hole Cup) 또는 골프공(GB: Golf Ball) 등의 객체가 차지하는 영역을 영역상자(BB: Boundary Box)를 통해 식별하도록 학습시킨다. The
식별모델(IM)은 복수의 계층을 포함하며, 복수의 계층 각각은 하나 이상의 연산을 수행한다. 어느 하나의 계층의 연산 결과는 가중치가 적용되어 다음 계층에 전달된다. 이는 현 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 것을 의미한다. 즉, 식별모델(IM)의 복수의 계층은 가중치가 적용되는 연산을 수행한다. 복수의 계층은 활성화함수에 의한 연산을 수행한다. 여기서, 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 또한, 복수의 계층은 컨볼루션(Convolution) 연산을 통해 가중치를 적용하는 컨볼루션계층(CL: Convolution Layer), 다운샘플링(Down Sampling) 연산 혹은 업샘플링(Up Sampling) 연산을 통해 가중치를 적용하는 풀링계층(PL: Pooling Layer), 개별 출력에 대해 가중치를 적용하는 완전연결층(FCL: Fully Connected Layer) 등을 포함할 수 있다. 여기서, 컨볼루션, 다운샘플링 및 업샘플링 연산 각각은 소정의 행렬로 이루어진 커널을 이용하며, 이러한 커널을 이루는 행렬의 원소의 값들이 가중치(w)가 된다. The identification model (IM) includes a plurality of layers, and each of the plurality of layers performs one or more operations. The calculation result of one layer is weighted and transmitted to the next layer. This means that the weight is applied to the operation result of the current layer and input to the operation of the next layer. That is, the plurality of layers of the identification model (IM) perform an operation to which a weight is applied. A plurality of layers performs an operation by an activation function. Here, the activation function may be exemplified by Sigmoid, Hyperbolic tangent (tanh), Exponential Linear Unit (ELU), Rectified Linear Unit (ReLU), Leakly ReLU, Maxout, Minout, Softmax, and the like. . In addition, a plurality of layers is a convolution layer (CL) that applies a weight through a convolution operation, a down-sampling operation, or a pooling that applies a weight through an up-sampling operation. It may include a pooling layer (PL), a fully connected layer (FCL) that applies weights to individual outputs, and the like. Here, each of the convolution, downsampling, and upsampling operations uses a kernel composed of a predetermined matrix, and values of elements of the matrix constituting the kernel become the weight w.
식별모델(IM)은 YOLO(You Only Look Once), YOLOv2, YOLO9000, YOLOv3 등의 모델을 예시할 수 있다. 식별모델(IM)은 추가로 FCL(Fully Connected Layer), DN(Neural Network), DNN(Deep Neural Network) 등의 추가적인 계층 혹은 네트워크를 더 포함할 수 있다. The identification model (IM) may be exemplified by models such as You Only Look Once (YOLO), YOLOv2, YOLO9000, and YOLOv3. The identification model (IM) may further include additional layers or networks such as a Fully Connected Layer (FCL), a Neural Network (DN), and a Deep Neural Network (DNN).
식별모델(IM)은 예측망(PN: prediction network)과 그 예측망(PN)에 대응하는 검출망(DN: detection network)을 포함한다. The identification model (IM) includes a prediction network (PN) and a detection network (DN) corresponding to the prediction network (PN).
예측망(PN)은 영상이 입력되면, 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 예측값을 출력한다. 즉, 예측망(PN)은 영상을 복수의 셀로 구분한 후, 복수의 셀 각각에 중심 좌표(x, y)를 가지는 복수의 영역상자(BB: Bounding Box) 각각이 속한 셀을 기준으로 하는 중심과 폭 및 높이를 정의하는 좌표(x, y, w, h), 영역상자 내에 객체가 포함되어 있으면서 영역상자의 영역 내에 객체가 존재할 확률을 나타내는 신뢰도(confidence) 및 영역상자 내의 객체가 복수의 클래스의 객체 각각에 속할 확률을 산출하여 예측값으로 출력할 수 있다. 예컨대, 도 3의 경우, 영상은 3행 4열의 셀로 구분되었다. 제1 영역상자(BB1)는 1행 4열(1, 4) 내의 셀에 중심좌표(x1, y1)가 위치하며, 제1 폭과 제1 높이(w1, h1)를 가진다. 제1 영역상자(BB1) 내의 객체는 골프공(GB: Golf Ball)일 확률이 93%임을 나타낸다(0.9292). 제2 영역상자(BB2)는 3행1열(3, 1) 내의 셀에 중심좌표(x2, y2)가 위치하며, 제2 폭과 제2 높이(w2, h2)를 가진다. 제2 영역상자(BB2) 내의 객체가 홀컵(HC: Hole Cup)일 확률은 약 89%이다(0.8886). When an image is input, the prediction network PN outputs a predicted value by performing a plurality of operations to which weights of a plurality of layers are applied. That is, the prediction network (PN) divides the image into a plurality of cells, and then sets the center based on the cell to which each of a plurality of bounding boxes (BB) having center coordinates (x, y) in each of the plurality of cells belongs. The coordinates (x, y, w, h) that define the width and height, the confidence indicating the probability that the object exists within the area of the area box while the object is included in the area box, and the object in the area box has multiple classes It is possible to calculate the probability of belonging to each object of , and output it as a predicted value. For example, in the case of FIG. 3 , the image is divided into cells of 3 rows and 4 columns. The first area box BB1 has a center coordinate (x1, y1) positioned in a cell in one row and four columns (1, 4), and has a first width and a first height (w1, h1). The object in the first area box BB1 indicates that the probability of being a golf ball (GB) is 93% (0.9292). The second area box BB2 has a center coordinate (x2, y2) located in a cell in 3 rows and 1 column (3, 1), and has a second width and a second height (w2, h2). The probability that the object in the second area box BB2 is a hole cup (HC) is about 89% (0.8886).
검출망(DN)은 예측값에 해당하는 복수의 영역상자 중 하나 이상의 예측값에 해당하는 영역상자를 선택하여 출력값으로 출력한다. 검출망(DN)은 예측값에 대해 가중치가 적용되는 복수의 연산을 통해 출력값을 산출한다. 이때, 검출망(DN)은 예측망(PN)의 예측값을 이용하여 출력값을 산출할 수 있다. 예를 들면, 검출망(DN)은 해당하는 복수의 영역상자(BB) 내의 객체가 기 학습된 클래스의 객체일 확률이 기 설정된 임계치 이상인 영역상자(BB)를 선택하는 출력값을 산출할 수 있다. 예컨대, 임계치가 80%라면 도 5와 같은 예에서 제1 영역상자(BB1) 및 제2 영역상자(BB2) 모두를 출력할 수 있다. 이러한 출력값은 BB1: Golf Ball=0.9292 (x1, y1, w1, h1) 및 BB2: Hole Cup=0.8886 (x2, y2, w2, h2)이 될 수 있다. 결국, 식별모델(IM)의 최종 출력은 객체의 종류(Golf Ball, Hole Cup), 확률값(0.9292, 0.8886) 및 영역상자 좌표 (x1, y1, w1, h1), (x2, y2, w2, h2)를 포함한다. The detection network DN selects a region box corresponding to one or more predicted values from among a plurality of region boxes corresponding to the predicted value and outputs it as an output value. The detection network DN calculates an output value through a plurality of operations in which a weight is applied to the predicted value. In this case, the detection network DN may calculate an output value using the prediction value of the prediction network PN. For example, the detection network DN may calculate an output value for selecting the area box BB in which the probability that the object in the plurality of area boxes BB is an object of a pre-learned class is equal to or greater than a preset threshold. For example, if the threshold is 80%, both the first area box BB1 and the second area box BB2 may be output in the example shown in FIG. 5 . These output values may be BB1: Golf Ball=0.9292 (x1, y1, w1, h1) and BB2: Hole Cup=0.8886 (x2, y2, w2, h2). In the end, the final output of the identification model (IM) is the object type (Golf Ball, Hole Cup), probability values (0.9292, 0.8886), and area box coordinates (x1, y1, w1, h1), (x2, y2, w2, h2). ) is included.
학습부(210)는 식별모델(IM)은 학습시키기 위한 것이다. 이를 위하여, 학습부(210)는 학습시키고자 하는 클래스의 객체가 포함된 영상을 마련한 후, 해당 영상을 예측망(PN)에 입력한다. 그러면, 예측망(PN)은 복수의 계층의 가중치가 적용되는 복수의 연산을 통해 예측값을 산출하고, 산출된 예측값을 출력할 것이다. 예측값은 영상의 복수의 셀 각각에 중심 좌표를 가지는 복수의 영역상자(BB) 각각의 좌표(x, y, w, h), 영역상자(BB)의 영역이 학습시키고자 하는 객체를 포함하고 있는 이상적인 박스(ground-truth box)와 일치하는 정도를 나타내는 신뢰도(confidence: 0~1) 및 영역상자 내의 객체가 학습시키고자 하는 클래스의 객체일 확률(예컨대, Hole Cup = 0.8886 등)을 포함한다. The
예측망(PN)의 예측값이 검출망(DN)이 입력되면, 검출망(DN)은 복수의 가중치가 적용되는 연산을 통해 출력값을 출력한다. 이러한 출력값을 기초로 학습부(210)는 손실 함수에 따라 손실값을 도출할 수 있다. 예컨대, 손실 함수는 다음의 수학식 1과 같다. When the prediction value of the prediction network PN is input to the detection network DN, the detection network DN outputs an output value through an operation to which a plurality of weights are applied. Based on this output value, the
S는 셀의 수를 나타내며, C는 신뢰 점수를 나타낸다. B는 한 셀 내의 영역상자의 수를 나타낸다. pi(c)는 i 번째 셀의 객체가 해당 클래스(c)일 확률을 나타낸다. 여기서, i는 객체가 존재하는 셀을 나타내는 파라미터이고, j는 예측된 영역상자를 나타내는 파라미터이다. 또한, x, y는 영역상자의 중심좌표를 나타내며, w 및 h는 각각 영역상자의 폭과 높이를 나타낸다. 
수학식 1의 첫 번째 및 두 번째 항(term)은 영역상자의 좌표(x, y, w, h)와, 학습하고자 하는 클래스의 객체가 존재하는 영역의 좌표와의 차이를 나타내는 좌표 손실(coordinate loss)을 산출하기 위한 것이다. 또한, 수학식 1의 3 번째 항은 영역상자(B)의 영역과 객체를 100% 포함하고 있는 이상적인 박스(ground-truth box)와의 차이를 나타내는 신뢰도 손실(confidence loss)을 산출하기 위한 것이다. 마지막으로, 수학식 1의 마지막 항은 영역상자(B) 내의 객체의 클래스와 실제 객체의 클래스와의 차이를 나타내는 분류 손실(classification loss)을 산출하기 위한 것이다. 학습부(210)는 손실 함수를 통해 손실값, 즉, 좌표 손실, 신뢰도 손실 및 분류 손실을 산출하고, 좌표 손실, 신뢰도 손실 및 분류 손실이 목표치가 되도록 예측망(PN) 및 검출망(DN)의 가중치를 최적화한다. 이와 같이, 학습부(210)는 식별모델(IM)을 생성한 후, 생성된 식별모델(IM)을 식별부(220)에 제공한다. The first and second terms in
식별부(220)는 식별 모델(IM)을 통해 카메라부(110)가 촬영한 영상에서 학습된 객체를 식별하여 영역상자(BB)를 도출할 수 있다. 식별부(220)는 예컨대, 식별부(220)는 카메라부(110)를 통해 촬영된 영상을 입력 받을 수 있다. 이러한 영상의 일례가 도 5에 도시되었다. 식별부(220)는 입력된 영상을 식별모델(IM)에 입력할 수 있다. 그러면, 식별모델(IM)은 가중치가 적용되는 복수의 연산을 수행하여 도 5에 도시된 바와 같이, 영상에서 골프공(GB) 및 홀컵(HC) 각각을 식별하여 제1 및 제2 영역상자(BB1, BB2)를 도출할 수 있다. 이에 따라, 식별모델(IM)은 식별된 객체를 나타내는 출력값, 예컨대, 도 5의 경우, 객체의 종류(Golf Ball, Hole Cup), 확률값(0.9292, 0.8886) 및 영역상자 좌표 (x1, y1, w1, h1), (x2, y2, w2, h2)을 출력하며, 식별부(220)는 이러한 출력값을 퍼팅라인검출부(300), 퍼팅자세보조부(400) 및 스트로크보조부(500) 중 적어도 하나에 제공한다. The
퍼팅라인검출부(300)는 퍼팅 라인을 도출하기 위한 것이며, 퍼팅자세보조부(400)는 어드레스 자세 및 퍼팅 자세를 가이드하기 위한 정보를 증강현실로 제공하기 위한 것이다. 이러한 퍼팅라인검출부(300) 및 퍼팅자세보조부(400)의 동작은 아래에서 더 상세하게 설명될 것이다. The putting
다음으로, 본 발명의 실시예에 따른 증강현실을 이용한 퍼팅 가이드를 위한 방법에 대해서 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 증강현실을 이용한 퍼팅 가이드를 위한 방법을 설명하기 위한 흐름도이다. 이러한 도 6은 골프 경기 중 사용자의 퍼팅 상황을 가정한다. 도 7은 본 발명의 실시예에 따른 그린을 분석하는 방법을 설명하기 위한 화면 예이다. 도 8은 본 발명의 실시예에 따른 퍼팅 라인을 도출하는 방법을 설명하기 위한 도면이다. 도 9는 본 발명의 실시예에 따른 퍼팅 라인을 도출하는 방법을 설명하기 위한 도면이다. 도 10은 본 발명의 실시예에 따른 퍼터 헤드의 위치를 가이드하기 위한 방법을 설명하기 위한 도면이다. 도 11은 본 발명의 실시예에 따른 스트로크 라인을 가이드하기 위한 방법을 설명하기 위한 도면이다. 도 12는 본 발명의 실시예에 따른 스트로크 라인의 종류에 따른 자세를 가이드하기 위한 방법을 설명하기 위한 도면이다. 도 13은 본 발명의 실시예에 따른 안정적인 어드레스 자세를 가이드하기 위한 방법을 설명하기 위한 측면도이다. 도 14는 본 발명의 실시예에 따른 안정적인 어드레스 자세를 가이드하기 위한 시선 교정 방법을 설명하기 위한 평면도이다. 도 15는 본 발명의 실시예에 따른 안정적인 어드레스 자세를 가이드하기 위한 시선 교정을 완료한 상태의 도면이다. 도 16은 본 발명의 실시예에 따른 백 스로우 및 팔로우 스로우를 가이드하기 위한 방법을 설명하기 위한 도면이다. Next, a method for a putting guide using augmented reality according to an embodiment of the present invention will be described. 6 is a flowchart for explaining a method for a putting guide using augmented reality according to an embodiment of the present invention. 6 assumes a user's putting situation during a golf game. 7 is a screen example for explaining a method of analyzing a green according to an embodiment of the present invention. 8 is a view for explaining a method of deriving a putting line according to an embodiment of the present invention. 9 is a view for explaining a method of deriving a putting line according to an embodiment of the present invention. 10 is a view for explaining a method for guiding the position of the putter head according to an embodiment of the present invention. 11 is a view for explaining a method for guiding a stroke line according to an embodiment of the present invention. 12 is a view for explaining a method for guiding a posture according to a type of a stroke line according to an embodiment of the present invention. 13 is a side view for explaining a method for guiding a stable address posture according to an embodiment of the present invention. 14 is a plan view for explaining a gaze correction method for guiding a stable address posture according to an embodiment of the present invention. 15 is a view of a state in which gaze correction for guiding a stable address posture according to an embodiment of the present invention is completed. 16 is a view for explaining a method for guiding a back throw and a follow throw according to an embodiment of the present invention.
도 6을 참조하면, 제어부(180)의 퍼팅라인검출부(300)는 S110 단계에서 카메라부(110)를 통해 촬영된 영상에서 골프공 및 홀컵을 식별하고, 식별된 골프공 및 홀컵 각각의 위치를 도출한다. 이때, 퍼팅라인검출부(300)는 카메라부(130)를 통해 촬영된 영상에서 식별부(220)를 통해 골프공 및 홀컵 각각을 식별한다. 식별부(220)는 도 5에 도시된 바와 같이, 식별 모델(IM)을 통해 영상에서 골프공 및 홀컵 각각을 식별하여 영역상자(BB1, BB2)를 도출할 수 있다. 그런 다음, 퍼팅라인검출부(300)는 위치정보부(120)를 통해 수신되는 GPS 신호로부터 현재 위치의 위치 좌표 (x0, y0, z0)를 도출하고, 도출된 위치 좌표를 기준으로 카메라부(130)를 통해 획득한 골프공 및 홀컵 각각의 영역상자(BB1, BB2)의 중심 좌표 (x1, y1), (x2, y2) 각각에 대응하는 뎁스값을 3차원의 위치 좌표로 변환하여 골프공 및 홀컵 각각의 위치 좌표 (xb, yb, zb) (xc, yc, zc)를 도출한다. 추가적인 실시예에 따르면, 골프공의 위치에 서서 홀컵을 바라볼 때, 카메라부(130)를 통해 촬영되는 주위의 지형지물의 형태 및 크기를 AI 기반으로 인식하여 현재 위치의 위치 좌표 (x0, y0, z0)를 보정할 수 있다. 또한, 다른 실시예에 따르면, 홀컵의 위치는 카메라부(130)를 통해 촬영된 영상과 더불어 미리 제공되는 그린맵을 이용하여 보정하거나, 측정할 수도 있다. 그리고 다른 실시예에 따르면, 홀컵깃대에 부착된 위치정보송출장치가 송출하는 신호를 통신부(150)를 통해 수신하여 홀컵의 정확한 위치를 획득할 수도 있다. Referring to FIG. 6 , the putting
다른 실시예에 따르면, 퍼팅라인검출부(300)는 카메라부(110)를 통해 실시간으로 촬영된 영상과, 해당 영상으로부터 지형 지물을 AI 기반으로 인식하고, 위치정보부(120)를 통해 수신되는 GPS 신호 및 그린맵 데이터와 연동하여 현재 그린 정보와 골프공 및 홀컵의 xy 위치 정보를 파악할 수 있다. 그런 다음, 퍼팅라인검출부(300)는 S120 단계에서 카메라부(110)를 통해 촬영되는 영상으로부터 골프공(GB)과 홀컵(HC) 사이의 그린을 분석하여 퍼팅 라인 및 골프공의 이동 궤적을 도출한다. According to another embodiment, the putting
이때, 일 실시예에 따르면, 퍼팅라인검출부(300)는 카메라부(110)를 통해 골프공(GB)과 홀컵(HC) 사이의 그린을 촬영한 영상의 뎁스값을 통해 골프공(GB)과 홀컵(HC) 사이의 그린의 경사 방향 및 정도를 도출한다. 다른 실시예에 따르면, 퍼팅라인검출부(300)는 통신부(150)를 통해 해당 골프장의 지형을 디지털 형식으로 나타내는 지도를 저장하는 서버(미도시)에 접속하여 해당 지도를 미리 다운로드 하여 저장부(180)에 저장하고, 저장부(180)에 저장된 지도를 참조로 골프공(GB)과 홀컵(HC) 사이의 그린의 경사 방향 및 정도를 도출할 수 있다. 일 실시예 혹은 다른 실시예에 따라 그린의 경사 방향 및 정도를 분석한 화면 예가 도 7에 도시되었다. At this time, according to one embodiment, the putting
그런 다음, 퍼팅라인검출부(300)는 도 8의 (가) 및 (나)에 도시된 바와 같이, 골프공(GB)과 홀컵(HC) 연결하는 직선을 기준선(RL)이라고 하고, 골프공(GB)을 관통하는 지면에 수직인 선을 회전축(AX)이라고 할 때, 기준선(RL)과 일치하는 라인(PL0)을 그린의 경사 방향 및 정도에 따라 회전축(AX)을 기준으로 축 회전시켜 퍼팅 라인(PL)을 도출한다. 그런 다음, 퍼팅라인검출부(300)는 퍼팅 라인(PL)으로부터 그린의 경사 방향 및 정도에 따른 브레이크를 고려하여 골프공의 이동 궤적(ML)을 도출한다. Then, as shown in (A) and (B) of FIG. 8, the putting
이어서, 퍼팅라인검출부(300)는 S130 단계에서 퍼팅 라인(PL) 및 골프공의 이동 궤적(ML) 중 적어도 하나를 나타내는 증강영상을 생성하고, 생성된 증강영상을 영사부(140)를 통해 글라스에 영사한다. 이에 따라, 사용자는 글라스를 통해 현실 장면과 증강 영상이 중첩된 증강현실 영상을 보고, 퍼팅 라인(PL) 및 골프공의 이동 궤적(ML)을 확인할 수 있다. Then, the putting
그런 다음, 퍼팅자세보조부(400)는 S140 단계에서 기 저장된 사용자의 신체 사이즈, 퍼팅라인(PL) 및 골프공(GB)의 위치를 기준으로 퍼팅 시, 모범 어드레스 자세를 가이드 하기 위해 발의 위치를 나타내는 스탠스마크(GLF, GRF)를 도출하고, 도출된 스탠스마크(GLF, GRF)를 포함하는 증강영상을 생성한 후, 생성된 증강영상을 영사부(140)를 통해 영사한다. 이에 따라, 사용자는 글라스를 통해 현실 장면과 스탠스마크(GLF, GRF)를 나타내는 증강영상이 중첩된 증간현실 영상을 보고, 모범 어드레스 자세에서의 스탠스, 즉, 발의 위치를 확인할 수 있다. 스탠스마크(GLF, GRF)는 왼발 부분(GLF) 및 오른발 부분(GRF)을 포함한다. 도 9에 도시된 바와 같이, 스탠스마크(GLF, GRF)에서 발끝의 시작 위치는 퍼팅라인(PL)으로부터 소정 길이(2PHL) 만큼 수평으로 이격된 라인(L1)에서 시작된다. 여기서, 소정 길이(2PHL)는 사용자의 신체 사이즈에 따라 도출되어 미리 저장된 값이거나, 퍼터 헤드 길이의 2배가 될 수 있다. 또한, 왼발 부분(GLF)은 골프공(GB)에서 퍼팅 방향의 뒤쪽 부분을 지나며 퍼팅 라인과 수직인 라인(L2)을 기준으로 골프공(GB)의 지름의 2배(2GBR) 길이만큼 퍼팅 방향으로 이격되게 배치된다. 전술한 바와 같이, 저장부(180)는 사용자의 어깨 넓이(SDW)를 포함하는 사용자의 신체 사이즈를 저장한다. 이에 따라, 오른발 부분(GRF)은 왼발 부분(GLF)으로부터 사용자의 어깨 넓이(shd) 만큼 이격되게 배치된다. Then, the putting
다음으로, 퍼팅자세보조부(400)는 S150 단계에서 식별부(220)를 통해 발(LF, RF)을 식별하고, 식별된 발(LF, RF)이 앞서 도출된 스탠스마크(GLF, GRF)와 기 설정된 면적 이상 중첩되는지 여부를 확인한다. S150 단계의 확인 결과, 식별된 발(LF, RF)과 스탠스마크(GLF, GRF)가 기 설정된 면적 이상 중첩되면, 퍼팅자세보조부(400)는 S160 단계에서 어드레스 자세에서 퍼터 헤드의 위치를 나타내는 퍼터헤드마크(PHM)를 생성하고, 생성된 퍼터헤드마크(PHM)를 나타내는 증강영상을 생성하고, 생성된 증강영상을 영사부(140)를 통해 영사한다. 퍼터헤드마크(PHM)는 어드레스 자세에서 퍼터 헤드의 위치는 페이스가 골프공(GB)의 퍼팅 방향의 반대 측 끝에 닿도록 설정된다. Next, the putting
다음으로, 퍼팅자세보조부(400)는 S170 단계에서 식별부(220)를 통해 퍼터 헤드(PH)를 식별하고, 식별된 퍼터 헤드(PH)가 퍼터헤드마크(PHM)와 기 설정된 면적 이상 중첩되는지 여부를 확인한다. 식별부(220)는 식별 모델(CM)을 통해 퍼터 헤드를 식별할 수 있다. Next, the putting
S170 단계의 판단 결과, 퍼터 헤드(PH)와 퍼터헤드마크(PHM)가 기 설정된 면적 이상 중첩되면, 퍼팅자세보조부(400)는 S180 단계에서 퍼팅 라인(PL)을 기준으로 퍼팅 시 퍼터 헤더의 궤적을 나타내는 스트로크 라인(SY 또는 CY)을 생성하고, 생성된 스트로크 라인(SY 또는 CY)을 나타내는 증강영상을 생성하고, 생성된 증강영상을 영사부(140)를 통해 영사한다. 스트로크라인은 직선형 라인(SY)과 곡선형 라인(CY)을 포함하며, 사용자의 설정에 따라 직선형 라인(SY) 및 곡선형 라인(CY) 중 어느 하나가 생성된 후, 영사된다. As a result of the determination of step S170, if the putter head (PH) and the putter head mark (PHM) overlap by more than a preset area, the putting
또한, 퍼팅자세보조부(400)는 S190 단계에서 식별부(220)를 통해 사용자가 퍼터의 그립 부분을 잡았을 때 사용자의 손이 시작되는 그립 시작 부분(GR)을 식별하고, 사용자가 선택한 스트로크라인의 종류(SY, CY)에 따라 해당 스트로크라인에 적합한 어깨선가이드라인(SDGL)을 생성한 후, 생성된 어깨선가이드라인(SDGL)을 나타내는 증강영상을 생성하고, 생성된 증강영상을 영사부(140)를 통해 영사한다. 도 12에 도시된 바와 같이, 사용자에 의해 설정된 스트로크라인이 직선형 라인(SY)인 경우, 어깨선가이드라인(SDGL)은 그립 시작 부분(GR)에서부터 지면에 수직으로 연장되는 선이다. 사용자에 의해 설정된 스트로크라인이 곡선형 라인(CY)인 경우, 어깨선가이드라인(SDGL)은 그립 시작 부분(GR)에서부터 퍼터의 샤프트의 라인을 따라 연장되는 선이다. 사용자는 어깨선가이드라인(SDGL)이 표시되는 증강현실 영상을 통해 어깨선가이드라인(SDGL)이 자신의 어깨 라인을 통과하도록 자신의 자세를 수정할 수 있다. In addition, the putting
여전히, 발(LF, RF)이 스탠스마크(GLF, GRF)에 중첩되어 위치하고, 퍼터 헤드(PH)가 퍼터헤드마크(PHM)에 중첩되어 위치한 상태에서 퍼팅자세보조부(400)는 S200 단계에서 도 13 및 도 14에 도시된 바와 같이, 퍼팅 시 바람직한 자세를 유도하기 위해 사용자의 시선을 가이드 하는 시선 가이드 마크(M1) 및 사용자의 시선의 위치를 트래킹하는 시선 트래킹 마크(M2)를 포함하는 증강 영상을 생성하고, 생성된 시선 가이드 마크(M1) 및 시선 트래킹 마크(M2)를 포함하는 증강 영상을 영사부(140)를 통해 글라스에 영사한다. 또한, 선택적으로, 시선 트래킹 마크(M2) 및 시선 트래킹 마크(M2)에 대해 설명하는 텍스트를 증강 영상에 더 포함시킬 수 있다. 이러한 텍스트의 일례인 "시선의 높이와 방향을 조절하여 실선의 원의 크기와 위치를 조절할 수 있습니다. 실선의 원을 점선의 원에 일치시키세요."가 도 14에 도시되었다. 전술한 바와 같이, 저장부(180)는 사용자의 발(LF, RF)이 스탠스마크(GLF, GRF)에 중첩되어 위치하고, 퍼터 헤드(PH)가 퍼터헤드마크(PHM)에 중첩되어 위치한 상태에서 사용자의 시선이 골프공(GB)을 지면에 수직으로 바라볼 때, 사용자의 신체 사이즈에 따라 결정되는 골프공(GB)과 사용자가 착용한 가이드장치(100)의 소정의 기준점까지의 거리를 미리 저장한다. 예컨대, 기준점은 카메라부(110)의 이미지 센서의 초점 혹은 뎁스카메라(111)의 초점이 될 수 있다. 이에 따라, 도 13 및 도 14에 도시된 바와 같이, 퍼팅자세보조부(400)는 S200 단계에서 현재의 사용자의 자세와 무관하게 사용자의 발(LF, RF)이 스탠스마크(GLF, GRF)에 중첩되어 위치하고, 퍼터 헤드(PH)가 퍼터헤드마크(PHM)에 중첩되어 위치한 상태에서 사용자가 골프공(GB)을 수직으로 바라보는 경우의 시선(GD)의 위치에 시선 가이드 마크(M1)를 생성할 수 있다. 이와 동시에, 즉, S200 단계에서 퍼팅자세보조부(400)는 센서부(130)를 통해 감지되는 사용자의 시선(TD)을 지속적으로 트래킹하여 시선 트래킹 마크(M2)의 위치 및 크기를 조절하여 표시할 수 있다. 사용자는 시선 가이드 마크(M1) 및 시선 트래킹 마크(M2)를 이용하여 자신의 퍼팅 자세를 교정할 수 있다. 즉, 사용자의 발(LF, RF)이 스탠스마크(GLF, GRF)에 중첩되어 위치하고, 퍼터 헤드(PH)가 퍼터헤드마크(PHM)에 중첩되어 위치한 상태에서 사용자의 시선이 골프공(GB)을 수직으로 바라볼 때의 시선과, 차이가 있는 경우, 시선 트래킹 마크(M2)의 위치 및 크기는 시선 가이드 마크(M1)와 다른 크기 및 위치를 가진다. 이에 따라, 사용자는 사용자의 발(LF, RF)이 스탠스마크(GLF, GRF)에 중첩되어 위치하고, 퍼터 헤드(PH)가 퍼터헤드마크(PHM)에 중첩되어 위치한 상태에서 발을 제외한 자신의 신체 중 다른 부분, 예컨대, 허리, 무릎, 목 등을 움직임으로써 시선을 이동시킬 수 있다. 이에 따라, 도 15에 도시된 바와 같이, 사용자는 발(LF, RF)을 제외한 신체의 다른 부분의 움직임을 통해 시선을 이동시켜 시선 가이드 마크(M1)에 시선 트래킹 마크(M2)를 중첩시킬 수 있다. 이러한 시선에 따라 사용자는 자연스럽게 체중의 55%가 왼쪽 발에 실리고 체중의 45%가 오른쪽 발에 실리는 자세를 갖출 수 있다. Still, in a state in which the feet (LF, RF) are positioned overlapping the stance marks (GLF, GRF), and the putter head (PH) is positioned to be superimposed on the putter head mark (PHM), the putting
전술한 바와 같이, 사용자의 발(LF, RF)이 스탠스마크(GLF, GRF)에 중첩되어 위치하고, 퍼터 헤드(PH)가 퍼터헤드마크(PHM)에 중첩되어 위치하며, 사용자의 시선이 골프공(GB)을 지면에 수직으로 바라보는 어드레스 자세를 안내한 후, As described above, the user's feet (LF, RF) are positioned to overlap the stance marks (GLF, GRF), the putter head (PH) is positioned to overlap the putter head mark (PHM), the user's gaze is located on the golf ball After guiding the address posture looking at (GB) perpendicular to the ground,
퍼팅자세보조부(400)는 S210 단계에서 도 16에 도시된 바와 같이, 백스로우(BT) 및 팔로우스로우(FT) 각각의 말단을 나타내는 백스로우마크(BTE) 및 팔로우스로우마크(FTE)를 생성하고, 생성된 백스로우마크(BTE) 및 팔로우스로우마크(FTE)를 나타내는 증강영상을 생성하고, 생성된 증강영상을 영사부(140)를 통해 영사한다. 이를 위하여, 퍼팅자세보조부(400)는 바람의 방향 및 세기, 골프공(GB)과 홀컵(HC) 사이의 거리, 골프공(GB)과 홀컵(HC) 사이의 그린의 경사 방향 및 정도를 고려하여 퍼팅 강도를 고려하고, 퍼팅 강도에 따른 백스로우(BT) 및 팔로우스로우(FT) 길이를 산출하고, 백스로우(BT) 및 팔로우스로우(FT) 길이에 따라 스트로크라인 상에서 백스로우(BT) 및 팔로우스로우(FT) 각각의 말단을 나타내는 백스로우마크(BTE) 및 팔로우스로우마크(FTE)를 생성할 수 있다. 특히, 그린이 내리막인지 혹은 오르막인지 여부에 따라 그린이 내리막이면, 내리막 경사의 크기에 비례하여 팔로우스로우(FT)의 길이를 상대적으로 짧게 조절하고, 그린이 오르막이면, 오르막 경사의 크기에 비례하여 팔로우스로우(FT)의 길이를 상대적으로 길게 조절하여 팔로우스로우마크(FTE)를 생성한다. Putting
한편, 본 발명의 추가적인 실시예에 따르면, 퍼팅자세보조부(400)는 사전에 그린의 위치 및 고저 정보를 포함하는 골프장별 3차원 그린맵데이터, 사용자에 의해 입력되는 잔디의 결 방향과 해당 경기일의 그린스피드, 및, 사용자에 의해 수동으로 입력되거나, 센서 등을 통해 자동으로 수집되는 온도, 습도, 비로인한 젖음 등을 나타내는 그린상태를 추가로 고려하여 스트로크라인 시뮬레이션을 통해 스트로크 라인을 산출 혹은 수정하거나, 퍼팅 강도를 수정하여 백스로우(BT) 및 팔로우스로우(FT) 길이를 산출 혹은 수정할 수 있다. On the other hand, according to an additional embodiment of the present invention, the putting
사용자는 스트로크라인(SY 혹은 CY)과 백스로우마크(BTE) 및 팔로우스로우마크(FTE)가 표시된 증강현실 영상을 보면서 어드레스 자세에서 퍼터 헤드(PH)가 스트로크라인(SY 혹은 CY)를 따라 이동하면서 백스로우마크(BTE) 및 팔로우스로우마크(FTE)를 넘어가지 않도록 퍼팅함으로써 퍼팅 실력이 향상될 수 있다. The user sees the augmented reality image marked with the stroke line (SY or CY), the back throw mark (BTE) and the follow throw mark (FTE) while the putter head (PH) moves along the stroke line (SY or CY) in the address posture. Putting skills can be improved by putting so as not to exceed the back throw mark (BTE) and the follow throw mark (FTE).
특히, 본 발명에 따르면, 제어부(190)는 퍼팅 가이드 증강현실영상과 실제 수행된 퍼팅결과를 카메라부(110)를 통해 녹화하여 저장부(180)에 저장할 수 있다. 그런 다음, 제어부(190)는 저장된 퍼팅 가이드 증강현실영상과 실제 수행된 퍼팅결과를 비교하는 개인별 최적의 퍼팅연습을 위한 가이드를 교육 자료로 제공 할 수도 있다. In particular, according to the present invention, the
한편, 앞서 설명된 본 발명의 실시예에 따른 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. On the other hand, the methods according to the embodiment of the present invention described above may be implemented in the form of a program readable through various computer means and recorded in a computer readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks ( magneto-optical media), and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include not only machine language wires such as those generated by a compiler, but also high-level language wires that can be executed by a computer using an interpreter or the like. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. Although the present invention has been described above using several preferred embodiments, these examples are illustrative and not restrictive. As such, those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made in accordance with the doctrine of equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.
100: 가이드장치 101: 글라스
110: 카메라부 111: 뎁스카메라
120: 위치정보부 130: 센서부
140: 영사부 150: 통신부
160: 입력부 170: 표시부
180: 저장부 190: 제어부
210: 학습부 220: 식별부
300: 퍼팅라인검출부 400: 퍼팅자세보조부
500: 스트로크보조부 100: guide device 101: glass
110: camera unit 111: depth camera
120: location information unit 130: sensor unit
140: consular department 150: communication department
160: input unit 170: display unit
180: storage unit 190: control unit
210: learning unit 220: identification unit
300: putting line detection unit 400: putting posture assistance unit
500: stroke auxiliary part
Claims (8)
사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세를 가이드하기 위한 가이드 정보를 저장하는 저장부;
증강 영상을 영사하기 위한 영사부;
촬영을 위한 카메라부;
상기 카메라부가 촬영한 영상에서 홀컵 및 골프공을 식별하는 식별부;
상기 홀컵의 위치, 상기 골프공의 위치 및 상기 홀컵과 상기 골프공 사이의 그린의 경사 방향 및 정도에 따라 퍼팅 라인을 도출하는 퍼팅라인검출부;
상기 골프공의 위치 및 상기 퍼팅 라인을 기준으로 모범 어드레스 자세를 가이드하기 위한 복수의 증강영상을 생성하고, 생성한 증강영상을 상기 영사부를 통해 영사하는 퍼팅자세보조부;
를 포함하며,
퍼팅 시 백 스로우 및 팔로우 스로우 각각의 말단을 나타내는 백스로우마크 및 팔로우스로우마크를 포함하는 증강영상을 생성하고, 생성된 증강영상을 영사부를 통해 영사하는 스트로크보조부;
를 더 포함하는 것을 특징으로 하는
퍼팅 가이드를 위한 웨어러블 장치. In a wearable device for a putting guide using augmented reality,
a storage unit for storing guide information for guiding a model address posture derived based on the user's body size, the position of the golf ball, and the stroke line;
a projection unit for projecting the augmented image;
a camera unit for taking pictures;
an identification unit for identifying a hole cup and a golf ball from the image taken by the camera unit;
a putting line detection unit for deriving a putting line according to the position of the hole cup, the position of the golf ball, and the inclination direction and degree of the green between the hole cup and the golf ball;
A putting posture assisting unit for generating a plurality of augmented images for guiding a model address posture based on the position of the golf ball and the putting line, and projecting the generated augmented image through the projection unit;
includes,
a stroke auxiliary unit for generating an augmented image including a back-throw mark and a follow-through mark indicating the ends of the back-throw and follow-throw during putting, and projecting the generated augmented image through the projection unit;
characterized in that it further comprises
Wearable device for putting guide.
상기 가이드 정보는
사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세에서 발의 위치를 포함하며,
상기 퍼팅자세보조부는
상기 발의 위치를 나타내는 스탠스마크를 포함하는 증강영상을 생성하고, 상기 스탠스마크를 포함하는 증강영상을 상기 영사부를 통해 영사하는 것을 특징으로 하는
퍼팅 가이드를 위한 웨어러블 장치. The method of claim 1,
The guide information
It includes the position of the foot in the model address posture derived based on the user's body size, the position of the golf ball, and the stroke line,
The putting posture assisting unit
Generating an augmented image including a stance mark indicating the position of the foot, characterized in that for projecting the augmented image including the stance mark through the projection unit
Wearable device for putting guide.
상기 가이드 정보는
사용자의 신체 사이즈, 골프공의 위치 및 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세에서 퍼터 헤드의 위치를 더 포함하며,
상기 퍼팅자세보조부는
상기 스탠스마크에 사용자의 발이 기 설정된 면적 이상 중첩되면,
상기 퍼터 헤드의 위치를 나타내는 퍼터헤드마크를 포함하는 증강영상을 생성하고, 상기 퍼터헤드마크를 포함하는 증강영상을 상기 영사부를 통해 영사하는 것을 특징으로 하는
퍼팅 가이드를 위한 웨어러블 장치. 3. The method of claim 2,
The guide information
It further includes the position of the putter head in the model address posture derived based on the user's body size, the position of the golf ball and the stroke line,
The putting posture assisting unit
When the user's foot overlaps the stance mark by more than a preset area,
Generating an augmented image including a putter head mark indicating the position of the putter head, characterized in that for projecting the augmented image including the putter head mark through the projection unit
Wearable device for putting guide.
상기 가이드 정보는
사용자의 신체 사이즈, 골프공의 위치, 스트로크 라인을 기준으로 도출되는 모범 어드레스 자세에서 사용자의 시선이 골프공을 지면에 수직으로 바라볼 때, 골프공과 사용자가 착용한 가이드장치의 소정의 기준점까지의 거리를 더 포함하며,
상기 퍼팅자세보조부는
상기 스탠스마크에 사용자의 발이 기 설정된 면적 이상 중첩되고, 상기 퍼터헤드마크에 퍼터 헤드가 기 설정된 면적 이상 중첩되면,
사용자의 시선을 가이드 하는 시선 가이드 마크 및 사용자의 시선의 위치를 트래킹하는 시선 트래킹 마크를 포함하는 증강 영상을 생성하고, 상기 시선 가이드 마크 및 상기 시선 트래킹 마크를 포함하는 증강영상을 상기 영사부를 통해 영사하는 것을 특징으로 하는
퍼팅 가이드를 위한 웨어러블 장치. 4. The method of claim 3,
The guide information
When the user's gaze looks at the golf ball perpendicular to the ground in the model address posture derived based on the user's body size, the position of the golf ball, and the stroke line, up to a predetermined reference point of the golf ball and the guide device worn by the user further including distance,
The putting posture assisting unit
When the user's foot overlaps the stance mark by more than a preset area, and the putter head overlaps the putter head mark by more than a preset area,
Generates an augmented image including a gaze guide mark for guiding the user's gaze and a gaze tracking mark for tracking the position of the user's gaze, and projects the augmented image including the gaze guide mark and the gaze tracking mark through the projection unit characterized by
Wearable device for putting guide.
상기 가이드 정보는
사용자가 선택한 스트로크 라인을 더 포함하며,
상기 퍼팅자세보조부는
상기 스탠스마크에 사용자의 발이 기 설정된 면적 이상 중첩되고, 상기 퍼터헤드마크에 퍼터 헤드가 기 설정된 면적 이상 중첩되면,
사용자가 선택한 스트로크 라인에 따라
사용자가 퍼터의 그립 부분을 잡았을 때 사용자의 손이 시작되는 그립 시작 부분으로부터 연장되는 어깨선가이드라인을 포함하는 증강 영상을 생성하고, 상기 어깨선가이드라인을 포함하는 증강영상을 상기 영사부를 통해 영사하는 것을 특징으로 하는
퍼팅 가이드를 위한 웨어러블 장치. 4. The method of claim 3,
The guide information
It further includes a stroke line selected by the user,
The putting posture assisting unit
When the user's foot overlaps the stance mark by more than a preset area, and the putter head overlaps the putter head mark by more than a preset area,
According to the stroke line selected by the user
When the user holds the grip portion of the putter, generating an augmented image including a shoulder line guideline extending from the grip start portion where the user's hand starts, and projecting the augmented image including the shoulder line guideline through the projection unit characterized
Wearable device for putting guide.
퍼팅라인검출부가 홀컵의 위치, 골프공의 위치 및 상기 홀컵과 상기 골프공 사이의 그린의 경사 방향 및 정도에 따라 퍼팅 라인을 도출하는 단계; 및
퍼팅자세보조부가 상기 골프공의 위치 및 상기 퍼팅 라인을 기준으로 모범 어드레스 자세를 가이드하기 위한 복수의 증강영상을 생성하여 생성한 증강영상을 영사하는 단계;
를 포함하며,
스트로크보조부가 퍼팅 시 백 스로우 및 팔로우 스로우 각각의 말단을 나타내는 백스로우마크 및 팔로우스로우마크를 포함하는 증강영상을 생성하고, 생성된 증강영상을 영사하는 단계;
를 더 포함하는 것을 특징으로 하는
퍼팅 가이드를 위한 방법.
In a method for a putting guide using augmented reality of a wearable device,
deriving, by the putting line detection unit, a putting line according to the position of the hole cup, the position of the golf ball, and the inclination direction and degree of the green between the hole cup and the golf ball; and
Projecting the augmented image generated by generating a plurality of augmented images for guiding an exemplary address posture based on the position of the golf ball and the putting line by the putting posture assist unit;
includes,
generating an augmented image including a back-throw mark and a follow-throw mark indicating the ends of each of the back-throw and follow-throw when the stroke assist unit is putting, and projecting the generated augmented image;
characterized in that it further comprises
How to putt guide.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200133480A KR102431863B1 (en) | 2020-10-15 | 2020-10-15 | Wearable device for putting guide using augmented reality and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200133480A KR102431863B1 (en) | 2020-10-15 | 2020-10-15 | Wearable device for putting guide using augmented reality and method therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220049851A KR20220049851A (en) | 2022-04-22 |
| KR102431863B1 true KR102431863B1 (en) | 2022-08-10 |
Family
ID=81452336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200133480A KR102431863B1 (en) | 2020-10-15 | 2020-10-15 | Wearable device for putting guide using augmented reality and method therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102431863B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230165939A (en) * | 2022-05-26 | 2023-12-06 | 주식회사 카카오브이엑스 | System for transmitting round information of smart golf course based augmented reality |
| KR102526640B1 (en) * | 2022-07-06 | 2023-04-26 | 박병준 | Golf glasses providing putting information and putting information providing apparatus including the same |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110051985A (en) | 2009-11-11 | 2011-05-18 | 김광남 | A golf simulation putting system |
| KR101577764B1 (en) * | 2014-05-28 | 2015-12-15 | (주)테슬라시스템 | Providing Method of Predicted Putting Trace of Golf Green in Mobile Terminal |
| KR101768017B1 (en) * | 2015-10-23 | 2017-08-16 | 김민수 | Golf Adressing guide displaying method Using Augmented Reality Head-up Display Device for Golf Field and the Display Device thereof |
| KR20190081137A (en) * | 2017-12-29 | 2019-07-09 | 주식회사 써드아이즈 | Smart glasses for golf and operating method thereof |
-
2020
- 2020-10-15 KR KR1020200133480A patent/KR102431863B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220049851A (en) | 2022-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11740630B2 (en) | Fitness and sports applications for an autonomous unmanned aerial vehicle | |
| US20220262115A1 (en) | Visual-Inertial Positional Awareness for Autonomous and Non-Autonomous Tracking | |
| JP7519742B2 (en) | Method and system for resolving hemispheric ambiguity using position vectors - Patents.com | |
| US10213645B1 (en) | Motion attributes recognition system and methods | |
| US20190240840A1 (en) | Methods and Apparatus for Early Sensory Integration and Robust Acquisition of Real World Knowledge | |
| KR102431863B1 (en) | Wearable device for putting guide using augmented reality and method therefor | |
| CN112169296B (en) | Motion data monitoring method and device | |
| KR102198851B1 (en) | Method for generating three dimensional model data of an object | |
| US11132005B2 (en) | Unmanned aerial vehicle escape system, unmanned aerial vehicle escape method, and program | |
| KR102232253B1 (en) | Posture comparison and correction method using an application that checks two golf images and result data together | |
| CN112785682A (en) | Model generation method, model reconstruction method and device | |
| US20220362630A1 (en) | Method, device, and non-transitory computer-readable recording medium for estimating information on golf swing | |
| KR102050378B1 (en) | Green information providing device by direct 3-dimensional image obtain and method | |
| US20220161121A1 (en) | Autonomous Tracking and Personalized Golf Recommendation and Analysis Environment | |
| CN116416291A (en) | Electronic fence automatic generation method, real-time detection method and device | |
| KR102417063B1 (en) | Golf assistant apparatus integrating putting measurement with distance measurement | |
| US11653711B2 (en) | System and method for generating route data | |
| KR101974364B1 (en) | Method of providing golf putting line information using mobile device with lidar | |
| US20230285802A1 (en) | Method, device, and non-transitory computer-readable recording medium for estimating information on golf swing | |
| KR102199354B1 (en) | Method and apparatus for providing advice on golf | |
| KR101841172B1 (en) | Mobile device for providing golf putting line information using lidar | |
| KR102334264B1 (en) | Golf assistant method and system using augmented reality | |
| US20230381584A1 (en) | Method, system, and non-transitory computer-readable recording medium for estimating information on golf swing posture | |
| Manderson et al. | Gaze selection for enhanced visual odometry during navigation | |
| KR101841497B1 (en) | Method of providing golf putting line information using mobile device with lidar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |