KR20230127850A - Control method for deciding user's golf difficuty using game cpmpletion tiem of golf based on ar - Google Patents

Control method for deciding user's golf difficuty using game cpmpletion tiem of golf based on ar Download PDF

Info

Publication number
KR20230127850A
KR20230127850A KR1020220101007A KR20220101007A KR20230127850A KR 20230127850 A KR20230127850 A KR 20230127850A KR 1020220101007 A KR1020220101007 A KR 1020220101007A KR 20220101007 A KR20220101007 A KR 20220101007A KR 20230127850 A KR20230127850 A KR 20230127850A
Authority
KR
South Korea
Prior art keywords
scan data
image
golf
electronic device
ground
Prior art date
Application number
KR1020220101007A
Other languages
Korean (ko)
Other versions
KR102665396B1 (en
Inventor
강성무
Original Assignee
주식회사 픽셀소프트웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 픽셀소프트웨어 filed Critical 주식회사 픽셀소프트웨어
Priority to KR1020220101007A priority Critical patent/KR102665396B1/en
Publication of KR20230127850A publication Critical patent/KR20230127850A/en
Application granted granted Critical
Publication of KR102665396B1 publication Critical patent/KR102665396B1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B57/00—Golfing accessories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B57/00—Golfing accessories
    • A63B57/40—Golf cups or holes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A63B69/3658—Means associated with the ball for indicating or measuring, e.g. speed, direction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G01S19/19—Sporting applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0636—3D visualisation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A63B2071/0641—Displaying moving images of recorded environment, e.g. virtual environment with a marker advancing in function of the exercise
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/12—Absolute positions, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/17—Counting, e.g. counting periodical movements, revolutions or cycles, or including further data processing to determine distances or speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/18—Inclination, slope or curvature
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/20—Distances or displacements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/62—Time or time measurement used for time reference, time stamp, master time or clock signal
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Navigation (AREA)

Abstract

본 발명은 하나 이상의 골프장의 지형에 대하여 위치 별로 획득된 3D 스캔 데이터를 포함하는 메모리, 지면을 촬영하기 위한 카메라, 전자 장치의 위치를 파악하기 위한 GPS(Global Positioning System) 모듈, 카메라를 통해 촬영되는 지면에 대한 3D 스캔 데이터를 획득하기 위한 라이다(LIDAR) 센서, 및 메모리, 카메라, GPS 모듈, 및 라이다 센서와 연결된 프로세서를 포함하는 골프 그린의 경사도를 AR을 통해 가시화하는 전자 장치에 관한 것이다.The present invention provides a memory including 3D scan data acquired for each location of one or more golf course topography, a camera for photographing the ground, a GPS (Global Positioning System) module for determining the location of an electronic device, and a camera photographed through the camera. It relates to an electronic device for visualizing a slope of a golf green through AR, including a LIDAR sensor for obtaining 3D scan data of the ground, and a memory, a camera, a GPS module, and a processor connected to the lidar sensor. .

Description

AR에 기반한 골프의 게임 완료 시간에 따른 사용자의 골프 난이도를 판단하는 전자 장치의 제어 방법{CONTROL METHOD FOR DECIDING USER'S GOLF DIFFICUTY USING GAME CPMPLETION TIEM OF GOLF BASED ON AR}Control method of electronic device for determining user's level of golf difficulty according to AR-based golf game completion time

본 발명은 골프 그린의 경사도를 AR을 통해 가시화하는 전자 장치, 및 제어 방법에 관한 것으로, 상세하게는, 사용자가 휴대하는 하나의 전자 장치(ex. 스마트폰, 태블릿 등)만으로 현실 공간에 대한 이미지를 실시간으로 카메라를 통해 획득하여 디스플레이에 표현함에 있어서, 기 구축된 골프장 그린의 3D 스캔 데이터를 기반으로 한, AR 기술을 활용하여 지면에 대한 경사도를 표현하는 것이다.The present invention relates to an electronic device that visualizes the slope of a golf green through AR, and a control method, and more particularly, to an image of a real space with only one electronic device (ex. smartphone, tablet, etc.) carried by a user. Obtained through a camera in real time and expressed on a display, the slope to the ground is expressed using AR technology based on 3D scan data of a previously built golf course green.

가상 현실(Virtual Reality)이 이미지, 주변 배경, 객체를 가상의 이미지로 제공하는 기술인 반면, 증강 현실(Augmented Reality, AR)은 카메라를 통해 실시간 획득되는 실제 이미지에 일부 추가 이미지를 가상으로 생성하여, 실제 이미지에 오버랩된 이미지를 제공하는 기술이다.Whereas Virtual Reality is a technology that provides images, surrounding backgrounds, and objects as virtual images, Augmented Reality (AR) virtually creates some additional images in addition to real images acquired through a camera in real time, It is a technology that provides an image overlapped with a real image.

한편, 골프 코스는 18홀로 구성되며, 자연 장해물 구역(해저드, 벙커)에 따른 난이도가 다르게 적용되고, 그린의 지면은 경사도가 변칙적으로 적용될 수 있다.On the other hand, the golf course consists of 18 holes, different levels of difficulty are applied according to natural obstacle areas (hazard, bunker), and the ground of the green may have an irregular slope.

한편, 상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.On the other hand, the matters described as the background art above are only for improving understanding of the background of the present invention, and should not be taken as an admission that they correspond to prior art already known to those skilled in the art. will be.

공개특허공보 제10-2017-0081964호, 2017.07.13.Publication No. 10-2017-0081964, 2017.07.13.

본 발명이 해결하고자 하는 과제는 현재 골퍼가 위치한 지면의 경사도 및 골프 홀(hole)의 위치를 하나의 전자 장치를 통해 AR 이미지로 제공함으로써 퍼팅 정확도를 높이는 골프 그린의 경사도를 AR을 통해 가시화하는 전자 장치, 및 제어 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide an AR image of the slope of the ground where the golfer is currently located and the position of the golf hole through one electronic device, thereby increasing the accuracy of putting. An electronic device that visualizes the slope of the golf green through AR. An apparatus and a control method are provided.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 골프 그린의 경사도를 AR을 통해 가시화하는 전자 장치는, 하나 이상의 골프장의 지형에 대하여 위치 별로 획득된 3D 스캔 데이터를 포함하는 메모리, 지면을 촬영하기 위한 카메라, 전자 장치의 위치를 파악하기 위한 GPS(Global Positioning System) 모듈, 카메라를 통해 촬영되는 지면에 대한 3D 스캔 데이터를 획득하기 위한 라이다(LIDAR) 센서, 및 메모리, 카메라, GPS 모듈, 및 라이다 센서와 연결된 프로세서를 포함한다.An electronic device for visualizing the slope of a golf green through AR according to an aspect of the present invention for solving the above problems is a memory including 3D scan data obtained for each location with respect to the topography of one or more golf courses, and photographing the ground A camera, a global positioning system (GPS) module for determining the location of an electronic device, a LIDAR sensor for acquiring 3D scan data on the ground captured through the camera, and memory, a camera, a GPS module, and a processor connected to the lidar sensor.

이때, 프로세서는, GPS 모듈을 통해 식별된 전자 장치의 위치를 바탕으로, 메모리에 포함된 3D 스캔 데이터 중 제1 스캔 데이터를 획득하고, 제1 스캔 데이터 중 라이다 센서를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득하고, 획득된 제2 스캔 데이터에 매칭되는 이미지를, 카메라를 통해 촬영된 지면에 대한 이미지에 오버랩(overlap)한다.At this time, the processor obtains first scan data among 3D scan data included in the memory based on the location of the electronic device identified through the GPS module, and obtains 3D scan data obtained through the lidar sensor among the first scan data Acquire second scan data that matches , and overlap an image matching the acquired second scan data with an image of the ground captured through the camera.

한편, 전자 장치는, 제2 스캔 데이터에 매칭되는 이미지인, 지면의 경사도를 가시화한 그리드 맵이 지면에 대한 이미지에 오버랩된 AR(Augmented Reality) 이미지를 제공하는 디스플레이를 포함할 수 있다.Meanwhile, the electronic device may include a display that provides an Augmented Reality (AR) image in which a grid map visualizing an inclination of the ground, which is an image matched to the second scan data, is overlapped with an image of the ground.

또한, 전자 장치는, 방향을 파악하기 위한 자이로(gyro) 센서를 포함하고, 이에 따라, 프로세서는, 자이로 센서를 통해 식별된 전자 장치의 방향, 및 라이다 센서를 통해 식별된 지면에 대한 거리를 바탕으로, 제1 스캔 데이터 중 제3 스캔 데이터 선택하고, 제3 스캔 데이터 중 라이다 센서를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득하거나, 또는, 카메라를 통해 촬영된 지면에 대한 이미지를 복수의 위치 별로 저장된 이미지와 비교하여, 제1 스캔 데이터 중 제4 스캔 데이터 선택하고, 제4 스캔 데이터 중 라이다 센서를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득할 수 있다.In addition, the electronic device includes a gyro sensor for determining a direction, and accordingly, the processor determines the direction of the electronic device identified through the gyro sensor and the distance to the ground identified through the LIDAR sensor. Based on this, the third scan data is selected from among the first scan data, and second scan data that matches the 3D scan data obtained through the lidar sensor is obtained from among the third scan data, or on the ground photographed through the camera. Comparing an image for a plurality of locations with images stored for each location, selecting fourth scan data from among the first scan data, and obtaining second scan data that matches 3D scan data acquired through a lidar sensor from among the fourth scan data. can

한편, 프로세서는, GPS 모듈을 통해 전자 장치의 위치를 모니터링하고, 카메라를 통해 촬영되는 지면에 대한 복수의 스캔 데이터를 라이다 센서를 통해 획득하되, 복수의 스캔 데이터를 지면의 위치에 따라 각각 연결하여, 지면의 경사도를 포함하는 3D 스캔 데이터를 생성할 수 있다.On the other hand, the processor monitors the position of the electronic device through the GPS module, acquires a plurality of scan data for the ground captured by the camera through the lidar sensor, and connects the plurality of scan data according to the location of the ground Thus, 3D scan data including the inclination of the ground may be generated.

본 발명의 일 면에 따른 골프 그린의 경사도를 AR을 통해 가시화하는, 하나 이상의 골프장의 지형에 대하여 위치 별로 획득된 3D 스캔 데이터가 저장된 전자 장치의 제어 방법에 있어서, 카메라를 통해 지면을 촬영하는 단계, 라이다 센서를 통해, 촬영된 지면에 대한 3D 스캔 데이터를 획득하는 단계, GPS 모듈을 통해 식별된 전자 장치의 위치를 바탕으로, 전자 장치에 저장된 3D 스캔 데이터 중 제1 스캔 데이터를 획득하는 단계, 제1 스캔 데이터 중 라이다 센서를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득하는 단계, 획득된 제2 스캔 데이터에 매칭되는 이미지를, 카메라를 통해 촬영된 지면에 대한 이미지에 오버랩하는 단계, 및 제2 스캔 데이터에 매칭되는 이미지가 지면에 대한 이미지에 오버랩된 AR 이미지를 디스플레이를 통해 출력하는 단계를 포함한다.In the control method of an electronic device in which 3D scan data obtained for each location of one or more golf courses is stored, in which a slope of a golf green is visualized through AR according to an aspect of the present invention, the step of photographing the ground through a camera , Acquiring 3D scan data of the captured ground through a lidar sensor, obtaining first scan data among 3D scan data stored in the electronic device based on the location of the electronic device identified through the GPS module , Acquiring second scan data that matches the 3D scan data acquired through the lidar sensor among the first scan data, attaching an image matching the obtained second scan data to an image of the ground captured through the camera overlapping, and outputting through a display an AR image in which an image matching the second scan data overlaps an image of the ground.

이때, 제2 스캔 데이터를 획득하는 단계는, 자이로 센서를 통해 식별된 전자 장치의 방향, 및 라이다 센서를 통해 식별된 지면에 대한 거리를 바탕으로, 제1 스캔 데이터 중 제3 스캔 데이터 선택하는 단계, 및 제3 스캔 데이터 중 라이다 센서를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득하는 단계를 포함하거나, 또는, 카메라를 통해 촬영된 지면에 대한 이미지를 복수의 위치 별로 저장된 이미지와 비교하여, 제1 스캔 데이터 중 제4 스캔 데이터 선택하는 단계, 및 제4 스캔 데이터 중 라이다 센서를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득하는 단계를 포함할 수 있다.In this case, the obtaining of the second scan data may include selecting third scan data from among the first scan data based on the direction of the electronic device identified through the gyro sensor and the distance to the ground identified through the lidar sensor. Step, and obtaining second scan data that matches the 3D scan data obtained through the lidar sensor among the third scan data, or storing the image of the ground photographed through the camera for each of a plurality of locations Comparing with the image, selecting fourth scan data from among the first scan data, and acquiring second scan data that matches 3D scan data acquired through a lidar sensor from among the fourth scan data. .

한편, 제2 스캔 데이터를 획득하는 단계는, 전자 장치의 위치로부터 골프 홀(hole) 위치에 대한 방향을 식별하는 단계, 식별된 방향에 대한 예상 영역을 획득하는 단계, 예상 영역 및 제2 스캔 데이터 간의 중복되는 영역의 면적이 임계치 미만인 경우, 예상 영역에 대한 조정 이미지를 디스플레이를 통해 출력하고, 조정 이미지에 대한 방향 조정을 수행하는 단계, 방향 조정 시점으로부터 자이로 센서를 통해 재식별된 전자 장치의 방향을 바탕으로 제1 스캔 데이터 중 제3 스캔 데이터를 재선택하는 단계, 및 재선택된 제3 스캔 데이터 중 라이다 센서를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 재획득하는 단계를 포함할 수 있다.Meanwhile, acquiring the second scan data may include identifying a direction to a location of a golf hole from the location of the electronic device, obtaining an expected area for the identified direction, and the expected area and the second scan data. If the area of the overlapping region is less than the threshold value, outputting an adjusted image for the expected region through a display and performing orientation adjustment on the adjustment image, the direction of the electronic device re-identified through the gyro sensor from the time of orientation adjustment Reselecting third scan data from among the first scan data based on, and reacquiring second scan data matching the 3D scan data obtained through the lidar sensor from among the reselected third scan data. can do.

추가로, 전자 장치의 제어 방법은, 전자 장치의 골프장의 지형에 대한 구간별 이동 시간 및 구간별 이동 거리를 산출하는 단계, 및 구간별 이동 시간 및 구간별 이동 거리를 바탕으로, 사용자에 대한 골프 난이도를 판단하는 단계를 포함하고, AR 이미지를 디스플레이를 통해 출력하는 단계는, 제2 스캔 데이터에 골프 홀(hole) 위치에 대한 이미지가 포함되면, 골프 홀 위치에 대한 마킹을 AR 이미지에 오버랩하는 단계, 카메라를 통해 실시간 획득되는 지면에 대한 이미지로부터 골프 공의 위치를 식별하는 단계, 제2 스캔 데이터에 포함된 지면에 대한 경사도를 바탕으로, 골프 공의 위치로부터 골프 홀까지의 최단 루트를 나타내는 이미지인, 경로 이미지를 생성하는 단계, 사용자에 대한 골프 난이도 및 경로 이미지에 대한 거리값을 바탕으로, 사용자에 대한 게임 완료에 소요되는 예측 시간을 산출하는 단계, AR 이미지에 경로 이미지를 오버랩하는 단계, 및 경로 이미지에 대한 거리값 및 예측 시간을 디스플레이를 통해 제공하는 단계를 포함할 수 있다.In addition, the control method of the electronic device includes calculating a movement time for each section and a movement distance for each section with respect to the topography of a golf course of the electronic device, and based on the moving time for each section and the moving distance for each section, the golf course for the user is calculated. The step of determining the degree of difficulty, and outputting the AR image through the display, includes overlapping the marking of the golf hole location on the AR image when the image of the golf hole location is included in the second scan data. Step, identifying the position of the golf ball from the ground image obtained in real time through the camera, based on the slope to the ground included in the second scan data, representing the shortest route from the position of the golf ball to the golf hole image, generating a path image, calculating a predicted time required to complete the game for the user based on the golf difficulty level for the user and the distance value for the path image, overlapping the AR image with the path image , and providing a distance value and prediction time for the path image through a display.

한편, 본 발명의 이 실시예에 따른, 하나 이상의 골프장의 지형에 대하여 위치 별로 획득된 3D 스캔 데이터가 저장된, 골프 그린의 경사도를 AR을 통해 가시화하는 전자 장치의 제어 방법에 있어서, 사용자 단말의 위치를 바탕으로, 전자 장치에 저장된 3D 스캔 데이터 중 제1 스캔 데이터를 획득하는 단계, 제1 스캔 데이터 중 사용자 단말을 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득하는 단계, 획득된 제2 스캔 데이터에 매칭되는 이미지를, 사용자 단말을 통해 촬영된 지면에 대한 이미지에 오버랩하는 단계, 및제2 스캔 데이터에 매칭되는 이미지가 지면에 대한 이미지에 오버랩된 AR(Augmented Reality) 이미지를 사용자 단말로 제공하는 단계를 포함한다.On the other hand, in the control method of an electronic device for visualizing the slope of a golf green through AR, in which 3D scan data acquired for each location of one or more golf courses is stored, according to this embodiment of the present invention, the location of the user terminal Based on, obtaining first scan data among 3D scan data stored in the electronic device, obtaining second scan data matching 3D scan data obtained through a user terminal among first scan data, 2 overlapping an image matching the scan data with an image of the ground captured through the user terminal, and an augmented reality (AR) image in which the image matching the second scan data overlaps the image of the ground to the user terminal Steps include providing

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 발명의 골프 그린의 경사도를 AR을 통해 가시화하는 전자 장치, 및 제어 방법에 의하면, 별도의 장비 없이 스마트폰, 태블릿 등의 사용자가 보유한 전자 장치를 통해 1cm 이내의 오차로 정확한 경사도 및 홀컵 위치를 AR 이미지를 통해 제공하여, 사용자의 퍼팅 정확도를 높이는 효과를 구현한다.According to the electronic device and control method for visualizing the slope of a golf green through AR of the present invention, an accurate slope and hole cup location can be obtained with an error of less than 1 cm through an electronic device owned by a user such as a smartphone or tablet without additional equipment. It is provided through AR images to realize the effect of increasing the user's putting accuracy.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 일 실시예에 따른 전자 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 시스템 구성 상세도이다.
도 3은 본 발명의 이 실시예에 따른 시스템 구성도이다.
도 4는 본 발명의 일 실시예에 따른 기본 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이를 통한 AR 이미지 제공도이다.
도 6은 본 발명의 일 실시예에 따른 지면 경사도 표시도이다.1 is a configuration diagram of an electronic device according to an embodiment of the present invention.
2 is a detailed diagram of a system configuration according to an embodiment of the present invention.
3 is a system configuration diagram according to this embodiment of the present invention.
4 is a basic flow diagram according to an embodiment of the present invention.
5 is an AR image provision diagram through a display according to an embodiment of the present invention.
6 is a ground slope display diagram according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, only these embodiments are intended to complete the disclosure of the present invention, and are common in the art to which the present invention belongs. It is provided to fully inform the person skilled in the art of the scope of the invention, and the invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements. Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.The term "unit" or "module" used in the specification means a hardware component such as software, FPGA or ASIC, and "unit" or "module" performs certain roles. However, "unit" or "module" is not meant to be limited to software or hardware. A “unit” or “module” may be configured to reside in an addressable storage medium and may be configured to reproduce one or more processors. Thus, as an example, a “unit” or “module” may refer to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. Functions provided within components and "units" or "modules" may be combined into smaller numbers of components and "units" or "modules" or may be combined into additional components and "units" or "modules". can be further separated.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓일 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.The spatially relative terms "below", "beneath", "lower", "above", "upper", etc. It can be used to easily describe a component's correlation with other components. Spatially relative terms should be understood as including different orientations of elements in use or operation in addition to the orientations shown in the drawings. For example, if you flip a component that is shown in a drawing, a component described as "below" or "beneath" another component will be placed "above" the other component. can Thus, the exemplary term “below” may include directions of both below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.In this specification, a computer means any kind of hardware device including at least one processor, and may be understood as encompassing a software configuration operating in a corresponding hardware device according to an embodiment. For example, a computer may be understood as including a smartphone, a tablet PC, a desktop computer, a laptop computer, and user clients and applications running on each device, but is not limited thereto.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 전자 장치(100)의 구성도이다.1 is a configuration diagram of an electronic device 100 according to an embodiment of the present invention.

일 실시예로, 전자 장치(100)는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC (desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 노트북 컴퓨터(notebook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 웨어러블 장치(wearable device), 인공지능 스피커(AI speaker) 중 적어도 하나를 포함할 수 있다.In one embodiment, the electronic device 100 includes a smartphone, a tablet personal computer (PC), a mobile phone, a video phone, an e-book reader, and a desktop PC. ), laptop PC, netbook computer, notebook computer, workstation, server, PDA (personal digital assistant), PMP (portable multimedia player), MP3 player, mobile medical It may include at least one of a device, a camera, a wearable device, and an AI speaker.

도시된 바와 같이, 전자 장치(100)는 하나 이상의 골프장의 지형에 대하여 위치 별로 획득된 3D 스캔 데이터를 포함하는 메모리(110), 지면을 촬영하기 위한 카메라(130), 전자 장치(100)의 위치를 파악하기 위한 GPS 모듈(140), 카메라(130)를 통해 촬영되는 지면에 대한 3D 스캔 데이터를 획득하기 위한 라이다 센서(150), 전자 장치(100)의 방향(전자 장치(100)를 상부와 하부로 구분할 때, 하부에서 시작되어 상부로 향하는 방향)을 파악하기 위한 자이로 센서(160), 및 메모리(110), 카메라(130), GPS(Global Positioning System) 모듈(140), 라이다(LIDAR) 센서(150), 및 자이로(gyro) 센서(160)와 연결된 프로세서(120)를 포함할 수 있다.As shown, the electronic device 100 includes a memory 110 including 3D scan data acquired for each location with respect to the topography of one or more golf courses, a camera 130 for photographing the ground, and a location of the electronic device 100. GPS module 140 for grasping, LiDAR sensor 150 for obtaining 3D scan data on the ground photographed through camera 130, direction of electronic device 100 (electronic device 100 at the top A gyro sensor 160, a memory 110, a camera 130, a global positioning system (GPS) module 140, lidar ( A processor 120 connected to a LIDAR sensor 150 and a gyro sensor 160 may be included.

이때, 메모리(110)는 전자 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리(110)는 비휘발성 메모리(110), 휘발성 메모리(110), 플래시메모리(110)(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.At this time, the memory 110 may store various programs and data necessary for the operation of the electronic device 100 . The memory 110 may be implemented as a non-volatile memory 110, a volatile memory 110, a flash-memory, a hard disk drive (HDD), or a solid state drive (SSD).

프로세서(120)는 메모리(110)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(120)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 및 버스로 구성될 수 있다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.The processor 120 may control overall operations of the electronic device 100 using various programs stored in the memory 110 . The processor 120 may include a RAM, a ROM, a graphic processing unit, a main CPU, first through n interfaces, and a bus. At this time, the RAM, ROM, graphic processing unit, main CPU, first to n interfaces, etc. may be connected to each other through a bus.

RAM은 O/S 및 어플리케이션 프로그램을 저장한다. 구체적으로, 전자 장치(100)가 부팅되면 O/S가 RAM에 저장되고, 사용자가 선택한 각종 어플리케이션 데이터가 RAM에 저장될 수 있다.RAM stores O/S and application programs. Specifically, when the electronic device 100 is booted, O/S is stored in RAM, and various application data selected by the user may be stored in RAM.

ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 메모리(110)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 메모리(110)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.The ROM stores instruction sets for system booting. When a turn-on command is input and power is supplied, the main CPU copies the O/S stored in the memory 110 to the RAM according to the command stored in the ROM, and executes the O/S to boot the system. When booting is completed, the main CPU copies various application programs stored in the memory 110 to RAM, and executes the application programs copied to RAM to perform various operations.

그래픽 처리부는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이템, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 여기서, 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하는 구성일 수 있다. 그리고, 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성하는 구성이 일 수 있다. 이러한 렌더링부에서 생성된 화면은 디스플레이의 디스플레이 영역 내에 표시될 수 있다.The graphic processing unit uses a calculation unit (not shown) and a rendering unit (not shown) to create a screen including various objects such as items, images, and text. Here, the calculation unit may be configured to calculate attribute values such as coordinate values, shape, size, color, etc. of each object to be displayed according to the layout of the screen by using a control command received from the input unit. And, the rendering unit may be configured to generate screens of various layouts including objects based on the attribute values calculated by the calculation unit. The screen created by the rendering unit may be displayed within the display area of the display.

메인 CPU는 메모리(110)에 액세스하여, 메모리(110)에 저장된 OS를 이용하여 부팅을 수행한다. 그리고, 메인 CPU는 메모리(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.The main CPU accesses the memory 110 and performs booting using the OS stored in the memory 110 . And, the main CPU performs various operations using various programs, contents, data, etc. stored in the memory 110 .

제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.The first through n interfaces are connected to the various components described above. One of the first through n interfaces may be a network interface connected to an external device through a network.

한편, 프로세서(120)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.Meanwhile, the processor 120 may include one or more cores (not shown) and a graphic processing unit (not shown) and/or a connection path (eg, a bus) for transmitting and receiving signals to and from other components. can

일 실시예에 따른 프로세서(120)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 발명과 관련하여 설명된 방법을 수행한다.Processor 120 according to one embodiment performs a method described in connection with the present invention by executing one or more instructions stored in memory 110 .

예를 들어, 프로세서(120)는 메모리(110)에 저장된 하나 이상의 인스트럭션을 실행함으로써 신규 학습용 데이터를 획득하고, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하고, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하고, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하고, 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시킬 수 있다.For example, the processor 120 acquires new training data by executing one or more instructions stored in the memory 110, performs a test on the acquired new training data using a learned model, and performs the test As a result, first training data for which the labeled information is obtained with an accuracy equal to or higher than a predetermined first reference value is extracted, the extracted first training data is deleted from the new training data, and the new training data from which the extracted training data is deleted The learned model may be retrained using the training data.

한편, 프로세서(120)는 프로세서(120) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(120)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.Meanwhile, the processor 120 includes RAM (Random Access Memory, not shown) and ROM (Read-Only Memory) that temporarily and/or permanently store signals (or data) processed in the processor 120. , not shown) may be further included. In addition, the processor 120 may be implemented in the form of a system on chip (SoC) including at least one of a graphics processing unit, RAM, and ROM.

메모리(110)에는 프로세서(120)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(110)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.The memory 110 may store programs (one or more instructions) for processing and control of the processor 120 . Programs stored in the memory 110 may be divided into a plurality of modules according to functions.

본 발명의 일 면에 따른 골프 그린의 경사도를 AR을 통해 가시화하는 전자 장치(100)에 있어서, 프로세서(120)는 GPS 모듈(140)을 통해 식별된 전자 장치(100)의 위치를 바탕으로, 메모리(110)에 포함된 3D 스캔 데이터 중 제1 스캔 데이터를 획득한다.In the electronic device 100 for visualizing the slope of a golf green through AR according to one aspect of the present invention, the processor 120, based on the location of the electronic device 100 identified through the GPS module 140, Among the 3D scan data included in the memory 110, first scan data is obtained.

3D 스캔 데이터는, 실외 골프장의 위치 별 지형에 대한 입체 이미지이며, 제1 스캔 데이터, 제2 스캔 데이터 등, 제n 스캔 데이터는, 3D 스캔 데이터에 대한 일 위치에 따른 입체 이미지이다.The 3D scan data is a stereoscopic image of the topography of each location of the outdoor golf course, and the n-th scan data, such as the first scan data and the second scan data, is a stereoscopic image according to one location of the 3D scan data.

이때, 프로세서(120)는 제1 스캔 데이터 중 라이다 센서(150)를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득하고, 획득된 제2 스캔 데이터에 매칭되는 이미지를, 카메라를 통해 촬영된 지면에 대한 이미지에 오버랩(overlap)한다.At this time, the processor 120 acquires second scan data that matches the 3D scan data obtained through the lidar sensor 150 among the first scan data, and obtains an image matching the obtained second scan data, using the camera. It overlaps the image of the ground taken through

이를 위해, 프로세서(120)는 골프장에 대한 3D 스캔 데이터를 기 구축하며, 구체적으로, GPS 모듈(140)을 통해 전자 장치(100)의 위치를 모니터링하고, 카메라(130)를 통해 촬영되는 지면에 대한 복수의 스캔 데이터를 라이다 센서(150)를 통해 획득하되, 복수의 스캔 데이터를 지면의 위치에 따라 각각 연결하여, 지면의 경사도를 포함하는 3D 스캔 데이터를 생성할 수 있다.To this end, the processor 120 pre-constructs 3D scan data for the golf course, and specifically, monitors the position of the electronic device 100 through the GPS module 140, and captures data on the ground captured through the camera 130. A plurality of scan data for is obtained through the lidar sensor 150, and 3D scan data including a slope of the ground may be generated by connecting the plurality of scan data according to the location of the ground.

한편, 프로세서(120)는, 자이로 센서(160)를 통해 식별된 전자 장치(100)의 방향, 및 라이다 센서(150)를 통해 식별된 지면에 대한 거리(의 값)를 바탕으로, 제1 스캔 데이터 중 제3 스캔 데이터 선택하고, 제3 스캔 데이터 중 라이다 센서(150)를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득할 수 있다.Meanwhile, the processor 120, based on the direction of the electronic device 100 identified through the gyro sensor 160 and the distance to the ground (value of) identified through the lidar sensor 150, first Third scan data may be selected from among the scan data, and second scan data matching 3D scan data obtained through the lidar sensor 150 may be obtained from among the third scan data.

일 실시예로, 프로세서(120)는, 제2 스캔 데이터를 획득함에 있어, 전자 장치(100)의 위치 변화가, 일정 위치 범위 이내인 것으로 식별되면, 라이다 센서(150)를 통해 식별된 지형 구조를 바탕으로 제3 스캔 데이터 중 제2 스캔 데이터를 선택한다.In one embodiment, when obtaining the second scan data, the processor 120 determines that the location change of the electronic device 100 is within a certain location range, the terrain identified through the lidar sensor 150. Second scan data is selected from among the third scan data based on the structure.

이때, 라이다 센서(150)를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터가 식별되지 않는 경우, 프로세서(120)는 라이다 센서(150)를 통해 획득된 3D 스캔 데이터에이동형 객체가 스캔된 것으로 판단하여, 제3 스캔 데이터에 포함된 복수의 제1 지형 특징점을 식별한다.At this time, when the second scan data that matches the 3D scan data obtained through the lidar sensor 150 is not identified, the processor 120 determines that the 3D scan data acquired through the lidar sensor 150 is a movable object. When it is determined that the data has been scanned, a plurality of first terrain feature points included in the third scan data are identified.

이후, 프로세서(120)는 라이다 센서(150)를 통해 획득된 3D 스캔 데이터에 포함된 복수의 제2 지형 특징점을 식별하여, 제1 지형 특징점 중 제2 지형 특징점과 일치하는 제3 지형 특징점을 획득하고, 제3 스캔 데이터 중, 제3 지형 특징점 간의 위치 및 간격 중 적어도 하나와 동일한 지형 특징점을 포함하는 제2 스캔 데이터를 선택할 수 있다.Thereafter, the processor 120 identifies a plurality of second terrain feature points included in the 3D scan data acquired through the lidar sensor 150, and selects a third terrain feature point matching the second terrain feature point among the first terrain feature points. second scan data including a terrain feature point identical to at least one of a location and a distance between the third terrain feature points, among the third scan data, may be selected.

이때, 지형 특징점은 지면에 있어서 굴곡이 심하거나, 지면의 경사도의 변화량이 기 등록된 기준을 초과하는 지점이다.At this time, the feature point of the terrain is a point where the curvature of the ground is severe or the amount of change in the slope of the ground exceeds a pre-registered criterion.

일 실시예로, 도 6(본 발명의 일 실시예에 따른 지면 경사도 표시도)에 도시된 바와 같이, 프로세서(120)는, 3D 스캔 데이터에 대한 경사도를 바탕으로 제2 스캔 데이터 상에 지면의 경사도에 따라 무늬(ex. 폴리곤) 별 면적이 변동되도록 반영된 그리드 맵을 형성할 수 있다.In one embodiment, as shown in FIG. 6 (land inclination display according to an embodiment of the present invention), the processor 120 determines the slope of the ground on the second scan data based on the inclination of the 3D scan data. A grid map can be formed so that the area of each pattern (ex. polygon) varies according to the gradient.

이때, 프로세서(120)는 지면의 위치가 인접한 그리드 간의 꼭지점을 연결함으로써 그리드 맵을 생성할 수 있으며, 지면의 경사도가 가파른 것에 비례하여 해당 위치의 무늬의 면적을 넓게 하되, 경사도가 0인 지면에 대하여서는 최소 면적을 갖는 무늬가 생성되도록 제한하고, 일 지점을 꼭지점으로 공유하는 그리드의 개수가 일정 개수 이상인 경우, 해당 지점을 지형 특징점으로 등록할 수 있다.At this time, the processor 120 may generate a grid map by connecting vertices between grids adjacent to each other, and widen the area of the pattern in proportion to the steepness of the slope of the ground. For this, a pattern having a minimum area is limited to be generated, and if the number of grids sharing a point as a vertex is a certain number or more, the corresponding point can be registered as a feature point of the terrain.

반면, 자이로 센서(160)를 이용하지 않는 경우, 프로세서(120)는 카메라(130)를 통해 촬영된 지면에 대한 이미지를 복수의 위치 별로 저장된 이미지와 비교하여, 제1 스캔 데이터 중 제4 스캔 데이터 선택하고, 제4 스캔 데이터 중 라이다 센서(150)를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득할 수 있다.On the other hand, when the gyro sensor 160 is not used, the processor 120 compares an image of the ground captured by the camera 130 with an image stored for each location, and obtains fourth scan data among the first scan data. Second scan data matching the 3D scan data acquired through the lidar sensor 150 among the fourth scan data may be obtained.

도 4는 본 발명의 일 실시예에 따른 기본 흐름도이고, 도 5는 본 발명의 일 실시예에 따른 디스플레이(180)를 통한 AR 이미지 제공도이다.4 is a basic flowchart according to an embodiment of the present invention, and FIG. 5 is a diagram of providing an AR image through a display 180 according to an embodiment of the present invention.

본 발명의 일 면에 따른 골프 그린의 경사도를 AR을 통해 가시화하는, 하나 이상의 골프장의 지형에 대하여 위치 별로 획득된 3D 스캔 데이터가 저장된 전자 장치(100)의 제어 방법에 있어서, 도 4에 도시된 바와 같이, 전자 장치(100)는 카메라를 통해 지면을 촬영(S410)하고, 라이다 센서를 통해, 촬영된 지면에 대한 3D 스캔 데이터를 획득(S420)할 수 있다.In the control method of an electronic device 100 in which 3D scan data obtained for each location of one or more golf courses is stored, visualizing a slope of a golf green through AR according to an aspect of the present invention, the method shown in FIG. As such, the electronic device 100 may photograph the ground through a camera (S410) and acquire 3D scan data of the photographed ground through a lidar sensor (S420).

이때, 단계 S420을 수행함에 있어, 전자 장치(100)는, 골프장에 대한 3D 스캔 데이터를 기 구축하며, 구체적으로, GPS 모듈(140)을 통해 위치를 모니터링하고, 카메라(130)를 통해 촬영되는 지면에 대한 복수의 스캔 데이터를 라이다 센서(150)를 통해 획득하되, 복수의 스캔 데이터를 지면의 위치에 따라 각각 연결하여, 지면의 경사도를 포함하는 3D 스캔 데이터를 생성할 수 있다.At this time, in performing step S420, the electronic device 100 pre-constructs 3D scan data for the golf course, and specifically, monitors the location through the GPS module 140 and takes pictures through the camera 130. A plurality of scan data of the ground may be acquired through the lidar sensor 150, and 3D scan data including a slope of the ground may be generated by connecting the plurality of scan data according to the position of the ground.

이후, 전자 장치(100)는 GPS 모듈(140)을 통해 식별된 전자 장치(100)의 위치를 바탕으로, 전자 장치(100)에 저장된 3D 스캔 데이터 중 제1 스캔 데이터를 획득(S430)하고, 제1 스캔 데이터 중 라이다 센서(150)를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득(S440)하고, 획득된 제2 스캔 데이터에 매칭되는 이미지를, 카메라(130)를 통해 촬영된 지면에 대한 이미지에 오버랩(S450)할 수 있다.Thereafter, the electronic device 100 acquires first scan data among 3D scan data stored in the electronic device 100 based on the location of the electronic device 100 identified through the GPS module 140 (S430), Among the first scan data, second scan data matching the 3D scan data obtained through the lidar sensor 150 is acquired (S440), and an image matching the acquired second scan data is obtained through the camera 130. The captured image of the ground may be overlapped (S450).

이때, 전자 장치(100)가, 도 5에 도시된 바와 같이, 제2 스캔 데이터에 매칭되는 이미지인, 지면의 경사도를 가시화한 그리드 맵이 지면에 대한 이미지에 오버랩된 AR(Augmented Reality) 이미지를 제공하는 디스플레이(180)를 포함하는 경우, 전자 장치(100)는 제2 스캔 데이터에 매칭되는 이미지가 지면에 대한 이미지에 오버랩된 AR 이미지를 디스플레이(180)를 통해 출력할 수 있다.At this time, as shown in FIG. 5 , the electronic device 100 generates an AR (Augmented Reality) image in which a grid map visualizing the slope of the ground, which is an image matched to the second scan data, is overlapped with an image of the ground. When the display 180 is provided, the electronic device 100 may output through the display 180 an AR image in which an image matching the second scan data overlaps an image of the ground.

한편, 단계 S440을 수행함에 있어, 전자 장치(100)가 자이로 센서(160)를 이용하는 경우, 전자 장치(100)는 자이로 센서(160)를 통해 식별된 전자 장치(100)의 방향, 및 라이다 센서(150)를 통해 식별된 지면에 대한 거리를 바탕으로, 제1 스캔 데이터 중 제3 스캔 데이터 선택하고, 제3 스캔 데이터 중 라이다 센서를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득할 수 있다.Meanwhile, in performing step S440, when the electronic device 100 uses the gyro sensor 160, the electronic device 100 determines the direction and lida of the electronic device 100 identified through the gyro sensor 160. Based on the distance to the ground identified through the sensor 150, third scan data is selected from among the first scan data, and second scan data that matches the 3D scan data obtained through the lidar sensor among the third scan data can be obtained.

반면, 전자 장치(100)가 자이로 센서(160)를 미이용하는 경우, 단계 S440을 수행함에 있어, 전자 장치(100)는 카메라(130)를 통해 촬영된 지면에 대한 이미지를 복수의 위치 별로 저장된 이미지와 비교하여, 제1 스캔 데이터 중 제4 스캔 데이터 선택하고, 제4 스캔 데이터 중 라이다 센서(150)를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득할 수 있다.On the other hand, when the electronic device 100 does not use the gyro sensor 160, in performing step S440, the electronic device 100 converts the image of the ground captured by the camera 130 into an image stored for each location. Compared to , it is possible to select fourth scan data from among the first scan data, and obtain second scan data that matches the 3D scan data obtained through the lidar sensor 150 among the fourth scan data.

추가로, 단계 S440을 수행함에 있어, 전자 장치(100)는 골프 홀(hole)에 대한 이미지를, 카메라(130)를 통해 촬영된 지면에 대한 이미지로부터 식별하면, 지면에 대한 이미지에 대하여, GPS 모듈을 통해 획득된 일정 위치 범위 내 기 등록된 지형 특징점이 존재하는 여부를 판단하여, 지면에 대한 이미지 상에 지형 특징점이 존재하는 경우, 제1 스캔 데이터 중 제5 스캔 데이터를 선택하고, 제5 스캔 데이터 중 라이다 센서(150)를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득할 수 있다.In addition, in performing step S440, if the electronic device 100 identifies the image of the golf hole from the image of the ground captured by the camera 130, the electronic device 100 determines the GPS It is determined whether or not a registered terrain feature point exists within a certain position range obtained through the module, and if a terrain feature point exists on the image of the ground, the fifth scan data is selected from among the first scan data, and the fifth scan data is selected. Among the scan data, second scan data matching 3D scan data obtained through the lidar sensor 150 may be obtained.

한편, 단계 S440을 수행함에 있어, 전자 장치(100)는 카메라(130)를 통해 획득된 지면 이미지가, 자이로 센서(160)를 이용함에 따라 획득된 제3 스캔 데이터와 일치하지 않는 경우, 방향 조정을 위한 검증 과정을 수행할 수 있다.Meanwhile, in performing step S440, if the ground image acquired through the camera 130 does not match the third scan data obtained by using the gyro sensor 160, the electronic device 100 adjusts the direction A verification process can be performed for

구체적으로, 전자 장치(100)는 전자 장치(100)의 위치로부터 골프 홀의 위치에 대한 방향을 식별하여, 식별된 골프 홀에 대한 방향에 위치하는 예상 영역을 획득하고, 예상 영역 및 제2 스캔 데이터 간의 중복되는 영역의 면적이 임계치 미만인 경우, 예상 영역에 대한 조정 이미지를 디스플레이(180)를 통해 출력하고, 조정 이미지에 대한 방향 조정을 수행할 수 있다.Specifically, the electronic device 100 identifies a direction to the location of the golf hole from the location of the electronic device 100, obtains an expected area located in the direction of the identified golf hole, and obtains the expected area and second scan data. When the area of the overlapping region of the liver is less than the critical value, the adjusted image for the expected region may be output through the display 180 and the direction of the adjusted image may be adjusted.

이후, 전자 장치(100)는 방향 조정을 수행하기 시작한 방향 조정 시점을 식별하여, 방향 조정 시점으로부터 자이로 센서(160)를 통해 재식별된 전자 장치(100)의 방향을 바탕으로 제1 스캔 데이터 중 제3 스캔 데이터를 재선택함으로써, 재선택된 제3 스캔 데이터 중 라이다 센서(150)를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 재획득할 수 있다.Thereafter, the electronic device 100 identifies a direction adjustment time point at which direction adjustment is started, and based on the direction of the electronic device 100 re-identified through the gyro sensor 160 from the direction adjustment time point, among the first scan data By reselecting the third scan data, second scan data matching the 3D scan data acquired through the lidar sensor 150 among the reselected third scan data may be reacquired.

한편, 전자 장치(100)의 제어 방법에 있어서, 전자 장치(100)는 골프장의 지형에 대한 구간별 이동 시간 및 구간별 이동 거리를 산출하여, 구간별 이동 시간 및 구간별 이동 거리를 바탕으로, 사용자에 대한 골프 난이도를 판단할 수 있다.Meanwhile, in the control method of the electronic device 100, the electronic device 100 calculates the movement time for each section and the movement distance for each section with respect to the topography of the golf course, and based on the movement time for each section and the movement distance for each section, Golf difficulty for the user may be determined.

이에 따라, AR 이미지를 디스플레이(180)를 통해 출력함에 있어서, 전자 장치(100)는 제2 스캔 데이터에 골프 홀 위치에 대한 이미지가 포함되면, 골프 홀 위치에 대한 마킹을 AR 이미지에 오버랩하고, 카메라(130)를 통해 실시간 획득되는 지면에 대한 이미지로부터 골프 공의 위치를 식별한다.Accordingly, in outputting the AR image through the display 180, the electronic device 100 overlaps the marking of the golf hole location on the AR image when the image of the golf hole location is included in the second scan data, The location of the golf ball is identified from the image of the ground obtained in real time through the camera 130 .

이후, 전자 장치(100)는 제2 스캔 데이터에 포함된 지면에 대한 경사도를 바탕으로, 골프 공의 위치로부터 골프 홀까지의 최단 루트를 나타내는 이미지인, 경로 이미지를 생성하여, 사용자에 대한 골프 난이도 및 경로 이미지에 대한 거리값을 바탕으로, 사용자에 대한 게임 완료에 소요되는 예측 시간을 산출한다.Thereafter, the electronic device 100 generates a path image, which is an image representing the shortest route from the location of the golf ball to the golf hole, based on the slope with respect to the ground included in the second scan data, and determines the level of golf difficulty for the user. and based on the distance value of the path image, a predicted time required to complete the game for the user is calculated.

전자 장치(100)는 AR 이미지에 경로 이미지를 오버랩하고, 경로 이미지에 대한 거리값 및 예측 시간을 디스플레이(180)를 통해 제공할 수 있다.The electronic device 100 may overlap the AR image with a path image and provide a distance value and prediction time for the path image through the display 180 .

이때, 전자 장치(100)는 카메라(130)를 통해 실시간 획득되는 이미지를 바탕으로, 골프 공의 위치가 골프 홀의 위치와 일치하는 게임 완료 시점을 획득할 수 있고, 게임 완료 시점, 및 예측 시간에 따른 완료 예상 시점을 바탕으로 사용자에 대한 골프 난이도를 업데이트하고, 업데이트된 골프 난이도를 바탕으로 추천 골프 존의 예약 스케줄을 제공할 수 있다.In this case, the electronic device 100 may acquire the game completion point when the golf ball position coincides with the golf hole location based on the image acquired in real time through the camera 130, and at the game completion point and predicted time. Based on an expected completion time according to the above, a golf difficulty level for the user may be updated, and a reservation schedule of a recommended golf zone may be provided based on the updated golf difficulty level.

구체적으로, 전자 장치(100)는, GPS 모듈(140)을 통해 획득된 위치에 따른 게임 난이도를 식별하고, 게임 완료 시점, 및 예측 시간에 따른 완료 예상 시점의 시간 차이값이 임계치를 초과하는 경우, 사용자에 대한 골프 난이도가 게임 난이도 이하의 값이고, 게임 완료 시점이 완료 예상 시점 이전이면, 사용자에 대한 골프 난이도를 상향 조정할 수 있다.Specifically, the electronic device 100 identifies the game difficulty according to the location obtained through the GPS module 140, and when the time difference between the game completion time and the expected completion time according to the predicted time exceeds a threshold value. , If the golf difficulty level for the user is less than or equal to the game difficulty level and the game completion time is before the expected completion time point, the golf difficulty level for the user may be increased.

반면, 사용자에 대한 골프 난이도가 게임 난이도 이상의 값이고, 게임 완료 시점이 완료 예상 시점 이후면, 전자 장치(100)는, 사용자에 대한 골프 난이도를 하향 조정할 수 있다.On the other hand, if the golf difficulty level for the user is greater than or equal to the game difficulty level and the game completion time is after the expected completion time point, the electronic device 100 may lower the golf difficulty level for the user.

한편, 후술되는 전자 장치(100a, 100b) 및 사용자 단말(200)에 각각 포함되는 구성(메모리(110a, 110b), 프로세서(120a, 120b), 카메라(130a), GPS 모듈(140a), 라이다 센서(150a), 자이로 센서(160a), 및 디스플레이(180a))은 상술한 전자 장치(100)에 포함되는 구성(메모리(110), 프로세서(120), 카메라(130), GPS 모듈(140), 라이다 센서(150), 자이로 센서(160), 및 디스플레이(180))으로 대치될 수 있다.Meanwhile, components included in the electronic devices 100a and 100b and the user terminal 200 (memory 110a and 110b, processors 120a and 120b), camera 130a, GPS module 140a, LiDAR, respectively The sensor 150a, the gyro sensor 160a, and the display 180a are components (memory 110, processor 120, camera 130, GPS module 140) included in the above-described electronic device 100. , LiDAR sensor 150, gyro sensor 160, and display 180).

도 2는 본 발명의 일 실시예에 따른 시스템 구성 상세도이다.2 is a detailed diagram of a system configuration according to an embodiment of the present invention.

도시된 바에 따르면, 본 발명의 전자 장치(100a)에 있어서, 프로세서(120a)는 메모리(110), 카메라(130), GPS 모듈(140), 라이다 센서(150), 자이로 센서(160), 통신부(170a), 및 디스플레이(180a)를 제어할 수 있다.As shown, in the electronic device 100a of the present invention, the processor 120a includes a memory 110, a camera 130, a GPS module 140, a lidar sensor 150, a gyro sensor 160, The communication unit 170a and the display 180a may be controlled.

통신부(170a)는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부(170a)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 칩(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.The communication unit 170a may communicate with an external device. In particular, the communication unit 170a may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, an NFC chip, and a Bluetooth low energy chip (BLE chip). At this time, the Wi-Fi chip, the Bluetooth chip, and the NFC chip perform communication in a LAN method, a WiFi method, a Bluetooth method, and an NFC method, respectively. In the case of using a Wi-Fi chip or a Bluetooth chip, various connection information such as an SSID and a session key is first transmitted and received, and various information can be transmitted and received after communication is connected using this. The wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), and 5th Generation (5G).

도 3은 본 발명의 이 실시예에 따른 시스템 구성도이다.3 is a system configuration diagram according to this embodiment of the present invention.

도시된 바와 같이, 본 발명의 전자 장치(100b)는 메모리(110b), 프로세서(120b), 및 통신부(170b)를 포함하고, 통신부(170b)를 통해 사용자의 휴대용 전자 장치인, 사용자 단말(200)과 통신할 수 있다.As shown, the electronic device 100b of the present invention includes a memory 110b, a processor 120b, and a communication unit 170b, and the user terminal 200, which is a user's portable electronic device, through the communication unit 170b. ) can communicate with.

일 실시예로, 전자 장치(100b)는 데스크탑 PC (desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 노트북 컴퓨터(notebook computer), 워크스테이션(workstation), 서버, 인공지능 스피커(AI speaker) 중 적어도 하나를 포함할 수 있다.In one embodiment, the electronic device 100b includes a desktop PC, a laptop PC, a netbook computer, a notebook computer, a workstation, a server, and an artificial intelligence speaker. (AI speaker).

일 실시예로, 사용자 단말(200)은 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 영상 전화기, 전자책 리더기(e-book reader), 넷북 컴퓨터(netbook computer), 노트북 컴퓨터(notebook computer), 워크스테이션(workstation), PDA(personal digital assistant), 모바일 의료기기, 카메라, 웨어러블 장치(wearable device), 인공지능 스피커(AI speaker) 중 적어도 하나를 포함할 수 있다.In one embodiment, the user terminal 200 includes a smartphone, a tablet personal computer (PC), a video phone, an e-book reader, a netbook computer, and a notebook computer. ), a workstation, a personal digital assistant (PDA), a mobile medical device, a camera, a wearable device, and an AI speaker.

통신부(170b)는 외부 장치와 통신을 수행할 수 있다. 특히, 통신부(170b)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 칩(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.The communication unit 170b may communicate with an external device. In particular, the communication unit 170b may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, an NFC chip, and a Bluetooth low energy chip (BLE chip). At this time, the Wi-Fi chip, the Bluetooth chip, and the NFC chip perform communication in a LAN method, a WiFi method, a Bluetooth method, and an NFC method, respectively. In the case of using a Wi-Fi chip or a Bluetooth chip, various connection information such as an SSID and a session key is first transmitted and received, and various information can be transmitted and received after communication is connected using this. The wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), and 5th Generation (5G).

본 발명의 이 실시예에 따른, 하나 이상의 골프장의 지형에 대하여 위치 별로 획득된 3D 스캔 데이터가 저장된, 골프 그린의 경사도를 AR을 통해 가시화하는 전자 장치(100b)의 제어 방법에 있어서, 전자 장치(100b)는 사용자 단말(200)의 위치를 바탕으로, 전자 장치(100b)에 저장된 3D 스캔 데이터 중 제1 스캔 데이터를 획득하여, 제1 스캔 데이터 중 사용자 단말(200)을 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득한다.In the control method of the electronic device 100b for visualizing the gradient of a golf green through AR, in which 3D scan data acquired for each location of one or more golf courses is stored, according to this embodiment of the present invention, the electronic device (100b) 100b) obtains first scan data among 3D scan data stored in the electronic device 100b based on the location of the user terminal 200, and obtains 3D scan data obtained through the user terminal 200 among the first scan data Acquire second scan data that coincides with

이후, 전자 장치(100b)는 획득된 제2 스캔 데이터에 매칭되는 이미지를, 사용자 단말(200)을 통해 촬영된 지면에 대한 이미지에 오버랩하여, 제2 스캔 데이터에 매칭되는 이미지가 지면에 대한 이미지에 오버랩된 AR 이미지를 사용자 단말(200)로 제공한다.Thereafter, the electronic device 100b overlaps the image matching the acquired second scan data with the image of the ground captured through the user terminal 200 so that the image matching the second scan data is an image of the ground An AR image overlapped with is provided to the user terminal 200 .

한편, 본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.Meanwhile, steps of a method or algorithm described in relation to an embodiment of the present invention may be directly implemented as hardware, implemented as a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler), 파이썬(Python) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.Components of the present invention may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium. Components of the present invention may be implemented as software programming or software elements, and similarly, embodiments may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs, such as C, C++ , Java (Java), assembler (assembler), may be implemented in a programming or scripting language such as Python (Python). Functional aspects may be implemented in an algorithm running on one or more processors.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

100, 100a, 100b : 전자 장치
110, 110a, 110b : 메모리
120, 120a, 120b : 프로세서
130, 130a, 130b : 카메라
140, 140a : GPS 모듈
150, 150a : 라이다 센서
160, 160a : 자이로 센서
170a, 170b : 통신부
180a : 디스플레이
200 : 사용자 단말100, 100a, 100b: electronic device
110, 110a, 110b: memory
120, 120a, 120b: processor
130, 130a, 130b: camera
140, 140a: GPS module
150, 150a: lidar sensor
160, 160a: gyro sensor
170a, 170b: communication unit
180a: display
200: user terminal

Claims (1)

하나 이상의 골프장의 지형에 대하여 위치 별로 획득된 3D 스캔 데이터가 저장된 전자 장치의 제어 방법에 있어서,
카메라를 통해 지면을 촬영하는 단계;
라이다(LIDAR) 센서를 통해, 상기 촬영된 지면에 대한 3D 스캔 데이터를 획득하는 단계;
GPS(Global Positioning System) 모듈을 통해 식별된 상기 전자 장치의 위치를 바탕으로, 상기 전자 장치에 저장된 3D 스캔 데이터 중 제1 스캔 데이터를 획득하는 단계;
상기 제1 스캔 데이터 중 상기 라이다 센서를 통해 획득된 3D 스캔 데이터와 일치하는 제2 스캔 데이터를 획득하는 단계;
상기 획득된 제2 스캔 데이터에 매칭되는 이미지를, 상기 카메라를 통해 촬영된 상기 지면에 대한 이미지에 오버랩하는 단계; 및
상기 제2 스캔 데이터에 매칭되는 이미지가 상기 지면에 대한 이미지에 오버랩된 AR(Augmented Reality) 이미지를 디스플레이를 통해 출력하는 단계;를 포함하고,
상기 전자 장치의 제어 방법은,
상기 전자 장치의 상기 골프장의 지형에 대한 구간별 이동 시간 및 구간별 이동 거리를 산출하는 단계; 및
상기 구간별 이동 시간 및 상기 구간별 이동 거리를 바탕으로, 사용자에 대한 골프 난이도를 판단하는 단계;를 더 포함하고,
상기 AR 이미지를 디스플레이를 통해 출력하는 단계는,
상기 제2 스캔 데이터에 골프 홀(hole) 위치에 대한 이미지가 포함되면, 골프 홀 위치에 대한 마킹을 상기 AR 이미지에 오버랩하는 단계;
상기 카메라를 통해 실시간 획득되는 상기 지면에 대한 이미지로부터 골프 공의 위치를 식별하는 단계;
상기 제2 스캔 데이터에 포함된 상기 지면에 대한 경사도를 바탕으로, 상기 골프 공의 위치로부터 상기 골프 홀까지의 최단 루트를 나타내는 이미지인, 경로 이미지를 생성하는 단계;
상기 사용자에 대한 골프 난이도 및 상기 경로 이미지에 대한 거리값을 바탕으로, 상기 사용자에 대한 게임 완료에 소요되는 예측 시간을 산출하는 단계;
상기 AR 이미지에 상기 경로 이미지를 오버랩하는 단계; 및
상기 경로 이미지에 대한 거리값 및 상기 예측 시간을 상기 디스플레이를 통해 제공하는 단계;를 포함하고,
상기 전자 장치의 제어 방법은,
상기 카메라를 통해 실시간 획득되는 이미지를 바탕으로, 골프 공의 위치가 골프 홀의 위치와 일치하는 게임 완료 시점을 획득하고, 상기 게임 완료 시점, 및 상기 예측 시간에 따른 완료 예상 시점을 바탕으로 사용자에 대한 골프 난이도를 업데이트하는 단계;를 더 포함하는, 전자 장치의 제어 방법.A method for controlling an electronic device in which 3D scan data obtained for each location of the topography of one or more golf courses is stored,
photographing the ground through a camera;
Acquiring 3D scan data for the photographed ground through a LIDAR sensor;
obtaining first scan data from among 3D scan data stored in the electronic device based on the location of the electronic device identified through a global positioning system (GPS) module;
obtaining second scan data identical to 3D scan data acquired through the lidar sensor among the first scan data;
overlapping an image matching the obtained second scan data with an image of the ground captured by the camera; and
Outputting an Augmented Reality (AR) image in which an image matching the second scan data overlaps an image of the ground through a display,
The control method of the electronic device,
calculating a movement time for each section and a movement distance for each section with respect to the topography of the golf course by the electronic device; and
Based on the movement time for each section and the movement distance for each section, determining a golf difficulty level for the user; further comprising,
The step of outputting the AR image through a display,
overlapping a marking for a golf hole location on the AR image when the image for a golf hole location is included in the second scan data;
identifying a location of a golf ball from an image of the ground obtained in real time through the camera;
generating a path image, which is an image indicating the shortest route from the location of the golf ball to the golf hole, based on the slope of the ground included in the second scan data;
calculating a predicted time required to complete a game for the user based on a golf difficulty level for the user and a distance value for the path image;
overlapping the route image on the AR image; and
Including; providing a distance value and the predicted time for the path image through the display,
The control method of the electronic device,
Based on the image acquired in real time through the camera, the game completion time when the position of the golf ball coincides with the position of the golf hole is obtained, and based on the game completion time and the predicted completion time according to the predicted time, information about the user is determined. Updating the golf difficulty level; further comprising a control method of the electronic device.
KR1020220101007A 2022-02-24 2022-08-12 Control method for deciding user's golf difficuty using game cpmpletion tiem of golf based on ar KR102665396B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220101007A KR102665396B1 (en) 2022-02-24 2022-08-12 Control method for deciding user's golf difficuty using game cpmpletion tiem of golf based on ar

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220024257A KR102434153B1 (en) 2022-02-24 2022-02-24 Electronic device and control method for visualizes inclination of golf green through augmented reality
KR1020220101007A KR102665396B1 (en) 2022-02-24 2022-08-12 Control method for deciding user's golf difficuty using game cpmpletion tiem of golf based on ar

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220024257A Division KR102434153B1 (en) 2022-02-24 2022-02-24 Electronic device and control method for visualizes inclination of golf green through augmented reality

Publications (2)

Publication Number Publication Date
KR20230127850A true KR20230127850A (en) 2023-09-01
KR102665396B1 KR102665396B1 (en) 2024-05-14

Family

ID=83113632

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020220024257A KR102434153B1 (en) 2022-02-24 2022-02-24 Electronic device and control method for visualizes inclination of golf green through augmented reality
KR1020220076319A KR102665395B1 (en) 2022-02-24 2022-06-22 Control method for providing augmented reality including path image to hall
KR1020220101007A KR102665396B1 (en) 2022-02-24 2022-08-12 Control method for deciding user's golf difficuty using game cpmpletion tiem of golf based on ar

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020220024257A KR102434153B1 (en) 2022-02-24 2022-02-24 Electronic device and control method for visualizes inclination of golf green through augmented reality
KR1020220076319A KR102665395B1 (en) 2022-02-24 2022-06-22 Control method for providing augmented reality including path image to hall

Country Status (1)

Country Link
KR (3) KR102434153B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127296B1 (en) * 2010-03-25 2012-03-29 포항공과대학교 산학협력단 System and method for visualizing 3-D golf putting lines using mobile devices
KR101577764B1 (en) * 2014-05-28 2015-12-15 (주)테슬라시스템 Providing Method of Predicted Putting Trace of Golf Green in Mobile Terminal
KR20170081964A (en) 2016-01-05 2017-07-13 한국전자통신연구원 Augmented Reality device based on recognition spacial structure and method thereof
KR102018045B1 (en) * 2018-03-16 2019-09-04 주식회사 세진마인드 Mobile device for providing golf putting line information using lidar

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101127296B1 (en) * 2010-03-25 2012-03-29 포항공과대학교 산학협력단 System and method for visualizing 3-D golf putting lines using mobile devices
KR101577764B1 (en) * 2014-05-28 2015-12-15 (주)테슬라시스템 Providing Method of Predicted Putting Trace of Golf Green in Mobile Terminal
KR20170081964A (en) 2016-01-05 2017-07-13 한국전자통신연구원 Augmented Reality device based on recognition spacial structure and method thereof
KR102018045B1 (en) * 2018-03-16 2019-09-04 주식회사 세진마인드 Mobile device for providing golf putting line information using lidar

Also Published As

Publication number Publication date
KR102665395B1 (en) 2024-05-14
KR102434153B1 (en) 2022-08-19
KR20230127834A (en) 2023-09-01
KR102665396B1 (en) 2024-05-14

Similar Documents

Publication Publication Date Title
US10349033B2 (en) Three-dimensional map generating and displaying apparatus and method
US11887262B2 (en) Recommendations for extended reality systems
JP2007183949A (en) Method and apparatus for providing panoramic view with improved image matching speed and blending method
US20180247425A1 (en) Depth estimation method and depth estimation apparatus of multi-view images
CN113870401B (en) Expression generation method, device, equipment, medium and computer program product
KR102193638B1 (en) Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service
US11328473B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
BR112019019517A2 (en) method and apparatus for recognizing descriptive attribute of appearance characteristic
US20230215146A1 (en) Method and apparatus for generating and providing data video for generating training data of artificial intelligence model and recording medium on which program for the same is recorded
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
KR102665396B1 (en) Control method for deciding user's golf difficuty using game cpmpletion tiem of golf based on ar
KR102445082B1 (en) Control method for server providing solution to block puzzle
US20180197273A1 (en) System and Method for Displaying Graphical Effects Based on Determined Facial Positions
CN110097061B (en) Image display method and device
KR102481956B1 (en) Control method for historical education-linked coding system by location of relic
WO2022085069A1 (en) Exercise improvement instruction device, exercise improvement instruction method, and exercise improvement instruction program
JP2018088223A (en) Information processor, information processing method, and program
KR102214338B1 (en) Control method, device and program of electronic device for augmented reality display
KR102510050B1 (en) Control method of electronic device to acquire command for either going straight or back based on joint tracking
JP6060772B2 (en) Processing program, processing apparatus, and processing method
KR20210067590A (en) Method, device and non-transitory computer-readable recording medium for suggesting contents about golf
KR102673548B1 (en) Electronic device providing user interface constituted by user cognitive ability, and control method for server
KR102490430B1 (en) Control method of electronic device to acquire command for either positive or negative word based on joint tracking
CN113221751B (en) Method, device, equipment and storage medium for detecting key points
KR20240029487A (en) Control method for server performing three-dimensional multivariate based on wireless network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant