WO2023106706A1 - Ai 기반 플래그스틱 주변 정보 제공 장치 및 방법 - Google Patents

Ai 기반 플래그스틱 주변 정보 제공 장치 및 방법 Download PDF

Info

Publication number
WO2023106706A1
WO2023106706A1 PCT/KR2022/018818 KR2022018818W WO2023106706A1 WO 2023106706 A1 WO2023106706 A1 WO 2023106706A1 KR 2022018818 W KR2022018818 W KR 2022018818W WO 2023106706 A1 WO2023106706 A1 WO 2023106706A1
Authority
WO
WIPO (PCT)
Prior art keywords
flagstick
information
image
information providing
providing device
Prior art date
Application number
PCT/KR2022/018818
Other languages
English (en)
French (fr)
Inventor
조갑구
선종필
김세익
신현효
Original Assignee
주식회사 유큐브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유큐브이 filed Critical 주식회사 유큐브이
Publication of WO2023106706A1 publication Critical patent/WO2023106706A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf

Definitions

  • the present invention relates to an apparatus and method for providing information around Flagstick, and more particularly, to providing information on a distance to Flagstick by photographing Flagstick with a smartphone. That is, the present invention relates to an apparatus and method for providing surrounding information on a Flagstick capable of providing surrounding information and a distance to a Flagstick regardless of camera performance of a smartphone.
  • a golfer In a golf course, a golfer needs to grasp the distance, direction, etc. between a golf ball and a hole with the naked eye, but it is difficult to intuitively grasp this related information in a golf course with a large area.
  • a distance sensor is placed at an arbitrary location (mainly the center of the green) of the golf course around each hole of the golf course, and when the golfer carries the distance measurer, the data between the distance sensor and the distance measurer The distance was measured through transmission and reception and provided to the golfer.
  • the hole is not installed at one point on the green, but its location is changed according to the course change of the golf course, there is a limitation in that it is difficult to accurately measure the distance between the golf course hole and the golfer, and efforts have been made to solve this problem.
  • a sensor is added to a stick fixed to a hole to measure the distance between a golfer and a hole at a golf course, thereby measuring the location of the hole on the green.
  • a golfer's real-time accurate distance measurement system is presented even if the position is changed.
  • An object of the present invention is to provide an apparatus and method for providing nearby information on a flagstick that provides distance information to a flagstick located in a hall without installing a separate sensor.
  • Another object of the present invention is to provide an apparatus and method for providing nearby information on a flagstick that provides information on a distance to and around a flagstick from an image of a smartphone.
  • Flagstick surrounding information providing device includes an image acquiring unit acquiring an image from a camera attached to the flagstick surrounding information providing device, an object recognizing unit recognizing an object from the image, and information around the object from the image. It may include an object surrounding information providing unit that provides.
  • the image acquisition unit may obtain a 3D image of the surroundings of the flagstick including the flagstick from a device for providing information around the flagstick to which a 3D camera is attached.
  • the image acquisition unit may obtain a 2D left image and a 2D right image around the flagstick including the flagstick from a device for providing information around the flagstick to which the 2D camera is attached.
  • the object recognition unit may recognize a flagstick as an object in the learned AI model.
  • the AI model may use a recurrent neural network that stores a state inside the neural network so that connections between units, which are processing units, have a circular structure and can model time-varying dynamic characteristics.
  • learning may be performed based on an object image generated by a generative adversarial neural network that automatically creates an object close to a real object while competing with a generative model and a discrimination model.
  • the object surrounding information providing unit provides distance information between the flagstick surrounding information providing device and the flagstick, flagstick length information, green shape information, hole height At least one of information, green slope information, and wind information around a flagstick may be provided.
  • the distance information, length information, and shape information are converted based on the actual size per pixel according to the distance from the flagstick surrounding information providing device from the image obtained in 3D from the flagstick surrounding information providing device can provide
  • the height information is obtained from the image obtained in 3D by the flagstick surrounding information providing device, and the actual size per pixel according to the distance to the flagstick surrounding information providing device and the flagstick surrounding information providing device.
  • the built-in gravitational acceleration sensor can detect and provide the direction of the image relative to gravity.
  • the slope information is converted based on the actual size per pixel according to the distance from the flagstick surrounding information providing device from the image obtained in 3D from the flagstick surrounding information providing device and expressed as a horizontal grid and a vertical grid. that can be characterized.
  • wind information may be provided by an AI model learned based on a shape change of a flagstick according to wind.
  • the shape change may include any one of the frequency of vibration of a stick and a flag, and an angle at which a flag is blown in the wind.
  • the AI model may use a recurrent neural network that stores a state inside the neural network so that connections between units, which are processing units, have a circular structure and can model time-varying dynamic characteristics.
  • learning may be performed based on an object image generated by a generative adversarial neural network that automatically creates an object close to a real object while competing with a generative model and a discrimination model.
  • a method for providing information around Flagstick includes an image acquisition step of obtaining an image from a camera attached to a device for providing information around Flagstick in an image acquisition unit, an object recognition unit in an object recognition unit, and an object from the image. It may include an object recognition step of recognizing , and an object surrounding information providing step of providing information around the object from an image in an object surrounding information providing unit.
  • An apparatus and method for providing surrounding information on Flagstick according to the present invention has an advantage of providing information on a distance to Flagstick located in a hall without installing a separate sensor.
  • the apparatus and method for providing surrounding information on Flagstick according to the present invention has the advantage of providing information on the distance to Flagstick and surrounding information through an image of a smartphone.
  • FIG. 1 is a block diagram showing a flagstick peripheral information providing device according to an embodiment of the present invention.
  • FIG. 2 is a 3D image obtained by the apparatus for providing information around Flagstick of FIG. 1 on Flagstick, green, hole, and surrounding scenery and information around Flagstick. It is a drawing showing the target distance, which is the distance between the providing device and the hole.
  • FIG. 3 is a 2D left image and a 2D right image and flags obtained by the flagstick peripheral information providing device of FIG. 1 for flagstick, green, hole, and surrounding scenery. It is a diagram showing a target distance, which is the distance between a flagstick peripheral information providing device and a hole.
  • FIG. 4 is a diagram illustrating a horizontal grid and a vertical grid of green gradient information.
  • 5 is a flowchart illustrating a method for providing Flagstick surrounding information according to an embodiment of the present invention.
  • FIG. 1 is a configuration diagram showing a flagstick peripheral information providing apparatus 100 according to an embodiment of the present invention, and FIGS. 2 to 4 are detailed views for explaining FIG. 1 in detail.
  • an apparatus for providing information around Flagstick includes an image acquisition unit 110 that acquires an image from a camera attached to the apparatus 100 for providing information around Flagstick. , an object recognizing unit 120 recognizing an object from an image, and an object surrounding information providing unit 130 providing information around the object from an image.
  • the object recognition unit 120 may recognize the flagstick 200 as an object in the learned AI model.
  • the AI model may use a recurrent neural network that stores a state inside the neural network so that connections between units, which are processing units, have a circular structure and can model time-varying dynamic characteristics.
  • learning may be performed based on an object image generated by a generative adversarial neural network that automatically creates an object close to a real object while competing with a generative model and a discrimination model.
  • the object surrounding information providing unit 130 provides distance information between the flagstick surrounding information providing device 100 and the flagstick 200, length information of the flagstick 200, green At least one of shape information of the green 300, height information of the hole 400, slope information of the green 300, and wind information around the flagstick 200 can provide
  • the distance information, length information, and shape information are actual per pixel according to the distance to the flagstick surrounding information providing device 100 from an image obtained in 3D from the flagstick surrounding information providing device 100.
  • a conversion based on size can be provided.
  • the height information is the actual size per pixel according to the distance to the flagstick surrounding information providing device 100 from the image obtained in 3D from the flagstick surrounding information providing device 100 and the flagstick
  • the gravitational acceleration sensor built into the surrounding information providing device 100 may detect and provide the image relative to gravity direction.
  • the image acquisition unit 110 may be a 3D camera or a 2D camera depending on circumstances. In the case of a 3D camera, distance information may be converted for each pixel, but in the case of a 2D camera, at least a certain distance It can be converted into a 3D image with two independent images separated from each other.
  • the object may include any one of a flagstick 200, a green 300, and a hole 400, and these objects allow AI to learn. can be recognized through
  • AI learning has different recognition accuracy depending on the data provided, and collects images of flagstick 200, green 300, and hole 400 for various learning. thing has limits.
  • learning can be performed very similar to the field by reproducing and learning images similar to the field through simulation.
  • the generative adversarial neural network reproduces an image to the extent that the image generated by the generative model cannot be distinguished from the real image in the discriminant model, enabling more accurate learning, and has the advantage of being able to artificially learn about rain or fog.
  • object recognition accuracy may be increased by using a recurrent neural network capable of storing a state inside the AI model.
  • the flagstick peripheral information providing device has the advantage of improving object recognition accuracy by performing highly accurate learning through a generative adversarial network and reflecting time-varying dynamic characteristics of an object through a recurrent neural network.
  • distance information, length information, shape information, and height information in the object surrounding information providing unit 130 are converted based on the actual size per pixel according to the distance between the flagstick surrounding information providing device 100 and the object.
  • the height information differs according to the angle of the gravity contrast image, it can be accurately calculated by including and converting the information of the acceleration of gravity built into the flagstick peripheral information providing device 100.
  • FIG. 2 shows a flagstick (200), a green (300), a hole (400), and a surrounding landscape (700) It is a diagram showing the target distance 500, which is the distance between the 3D image 600 obtained for , the flagstick nearby information providing device 100, and the hole 400.
  • the image acquisition unit 110 captures the flagstick including the flagstick 200 from the flagstick peripheral information providing device 100 to which the 3D camera is attached.
  • a 3D image 600 around 200 may be obtained.
  • a 3D camera is basically installed in a smartphone, and it is possible to extract distance information for each pixel. Therefore, after recognizing the flagstick 200 from the image acquired by the image acquisition unit 110, by extracting distance information of the pixel where the flagstick 200 is located, the flagstick 200 ) has the advantage of being able to extract distance information from the hole 400 on which it is mounted.
  • the height information of the flagstick 200 is received separately and the height information of the flagstick 200 is compared with the image size, thereby making the flagstick 200 The distance to the located green 300 may be easily obtained.
  • FIG. 3 shows a flagstick (200), a green (300), a hole (400), and a surrounding landscape (700)
  • the target distance 500 which is the distance between the 2D left image 610 and the 2D right image 620 obtained for , the flagstick peripheral information providing device 100, and the hole 400 is the drawing shown.
  • the image acquisition unit 110 captures the flagstick including the flagstick 200 from the flagstick peripheral information providing device 100 to which the 2D camera is attached.
  • a 2D left image 610 and a 2D right image 620 around (200) may be obtained.
  • the height information of the flagstick 200 is received separately and the height information of the flagstick 200 is compared with the image size, thereby making the flagstick 200 The distance to the located green 300 may be easily obtained.
  • FIG. 4 is a diagram illustrating a horizontal grid 310 and a vertical grid 320 of slope information of green 300 .
  • the inclination information is actual per pixel according to the distance from the flagstick surrounding information providing device 100 from the 3D obtained image in the flagstick surrounding information providing device 100. It may be characterized in that it is converted based on the size and expressed as a horizontal grid 310 and a vertical grid 320.
  • the wind information may be provided by the AI model learned based on the shape change of the flagstick 200 according to the wind.
  • the shape change may include any one of the frequency of vibration of the stick 210 and the flag 220 and the angle at which the flag 220 blows in the wind.
  • the AI model may use a recurrent neural network that stores a state inside the neural network so that connections between units, which are processing units, have a circular structure and can model time-varying dynamic characteristics.
  • learning may be performed based on an object image generated by a generative adversarial neural network that automatically creates an object close to a real object while competing with a generative model and a discrimination model.
  • the flagstick 200 can be recognized through AI learning in the object recognition unit 120, and the frequency of the stick 210, the flag ( 220) changes over time. Therefore, learning may be performed very similar to the field by reproducing an image similar to the field through simulation of the effect of the wind and learning it.
  • the generative adversarial neural network reproduces an image to the extent that the image generated by the generative model cannot be distinguished from the real image in the discriminant model, enabling more accurate learning, and has the advantage of being able to artificially learn about rain or fog.
  • object recognition accuracy may be increased by using a recurrent neural network capable of storing a state inside the AI model.
  • the present invention has the advantage of improving object recognition accuracy by performing highly accurate learning through a generative adversarial neural network and reflecting time-varying dynamic characteristics of an object through a recurrent neural network.
  • 5 is a flowchart illustrating a method for providing Flagstick surrounding information according to an embodiment of the present invention.
  • the method for providing information around Flagstick includes acquiring an image from a camera attached to the device 100 for providing information around Flagstick in the image acquisition unit 110 (S100);
  • the object recognizing unit 120 may include recognizing the object from the image (S200), and the object surrounding information providing unit 130 may include providing information around the object from the image (S300).
  • distance information is converted for each pixel, and in the case of a 2D camera, distance information can be converted for each pixel by converting two independent images separated by at least a certain distance into a 3D image.
  • the flagstick 200, green 300, and hole 400 recognized as objects by the object recognition unit 120 may be recognized through AI learning, and simulation Learning can be performed very similar to the field by reproducing images similar to the field through and learning them.
  • the generative adversarial neural network is characterized by reproducing an image to the extent that the image generated by the generative model cannot be distinguished from the real image in the discrimination model.
  • the Flagstick peripheral information providing method according to the present invention has the advantage of performing high-accuracy learning through a generative adversarial neural network and increasing object recognition accuracy by reflecting the time-varying dynamic characteristics of an object through a recurrent neural network. there is.
  • the apparatus and method for providing surrounding information on Flagstick has the advantage of providing information on the distance to Flagstick without installing a separate sensor on Flagstick located in the hall, and provides information on the distance to Flagstick through a smartphone image. It has the advantage of providing distance and surrounding information.
  • the method according to an embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a server, which is hardware, and stored in a medium.
  • the aforementioned program is C, C++, JAVA, machine language, etc. It may include a code coded in a computer language of. These codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, these codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media required for the computer's processor to execute the functions. there is. In addition, when the processor of the computer needs to communicate with any other remote computer or server in order to execute the functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.
  • the storage medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and is readable by a device.
  • examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers accessible by the computer or various recording media on the user's computer.
  • the medium may be distributed to computer systems connected through a network, and computer readable codes may be stored in a distributed manner.
  • Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof.
  • a software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 홀에 위치한 플래그스틱에 별도의 센서의 설치 없이 플래그스틱과의 거리 정보를 제공하고, 스마트폰의 영상으로 플래그스틱과의 거리 및 주변 정보를 제공하는 플래그스틱 주변 정보 제공 장치 및 방법에 관한 것이다. 본 발명의 플래그스틱 주변 정보 제공 장치는 플래그스틱(flagstick) 주변 정보 제공 장치에 부착된 카메라로부터 영상을 획득하는 영상 획득부, 영상으로부터 객체를 인식하는 객체 인식부, 및 영상으로부터 객체 주변의 정보를 제공하는 객체 주변 정보 제공부를 포함한다.

Description

AI 기반 플래그스틱 주변 정보 제공 장치 및 방법
본 발명은 플래그스틱 주변 정보 제공 장치 및 방법에 관한 것으로, 상세하게는, 스마트폰으로 플래그스틱을 촬영하여 플래그스틱과의 거리 정보를 제공하는 것이다. 즉, 본 발명은 스마트폰의 카메라 성능과 무관하게 플래그스틱과의 거리 및 주변 정보를 제공할 수 있는 플래그스틱 주변 정보 제공 장치 및 방법에 관한 것이다.
골프장에서 골퍼는 육안에 의하여 골프공과 홀 사이의 거리, 방향 등을 파악하여야 하는데, 면적이 넓은 골프장에서 이와 관련된 정보를 직관적으로 파악하는 것은 어렵다.
따라서, 골프장에서는 골퍼와 홀 간의 거리 측정을 위해서 각 골프장 홀을 중심으로 골프장의 임의의 위치(주로 그린의 센터)에 거리 센서를 두고, 골퍼가 거리 측정기를 지참하고 다니면 거리 센서와 거리 측정기 간의 데이터 송수신을 통해 거리가 측정되어 골퍼에게 제공되었다. 그러나 홀은 그린의 한 지점에 설치되는 것이 아니라, 골프장 코스 변경에 따라 그 위치가 바뀌어 설치되기 때문에 골프장 홀과 골퍼 간의 정확한 거리 측정이 어려워지는 한계점이 있어 이를 해결하려는 노력이 지속되어 왔다.
그 일례로, 대한민국 특허등록공보 제10-1848892호에서는 골프장에서 골퍼와 홀 간의 거리 측정을 위해 홀에 고정되는 스틱(stick)에 센서를 추가하여 이에 대한 위치 측정을 수행함으로써, 홀이 그린 위에서의 위치가 변경되더라도 골퍼가 실시간으로 홀과의 정확한 거리 측정을 수행하는 시스템을 제시하였다.
그러나 이 경우에도 위치 측정 센서를 추가로 삽입하여 위치를 수행하므로 사용이 복잡한 단점이 있다.
본 발명의 목적은, 홀에 위치한 플래그스틱에 별도의 센서의 설치 없이 플래그스틱과의 거리 정보를 제공하는 플래그스틱 주변 정보 제공 장치 및 방법을 제공하는 것이다.
본 발명은 스마트폰의 영상으로 플래그스틱과의 거리 및 주변 정보를 제공하는 플래그스틱 주변 정보 제공 장치 및 방법을 제공하는데 또 다른 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 플래그스틱 주변 정보 제공 장치는 플래그스틱(flagstick) 주변 정보 제공 장치에 부착된 카메라로부터 영상을 획득하는 영상 획득부, 영상으로부터 객체를 인식하는 객체 인식부, 및 영상으로부터 객체 주변의 정보를 제공하는 객체 주변 정보 제공부를 포함할 수 있다.
여기서, 영상 획득부는 3차원 카메라가 부착된 플래그스틱(flagstick) 주변 정보 제공 장치로부터 플래그스틱(flagstick)을 포함한 플래그스틱(flagstick) 주변의 3차원 영상을 획득할 수 있다.
또한, 영상 획득부는 2차원 카메라가 부착된 플래그스틱(flagstick) 주변 정보 제공 장치로부터 플래그스틱(flagstick)을 포함한 플래그스틱(flagstick) 주변의 2차원 좌영상 및 2차원 우영상을 획득할 수 있다.
여기서, 객체 인식부는 학습된 AI모델에서 플래그스틱(flagstick)을 객체로 인식할 수 있다.
또한, AI모델은 프로세싱 단위인 유닛 간의 연결이 순환적 구조를 갖고 시변적 동적 특징을 모델링 할 수 있도록 신경망 내부에 상태를 저장하는 순환 신경망을 사용할 수 있다.
여기서, 학습은 생성모델과 판별모델이 경쟁하면서 실제와 가까운 객체를 자동으로 만들어 내는 생성적 대립 신경망으로 생성된 객체 이미지를 토대로 수행될 수 있다.
또한, 객체 주변 정보 제공부는 플래그스틱(flagstick) 주변 정보 제공 장치와 플래그스틱(flagstick)과의 거리 정보, 플래그스틱(flagstick)의 길이 정보, 그린(green)의 형태 정보, 홀(hole)의 높이 정보, 그린(green)의 경사 정보, 및 플래그스틱(flagstick) 주변의 바람 정보 중 적어도 어느 하나를 제공할 수 있다.
여기서, 거리 정보, 길이 정보, 및 형태 정보는 플래그스틱(flagstick) 주변 정보 제공 장치에서 3차원으로 얻어진 영상으로부터 플래그스틱(flagstick) 주변 정보 제공 장치와의 거리에 따른 픽셀 당 실제 크기를 토대로 환산하여 제공할 수 있다.
또한, 높이 정보는 플래그스틱(flagstick) 주변 정보 제공 장치에서 3차원으로 얻어진 영상으로부터 플래그스틱(flagstick) 주변 정보 제공 장치와의 거리에 따른 픽셀 당 실제 크기와 플래그스틱(flagstick) 주변 정보 제공 장치에 내장된 중력가속도 센서로 영상의 중력 대비 방향을 감지하여 제공할 수 있다.
여기서, 경사 정보는 플래그스틱(flagstick) 주변 정보 제공 장치에서 3차원으로 얻어진 영상으로부터 플래그스틱(flagstick) 주변 정보 제공 장치와의 거리에 따른 픽셀 당 실제 크기를 토대로 환산하여 수평 그리드와 수직 그리드로 나타내는 것을 특징으로 할 수 있다.
또한, 바람 정보는 바람에 따른 플래그스틱(flagstick)의 형태 변화를 토대로 학습한 AI 모델에서 제공할 수 있다.
여기서, 형태 변화는 스틱(stick) 및 플래그(flag)의 진동수, 플래그(flag)가 바람에 날리는 각도 중 어느 하나를 포함하는 것을 특징으로 할 수 있다.
또한, AI모델은 프로세싱 단위인 유닛 간의 연결이 순환적 구조를 갖고 시변적 동적 특징을 모델링 할 수 있도록 신경망 내부에 상태를 저장하는 순환 신경망을 사용할 수 있다.
한편, 학습은 생성모델과 판별모델이 경쟁하면서 실제와 가까운 객체를 자동으로 만들어 내는 생성적 대립 신경망으로 생성된 객체 이미지를 토대로 수행될 수 있다.
본 발명의 다른 실시예에 따른 플래그스틱 주변 정보 제공 방법은 영상 획득부에서, 플래그스틱(flagstick) 주변 정보 제공 장치에 부착된 카메라로부터 영상을 획득하는 영상 획득 단계, 객체 인식부에서, 영상으로부터 객체를 인식하는 객체 인식 단계, 및 객체 주변 정보 제공부에서, 영상으로부터 객체 주변의 정보를 제공하는 객체 주변 정보 제공 단계를 포함할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 발명에 의한 플래그스틱 주변 정보 제공 장치 및 방법은 홀에 위치한 플래그스틱에 별도의 센서의 설치 없이 플래그스틱과의 거리 정보를 제공하는 장점이 있다.
또한, 본 발명에 의한 플래그스틱 주변 정보 제공 장치 및 방법은 스마트폰의 영상으로 플래그스틱과의 거리 및 주변 정보를 제공할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 플래그스틱(flagstick) 주변 정보 제공 장치를 나타낸 구성도이다.
도 2는 도 1의 플래그스틱(flagstick) 주변 정보 제공 장치가 플래그스틱(flagstick), 그린(green), 홀(hole), 및 주변 경관에 대해 획득한 3차원 영상과 플래그스틱(flagstick) 주변 정보 제공 장치와 홀(hole)과의 거리인 목표 거리를 나타낸 도면이다.
도 3은 도 1의 플래그스틱(flagstick) 주변 정보 제공 장치가 플래그스틱(flagstick), 그린(green), 홀(hole), 및 주변 경관에 대해 획득한 2차원 좌영상 및 2차원 우영상과 플래그스틱(flagstick) 주변 정보 제공 장치와 홀(hole)과의 거리인 목표 거리를 나타낸 도면이다.
도 4는 그린(green)의 경사 정보를 수평 그리드 및 수직 그리드를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 플래그스틱 주변 정보 제공 방법을 나타낸 순서도이다.
본 발명의 실시를 위한 구체적인 실시예를 첨부된 도면들을 참조하여 설명한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 의도는 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 플래그스틱 주변 정보 제공 장치 및 방법에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 플래그스틱(flagstick) 주변 정보 제공 장치(100)를 나타낸 구성도이며, 도 2 내지 도 4는 도 1을 상세히 설명하기 위한 세부 도면이다.
이하, 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 플래그스틱 주변 정보 제공 장치를 설명할 수 있다.
먼저, 도 1을 참조하면, 본 발명의 일 실시예에 따른 플래그스틱 주변 정보 제공 장치는 플래그스틱(flagstick) 주변 정보 제공 장치(100)에 부착된 카메라로부터 영상을 획득하는 영상 획득부(110), 영상으로부터 객체를 인식하는 객체 인식부(120), 및 영상으로부터 객체 주변의 정보를 제공하는 객체 주변 정보 제공부(130)를 포함할 수 있다.
여기서, 객체 인식부(120)는 학습된 AI모델에서 플래그스틱(flagstick)(200)을 객체로 인식할 수 있다.
또한, AI모델은 프로세싱 단위인 유닛 간의 연결이 순환적 구조를 갖고 시변적 동적 특징을 모델링 할 수 있도록 신경망 내부에 상태를 저장하는 순환 신경망을 사용할 수 있다.
여기서, 학습은 생성모델과 판별모델이 경쟁하면서 실제와 가까운 객체를 자동으로 만들어 내는 생성적 대립 신경망으로 생성된 객체 이미지를 토대로 수행될 수 있다.
또한, 객체 주변 정보 제공부(130)는 플래그스틱(flagstick) 주변 정보 제공 장치(100)와 플래그스틱(flagstick)(200)과의 거리 정보, 플래그스틱(flagstick)(200)의 길이 정보, 그린(green)(300)의 형태 정보, 홀(hole)(400)의 높이 정보, 그린(green)(300)의 경사 정보, 및 플래그스틱(flagstick)(200) 주변의 바람 정보 중 적어도 어느 하나를 제공할 수 있다.
여기서, 거리 정보, 길이 정보, 및 형태 정보는 플래그스틱(flagstick) 주변 정보 제공 장치(100)에서 3차원으로 얻어진 영상으로부터 플래그스틱(flagstick) 주변 정보 제공 장치(100)와의 거리에 따른 픽셀 당 실제 크기를 토대로 환산하여 제공할 수 있다.
또한, 높이 정보는 플래그스틱(flagstick) 주변 정보 제공 장치(100)에서 3차원으로 얻어진 영상으로부터 플래그스틱(flagstick) 주변 정보 제공 장치(100)와의 거리에 따른 픽셀 당 실제 크기와 플래그스틱(flagstick) 주변 정보 제공 장치(100)에 내장된 중력가속도 센서로 영상의 중력 대비 방향을 감지하여 제공할 수 있다.
영상 획득부(110)는 경우에 따라 3차원 카메라일수도 있고, 2차원 카메라일 수도 있는데, 3차원 카메라일 경우 각 픽셀마다 거리 정보가 환산될 수 있으나, 2차원 카메라일 경우 적어도 일정 거리 이상에서 떨어진 독립된 두 개의 영상으로 3차원영상으로 변환할 수 있다.
객체 인식부(120)에서 객체는 플래그스틱(flagstick)(200), 그린(green)(300), 및 홀(hole)(400) 중 어느 하나를 포함할 수 있으며, 이러한 객체는 AI의 학습을 통해 인식될 수 있다.
이때, AI의 학습은 제공하는 데이터에 따라 인식 정확도가 다르며, 다양한 학습을 위해 플래그스틱(flagstick)(200), 그린(green)(300), 및 홀(hole)(400)의 영상을 수집하는 것은 한계가 있다. 한편, 시뮬레이션을 통해 현장과 유사한 영상을 재현하고 이를 학습함으로써, 현장과 매우 유사하게 학습을 수행 할 수도 있다.
생성적 대립 신경망은 생성모델에서 생성한 영상이 판별모델에서 실제와 구분을 못할 정도의 영상을 재현함으로써, 더욱 정확한 학습이 가능하며, 강우 또는 안개에 대해서도 인위적인 학습이 가능한 장점이 있다.
또한, 객체는 바람의 영향으로 시간적으로 변할 수도 있어, AI 모델 내부에 상태를 저장할 수 있는 순환 신경망을 사용함으로써, 객체의 인식 정확도를 높일 수 있다.
따라서, 본 발명에 의한 플래그스틱 주변 정보 제공 장치는 생성적 대립 신경망을 통해 정확도 높은 학습을 수행하고 순환 신경망으로 객체의 시변적 동적 특징을 반영하여 객체의 인식 정확도를 높일 수 있는 장점이 있다.
한편, 객체 주변 정보 제공부(130)에서 거리 정보, 길이 정보, 형태 정보, 및 높이 정보는 플래그스틱(flagstick) 주변 정보 제공 장치(100)와 객체와의 거리에 따른 픽셀 당 실제 크기를 토대로 환산될 수 있으며, 특히 높이 정보는 중력 대비 영상의 각도에 따라 상이하므로 플래그스틱(flagstick) 주변 정보 제공 장치(100)에 내장된 중력가속도의 정보를 포함하여 환산함으로써 정확하게 산출할 수 있다.
도 2는 도 1의 플래그스틱(flagstick) 주변 정보 제공 장치(100)가 플래그스틱(flagstick)(200), 그린(green)(300), 홀(hole)(400), 및 주변 경관(700)에 대해 획득한 3차원 영상(600)과 플래그스틱(flagstick) 주변 정보 제공 장치(100)와 홀(hole)(400)과의 거리인 목표 거리(500)를 나타낸 도면이다.
도 2에서 볼 수 있는 바와 같이, 영상 획득부(110)는 3차원 카메라가 부착된 플래그스틱(flagstick) 주변 정보 제공 장치(100)로부터 플래그스틱(flagstick)(200)을 포함한 플래그스틱(flagstick)(200) 주변의 3차원 영상(600)을 획득할 수 있다.
최근, 스마트폰에는 3차원카메라가 기본으로 장착되어 각 픽셀에 대한 거리 정보 추출이 가능하다. 따라서, 영상 획득부(110)에서 획득한 영상으로부터 플래그스틱(flagstick)(200)을 인식한 후 플래그스틱(flagstick)(200)이 위치한 픽셀의 거리 정보를 추출함으로써, 플래그스틱(flagstick)(200)이 장착된 홀(hole)(400)과의 거리 정보를 추출할 수 있는 장점이 있다.
그러나, 거리 정보가 부정확할 경우 플래그스틱(flagstick)(200)의 높이 정보를 별도로 입력받아 영상 사이즈 대비 플래그스틱(flagstick)(200)의 높이 정보를 비교함으로써, 플래그스틱(flagstick)(200)이 위치한 그린(green)(300)과의 거리를 쉽게 구할 수도 있다.
도 3은 도 1의 플래그스틱(flagstick) 주변 정보 제공 장치(100)가 플래그스틱(flagstick)(200), 그린(green)(300), 홀(hole)(400), 및 주변 경관(700)에 대해 획득한 2차원 좌영상(610) 및 2차원 우영상(620)과 플래그스틱(flagstick) 주변 정보 제공 장치(100)와 홀(hole)(400)과의 거리인 목표 거리(500)를 나타낸 도면이다.
도 3에서 알 수 있는 바와 같이, 영상 획득부(110)는 2차원 카메라가 부착된 플래그스틱(flagstick) 주변 정보 제공 장치(100)로부터 플래그스틱(flagstick)(200)을 포함한 플래그스틱(flagstick)(200) 주변의 2차원 좌영상(610) 및 2차원 우영상(620)을 획득할 수 있다.
3차원카메라가 장착되지 않은 스마트폰의 경우 적어도 일정 거리 이상에서의 두 개의 영상으로부터 3차원으로 변환할 수 있어 각 픽셀에 대한 거리 정보 추출이 가능하다. 따라서, 영상 획득부(110)에서 획득한 영상으로부터 플래그스틱(flagstick)(200)을 인식한 후 플래그스틱(flagstick)(200)이 위치한 픽셀의 거리 정보를 추출함으로써, 플래그스틱(flagstick)(200)이 장착된 홀(hole)(400)과의 거리 정보를 추출할 수 있는 장점이 있다.
그러나, 거리 정보가 부정확할 경우 플래그스틱(flagstick)(200)의 높이 정보를 별도로 입력받아 영상 사이즈 대비 플래그스틱(flagstick)(200)의 높이 정보를 비교함으로써, 플래그스틱(flagstick)(200)이 위치한 그린(green)(300)과의 거리를 쉽게 구할 수도 있다.
도 4는 그린(green)(300)의 경사 정보를 수평 그리드(310) 및 수직 그리드(320)를 나타낸 도면이다.
도 4에서 볼 수 있는 바와 같이, 경사 정보는 플래그스틱(flagstick) 주변 정보 제공 장치(100)에서 3차원으로 얻어진 영상으로부터 플래그스틱(flagstick) 주변 정보 제공 장치(100)와의 거리에 따른 픽셀 당 실제 크기를 토대로 환산하여 수평 그리드(310)와 수직 그리드(320)로 나타내는 것을 특징으로 할 수 있다.
또한, 바람 정보는 바람에 따른 플래그스틱(flagstick)(200)의 형태 변화를 토대로 학습한 AI 모델에서 제공할 수 있다.
여기서, 형태 변화는 스틱(stick)(210) 및 플래그(flag)(220)의 진동수, 플래그(flag)(220)가 바람에 날리는 각도 중 어느 하나를 포함하는 것을 특징으로 할 수 있다.
또한, AI모델은 프로세싱 단위인 유닛 간의 연결이 순환적 구조를 갖고 시변적 동적 특징을 모델링 할 수 있도록 신경망 내부에 상태를 저장하는 순환 신경망을 사용할 수 있다.
한편, 학습은 생성모델과 판별모델이 경쟁하면서 실제와 가까운 객체를 자동으로 만들어 내는 생성적 대립 신경망으로 생성된 객체 이미지를 토대로 수행될 수 있다.
도 1에서와 같이, 객체 인식부(120)에서 플래그스틱(flagstick)(200)이 AI의 학습을 통해 인식될 수 있는데, 바람에 의해 스틱(stick)(210)의 진동수, 플래그(flag)(220)의 시간에 따른 변화가 발생한다. 따라서, 이러한 바람의 영향을 시뮬레이션을 통해 현장과 유사한 영상을 재현하고 이를 학습함으로써, 현장과 매우 유사하게 학습을 수행할 수도 있다.
생성적 대립 신경망은 생성모델에서 생성한 영상이 판별모델에서 실제와 구분을 못할 정도의 영상을 재현함으로써, 더욱 정확한 학습이 가능하며, 강우 또는 안개에 대해서도 인위적인 학습이 가능한 장점이 있다.
또한, 객체는 바람의 영향으로 시간적으로 변할 수도 있어, AI 모델 내부에 상태를 저장할 수 있는 순환 신경망을 사용함으로써, 객체의 인식 정확도를 높일 수 있다.
따라서, 본 발명은 생성적 대립 신경망을 통해 정확도 높은 학습을 수행하고 순환 신경망으로 객체의 시변적 동적 특징을 반영하여 객체의 인식 정확도를 높일 수 있는 장점이 있다.
도 5는 본 발명의 일 실시예에 따른 플래그스틱 주변 정보 제공 방법을 나타낸 순서도이다.
도 5에서 알 수 있는 바와 같이, 플래그스틱 주변 정보 제공 방법은 영상 획득부(110)에서, 플래그스틱(flagstick) 주변 정보 제공 장치(100)에 부착된 카메라로부터 영상을 획득하는 단계(S100), 객체 인식부(120)에서, 영상으로부터 객체를 인식하는 단계(S200), 및 객체 주변 정보 제공부(130)에서, 영상으로부터 객체 주변의 정보를 제공하는 단계(S300)를 포함할 수 있다.
여기서 카메라가 3차원 카메라일 경우 각 픽셀마다 거리 정보를 환산하고, 2차원 카메라일 경우 적어도 일정 거리 이상에서 떨어진 독립된 두 개의 영상으로 3차원영상으로 변환하여 각 픽셀마다 거리 정보를 환산할 수 있다.
또한, 객체 인식부(120)에서 객체로 인식하는 플래그스틱(flagstick)(200), 그린(green)(300), 및 홀(hole)(400)은 AI의 학습을 통해 인식될 수 있는데, 시뮬레이션을 통해 현장과 유사한 영상을 재현하고 이를 학습함으로써, 현장과 매우 유사하게 학습을 수행할 수도 있다.
생성적 대립 신경망은 생성모델에서 생성한 영상이 판별모델에서 실제와 구분을 못할 정도의 영상을 재현하는 특징이 있으며, 순환 신경망은 AI 모델 내부에 상태를 저장하여 시변적 특성으로 인한 객체의 인식 정확도를 높일 수 있는데, 본 발명에 의한 플래그스틱 주변 정보 제공 방법은 생성적 대립 신경망을 통해 정확도 높은 학습을 수행하고 순환 신경망으로 객체의 시변적 동적 특징을 반영하여 객체의 인식 정확도를 높일 수 있는 장점이 있다.
이상과 같이 본 발명에 따른 플래그스틱 주변 정보 제공 장치 및 방법은 홀에 위치한 플래그스틱에 별도의 센서의 설치 없이 플래그스틱과의 거리 정보를 제공하는 장점이 있으며, 스마트폰의 영상으로 플래그스틱과의 거리 및 주변 정보를 제공할 수 있는 장점이 있다.
상술한 것은 하나 이상의 실시예의 실례를 포함한다. 물론, 상술한 실시예들을 설명할 목적으로 컴포넌트들 또는 방법들의 가능한 모든 조합을 기술할 수 있는 것이 아니라, 당업자들은 다양한 실시예의 많은 추가 조합 및 치환할 수 있음을 인식할 수 있다. 따라서 설명한 실시예들은 첨부된 청구범위의 진의 및 범위 내에 있는 모든 대안, 변형 및 개조를 포함하는 것이다.
이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (15)

  1. 플래그스틱(flagstick) 주변 정보 제공 장치에 부착된 카메라로부터 영상을 획득하는 영상 획득부;
    상기 영상으로부터 객체를 인식하는 객체 인식부; 및
    상기 영상으로부터 상기 객체 주변의 정보를 제공하는 객체 주변 정보 제공부;를 포함하는 플래그스틱 주변 정보 제공 장치.
  2. 제 1항에 있어서,
    상기 영상 획득부는, 3차원 카메라가 부착된 상기 플래그스틱(flagstick) 주변 정보 제공 장치로부터 플래그스틱(flagstick)을 포함한 상기 플래그스틱(flagstick) 주변의 3차원 영상을 획득하는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  3. 제 1항에 있어서,
    상기 영상 획득부는, 2차원 카메라가 부착된 상기 플래그스틱(flagstick) 주변 정보 제공 장치로부터 플래그스틱(flagstick)을 포함한 상기 플래그스틱(flagstick) 주변의 2차원 좌영상 및 2차원 우영상을 획득하는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  4. 제 1항에 있어서,
    상기 객체 인식부는 학습된 AI모델에서 플래그스틱(flagstick)을 객체로 인식하는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  5. 제 4항에 있어서,
    상기 AI모델은, 프로세싱 단위인 유닛 간의 연결이 순환적 구조를 갖고 시변적 동적 특징을 모델링 할 수 있도록 신경망 내부에 상태를 저장하는 순환 신경망을 사용하는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  6. 제 4항에 있어서,
    상기 학습은, 생성모델과 판별모델이 경쟁하면서 실제와 가까운 객체를 자동으로 만들어 내는 생성적 대립 신경망으로 생성된 객체 이미지를 토대로 수행되는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  7. 제 1항에 있어서,
    상기 객체 주변 정보 제공부는, 상기 플래그스틱(flagstick) 주변 정보 제공 장치와 플래그스틱(flagstick)과의 거리 정보, 상기 플래그스틱(flagstick)의 길이 정보, 그린(green)의 형태 정보, 홀(hole)의 높이 정보, 상기 그린(green)의 경사 정보, 및 상기 플래그스틱(flagstick) 주변의 바람 정보 중 적어도 어느 하나를 제공하는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  8. 제 7항에 있어서,
    상기 거리 정보, 상기 길이 정보, 및 상기 형태 정보는, 상기 플래그스틱(flagstick) 주변 정보 제공 장치에서 3차원으로 얻어진 상기 영상으로부터 상기 플래그스틱(flagstick) 주변 정보 제공 장치와의 거리에 따른 픽셀 당 실제 크기를 토대로 환산하여 제공하는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  9. 제 7항에 있어서,
    상기 높이 정보는, 상기 플래그스틱(flagstick) 주변 정보 제공 장치에서 3차원으로 얻어진 상기 영상으로부터 상기 플래그스틱(flagstick) 주변 정보 제공 장치와의 거리에 따른 픽셀 당 실제 크기와 상기 플래그스틱(flagstick) 주변 정보 제공 장치에 내장된 중력가속도 센서로 상기 영상의 중력 대비 방향을 감지하여 제공하는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  10. 제 7항에 있어서,
    상기 경사 정보는, 상기 플래그스틱(flagstick) 주변 정보 제공 장치에서 3차원으로 얻어진 상기 영상으로부터 상기 플래그스틱(flagstick) 주변 정보 제공 장치와의 거리에 따른 픽셀 당 실제 크기를 토대로 환산하여 수평 그리드와 수직 그리드로 나타내는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  11. 제 7항에 있어서,
    상기 바람 정보는, 바람에 따른 상기 플래그스틱(flagstick)의 형태 변화를 토대로 학습한 AI 모델에서 제공하는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  12. 제 11항에 있어서,
    상기 형태 변화는, 스틱(stick) 및 플래그(flag)의 진동수, 상기 플래그(flag)가 바람에 날리는 각도 중 어느 하나를 포함하는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  13. 제 11항에 있어서,
    상기 AI모델은, 프로세싱 단위인 유닛 간의 연결이 순환적 구조를 갖고 시변적 동적 특징을 모델링 할 수 있도록 신경망 내부에 상태를 저장하는 순환 신경망을 사용하는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  14. 제 11항에 있어서,
    상기 학습은, 생성모델과 판별모델이 경쟁하면서 실제와 가까운 객체를 자동으로 만들어 내는 생성적 대립 신경망으로 생성된 객체 이미지를 토대로 수행되는 것을 특징으로 하는 플래그스틱 주변 정보 제공 장치.
  15. 영상 획득부에서, 플래그스틱(flagstick) 주변 정보 제공 장치에 부착된 카메라로부터 영상을 획득하는 영상 획득 단계;
    객체 인식부에서, 상기 영상으로부터 객체를 인식하는 객체 인식 단계; 및
    객체 주변 정보 제공부에서, 상기 영상으로부터 상기 객체 주변의 정보를 제공하는 객체 주변 정보 제공 단계;를 포함하는 플래그스틱 주변 정보 제공 방법.
PCT/KR2022/018818 2021-12-08 2022-11-25 Ai 기반 플래그스틱 주변 정보 제공 장치 및 방법 WO2023106706A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0174353 2021-12-08
KR1020210174353A KR20230086063A (ko) 2021-12-08 2021-12-08 Ai 기반 플래그스틱 주변 정보 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023106706A1 true WO2023106706A1 (ko) 2023-06-15

Family

ID=86730794

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018818 WO2023106706A1 (ko) 2021-12-08 2022-11-25 Ai 기반 플래그스틱 주변 정보 제공 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230086063A (ko)
WO (1) WO2023106706A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955386B1 (ko) * 2009-08-20 2010-04-29 김대성 골프장용 거리 측정 장치 및 이를 이용한 거리측정 방법
KR101753651B1 (ko) * 2016-02-01 2017-07-05 소프트상추주식회사 도서산간 지역의 방범과 자연재난 감시를 위한 저전력 촬영 장치 및 이를 포함하는 감시 시스템
KR101956259B1 (ko) * 2017-11-22 2019-03-08 주식회사 유컴테크놀러지 거리 측정 장치 및 그 제어 방법
KR102213175B1 (ko) * 2019-08-08 2021-02-05 알바이오텍 주식회사 휴대용 골프장 그린 경사도 측정 장치 및 방법
KR20210087249A (ko) * 2020-01-02 2021-07-12 엘지전자 주식회사 촬영장치 및 그 제어방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101848892B1 (ko) 2017-05-24 2018-04-13 (주)이레이티에스 홀 컵과 깃대로 이루어진 홀 컵 구조물 기반의 골프장 거리 측정 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955386B1 (ko) * 2009-08-20 2010-04-29 김대성 골프장용 거리 측정 장치 및 이를 이용한 거리측정 방법
KR101753651B1 (ko) * 2016-02-01 2017-07-05 소프트상추주식회사 도서산간 지역의 방범과 자연재난 감시를 위한 저전력 촬영 장치 및 이를 포함하는 감시 시스템
KR101956259B1 (ko) * 2017-11-22 2019-03-08 주식회사 유컴테크놀러지 거리 측정 장치 및 그 제어 방법
KR102213175B1 (ko) * 2019-08-08 2021-02-05 알바이오텍 주식회사 휴대용 골프장 그린 경사도 측정 장치 및 방법
KR20210087249A (ko) * 2020-01-02 2021-07-12 엘지전자 주식회사 촬영장치 및 그 제어방법

Also Published As

Publication number Publication date
KR20230086063A (ko) 2023-06-15

Similar Documents

Publication Publication Date Title
WO2016024797A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
WO2015080431A1 (ko) 골프 시뮬레이터, 및 골프 시뮬레이션 방법
WO2012023639A1 (ko) 다수의 센서를 이용하는 객체 계수 방법 및 장치
AU2019419781B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2012128574A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
WO2011002225A2 (en) Golf simulation apparatus and method for the same
RU2533628C2 (ru) Устройство обработки информации, способ обработки информации и программа
WO2012144793A2 (ko) 모바일 단말기에서 구동되는 어플리케이션의 골프 스코어 기록 방법 및 이를 이용한 골프 스코어 기록 장치
CN109389589A (zh) 用于统计人数的方法和装置
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
WO2012091512A2 (ko) 모바일 단말기를 이용한 가상 골프 시뮬레이션 방법, 이를 위한 어플리케이션의 가상 골프 시뮬레이션 구현 방법 및 이를 제공하는 모바일 단말기
WO2017160057A1 (ko) 스크린 골프 시스템, 스크린 골프를 위한 영상 구현 방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
WO2021215800A1 (ko) 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템
WO2023080455A1 (ko) 족부 정보 처리 방법 및 장치
US20180028861A1 (en) Information processing device and information processing method
WO2017095120A1 (ko) 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법
WO2014109544A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2020141694A1 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2018139810A1 (ko) 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
WO2023106706A1 (ko) Ai 기반 플래그스틱 주변 정보 제공 장치 및 방법
WO2011108837A2 (en) Apparatus and method for producing user-defined golf course, server for producing user-defined golf course and virtual golf simulation method using the golf course

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904539

Country of ref document: EP

Kind code of ref document: A1