WO2022086144A1 - Augmented reality interactive sports system using lidar sensor - Google Patents

Augmented reality interactive sports system using lidar sensor Download PDF

Info

Publication number
WO2022086144A1
WO2022086144A1 PCT/KR2021/014633 KR2021014633W WO2022086144A1 WO 2022086144 A1 WO2022086144 A1 WO 2022086144A1 KR 2021014633 W KR2021014633 W KR 2021014633W WO 2022086144 A1 WO2022086144 A1 WO 2022086144A1
Authority
WO
WIPO (PCT)
Prior art keywords
lidar sensor
unit
user
sports
augmented reality
Prior art date
Application number
PCT/KR2021/014633
Other languages
French (fr)
Korean (ko)
Inventor
유왕윤
Original Assignee
(주)투핸즈인터랙티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)투핸즈인터랙티브 filed Critical (주)투핸즈인터랙티브
Publication of WO2022086144A1 publication Critical patent/WO2022086144A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0025—Tracking the path or location of one or more users, e.g. players of a game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0636—3D visualisation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/89—Field sensors, e.g. radar systems

Definitions

  • the present invention relates to an augmented reality interactive sports system, and more particularly, to an augmented reality interactive sports system using a lidar sensor.
  • Patent Publication No. 10-2020-0082990 (Title of the invention: fitness management method through VR sports) and the like have been disclosed.
  • the conventional technology for enjoying sports using virtual reality has a limitation in that it is difficult to obtain a sufficient exercise effect due to inconvenient operation because the VR device must be worn on the head.
  • fitness or VR sports are not suitable for cultivating the cooperative spirit of children and adolescents because they are limited in their use for the purpose of improving physical strength and education of children and adolescents, and are usually performed alone.
  • the present invention is proposed to solve the above problems of the previously proposed methods, by installing a projector unit and a lidar sensor unit in a play space where sports contents are played, and projecting an image for sports contents on a floor surface,
  • the lidar sensor By using the lidar sensor to track the user's motion and control the interaction between sports content and the user, the projector and lidar sensor installed to optimize the play space can be sufficiently covered even when the play space is wide, and the lidar sensor part
  • the purpose of this is to provide an augmented reality interactive sports system using a lidar sensor that can efficiently use the floor of the play space as the range of motion tracking is wide.
  • the present invention tracks user motion using a lidar sensor, so that you can enjoy sports indoors with only your body without wearing a separate object or device.
  • An object of the present invention is to provide an augmented reality interactive sports system using a lidar sensor that can track each user's motion quickly and accurately even when using content.
  • a projector unit installed in a play space where sports content is played and projecting an image for the sports content on a floor surface
  • a lidar sensor unit installed in the play space
  • a motion tracking unit for tracking a user's motion by recognizing a user's location according to the sports content using the lidar sensor unit;
  • Outputting the sports contents through the projector unit to provide the sports contents to the user based on augmented reality comprising a control unit for controlling the interaction between the sports contents and the user using the user motion tracked by the motion tracking unit It is characterized by its constitution.
  • the projector unit Preferably, the projector unit,
  • the lidar sensor unit Preferably, the lidar sensor unit, the lidar sensor unit, and
  • the lidar sensor unit More preferably, the lidar sensor unit,
  • It may be configured to include at least two or more lidar sensors, which are installed to face each other toward the projection area of the projector unit.
  • the lidar sensor unit More preferably, the lidar sensor unit,
  • a portion of a scanning area each laser-scanning by the at least two lidar sensors may overlap each other.
  • the motion tracking unit Preferably, the motion tracking unit, the motion tracking unit, and
  • the lidar sensor unit may recognize the position of the user's foot at a predetermined point from the ground, and track the change in the user's foot position to track the user's motion.
  • the trainer terminal It communicates with the trainer terminal, provides the user's sports content usage information to the trainer terminal, receives a control signal from the trainer terminal, and transmits it to the control unit, further comprising a communication unit for providing non-contact training to the user can do.
  • a display unit for receiving a selection signal of the sports content and outputting play information related to the sports content
  • the display unit and the speaker unit are The display unit and the speaker unit,
  • the communication unit may output a real-time trainer image received from the trainer terminal.
  • a projector unit and a lidar sensor unit are installed in a play space where sports contents are played, and an image for sports contents is projected on the floor surface and lidar
  • the projector and lidar sensor that are installed to optimize the play space can sufficiently cover the play space even when the play space is wide, and the motion through the lidar sensor part Because the tracking range is wide, the floor surface of the play area can be used efficiently.
  • the lidar sensor since the user's motion is tracked using the lidar sensor, it is possible to enjoy sports indoors with only the body without wearing a separate object or device, and at least two By using the above lidar sensor, it is possible to quickly and accurately track each user's motion even when multiple users are using sports content at the same time in a large space.
  • FIG. 1 is a diagram showing the configuration of an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
  • FIG. 2 is a view showing the appearance of an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a main body of an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a detailed configuration of a lidar sensor unit in an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
  • FIGS. 5 and 6 are diagrams illustrating a single lidar sensor structure in an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a dual lidar sensor structure in an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an arrangement of a plurality of lidar sensors in an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a state in which an augmented reality interactive sports system using a lidar sensor communicates with a trainer terminal according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating the configuration of an augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention
  • FIG. 2 is an augmented reality using a lidar sensor according to an embodiment of the present invention.
  • It is a diagram showing the appearance of the interactive sports system 100 . 1 and 2, the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention includes a projector unit 120, a lidar sensor unit 130, and motion tracking. It may be configured to include the unit 140 and the control unit 150 , and may further include a body 110 , a communication unit 160 , a display unit 170 , and a speaker unit 180 .
  • the augmented reality interactive sports system 100 using a lidar sensor includes the projector unit 120 and the lidar sensor unit 130 in the play space 10 where sports content is played. It can be installed, project images for sports content on the floor, and track user motion using lidar sensors to control the interaction between sports content and users.
  • the play space 10 is a space where a user can enjoy sports based on augmented reality using sports content. It can serve as the play space 10 of the present invention regardless of the purpose of use, specific area, shape, and the like.
  • the main body 110 may be a frame including a motion tracking unit 140 , a control unit 150 , a communication unit 160 , and a display unit 170 , and a computer device including the control unit 150 on the inner surface is provided. can do. As shown in FIG. 2 , the main body 110 can be installed and used in the play space 10 where sports content is played, but the motion tracking unit 140 and the controller ( 150), etc., need not be included.
  • FIG. 3 is a diagram illustrating the main body 110 of the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention.
  • the main body 110 of the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention may include a display unit 170 on the front side, and a speaker. It may further include a unit 180 .
  • the body 110 may have a rectangular parallelepiped shape as shown in FIG. 3 , but a specific shape or shape may be variously implemented.
  • the projector unit 120 is installed in the play space 10 where sports contents are played, and may project an image for sports contents on a floor surface. More specifically, the projector unit 120 is installed on the wall or ceiling of the play space 10 to face the floor, and may include at least one projector depending on the size of the play space 10 . That is, as shown in FIG. 2 , the projector unit ( 120) and the installation position can be adjusted.
  • various sports contents can be provided using a much wider projection area 20 than when using a display device such as a monitor, mobile terminal, or TV.
  • a display device such as a monitor, mobile terminal, or TV.
  • the projection area 20 of one projector may have a size of about 4.5 m ⁇ 2.6 m, and multiple projectors may be installed to utilize a large area for sports content.
  • the projector unit 120 may project the image by correcting the distortion so that the shape of the projection area 20 is not distorted into a trapezoid, a rhombus, or the like but a right-angled rectangle.
  • the lidar sensor unit 130 may be installed in the play space 10 . That is, in order to recognize a motion of a user using sports content in the play space 10 , the lidar sensor unit 130 may be disposed to cover the entire projection area 20 of the projector unit 120 . . For example, as shown in FIG. 2 , the lidar sensor unit 130 may be installed on the wall surface of the play space 10 so that the scanning direction faces the projection area 20 .
  • the lidar sensor unit 130 is installed toward the projection area 20 of the projector unit 120 , and may include at least two or more lidar sensors according to the size of the play space 10 .
  • the lidar sensor included in the lidar sensor unit 130 may be RP Lidar A3, and the laser scanning range may be about 20m. A detailed configuration of the lidar sensor unit 130 will be described in detail later with reference to FIG. 5 .
  • the motion tracking unit 140 may track the user's motion by recognizing the user's location using the lidar sensor unit 130 . More specifically, the motion tracking unit 140 may use the lidar sensor unit 130 to recognize the position of the user's foot at a predetermined point from the ground, and track the user's motion by tracking the change in the position of the user's foot. That is, the lidar sensor unit 130 can detect the presence and location of the user's foot by laser scanning a plane at a height of about 5 cm from the ground, and the motion tracking unit 140 tracks the position change of the user's foot as a user motion. can do.
  • the lidar sensor unit 130 of the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention is a light transmission module 131 that generates and irradiates a laser. ), a light receiving module 132 for focusing the light signal scattered by the user's body, and a light detecting module 133 for detecting the light signal focused by the light receiving module 132, and , the motion tracking unit 140 may track the user's motion using the detected optical signal.
  • a high-speed camera sensor As a conventional user motion tracking method, sensing using a camera has been widely used.
  • a high-speed camera sensor a 3D depth camera sensor, a Kinetic camera sensor, or the like may be used.
  • the high-speed camera sensor can be used for virtual reality exercise, etc.
  • continuous tracking In order to process data, continuous tracking is impossible, it must be used by one person at a fixed location, and there are limitations that require a separate object.
  • the 3D depth camera sensor detects and uses a change value at a specific depth, an event must be generated at a specific depth, only a small number of 1 to 10 people can use it at the same time, and there is a limitation that a separate object is required.
  • the Kinect camera sensor detects the motion of a subject. Due to the camera angle of view, the sensing range is narrow, so you have to exercise in a fixed position, so the range of activity is narrow, and there is a limit that only one person can use it at a time.
  • the augmented reality interactive sports system 100 using a lidar sensor includes a lidar sensor unit 130 and a motion tracking unit 140 .
  • a lidar sensor unit 130 By including, it is possible to enjoy augmented reality sports only with the body without wearing a separate object or device, and since the range of motion tracking is wide, it is possible to move and exercise by sufficiently using the bottom surface of the play space 10 .
  • the lidar sensor unit 130 can track the positions of 1 to 30 people at the same time, it can be applied to group sports, thereby making it fun to exercise together and helping to cultivate a sense of cooperation.
  • the lidar sensor unit 130 is configured to include at least two or more lidar sensors 130a and 130b installed toward the projection area 20 of the projector unit 120, and at least two or more lidar sensors are A portion of the scanning area each laser scans may overlap each other. That is, in the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention, a plurality of users can be tracked quickly and accurately by tracking the user's motion using at least two or more lidar sensors. .
  • FIG. 5 and 6 are diagrams illustrating the structure of a single lidar sensor in the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention
  • FIG. 7 is an embodiment of the present invention.
  • the augmented reality interactive sports system 100 using the lidar sensor it is a diagram showing the structure of the dual lidar sensor.
  • the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention may perform user motion tracking using a single lidar sensor as shown in FIGS. 5 and 6, but FIG. As shown in FIG. 2 , if two or more lidar sensors 130a and 130b are used, tracking failure due to the relative positions of users can be avoided, and the positions of several users can be accurately identified without interference.
  • the laser scanning shadow area by the first lidar sensor 130a is 2 Since it is scanned by the lidar sensor 130b, motion tracking of multiple users can be simultaneously performed without interference. That is, even if Player B is located in the laser scanning shadow by the first lidar sensor 130a of Player A, the motion of Player B may be tracked by the second lidar sensor 130b. Accordingly, the problem as described above in FIGS. 5 and 6 does not occur.
  • a portion of two scanning areas that the two lidar sensors 130a and 130b laser scan may overlap. That is, so that the first lidar sensor 130a and the second lidar sensor 130b can complement each other, the first scanning area laser-scanning by the first lidar sensor 130a and the second lidar sensor As shown in FIG. 7 , the second scanning area 130b ) laser-scanning may partially overlap. In an area where the first scanning area and the second scanning area overlap each other, the two lidar sensors 130a and 130b complement each other to effectively track the motions of a plurality of users, respectively.
  • the first lidar sensor 130a and the second lidar sensor 130b may be installed to be spaced apart from each other in parallel toward the projection area 20 of the projector unit 120 .
  • a predetermined distance which is a distance at which the two lidar sensors 130a and 130b are installed to be spaced apart, may be determined according to the size of the play space 10 . That is, by optimizing the play space 10 and installing the first lidar sensor 130a and the second lidar sensor 130b, it is possible to sufficiently cover the play space 10 and perform accurate motion tracking.
  • the lidar sensor unit 130 may be configured to include at least two or more lidar sensors installed to face each other toward the projection area 20 of the projector unit 120 .
  • the lidar sensor unit 130 may be configured to include at least two or more lidar sensors installed to face each other toward the projection area 20 of the projector unit 120 .
  • the play space 10 is wide and the number of users playing at the same time increases to 20 or more, motion tracking fails even with the structure of two lidar sensors 130a and 130b arranged side by side as shown in FIGS. 2 and 7 . may occur.
  • at least two or more lidar sensors may be installed to face each other.
  • FIG. 8 is a diagram illustrating an arrangement of a plurality of lidar sensors in the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention.
  • the lidar sensors 130a and 130c , 130b and 130d arranged to face each other are projected. It can be installed around the area 20 . If the horizontal width of the play space 10 or the projection area 20 is about 20 m, the wide play space 10 through the arrangement of the four lidar sensors 130a, 130b, 130c, 130d as shown in FIG. 8 . It can accurately track the user's motion in the interior without problems such as laser scanning shadows.
  • the number and arrangement of lidar sensors may be variously implemented according to the width and shape of the play space 10 .
  • placing three lidar sensors, two on one side and one on the other side of the projection area 20, with one on the other side positioned between the two on one side, etc., respectively It can be arranged and installed so that a part of the scanning area of the lidar sensor of the sensor overlaps each other.
  • the number and relative positions of the plurality of lidar sensors 130a, 130b, 130c, and 130d may be variously implemented.
  • at least two or more lidar sensors 130a, 130b, 130c, and 130d may detect a user's location without interference by installing different laser scanning heights.
  • the control unit 150 outputs sports contents through the projector unit 120 to provide sports contents to the user based on augmented reality, but uses the user motion tracked by the motion tracking unit 140 to interact between the sports contents and the user. action can be controlled. That is, the controller 150 may convert the user motion tracked by the motion tracking unit 140 into an input signal of the sports content so that the user and the sports content can interact, and transmit it.
  • the communication unit 160 communicates with the trainer terminal 200, provides the user's sports content use information to the trainer terminal 200, receives a control signal from the trainer terminal 200, and transmits it to the control unit 150 , it is possible to provide non-contact training to the user.
  • the communication unit 160 is a Wi-Fi (Wireless Fidelity), a mobile communication network (mobile radio communication network), a satellite communication network, Bluetooth (Bluetooth), Wibro (Wireless Broadband Internet), 3G/4G/5G capable of Internet access It may be understood that various wireless communication schemes including (3/4/5th Generation Mobile Telecommunication) and Long Term Evolution (LTE) are applied.
  • the display unit 170 may receive a sports content selection signal and output play information related to the sports content. That is, as shown in FIG. 3 , the display unit 170 may be located on the front of the main body 110 , so that the user can input or read user information, select sports content, etc. to enable various inputs and outputs. It may be implemented as a touch screen.
  • the speaker unit 180 may output a sound related to sports content. As shown in FIG. 3 , the speaker unit 180 may be installed on the front or side of the main body 110 , and the volume may be adjusted through the display unit 170 . However, depending on the size or shape of the play space 10 , the speaker unit 180 may be installed on the ceiling, wall, or floor surface of the play space 10 .
  • FIG. 9 is a diagram illustrating a state in which the augmented reality interactive sports system 100 using a lidar sensor communicates with the trainer terminal 200 according to an embodiment of the present invention.
  • the augmented reality interactive sports system 100 using a lidar sensor receives a control signal from the trainer terminal 200 through the communication unit 160 and remotely We can provide training services.
  • the trainer installs an application in the terminal, receives and checks the user's exercise data from the augmented reality interactive sports system 100, and recommends appropriate sports content to each user or coaches exercise posture, exercise time, etc. Training data can provide
  • the trainer terminal 200 may be implemented as an electronic device.
  • Electronic devices include smartphones, tablet PCs (personal computers), mobile phones, video phones, e-book readers, desktop PCs, laptop PCs, netbook computers, workstations, It may include at least one of a server, a personal digital assistant (PDA), a media box, a game console, an electronic dictionary, or a wearable device, and the wearable device is an accessory type (eg, a watch, a ring, a bracelet, Anklets, necklaces, glasses, contact lenses, or head-mounted-devices (HMDs), integrated fabrics or garments (such as electronic garments), body-mounted (such as skin pads or tattoos) , or at least one of an implantable circuit
  • the electronic device is not limited to the above-described devices, and may be a combination of two or more of the above-described various devices.
  • the display unit 170 and the speaker unit 180 may output a real-time trainer image received by the communication unit 160 from the trainer terminal 200 . That is, as shown in FIG. 9 , by outputting a real-time trainer image to the display unit 170 and the speaker unit 180, the user and the trainer can remotely see faces and provide or receive training services without direct face-to-face contact. .
  • a camera is installed in the play space 10 or a camera is provided on the front of the main body 110 to photograph a user using sports content, and the captured image is transmitted to the trainer terminal 200 using the communication unit 160 . can be transmitted
  • the projector unit 120 and the lidar sensor unit 130 are located in the play space 10 where sports content is played. ), project the image for sports content on the floor, and control the interaction between the sports content and the user by tracking the user's motion using a lidar sensor, thereby optimizing the projector unit installed in the play space 10 ( 120) and the lidar sensor unit 130 can sufficiently cover even when the play space 10 is wide, and the range in which motion tracking is possible through the lidar sensor unit 130 is wide, so that the bottom surface of the play space 10 is covered. can be used efficiently.
  • lidar sensors 130a, 130b, 130c, 130d are used. By using this, it is possible to quickly and accurately track each user's motion even when multiple users are using sports content at the same time in a large space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

According to an augmented reality interactive sports system using a lidar sensor, which is proposed in the present invention, a protector unit and a lidar sensor unit are installed in a play space where sports content is played, and an interaction between the sports content and a user is controlled by projecting an image for the sports content on a floor surface and tracking user motion by using the lidar sensor, and thus the protector unit and the lidar sensor unit optimally installed in the play space can sufficiently cover the play space even when the play space is wide, and the floor surface of the play space can be efficiently used as the range for tracking motion via the lidar sensor unit is wide.

Description

라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템Augmented reality interactive sports system using lidar sensor
본 발명은 증강현실 인터랙티브 스포츠 시스템에 관한 것으로서, 보다 구체적으로는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에 관한 것이다.The present invention relates to an augmented reality interactive sports system, and more particularly, to an augmented reality interactive sports system using a lidar sensor.
과학이 발달하면서 현대인의 신체 활동이 감소하고, 대다수 현대인에게서 운동 부족 현상이 발생하고 있다. 특히, 비만과 같은 성인병에 해당하는 인구가 지속적으로 증가하고 있다. 또한, 급격한 날씨 변화와 환경오염, 미세먼지, 전염성 질병 등으로 야외 활동이 제한되면서, 실내에서 충분한 신체 활동을 할 수 있는 운동에 관한 관심이 높아지고 있다.With the development of science, physical activity of modern people is decreasing, and lack of exercise is occurring in most modern people. In particular, the population corresponding to adult diseases such as obesity is continuously increasing. In addition, as outdoor activities are restricted due to rapid weather changes, environmental pollution, fine dust, and infectious diseases, interest in exercise that enables sufficient physical activity indoors is increasing.
실내에서 할 수 있는 가장 일반적인 운동으로 피트니스(Fitness)가 있는데, 피트니스는 밸런스가 잡힌 건강한 신체를 만들어내는 일, 또는 그것을 위한 운동을 말한다. 이러한 피트니스는 전문 장비가 구비된 피트니스 센터에서 전문 트레이너의 개인 지도(Personal Training)를 통해 이루어지게 된다. 그러나 현대인은 바쁜 일상 때문에 피트니스 센터에 찾아가 정기적으로 전문 트레이너의 지도를 받기 어렵고, 비싼 강습료로 인해 피트니스를 지속하기가 매우 어려운 실정이다.The most common exercise that can be done indoors is fitness. Fitness refers to creating a balanced and healthy body or exercising for it. Such fitness is performed through personal training of a professional trainer in a fitness center equipped with professional equipment. However, it is difficult for modern people to visit a fitness center and receive regular guidance from a professional trainer due to their busy daily life, and it is very difficult to maintain fitness due to the high tuition fees.
한편, 통상의 피트니스는 장비를 이용해 운동하게 되므로, 잘못된 운동으로 인한 부상의 위험이 있고, 전문 장비를 이용해 할 수 있는 운동이 제한되어 있으므로, 쉽게 실증을 느끼게 되는 문제가 있다. 또한, 유산소 운동을 위한 트레드밀과 같은 장비는, 운동 과정이 단조롭고 정해진 코스만을 반복하게 되므로, 사용자가 운동을 중도에 포기해버리는 경우가 많은 문제점이 있다.On the other hand, since normal fitness is exercised using equipment, there is a risk of injury due to incorrect exercise, and since exercise that can be performed using specialized equipment is limited, there is a problem in that it is easily felt. In addition, equipment such as a treadmill for aerobic exercise has a problem in that the exercise process is monotonous and repeats only a predetermined course, so that the user often gives up on the exercise in the middle.
이러한 문제를 해결하기 위해, 가상현실이나 증강현실을 이용해 스포츠를 즐길 수 있는 기술이 개발되기도 했다. 관련된 선행기술로서, 공개특허 제10-2020-0082990호(발명의 명칭: VR 스포츠를 통한 피트니스 관리방법) 등이 개시된 바 있다.In order to solve this problem, technology to enjoy sports using virtual reality or augmented reality has been developed. As a related prior art, Patent Publication No. 10-2020-0082990 (Title of the invention: fitness management method through VR sports) and the like have been disclosed.
그러나 종래의 가상현실을 이용해 스포츠를 즐길 수 있는 기술은, VR 장치를 머리에 착용해야 하므로 동작이 불편하여 충분한 운동 효과를 얻기 힘든 한계가 있다. 뿐만 아니라, 피트니스나 VR 스포츠는 어린이와 청소년의 체력 증진 및 교육 목적으로 사용하기에는 한계가 있고, 대체로 혼자 운동을 하는 것이므로 어린이와 청소년의 협동심을 기르는 데에는 적합하지 않다.However, the conventional technology for enjoying sports using virtual reality has a limitation in that it is difficult to obtain a sufficient exercise effect due to inconvenient operation because the VR device must be worn on the head. In addition, fitness or VR sports are not suitable for cultivating the cooperative spirit of children and adolescents because they are limited in their use for the purpose of improving physical strength and education of children and adolescents, and are usually performed alone.
또한, 종래기술에서는 카메라 센싱을 이용해 사용자 모션을 인식하는데, 카메라 센싱을 이용하면 여러 사용자의 모션을 동시에 인식할 수 없으므로 한 명씩 이용할 수밖에 없고, 여러 사용자가 함께 스포츠를 즐기기는 어려운 문제가 있었다. 또는 별도의 오브젝트를 이용해야 하므로 스포츠의 종류가 한정되는 문제가 있었다.In addition, in the prior art, user motion is recognized using camera sensing. However, if the camera sensing is used, the motions of multiple users cannot be recognized at the same time, so there is no choice but to use one by one, and it is difficult for multiple users to enjoy sports together. Alternatively, since a separate object must be used, there is a problem in that the type of sports is limited.
따라서 실내에서 복수의 사용자가 함께 다양한 스포츠를 즐길 수 있는 기술의 개발이 필요한 실정이다.Therefore, there is a need to develop a technology that allows a plurality of users to enjoy various sports together indoors.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 스포츠 콘텐츠가 플레이되는 플레이 공간 내에 프로젝터부와 라이다 센서부를 설치하고, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 플레이 공간에 최적화하여 설치된 프로젝터부와 라이다 센서부가 플레이 공간이 넓을 때도 충분히 커버할 수 있고, 라이다 센서부를 통해 모션 트래킹이 가능한 범위가 넓어서 플레이 공간의 바닥면을 효율적으로 이용할 수 있는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템을 제공하는 것을 그 목적으로 한다.The present invention is proposed to solve the above problems of the previously proposed methods, by installing a projector unit and a lidar sensor unit in a play space where sports contents are played, and projecting an image for sports contents on a floor surface, By using the lidar sensor to track the user's motion and control the interaction between sports content and the user, the projector and lidar sensor installed to optimize the play space can be sufficiently covered even when the play space is wide, and the lidar sensor part The purpose of this is to provide an augmented reality interactive sports system using a lidar sensor that can efficiently use the floor of the play space as the range of motion tracking is wide.
또한, 본 발명은, 라이다 센서를 이용해 사용자 모션을 트래킹하므로 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 적어도 둘 이상의 라이다 센서를 이용함으로써 넓은 공간에서 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹할 수 있는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템을 제공하는 것을 그 목적으로 한다.In addition, the present invention tracks user motion using a lidar sensor, so that you can enjoy sports indoors with only your body without wearing a separate object or device. An object of the present invention is to provide an augmented reality interactive sports system using a lidar sensor that can track each user's motion quickly and accurately even when using content.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템은,An augmented reality interactive sports system using a lidar sensor according to a feature of the present invention for achieving the above object,
증강현실 인터랙티브 스포츠 시스템으로서,As an augmented reality interactive sports system,
스포츠 콘텐츠가 플레이되는 플레이 공간 내에 설치되며, 바닥면에 상기 스포츠 콘텐츠를 위한 영상을 투영하는 프로젝터부;a projector unit installed in a play space where sports content is played and projecting an image for the sports content on a floor surface;
상기 플레이 공간 내에 설치되는 라이다 센서부;a lidar sensor unit installed in the play space;
상기 라이다 센서부를 이용해 상기 스포츠 콘텐츠에 따른 사용자 위치를 인식하여 사용자 모션을 트래킹하는 모션 트래킹부; 및a motion tracking unit for tracking a user's motion by recognizing a user's location according to the sports content using the lidar sensor unit; and
상기 프로젝터부를 통해 상기 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 상기 스포츠 콘텐츠를 제공하되, 상기 모션 트래킹부에서 트래킹되는 사용자 모션을 이용해 상기 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.Outputting the sports contents through the projector unit to provide the sports contents to the user based on augmented reality, comprising a control unit for controlling the interaction between the sports contents and the user using the user motion tracked by the motion tracking unit It is characterized by its constitution.
바람직하게는, 상기 프로젝터부는,Preferably, the projector unit,
상기 플레이 공간의 벽면 또는 천장에 바닥면을 향하도록 설치되며, 상기 플레이 공간의 크기에 따라 적어도 하나 이상의 프로젝터를 포함하여 구성될 수 있다.It is installed on the wall or ceiling of the play space to face the floor, and may include at least one projector depending on the size of the play space.
바람직하게는, 상기 라이다 센서부는,Preferably, the lidar sensor unit,
상기 프로젝터부의 투영 영역을 향하여 설치되며, 상기 플레이 공간의 크기에 따라 적어도 둘 이상의 라이다 센서를 포함하여 구성될 수 있다.It is installed toward the projection area of the projector unit, and may include at least two or more lidar sensors according to the size of the play space.
더욱 바람직하게는, 상기 라이다 센서부는,More preferably, the lidar sensor unit,
상기 프로젝터부의 투영 영역을 향하여 서로 마주 보도록 설치되는, 적어도 둘 이상의 라이다 센서를 포함하여 구성될 수 있다.It may be configured to include at least two or more lidar sensors, which are installed to face each other toward the projection area of the projector unit.
더욱 바람직하게는, 상기 라이다 센서부는,More preferably, the lidar sensor unit,
상기 적어도 둘 이상의 라이다 센서가 각각 레이저 스캐닝하는 스캐닝 영역의 일부가 서로 중첩될 수 있다.A portion of a scanning area each laser-scanning by the at least two lidar sensors may overlap each other.
바람직하게는, 상기 모션 트래킹부는,Preferably, the motion tracking unit,
상기 라이다 센서부를 이용해 지면으로부터 미리 정해진 지점의 사용자 발 위치를 인식하며, 사용자 발 위치 변화를 추적해 상기 사용자 모션을 트래킹할 수 있다.The lidar sensor unit may recognize the position of the user's foot at a predetermined point from the ground, and track the change in the user's foot position to track the user's motion.
바람직하게는,Preferably,
트레이너 단말기와 통신을 수행하며, 상기 트레이너 단말기에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 상기 트레이너 단말기로부터 제어 신호를 수신해 상기 제어부에 전달하여, 상기 사용자에게 비접촉 방식의 트레이닝을 제공하는 통신부를 더 포함할 수 있다.It communicates with the trainer terminal, provides the user's sports content usage information to the trainer terminal, receives a control signal from the trainer terminal, and transmits it to the control unit, further comprising a communication unit for providing non-contact training to the user can do.
더욱 바람직하게는,More preferably,
상기 스포츠 콘텐츠의 선택 신호를 입력받고 상기 스포츠 콘텐츠와 관련된 플레이 정보를 출력하는 디스플레이부; 및a display unit for receiving a selection signal of the sports content and outputting play information related to the sports content; and
상기 스포츠 콘텐츠와 관련된 음향을 출력하는 스피커부를 더 포함하며,Further comprising a speaker unit for outputting a sound related to the sports content,
상기 디스플레이부 및 스피커부는,The display unit and the speaker unit,
상기 통신부가 상기 트레이너 단말기로부터 수신한 실시간 트레이너 영상을 출력할 수 있다.The communication unit may output a real-time trainer image received from the trainer terminal.
본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에 따르면, 스포츠 콘텐츠가 플레이되는 플레이 공간 내에 프로젝터부와 라이다 센서부를 설치하고, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 플레이 공간에 최적화하여 설치된 프로젝터부와 라이다 센서부가 플레이 공간이 넓을 때도 충분히 커버할 수 있고, 라이다 센서부를 통해 모션 트래킹이 가능한 범위가 넓어서 플레이 공간의 바닥면을 효율적으로 이용할 수 있다.According to the augmented reality interactive sports system using the lidar sensor proposed in the present invention, a projector unit and a lidar sensor unit are installed in a play space where sports contents are played, and an image for sports contents is projected on the floor surface and lidar By tracking the user's motion using a sensor to control the interaction between sports content and the user, the projector and lidar sensor that are installed to optimize the play space can sufficiently cover the play space even when the play space is wide, and the motion through the lidar sensor part Because the tracking range is wide, the floor surface of the play area can be used efficiently.
또한, 본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에 따르면, 라이다 센서를 이용해 사용자 모션을 트래킹하므로 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 적어도 둘 이상의 라이다 센서를 이용함으로써 넓은 공간에서 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹할 수 있다.In addition, according to the augmented reality interactive sports system using the lidar sensor proposed in the present invention, since the user's motion is tracked using the lidar sensor, it is possible to enjoy sports indoors with only the body without wearing a separate object or device, and at least two By using the above lidar sensor, it is possible to quickly and accurately track each user's motion even when multiple users are using sports content at the same time in a large space.
도 1은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템의 구성을 도시한 도면.1 is a diagram showing the configuration of an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템의 모습을 도시한 도면.2 is a view showing the appearance of an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템의 본체의 모습을 도시한 도면.3 is a diagram illustrating a main body of an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에서, 라이다 센서부의 세부적인 구성을 도시한 도면.4 is a diagram illustrating a detailed configuration of a lidar sensor unit in an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
도 5 및 도 6은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에서, 싱글 라이다 센서 구조를 도시한 도면.5 and 6 are diagrams illustrating a single lidar sensor structure in an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
도 7은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에서, 듀얼 라이다 센서 구조를 도시한 도면.7 is a diagram illustrating a dual lidar sensor structure in an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
도 8은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에서, 복수의 라이다 센서 배치를 예를 들어 도시한 도면.8 is a diagram illustrating an arrangement of a plurality of lidar sensors in an augmented reality interactive sports system using a lidar sensor according to an embodiment of the present invention.
도 9는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템이 트레이너 단말기와 통신하는 모습을 도시한 도면.9 is a diagram illustrating a state in which an augmented reality interactive sports system using a lidar sensor communicates with a trainer terminal according to an embodiment of the present invention.
<부호의 설명><Explanation of code>
10: 플레이 공간10: play space
20: 투영 영역20: projection area
100: 증강현실 인터랙티브 스포츠 시스템100: augmented reality interactive sports system
110: 본체110: body
120: 프로젝터부120: projector unit
130: 라이다 센서부130: lidar sensor unit
130a: 제1 라이다 센서130a: first lidar sensor
130b: 제2 라이다 센서130b: second lidar sensor
131: 광 송신 모듈131: optical transmission module
132: 광 수신 모듈132: light receiving module
133: 광 감지 모듈133: light sensing module
140: 모션 트래킹부140: motion tracking unit
150: 제어부150: control unit
160: 통신부160: communication department
170: 디스플레이부170: display unit
180: 스피커부180: speaker unit
200: 트레이너 단말기200: trainer terminal
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing the preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, "including" a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.
도 1은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 구성을 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 모습을 도시한 도면이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)은, 프로젝터부(120), 라이다 센서부(130), 모션 트래킹부(140) 및 제어부(150)를 포함하여 구성될 수 있으며, 본체(110), 통신부(160), 디스플레이부(170) 및 스피커부(180)를 더 포함하여 구성될 수 있다.1 is a diagram illustrating the configuration of an augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention, and FIG. 2 is an augmented reality using a lidar sensor according to an embodiment of the present invention. It is a diagram showing the appearance of the interactive sports system 100 . 1 and 2, the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention includes a projector unit 120, a lidar sensor unit 130, and motion tracking. It may be configured to include the unit 140 and the control unit 150 , and may further include a body 110 , a communication unit 160 , a display unit 170 , and a speaker unit 180 .
즉, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)은, 스포츠 콘텐츠가 플레이되는 플레이 공간(10) 내에 프로젝터부(120)와 라이다 센서부(130)를 설치하고, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어할 수 있다.That is, the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention includes the projector unit 120 and the lidar sensor unit 130 in the play space 10 where sports content is played. It can be installed, project images for sports content on the floor, and track user motion using lidar sensors to control the interaction between sports content and users.
여기서, 플레이 공간(10)은 사용자가 스포츠 콘텐츠를 이용해 증강현실 기반으로 스포츠를 즐길 수 있는 공간으로서, 교실, 체육관 등 증강현실 인터랙티브 스포츠 시스템(100)을 설치하고 스포츠 콘텐츠가 출력될 수 있다면 원래의 이용 목적, 구체적인 넓이, 형태 등과 관계없이 본 발명의 플레이 공간(10) 역할을 할 수 있다.Here, the play space 10 is a space where a user can enjoy sports based on augmented reality using sports content. It can serve as the play space 10 of the present invention regardless of the purpose of use, specific area, shape, and the like.
이하에서는, 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 각 구성에 대해 상세히 설명하도록 한다.Hereinafter, each configuration of the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 2 .
본체(110)는, 모션 트래킹부(140), 제어부(150), 통신부(160) 및 디스플레이부(170)를 포함하는 프레임일 수 있으며, 내면에 제어부(150)를 포함하는 컴퓨터 장치 등을 구비할 수 있다. 도 2에 도시된 바와 같이, 스포츠 콘텐츠가 플레이되는 플레이 공간(10) 내에 본체(110)를 설치하여 사용할 수 있으나, 반드시 본체(110)와 같은 형태의 프레임 내에 모션 트래킹부(140), 제어부(150) 등을 포함할 필요는 없다.The main body 110 may be a frame including a motion tracking unit 140 , a control unit 150 , a communication unit 160 , and a display unit 170 , and a computer device including the control unit 150 on the inner surface is provided. can do. As shown in FIG. 2 , the main body 110 can be installed and used in the play space 10 where sports content is played, but the motion tracking unit 140 and the controller ( 150), etc., need not be included.
도 3은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 본체(110)의 모습을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 본체(110)는, 정면에 디스플레이부(170)를 포함할 수 있고, 스피커부(180)를 더 포함할 수도 있다. 본체(110)는, 도 3에 도시된 바와 같은 직육면체 형태일 수 있으나, 구체적인 형태나 모양은 다양하게 구현될 수 있다.FIG. 3 is a diagram illustrating the main body 110 of the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention. As shown in FIG. 3 , the main body 110 of the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention may include a display unit 170 on the front side, and a speaker. It may further include a unit 180 . The body 110 may have a rectangular parallelepiped shape as shown in FIG. 3 , but a specific shape or shape may be variously implemented.
프로젝터부(120)는, 스포츠 콘텐츠가 플레이되는 플레이 공간(10) 내에 설치되며, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영할 수 있다. 보다 구체적으로, 프로젝터부(120)는, 플레이 공간(10)의 벽면 또는 천장에 바닥면을 향하도록 설치되며, 플레이 공간(10)의 크기에 따라 적어도 하나 이상의 프로젝터를 포함하여 구성될 수 있다. 즉, 도 2에 도시된 바와 같이, 플레이 공간(10)의 천장에 바닥면을 향하도록 복수의 프로젝터부(120)를 설치하는 등, 플레이 공간(10)의 넓이와 형태 등에 최적화하여 프로젝터부(120)의 개수 및 설치 위치를 조절할 수 있다.The projector unit 120 is installed in the play space 10 where sports contents are played, and may project an image for sports contents on a floor surface. More specifically, the projector unit 120 is installed on the wall or ceiling of the play space 10 to face the floor, and may include at least one projector depending on the size of the play space 10 . That is, as shown in FIG. 2 , the projector unit ( 120) and the installation position can be adjusted.
이처럼 프로젝터부(120)를 이용해 플레이 공간(10)의 바닥면을 충분히 활용함으로써, 모니터나 휴대 단말기, TV 등 디스플레이 장치를 이용할 때보다 훨씬 넓은 투영 영역(20)을 활용해 다양한 스포츠 콘텐츠를 제공할 수 있다. 예를 들어, 투영 영역(20)을 10m×15m 이상으로 크게 하면, 동시에 20~30명의 사용자가 함께 스포츠 콘텐츠를 플레이할 수 있다. 프로젝터 하나의 투영 영역(20)은 4.5m×2.6m 정도의 크기일 수 있으며, 여러 개의 프로젝터를 설치해 넓은 영역을 스포츠 콘텐츠에 활용할 수 있다. 한편, 프로젝터부(120)는 투영 영역(20)의 모양이 사다리꼴, 마름모꼴 등으로 왜곡되지 않고 직각 사각형이 되도록 왜곡을 보정하여 영상을 투영할 수 있다.In this way, by using the projector unit 120 to fully utilize the bottom surface of the play space 10, various sports contents can be provided using a much wider projection area 20 than when using a display device such as a monitor, mobile terminal, or TV. can For example, if the projection area 20 is enlarged to 10 m×15 m or more, 20 to 30 users can play sports content together at the same time. The projection area 20 of one projector may have a size of about 4.5 m × 2.6 m, and multiple projectors may be installed to utilize a large area for sports content. Meanwhile, the projector unit 120 may project the image by correcting the distortion so that the shape of the projection area 20 is not distorted into a trapezoid, a rhombus, or the like but a right-angled rectangle.
라이다 센서부(130)는, 플레이 공간(10) 내에 설치될 수 있다. 즉, 플레이 공간(10) 내에서 스포츠 콘텐츠를 이용하는 사용자의 모션을 인식하기 위해, 라이다 센서부(130)는 프로젝터부(120)의 전체 투영 영역(20)을 커버할 수 있도록 배치될 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 라이다 센서부(130)는 플레이 공간(10)의 벽면에 스캐닝 방향이 투영 영역(20)을 향하도록 설치될 수 있다.The lidar sensor unit 130 may be installed in the play space 10 . That is, in order to recognize a motion of a user using sports content in the play space 10 , the lidar sensor unit 130 may be disposed to cover the entire projection area 20 of the projector unit 120 . . For example, as shown in FIG. 2 , the lidar sensor unit 130 may be installed on the wall surface of the play space 10 so that the scanning direction faces the projection area 20 .
특히, 라이다 센서부(130)는, 프로젝터부(120)의 투영 영역(20)을 향하여 설치되며, 플레이 공간(10)의 크기에 따라 적어도 둘 이상의 라이다 센서를 포함하여 구성될 수 있다. 이때, 라이다 센서부(130)가 포함하는 라이다 센서는, RP Lidar A3일 수 있으며, 레이저 스캐닝 범위는 20m 정도일 수 있다. 라이다 센서부(130)의 세부적인 구성에 대해서는 추후 도 5를 참조하여 상세히 설명하도록 한다.In particular, the lidar sensor unit 130 is installed toward the projection area 20 of the projector unit 120 , and may include at least two or more lidar sensors according to the size of the play space 10 . In this case, the lidar sensor included in the lidar sensor unit 130 may be RP Lidar A3, and the laser scanning range may be about 20m. A detailed configuration of the lidar sensor unit 130 will be described in detail later with reference to FIG. 5 .
모션 트래킹부(140)는, 라이다 센서부(130)를 이용해 사용자 위치를 인식하여 사용자 모션을 트래킹할 수 있다. 보다 구체적으로, 모션 트래킹부(140)는, 라이다 센서부(130)를 이용해 지면으로부터 미리 정해진 지점의 사용자 발 위치를 인식하며, 사용자 발 위치 변화를 추적해 사용자 모션을 트래킹할 수 있다. 즉, 라이다 센서부(130)는 지면으로부터 5㎝ 정도 높이의 평면을 레이저 스캐닝하여 사용자 발의 존재 여부 및 위치를 검출할 수 있는데, 모션 트래킹부(140)는 사용자 발의 위치 변화를 사용자 모션으로 트래킹할 수 있다.The motion tracking unit 140 may track the user's motion by recognizing the user's location using the lidar sensor unit 130 . More specifically, the motion tracking unit 140 may use the lidar sensor unit 130 to recognize the position of the user's foot at a predetermined point from the ground, and track the user's motion by tracking the change in the position of the user's foot. That is, the lidar sensor unit 130 can detect the presence and location of the user's foot by laser scanning a plane at a height of about 5 cm from the ground, and the motion tracking unit 140 tracks the position change of the user's foot as a user motion. can do.
도 4는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서, 라이다 센서부(130)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 라이다 센서부(130)는, 레이저를 생성 및 조사하는 광 송신 모듈(131), 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈(132), 및 광 수신 모듈(132)에 의해 집속된 광신호를 감지하는 광 감지 모듈(133)을 포함하여 구성될 수 있고, 모션 트래킹부(140)는, 감지된 광신호를 이용해 사용자 모션을 트래킹할 수 있다.4 is a diagram illustrating a detailed configuration of the lidar sensor unit 130 in the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention. 4, the lidar sensor unit 130 of the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention is a light transmission module 131 that generates and irradiates a laser. ), a light receiving module 132 for focusing the light signal scattered by the user's body, and a light detecting module 133 for detecting the light signal focused by the light receiving module 132, and , the motion tracking unit 140 may track the user's motion using the detected optical signal.
기존의 사용자 모션 트래킹 방식으로는, 카메라를 이용한 센싱이 많이 사용되었다. 예를 들어, 초고속 카메라 센서, 3D 뎁스 카메라 센서, 키넥트 카메라 센서(Kinetic camera sensor) 등을 사용할 수 있다. 초고속 카메라 센서는 가상현실 운동 등에 사용될 수 있는데, 데이터 처리를 하기 위해서는 연속적인 트래킹이 불가능하고, 정해진 위치에서 1명씩 사용해야 하며, 별도의 오브젝트가 필요한 한계가 있다. 3D 뎁스 카메라 센서는, 특정 심도(depth)에서의 변화 값을 검출해 사용하기 때문에 특정 심도에서 이벤트를 발생시켜야 하고, 1~10명 정도의 소수만 동시에 이용할 수 있으며, 별도의 오브젝트가 필요한 한계가 있다. 키넥트 카메라 센서는 피사체의 모션을 검출하는데, 카메라 화각 때문에 센싱 범위가 좁아서 정해진 위치에서 운동해야 하므로 활동 범위가 좁으며, 한 번에 1명만 사용할 수 있는 한계가 있다.As a conventional user motion tracking method, sensing using a camera has been widely used. For example, a high-speed camera sensor, a 3D depth camera sensor, a Kinetic camera sensor, or the like may be used. The high-speed camera sensor can be used for virtual reality exercise, etc. In order to process data, continuous tracking is impossible, it must be used by one person at a fixed location, and there are limitations that require a separate object. Since the 3D depth camera sensor detects and uses a change value at a specific depth, an event must be generated at a specific depth, only a small number of 1 to 10 people can use it at the same time, and there is a limitation that a separate object is required. . The Kinect camera sensor detects the motion of a subject. Due to the camera angle of view, the sensing range is narrow, so you have to exercise in a fixed position, so the range of activity is narrow, and there is a limit that only one person can use it at a time.
전술한 바와 같은 종래기술의 문제를 해결할 수 있는, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)은, 라이다 센서부(130) 및 모션 트래킹부(140)를 포함함으로써, 별도의 오브젝트나 장치 착용 없이 몸만으로도 증강현실 스포츠를 즐길 수 있고, 모션 트래킹이 가능한 범위가 넓어서 플레이 공간(10)의 바닥면을 충분히 이용해 여기저기 이동하며 운동할 수 있다. 또한, 라이다 센서부(130)가 1~30명의 위치를 동시에 트래킹할 수 있으므로 단체 스포츠에도 적용할 수 있고, 이를 통해 함께 운동하는 재미를 주고 협동심을 기르는 데 도움을 줄 수 있다.The augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention, which can solve the problems of the prior art as described above, includes a lidar sensor unit 130 and a motion tracking unit 140 . By including, it is possible to enjoy augmented reality sports only with the body without wearing a separate object or device, and since the range of motion tracking is wide, it is possible to move and exercise by sufficiently using the bottom surface of the play space 10 . In addition, since the lidar sensor unit 130 can track the positions of 1 to 30 people at the same time, it can be applied to group sports, thereby making it fun to exercise together and helping to cultivate a sense of cooperation.
한편, 라이다 센서부(130)는, 프로젝터부(120)의 투영 영역(20)을 향하여 설치되는 적어도 둘 이상의 라이다 센서(130a, 130b)를 포함하여 구성되며, 적어도 둘 이상의 라이다 센서가 각각 레이저 스캐닝하는 스캐닝 영역의 일부가 서로 중첩될 수 있다. 즉, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서는, 적어도 둘 이상의 라이다 센서를 이용해 사용자의 모션을 트래킹함으로써, 빠르고 정확하게 복수의 사용자를 트래킹할 수 있다.On the other hand, the lidar sensor unit 130 is configured to include at least two or more lidar sensors 130a and 130b installed toward the projection area 20 of the projector unit 120, and at least two or more lidar sensors are A portion of the scanning area each laser scans may overlap each other. That is, in the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention, a plurality of users can be tracked quickly and accurately by tracking the user's motion using at least two or more lidar sensors. .
도 5 및 도 6은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서, 싱글 라이다 센서 구조를 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서, 듀얼 라이다 센서 구조를 도시한 도면이다. 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)은, 도 5 및 도 6에 도시된 바와 같이 하나의 라이다 센서를 이용해 사용자 모션 트래킹을 할 수도 있으나, 도 7에 도시된 바와 같이 2개 이상의 라이다 센서(130a, 130b)를 이용하면 사용자들의 상대적 위치로 인한 트래킹 실패를 회피하고, 여러 사용자의 위치를 간섭 없이 정확하게 파악할 수 있다.5 and 6 are diagrams illustrating the structure of a single lidar sensor in the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention, and FIG. 7 is an embodiment of the present invention. In the augmented reality interactive sports system 100 using the lidar sensor, it is a diagram showing the structure of the dual lidar sensor. The augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention may perform user motion tracking using a single lidar sensor as shown in FIGS. 5 and 6, but FIG. As shown in FIG. 2 , if two or more lidar sensors 130a and 130b are used, tracking failure due to the relative positions of users can be avoided, and the positions of several users can be accurately identified without interference.
즉, 라이다 센서를 사용하는 경우 오브젝트에 의해 가려져 레이저가 도달하지 못하는 레이저 스캐닝 그늘이 발생하게 되는데, 레이저 스캐닝 그늘에 위치한 오브젝트는 탐지가 불가능하다. 하나의 라이다를 사용하는 싱글 라이다 센서 구조에서도, 도 5에 도시된 바와 같이 두 사용자의 위치가 중복되지 않으면 각각의 사용자의 모션 트래킹에 문제가 없다. 그러나 도 6에 도시된 바와 같이, Player B가 Player A의 레이저 스캐닝 그늘에 위치하면 Player B는 트래킹이 불가능하게 된다.That is, when a lidar sensor is used, a laser scanning shade that is blocked by an object and cannot be reached by the laser is generated, and an object located in the laser scanning shade cannot be detected. Even in a single lidar sensor structure using one lidar, as shown in FIG. 5 , if the positions of two users do not overlap, there is no problem in motion tracking of each user. However, as shown in FIG. 6 , if Player B is located in the laser scanning shadow of Player A, tracking of Player B becomes impossible.
반면에, 도 7에 도시된 바와 같이, 2개의 라이다 센서(130a, 130b)를 사용하는 경우(듀얼 라이다 센서 구조), 제1 라이다 센서(130a)에 의한 레이저 스캐닝 그늘 영역은, 제2 라이다 센서(130b)에 의해 스캐닝되므로, 간섭 없이 복수 사용자의 모션 트래킹을 동시에 할 수 있다. 즉, Player B가 Player A의 제1 라이다 센서(130a)에 의한 레이저 스캐닝 그늘에 위치하더라도, Player B의 모션은 제2 라이다 센서(130b)에 의해 트래킹될 수 있다. 따라서 도 5 및 도 6에서 전술한 바와 같은 문제가 발생하지 않는다.On the other hand, as shown in FIG. 7 , when two lidar sensors 130a and 130b are used (dual lidar sensor structure), the laser scanning shadow area by the first lidar sensor 130a is 2 Since it is scanned by the lidar sensor 130b, motion tracking of multiple users can be simultaneously performed without interference. That is, even if Player B is located in the laser scanning shadow by the first lidar sensor 130a of Player A, the motion of Player B may be tracked by the second lidar sensor 130b. Accordingly, the problem as described above in FIGS. 5 and 6 does not occur.
한편, 라이다 센서부(130)는, 2개의 라이다 센서(130a, 130b)가 각각 레이저 스캐닝하는 2개의 스캐닝 영역의 일부가 중첩될 수 있다. 즉, 제1 라이다 센서(130a)와 제2 라이다 센서(130b)가 상호 보완을 할 수 있도록, 제1 라이다 센서(130a)가 레이저 스캐닝하는 제1 스캐닝 영역과 제2 라이다 센서(130b)가 레이저 스캐닝하는 제2 스캐닝 영역은, 도 7에 도시된 바와 같이 일부가 중첩될 수 있다. 제1 스캐닝 영역과 제2 스캐닝 영역이 중첩되는 영역 내에서는 두 개의 라이다 센서(130a, 130b)가 상호 보완하여 복수 사용자의 모션을 각각 효과적으로 추적할 수 있다.Meanwhile, in the lidar sensor unit 130 , a portion of two scanning areas that the two lidar sensors 130a and 130b laser scan may overlap. That is, so that the first lidar sensor 130a and the second lidar sensor 130b can complement each other, the first scanning area laser-scanning by the first lidar sensor 130a and the second lidar sensor As shown in FIG. 7 , the second scanning area 130b ) laser-scanning may partially overlap. In an area where the first scanning area and the second scanning area overlap each other, the two lidar sensors 130a and 130b complement each other to effectively track the motions of a plurality of users, respectively.
도 2에 도시된 바와 같이, 제1 라이다 센서(130a)와 제2 라이다 센서(130b)는 프로젝터부(120)의 투영 영역(20)을 향하여 나란하게 이격 설치될 수 있다. 이때 2개의 라이다 센서(130a, 130b)가 이격 설치되는 거리인 미리 정해진 거리는, 플레이 공간(10)의 크기에 따라 결정될 수 있다. 즉, 플레이 공간(10)에 최적화하여 제1 라이다 센서(130a)와 제2 라이다 센서(130b)를 설치하여, 플레이 공간(10)을 충분히 커버하고 정확한 모션 트래킹을 할 수 있다.As shown in FIG. 2 , the first lidar sensor 130a and the second lidar sensor 130b may be installed to be spaced apart from each other in parallel toward the projection area 20 of the projector unit 120 . In this case, a predetermined distance, which is a distance at which the two lidar sensors 130a and 130b are installed to be spaced apart, may be determined according to the size of the play space 10 . That is, by optimizing the play space 10 and installing the first lidar sensor 130a and the second lidar sensor 130b, it is possible to sufficiently cover the play space 10 and perform accurate motion tracking.
또한, 라이다 센서부(130)는, 프로젝터부(120)의 투영 영역(20)을 향하여 서로 마주 보도록 설치되는, 적어도 둘 이상의 라이다 센서를 포함하여 구성될 수 있다. 플레이 공간(10)이 넓고 동시에 플레이를 하는 사용자 수가 20명 이상으로 많아지면, 도 2 및 도 7에 도시된 바와 같이 나란하게 배치된 2개의 라이다 센서(130a, 130b) 구조로도 모션 트래킹 실패가 발생할 수 있다. 본 발명에서는, 이를 방지하기 위해 적어도 둘 이상의 라이다 센서를 마주 보도록 설치할 수 있다.In addition, the lidar sensor unit 130 may be configured to include at least two or more lidar sensors installed to face each other toward the projection area 20 of the projector unit 120 . When the play space 10 is wide and the number of users playing at the same time increases to 20 or more, motion tracking fails even with the structure of two lidar sensors 130a and 130b arranged side by side as shown in FIGS. 2 and 7 . may occur. In the present invention, in order to prevent this, at least two or more lidar sensors may be installed to face each other.
도 8은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서, 복수의 라이다 센서 배치를 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서는, 서로 마주 보도록 배치되는 라이다 센서(130a와 130c, 130b와 130d)를 투영 영역(20)의 주변으로 설치할 수 있다. 플레이 공간(10) 또는 투영 영역(20)의 가로 폭이 20m 정도이면, 도 8에 도시된 바와 같은 4개의 라이다 센서(130a, 130b, 130c, 130d)의 배치를 통해 넓은 플레이 공간(10) 내의 사용자 모션을 레이저 스캐닝 그늘 등의 문제 없이 정확하게 트래킹 할 수 있다.8 is a diagram illustrating an arrangement of a plurality of lidar sensors in the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention. As shown in FIG. 8 , in the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention, the lidar sensors 130a and 130c , 130b and 130d arranged to face each other are projected. It can be installed around the area 20 . If the horizontal width of the play space 10 or the projection area 20 is about 20 m, the wide play space 10 through the arrangement of the four lidar sensors 130a, 130b, 130c, 130d as shown in FIG. 8 . It can accurately track the user's motion in the interior without problems such as laser scanning shadows.
여기서, 라이다 센서의 개수 및 배치는 플레이 공간(10)의 넓이와 형태 등에 따라 다양하게 구현될 수 있다. 예를 들어, 3개의 라이다 센서를 투영 영역(20)의 일 측에 2개, 다른 측에 1개를 배치하면서, 다른 측의 1개를 일 측의 2개 사이에 위치하도록 하는 등, 각각의 라이다 센서의 스캐닝 영역의 일부가 서로 중첩되도록 배치 및 설치할 수 있다.Here, the number and arrangement of lidar sensors may be variously implemented according to the width and shape of the play space 10 . For example, placing three lidar sensors, two on one side and one on the other side of the projection area 20, with one on the other side positioned between the two on one side, etc., respectively It can be arranged and installed so that a part of the scanning area of the lidar sensor of the sensor overlaps each other.
이와 같이, 복수의 라이다 센서 각각의 스캐닝 영역이 일부 중첩되어 상호 보완할 수 있다면, 복수의 라이다 센서(130a, 130b, 130c, 130d)의 개수와 상대적인 위치는 다양하게 구현될 수 있다. 또한, 적어도 둘 이상의 라이다 센서(130a, 130b, 130c, 130d)는, 레이저 스캐닝 높이를 상이하게 설치하여 간섭 없이 사용자 위치를 탐지할 수 있다.As such, if the scanning areas of the plurality of lidar sensors partially overlap and complement each other, the number and relative positions of the plurality of lidar sensors 130a, 130b, 130c, and 130d may be variously implemented. In addition, at least two or more lidar sensors 130a, 130b, 130c, and 130d may detect a user's location without interference by installing different laser scanning heights.
제어부(150)는, 프로젝터부(120)를 통해 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 스포츠 콘텐츠를 제공하되, 모션 트래킹부(140)에서 트래킹되는 사용자 모션을 이용해 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어할 수 있다. 즉, 제어부(150)는 사용자와 스포츠 콘텐츠가 인터랙션할 수 있도록, 모션 트래킹부(140)에서 트래킹되는 사용자 모션을 스포츠 콘텐츠의 입력 신호로 변환해 전달할 수 있다.The control unit 150 outputs sports contents through the projector unit 120 to provide sports contents to the user based on augmented reality, but uses the user motion tracked by the motion tracking unit 140 to interact between the sports contents and the user. action can be controlled. That is, the controller 150 may convert the user motion tracked by the motion tracking unit 140 into an input signal of the sports content so that the user and the sports content can interact, and transmit it.
통신부(160)는, 트레이너 단말기(200)와 통신을 수행하며, 트레이너 단말기(200)에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 트레이너 단말기(200)로부터 제어 신호를 수신해 제어부(150)에 전달하여, 사용자에게 비접촉 방식의 트레이닝을 제공할 수 있다. 여기서, 통신부(160)는 인터넷 접속이 가능한 와이파이(Wi-Fi, Wireless Fidelity), 이동통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), 3G/4G/5G(3/4/5th Generation Mobile Telecommunication) 및 LTE(Long Term Evolution)를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.The communication unit 160 communicates with the trainer terminal 200, provides the user's sports content use information to the trainer terminal 200, receives a control signal from the trainer terminal 200, and transmits it to the control unit 150 , it is possible to provide non-contact training to the user. Here, the communication unit 160 is a Wi-Fi (Wireless Fidelity), a mobile communication network (mobile radio communication network), a satellite communication network, Bluetooth (Bluetooth), Wibro (Wireless Broadband Internet), 3G/4G/5G capable of Internet access It may be understood that various wireless communication schemes including (3/4/5th Generation Mobile Telecommunication) and Long Term Evolution (LTE) are applied.
디스플레이부(170)는, 스포츠 콘텐츠의 선택 신호를 입력받고 스포츠 콘텐츠와 관련된 플레이 정보를 출력할 수 있다. 즉, 도 3에 도시된 바와 같이, 디스플레이부(170)는 본체(110)의 전면에 위치할 수 있으며, 사용자가 사용자의 정보를 입력 또는 열람하고, 스포츠 콘텐츠를 선택하는 등 각종 입출력이 가능하도록 터치스크린으로 구현될 수 있다.The display unit 170 may receive a sports content selection signal and output play information related to the sports content. That is, as shown in FIG. 3 , the display unit 170 may be located on the front of the main body 110 , so that the user can input or read user information, select sports content, etc. to enable various inputs and outputs. It may be implemented as a touch screen.
스피커부(180)는, 스포츠 콘텐츠와 관련된 음향을 출력할 수 있다. 도 3에 도시된 바와 같이, 스피커부(180)는 본체(110)의 전면이나 측면 등에 설치될 수 있으며, 디스플레이부(170)를 통해 볼륨이 조절될 수 있다. 그러나 플레이 공간(10)의 크기나 형태 등에 따라 스피커부(180)는 플레이 공간(10)의 천장, 벽면, 바닥면 등에 설치되어 있을 수도 있다.The speaker unit 180 may output a sound related to sports content. As shown in FIG. 3 , the speaker unit 180 may be installed on the front or side of the main body 110 , and the volume may be adjusted through the display unit 170 . However, depending on the size or shape of the play space 10 , the speaker unit 180 may be installed on the ceiling, wall, or floor surface of the play space 10 .
도 9는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)이 트레이너 단말기(200)와 통신하는 모습을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)은, 통신부(160)를 통해 트레이너 단말기(200)로부터 제어 신호를 수신하여 원격으로 트레이닝 서비스를 제공할 수 있다. 트레이너는 단말기에 애플리케이션을 설치하여, 증강현실 인터랙티브 스포츠 시스템(100)으로부터 사용자의 운동 데이터를 제공받아 확인할 수 있으며, 각 사용자에게 적절한 스포츠 콘텐츠를 추천하거나 운동 자세, 운동 시간 등을 코칭하는 등 트레이닝 데이터를 제공할 수 있다.9 is a diagram illustrating a state in which the augmented reality interactive sports system 100 using a lidar sensor communicates with the trainer terminal 200 according to an embodiment of the present invention. As shown in FIG. 9 , the augmented reality interactive sports system 100 using a lidar sensor according to an embodiment of the present invention receives a control signal from the trainer terminal 200 through the communication unit 160 and remotely We can provide training services. The trainer installs an application in the terminal, receives and checks the user's exercise data from the augmented reality interactive sports system 100, and recommends appropriate sports content to each user or coaches exercise posture, exercise time, etc. Training data can provide
여기서, 트레이너 단말기(200)는 전자 장치로 구현될 수 있다. 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.Here, the trainer terminal 200 may be implemented as an electronic device. Electronic devices include smartphones, tablet PCs (personal computers), mobile phones, video phones, e-book readers, desktop PCs, laptop PCs, netbook computers, workstations, It may include at least one of a server, a personal digital assistant (PDA), a media box, a game console, an electronic dictionary, or a wearable device, and the wearable device is an accessory type (eg, a watch, a ring, a bracelet, Anklets, necklaces, glasses, contact lenses, or head-mounted-devices (HMDs), integrated fabrics or garments (such as electronic garments), body-mounted (such as skin pads or tattoos) , or at least one of an implantable circuit In various embodiments, the electronic device is not limited to the above-described devices, and may be a combination of two or more of the above-described various devices.
한편, 디스플레이부(170) 및 스피커부(180)는, 통신부(160)가 트레이너 단말기(200)로부터 수신한 실시간 트레이너 영상을 출력할 수 있다. 즉, 도 9에 도시된 바와 같이, 실시간 트레이너 영상을 디스플레이부(170) 및 스피커부(180)로 출력함으로써, 직접 대면 접촉 없이도 사용자와 트레이너가 원격으로 얼굴을 보고 트레이닝 서비스를 제공하거나 받을 수 있다. 이를 위해 플레이 공간(10)에 카메라를 설치하거나 본체(110)의 전면에 카메라를 구비하여 스포츠 콘텐츠를 이용하는 사용자의 모습을 촬영하고, 촬영된 영상을 통신부(160)를 이용해 트레이너 단말기(200)에 전송할 수 있다.Meanwhile, the display unit 170 and the speaker unit 180 may output a real-time trainer image received by the communication unit 160 from the trainer terminal 200 . That is, as shown in FIG. 9 , by outputting a real-time trainer image to the display unit 170 and the speaker unit 180, the user and the trainer can remotely see faces and provide or receive training services without direct face-to-face contact. . To this end, a camera is installed in the play space 10 or a camera is provided on the front of the main body 110 to photograph a user using sports content, and the captured image is transmitted to the trainer terminal 200 using the communication unit 160 . can be transmitted
전술한 바와 같이, 본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에 따르면, 스포츠 콘텐츠가 플레이되는 플레이 공간(10) 내에 프로젝터부(120)와 라이다 센서부(130)를 설치하고, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 플레이 공간(10)에 최적화하여 설치된 프로젝터부(120)와 라이다 센서부(130)가 플레이 공간(10)이 넓을 때도 충분히 커버할 수 있고, 라이다 센서부(130)를 통해 모션 트래킹이 가능한 범위가 넓어서 플레이 공간(10)의 바닥면을 효율적으로 이용할 수 있다.As described above, according to the augmented reality interactive sports system 100 using the lidar sensor proposed by the present invention, the projector unit 120 and the lidar sensor unit 130 are located in the play space 10 where sports content is played. ), project the image for sports content on the floor, and control the interaction between the sports content and the user by tracking the user's motion using a lidar sensor, thereby optimizing the projector unit installed in the play space 10 ( 120) and the lidar sensor unit 130 can sufficiently cover even when the play space 10 is wide, and the range in which motion tracking is possible through the lidar sensor unit 130 is wide, so that the bottom surface of the play space 10 is covered. can be used efficiently.
또한, 본 발명에 따르면, 라이다 센서를 이용해 사용자 모션을 트래킹하므로 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 적어도 둘 이상의 라이다 센서(130a, 130b, 130c, 130d)를 이용함으로써 넓은 공간에서 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹할 수 있다.In addition, according to the present invention, since the user's motion is tracked using a lidar sensor, it is possible to enjoy sports indoors with only the body without wearing a separate object or device, and at least two lidar sensors 130a, 130b, 130c, 130d are used. By using this, it is possible to quickly and accurately track each user's motion even when multiple users are using sports content at the same time in a large space.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.

Claims (8)

  1. 증강현실 인터랙티브 스포츠 시스템(100)으로서,As an augmented reality interactive sports system 100,
    스포츠 콘텐츠가 플레이되는 플레이 공간(10) 내에 설치되며, 바닥면에 상기 스포츠 콘텐츠를 위한 영상을 투영하는 프로젝터부(120);a projector unit 120 installed in the play space 10 where sports content is played and projecting an image for the sports content on a floor surface;
    상기 플레이 공간(10) 내에 설치되는 라이다 센서부(130);Lidar sensor unit 130 installed in the play space (10);
    상기 라이다 센서부(130)를 이용해 사용자 위치를 인식하여 사용자 모션을 트래킹하는 모션 트래킹부(140); 및a motion tracking unit 140 for tracking a user's motion by recognizing a user's location using the lidar sensor unit 130; and
    상기 프로젝터부(120)를 통해 상기 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 상기 스포츠 콘텐츠를 제공하되, 상기 모션 트래킹부(140)에서 트래킹되는 사용자 모션을 이용해 상기 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어하는 제어부(150)를 포함하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).The sports content is outputted through the projector unit 120 to provide the sports content to the user based on augmented reality, but interaction between the sports content and the user using the user motion tracked by the motion tracking unit 140 Augmented reality interactive sports system 100 using a lidar sensor, characterized in that it comprises a control unit 150 for controlling the.
  2. 제1항에 있어서, 상기 프로젝터부(120)는,According to claim 1, wherein the projector unit 120,
    상기 플레이 공간(10)의 벽면 또는 천장에 바닥면을 향하도록 설치되며, 상기 플레이 공간(10)의 크기에 따라 적어도 하나 이상의 프로젝터를 포함하여 구성되는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).Augmented reality using a lidar sensor, which is installed on the wall or ceiling of the play space 10 to face the floor, and comprises at least one projector depending on the size of the play space 10 Interactive sports system 100 .
  3. 제1항에 있어서, 상기 라이다 센서부(130)는,According to claim 1, wherein the lidar sensor unit 130,
    상기 프로젝터부(120)의 투영 영역(20)을 향하여 설치되며, 상기 플레이 공간(10)의 크기에 따라 적어도 둘 이상의 라이다 센서를 포함하여 구성되는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).Augmented reality using a lidar sensor, which is installed toward the projection area 20 of the projector unit 120 and includes at least two or more lidar sensors according to the size of the play space 10 . Interactive sports system 100 .
  4. 제3항에 있어서, 상기 라이다 센서부(130)는,According to claim 3, The lidar sensor unit 130,
    상기 프로젝터부(120)의 투영 영역(20)을 향하여 서로 마주 보도록 설치되는, 적어도 둘 이상의 라이다 센서를 포함하여 구성되는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).Augmented reality interactive sports system 100 using a lidar sensor, characterized in that it includes at least two or more lidar sensors that are installed to face each other toward the projection area 20 of the projector unit 120 .
  5. 제3항에 있어서, 상기 라이다 센서부(130)는,According to claim 3, The lidar sensor unit 130,
    상기 적어도 둘 이상의 라이다 센서가 각각 레이저 스캐닝하는 스캐닝 영역의 일부가 서로 중첩되는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).An augmented reality interactive sports system 100 using a lidar sensor, characterized in that a portion of a scanning area laser-scanning by the at least two or more lidar sensors overlaps each other.
  6. 제1항에 있어서, 상기 모션 트래킹부(140)는,According to claim 1, wherein the motion tracking unit 140,
    상기 라이다 센서부(130)를 이용해 지면으로부터 미리 정해진 지점의 사용자 발 위치를 인식하며, 사용자 발 위치 변화를 추적해 상기 사용자 모션을 트래킹하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).Augmented reality interactive sports using a lidar sensor, characterized in that by using the lidar sensor unit 130 to recognize the position of the user's foot at a predetermined point from the ground, and to track the change in the position of the user's foot to track the user's motion system 100.
  7. 제1항에 있어서,According to claim 1,
    트레이너 단말기(200)와 통신을 수행하며, 상기 트레이너 단말기(200)에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 상기 트레이너 단말기(200)로부터 제어 신호를 수신해 상기 제어부(150)에 전달하여, 상기 사용자에게 비접촉 방식의 트레이닝을 제공하는 통신부(160)를 더 포함하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).It communicates with the trainer terminal 200, provides the user's sports content use information to the trainer terminal 200, receives a control signal from the trainer terminal 200, and transmits it to the control unit 150, the user Augmented reality interactive sports system 100 using a lidar sensor, characterized in that it further comprises a communication unit 160 for providing non-contact training.
  8. 제7항에 있어서,8. The method of claim 7,
    상기 스포츠 콘텐츠의 선택 신호를 입력받고 상기 스포츠 콘텐츠와 관련된 플레이 정보를 출력하는 디스플레이부(170); 및a display unit 170 for receiving a selection signal of the sports content and outputting play information related to the sports content; and
    상기 스포츠 콘텐츠와 관련된 음향을 출력하는 스피커부(180)를 더 포함하며,Further comprising a speaker unit 180 for outputting a sound related to the sports content,
    상기 디스플레이부(170) 및 스피커부(180)는,The display unit 170 and the speaker unit 180,
    상기 통신부(160)가 상기 트레이너 단말기(200)로부터 수신한 실시간 트레이너 영상을 출력하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).The augmented reality interactive sports system 100 using a lidar sensor, characterized in that the communication unit 160 outputs the real-time trainer image received from the trainer terminal 200 .
PCT/KR2021/014633 2020-10-19 2021-10-19 Augmented reality interactive sports system using lidar sensor WO2022086144A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0135568 2020-10-19
KR1020200135568A KR102430084B1 (en) 2020-10-19 2020-10-19 Augmented reality interactive sports system using lidar sensors

Publications (1)

Publication Number Publication Date
WO2022086144A1 true WO2022086144A1 (en) 2022-04-28

Family

ID=81290020

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/014633 WO2022086144A1 (en) 2020-10-19 2021-10-19 Augmented reality interactive sports system using lidar sensor

Country Status (2)

Country Link
KR (1) KR102430084B1 (en)
WO (1) WO2022086144A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170008896A (en) * 2015-06-19 2017-01-25 (주)블루클라우드 An apparatus for providing augmented virtual exercising space in an exercising system based on augmented virtual interactive contents and the method thereof
KR101958908B1 (en) * 2017-07-31 2019-03-15 전북대학교산학협력단 A dynamic harness rehabilitation training system based motion recognition
JP2019150545A (en) * 2018-03-06 2019-09-12 株式会社 Ｍｔｇ Movement booth installation structure and method
US20200047027A1 (en) * 2018-08-07 2020-02-13 Interactive Strength, Inc. User interface system for an interactive exercise machine
KR102088333B1 (en) * 2019-08-20 2020-03-13 주식회사 마이베네핏 Team training system with mixed reality based exercise apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170008896A (en) * 2015-06-19 2017-01-25 (주)블루클라우드 An apparatus for providing augmented virtual exercising space in an exercising system based on augmented virtual interactive contents and the method thereof
KR101958908B1 (en) * 2017-07-31 2019-03-15 전북대학교산학협력단 A dynamic harness rehabilitation training system based motion recognition
JP2019150545A (en) * 2018-03-06 2019-09-12 株式会社 Ｍｔｇ Movement booth installation structure and method
US20200047027A1 (en) * 2018-08-07 2020-02-13 Interactive Strength, Inc. User interface system for an interactive exercise machine
KR102088333B1 (en) * 2019-08-20 2020-03-13 주식회사 마이베네핏 Team training system with mixed reality based exercise apparatus

Also Published As

Publication number Publication date
KR102430084B1 (en) 2022-08-10
KR20220051765A (en) 2022-04-26

Similar Documents

Publication Publication Date Title
WO2022080548A1 (en) Augmented reality interactive sports device using lidar sensors
WO2016003078A1 (en) Glasses-type mobile terminal
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2014021576A1 (en) Electronic device for providing content according to user&#39;s posture and content providing method thereof
WO2020122488A1 (en) Camera-based mixed reality glass apparatus, and mixed reality display method
WO2018030567A1 (en) Hmd and control method therefor
WO2021040076A1 (en) Electronic device
WO2018052231A1 (en) Electronic device including flexible display
WO2022080549A1 (en) Motion tracking device of dual lidar sensor structure
WO2022050668A1 (en) Method for detecting hand motion of wearable augmented reality device by using depth image, and wearable augmented reality device capable of detecting hand motion by using depth image
WO2022086144A1 (en) Augmented reality interactive sports system using lidar sensor
WO2016190676A1 (en) Robot, smart block toy, and robot control system using same
WO2022092782A1 (en) Method for measuring amount of exercise of each person by using augmented reality interactive sports device
WO2016076461A1 (en) Wearable device
WO2016047824A1 (en) Image information projection device and projection device control method
WO2023080296A1 (en) Ar device and method for controlling ar device
WO2018038337A1 (en) Virtual reality content system enabling interaction between hmd user and plurality of ordinary people and control method thereof
WO2022050742A1 (en) Method for detecting hand motion of wearable augmented reality device by using depth image and wearable augmented reality device capable of detecting hand motion by using depth image
EP3701709A1 (en) Electronic apparatus and control method thereof
WO2018230760A1 (en) Electronic device, band device and content providing system for providing augmented reality content
WO2023204574A1 (en) Metaverse sports platform providing apparatus
WO2019212135A1 (en) Device and control method therefor
WO2012169693A1 (en) Method for processing image and apparatus for processing image
WO2024075924A1 (en) Electronic device and method for providing notification information
WO2024058439A1 (en) Method and apparatus for determining persona of avatar object arranged in virtual space

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21883213

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20.09.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21883213

Country of ref document: EP

Kind code of ref document: A1