KR102540782B1 - Apparatus for controlling with motion interlocking and method of controlling with motion interlocking - Google Patents

Apparatus for controlling with motion interlocking and method of controlling with motion interlocking Download PDF

Info

Publication number
KR102540782B1
KR102540782B1 KR1020220130631A KR20220130631A KR102540782B1 KR 102540782 B1 KR102540782 B1 KR 102540782B1 KR 1020220130631 A KR1020220130631 A KR 1020220130631A KR 20220130631 A KR20220130631 A KR 20220130631A KR 102540782 B1 KR102540782 B1 KR 102540782B1
Authority
KR
South Korea
Prior art keywords
unit
arm
motion
user
information
Prior art date
Application number
KR1020220130631A
Other languages
Korean (ko)
Inventor
유병훈
Original Assignee
주식회사 시스터스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시스터스 filed Critical 주식회사 시스터스
Priority to KR1020220130631A priority Critical patent/KR102540782B1/en
Application granted granted Critical
Publication of KR102540782B1 publication Critical patent/KR102540782B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일실시예는 사용 편의성이 향상된 모션 연동 제어장치 및 모션 연동 제어방법을 제공한다. 여기서, 모션 연동 제어장치는 사용자의 모션에 의해 설비가 작동되도록 하기 위한 것으로서, 촬영부, 신체 정보 생성부, 계산부, 디스플레이부, 매칭부, 모션 정보 생성부, 지시 이미지 표시부 및 제어부를 포함한다. 촬영부는 사용자를 촬영하여 촬영 정보를 생성한다. 신체 정보 생성부는 촬영 정보를 기초로 사용자의 신체 골격 정보를 생성한다. 계산부는 신체 골격 정보를 기초로 사용자의 팔 길이 및 팔이 동작할 수 있는 팔 동작 영역을 계산한다. 디스플레이부에는 설비를 작동시키기 위한 복수 개의 입력 아이콘을 가지는 명령 입력부가 표시된다. 매칭부는 팔 동작 영역을 명령 입력부에 대응되도록 매칭한다. 모션 정보 생성부는 촬영 정보를 기초로 사용자의 팔 모션 정보를 생성한다. 지시 이미지 표시부는 팔 모션 정보를 기초로 명령 입력부에 사용자의 손의 위치에 대응되도록 지시 이미지를 이동시켜 표시한다. 제어부는 지시 이미지가 복수 개의 입력 아이콘 중 어느 하나의 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작을 한 것으로 판정되면, 설비를 작동시켜 해당 작동을 실행하도록 한다.An embodiment of the present invention provides a motion-linked control device and a motion-linked control method with improved usability. Here, the motion-linked control device is for operating the facility by a user's motion, and includes a photographing unit, a body information generation unit, a calculation unit, a display unit, a matching unit, a motion information generation unit, an instruction image display unit, and a control unit. . The photographing unit photographs the user and generates photographing information. The body information generating unit generates the user's body skeleton information based on the photographing information. The calculation unit calculates the user's arm length and an arm motion region in which the arm can operate based on the body skeleton information. A command input unit having a plurality of input icons for operating equipment is displayed on the display unit. The matching unit matches the arm motion region to correspond to the command input unit. The motion information generation unit generates motion information of the user's arm based on the photographing information. The instruction image display unit moves and displays the instruction image to correspond to the position of the user's hand on the command input unit based on arm motion information. If it is determined that the instruction image has performed an input operation to execute an operation linked to any one input icon among a plurality of input icons, the control unit operates the facility to execute the corresponding operation.

Description

모션 연동 제어장치 및 모션 연동 제어방법{APPARATUS FOR CONTROLLING WITH MOTION INTERLOCKING AND METHOD OF CONTROLLING WITH MOTION INTERLOCKING}Motion interlocking control device and motion interlocking control method {APPARATUS FOR CONTROLLING WITH MOTION INTERLOCKING AND METHOD OF CONTROLLING WITH MOTION INTERLOCKING}

본 발명은 모션 연동 제어장치 및 모션 연동 제어방법에 관한 것으로, 더욱 상세하게는 사용 편의성이 향상된 모션 연동 제어장치 및 모션 연동 제어방법에 관한 것이다.The present invention relates to a motion-linked control device and a motion-linked control method, and more particularly, to a motion-linked control device and a motion-linked control method with improved usability.

일반적으로, 멀리 떨어져 있는 기기나 기계류를 제어하기 위해서 원격제어기(Remote Controller)가 사용되고 있다. In general, a remote controller is used to control distant devices or machinery.

통상적으로 원격제어기는 선택된 기능키 모션을 수행하는 제어부와 전자기기에 무선신호를 발신하는 신호 송신부 등의 구성을 가진다.Typically, a remote controller has a configuration such as a control unit that performs a motion of a selected function key and a signal transmission unit that transmits a radio signal to an electronic device.

이처럼, 원격제어를 위해서는 원격제어기를 포함해야 하며, 원격제어기를 구현하기 위한 비용이 발생하게 된다.As such, a remote controller must be included for remote control, and costs for implementing the remote controller are incurred.

근래에는 가상현실(VR) 또는 증강현실(AR)에 대한 관심과 수요가 급증함에 따라 관련 콘텐츠 시장이 성장하고 있고, 이러한 콘텐츠를 구동하기 위하여 스마트 안경(Smart Glasses), 증강현실 안경(AR glasses) 등과 같은 모션인식장치 또한 다양화 및 보급화 되어가고 있다.In recent years, as the interest and demand for virtual reality (VR) or augmented reality (AR) has surged, the related content market is growing, and smart glasses and augmented reality glasses are needed to drive these contents. Motion recognition devices such as the etc. are also becoming diversified and popularized.

그러나, 이러한 모션인식장치에서도 조작체계를 위한 여러 구성이 포함되어야 하기 때문에, 이러한 모션인식장치를 구현하기 위한 비용 발생은 필연적이다.However, since various configurations for a control system must be included even in such a motion recognition device, costs for implementing such a motion recognition device are inevitable.

따라서, 별도의 원격제어기가 없이도 원격제어가 가능한 기술이 요구된다.Therefore, a technology capable of remote control without a separate remote controller is required.

대한민국 등록특허공보 제1773435호(2017.08.31. 공고)Republic of Korea Patent Registration No. 1773435 (Announced on August 31, 2017)

상기와 같은 문제점을 해결하기 위하여, 본 발명이 이루고자 하는 기술적 과제는 사용 편의성이 향상된 모션 연동 제어장치 및 모션 연동 제어방법을 제공하는 것이다.In order to solve the above problems, a technical problem to be achieved by the present invention is to provide a motion-linked control device and a motion-linked control method with improved usability.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved by the present invention is not limited to the above-mentioned technical problem, and other technical problems not mentioned can be clearly understood by those skilled in the art from the description below. There will be.

상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예는 사용자의 모션에 의해 설비가 작동되도록 하기 위한 모션 연동 제어장치로서, 사용자를 촬영하여 촬영 정보를 생성하는 촬영부; 상기 촬영 정보를 기초로 사용자의 신체 골격 정보를 생성하는 신체 정보 생성부; 상기 신체 골격 정보를 기초로 사용자의 팔 길이 및 팔이 동작할 수 있는 팔 동작 영역을 계산하는 계산부; 상기 설비를 작동시키기 위한 복수 개의 입력 아이콘을 가지는 명령 입력부가 표시되는 디스플레이부; 상기 팔 동작 영역을 상기 명령 입력부에 대응되도록 매칭하는 매칭부; 상기 촬영 정보를 기초로 사용자의 팔 모션 정보를 생성하는 모션 정보 생성부; 상기 팔 모션 정보를 기초로 상기 명령 입력부에 상기 사용자의 손의 위치에 대응되도록 지시 이미지를 이동시켜 표시하는 지시 이미지 표시부; 및 상기 지시 이미지가 복수 개의 상기 입력 아이콘 중 어느 하나의 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작을 한 것으로 판정되면, 상기 설비를 작동시켜 해당 작동을 실행하도록 하는 제어부를 포함하는 것을 특징으로 하는 모션 연동 제어장치를 제공한다.In order to achieve the above technical problem, one embodiment of the present invention is a motion-linked control device for operating a facility by a user's motion, comprising: a photographing unit for generating photographic information by photographing a user; a body information generating unit generating body skeleton information of the user based on the photographing information; a calculation unit which calculates an arm length of the user and an arm motion region in which the arm can operate based on the body skeleton information; a display unit displaying a command input unit having a plurality of input icons for operating the equipment; a matching unit matching the arm operation region to correspond to the command input unit; a motion information generation unit generating motion information of a user's arm based on the photographing information; an indication image display unit which moves and displays an indication image corresponding to the position of the user's hand in the command input unit based on the arm motion information; and a control unit for operating the facility to execute the corresponding operation when it is determined that the instruction image has performed an input operation to execute an operation linked to any one input icon among the plurality of input icons. It provides a motion interlocking control device that does.

본 발명의 실시예에 있어서, 상기 제어부는 상기 지시 이미지가 복수 개의 상기 입력 아이콘 중 어느 하나의 입력 아이콘에 겹치도록 위치된 상태에서 사용자가 특정 동작을 수행하면, 겹쳐진 상기 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작으로 판정할 수 있다.In an embodiment of the present invention, when the user performs a specific operation in a state in which the pointing image is positioned so as to overlap any one of the plurality of input icons, the control unit performs an operation linked to the overlapping input icon. It can be determined as an input operation to be executed.

본 발명의 실시예에 있어서, 상기 신체 정보 생성부는 사용자 신체의 특정 기준점을 중심으로 오른팔 및 왼팔의 길이를 각각 측정하고, 상기 계산부는 오른팔 및 왼팔의 팔 동작 영역을 각각 계산하며, 상기 매칭부는 사용자가 오른팔을 사용하면 오른팔의 팔 동작 영역을 상기 명령 입력부에 매칭시키고, 사용자가 왼팔을 사용하면 왼팔의 팔 동작 영역을 상기 명령 입력부에 매칭시킬 수 있다.In an embodiment of the present invention, the body information generation unit measures the lengths of the right and left arms, respectively, around a specific reference point of the user's body, the calculation unit calculates arm motion areas of the right and left arms, respectively, and the matching unit measures the user's If [#122] uses the right arm, the arm motion area of the right arm is matched with the command input unit, and if the user uses the left arm, the arm motion area of the left arm is matched with the command input unit.

본 발명의 실시예에 있어서, 상기 신체 정보 생성부는 상기 촬영부와 사용자와 사이의 거리 정보 및 사용자의 크기 정보를 더 기초로 하여 상기 신체 골격 정보를 생성할 수 있다.In an embodiment of the present invention, the body information generator may generate the body skeleton information further based on distance information between the photographing unit and the user and size information of the user.

본 발명의 실시예에 있어서, 상기 디스플레이부는 가상 공간과, 상기 가상 공간에서 사용자를 대신하는 아바타를 표시하고, 상기 명령 입력부는 상기 가상 공간상의 가상공간 디스플레이부에 표시될 수 있다.In an embodiment of the present invention, the display unit may display a virtual space and an avatar representing a user in the virtual space, and the command input unit may be displayed on a virtual space display unit in the virtual space.

한편, 상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예는 사용자의 모션에 의해 설비가 작동되도록 하기 위한 모션 연동 제어방법으로서, 촬영부가 사용자를 촬영하여 촬영 정보를 생성하는 촬영 정보 생성단계; 신체 정보 생성부가 상기 촬영 정보를 기초로 사용자의 신체 골격 정보를 생성하는 신체 정보 생성단계; 계산부가 상기 신체 골격 정보를 기초로 사용자의 팔 길이 및 팔이 동작할 수 있는 팔 동작 영역을 계산하는 팔 동작 영역 계산단계; 매칭부가 상기 팔 동작 영역을 상기 설비를 작동시키기 위한 복수 개의 입력 아이콘을 가지고 디스플레이부에 표시되는 명령 입력부에 대응되도록 매칭하는 매칭단계; 모션 정보 생성부가 상기 촬영 정보를 기초로 사용자의 팔 모션 정보를 생성하는 모션 정보 생성단계; 지시 이미지 표시부가 상기 팔 모션 정보를 기초로 상기 명령 입력부에 상기 사용자의 손의 위치에 대응되도록 지시 이미지를 이동시켜 표시하는 지시 이미지 표시단계; 및 제어부가 상기 지시 이미지가 복수 개의 상기 입력 아이콘 중 어느 하나의 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작을 한 것으로 판정하면, 상기 설비를 작동시켜 해당 작동을 실행하도록 하는 제어단계를 포함하는 것을 특징으로 하는 모션 연동 제어방법을 제공한다.On the other hand, in order to achieve the above technical problem, an embodiment of the present invention is a motion-linked control method for operating a facility by a user's motion, comprising: a photographing information generating step of generating photographic information by photographing a user by a photographing unit; a body information generation step in which a body information generator generates body skeleton information of the user based on the photographing information; an arm motion area calculation step in which a calculator calculates an arm length of the user and an arm motion area in which the arm can operate based on the body skeleton information; a matching step in which a matching unit matches the arm operation region to correspond to a command input unit displayed on a display unit having a plurality of input icons for operating the equipment; a motion information generation step in which a motion information generation unit generates motion information of a user's arm based on the photographing information; a pointing image display step of moving and displaying the pointing image to correspond to the position of the user's hand in the command input unit based on the arm motion information by the pointing image display unit; and a control step of operating the equipment to execute the corresponding operation when the control unit determines that the instruction image has performed an input operation that causes the instruction image to execute an operation linked to any one input icon among a plurality of input icons. It provides a motion interlocking control method characterized in that.

본 발명의 실시예에 있어서, 상기 제어단계에서, 상기 제어부는 상기 지시 이미지가 복수 개의 상기 입력 아이콘 중 어느 하나의 입력 아이콘에 겹치도록 위치된 상태에서 사용자가 특정 동작을 수행하면, 겹쳐진 상기 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작으로 판정할 수 있다.In an embodiment of the present invention, in the controlling step, the control unit, when the user performs a specific operation in a state in which the pointing image is positioned to overlap any one of the plurality of input icons, the overlapping input icon It can be determined as an input operation to execute an operation interlocked with .

본 발명의 실시예에 있어서, 상기 신체 정보 생성단계에서, 상기 신체 정보 생성부는 사용자 신체의 특정 기준점을 중심으로 오른팔 및 왼팔의 길이를 각각 측정하고, 상기 팔 동작 영역 계산단계에서, 상기 계산부는 오른팔 및 왼팔의 팔 동작 영역을 각각 계산하며, 상기 매칭단계에서, 상기 매칭부는 사용자가 오른팔을 사용하면 오른팔의 팔 동작 영역을 상기 명령 입력부에 매칭시키고, 사용자가 왼팔을 사용하면 왼팔의 팔 동작 영역을 상기 명령 입력부에 매칭시킬 수 있다.In an embodiment of the present invention, in the body information generating step, the body information generating unit measures the lengths of the right arm and the left arm around a specific reference point of the user's body, respectively, and in the arm operation area calculation step, the calculating unit measures the length of the right arm and calculating arm motion areas of the left arm, wherein in the matching step, the matching unit matches the arm motion area of the right arm to the command input unit when the user uses the right arm, and matches the arm motion area of the left arm when the user uses the left arm. It can be matched with the command input unit.

본 발명의 실시예에 있어서, 상기 디스플레이부는 가상 공간과, 상기 가상 공간에서 사용자를 대신하는 아바타를 더 표시하고, 상기 매칭단계에서, 상기 명령 입력부는 상기 가상 공간상의 가상공간 디스플레이부에 표시될 수 있다.In an embodiment of the present invention, the display unit may further display a virtual space and an avatar representing the user in the virtual space, and in the matching step, the command input unit may be displayed on the virtual space display unit in the virtual space. there is.

본 발명의 실시예에 따르면, 모션 연동 제어장치는 명령 입력부에 지시 이미지가 표시되기 때문에, 사용자의 인식 오류를 줄일 수 있다.According to an embodiment of the present invention, since the instruction image is displayed on the command input unit of the motion-linked control device, it is possible to reduce a user's recognition error.

또한, 본 발명의 실시예에 따르면, 모션 연동 제어장치에는 원격제어기(Remote Controller), 스마트 안경(Smart Glasses), 증강현실 안경(AR glasses) 등과 같은 별도의 장치가 불필요하고, 주변 소음이나 타인의 음성 등에 의한 영향을 받지도 않으며, 청력 이상자나 거동이 불편한 사람도 유용하게 사용이 가능하고, 원거리에서도 사용자가 모션 연동 제어장치를 제어할 수 있다.In addition, according to an embodiment of the present invention, the motion-linked control device does not require a separate device such as a remote controller, smart glasses, AR glasses, or the like, It is not affected by voices, etc., and can be usefully used by people with hearing impairment or mobility difficulties, and the user can control the motion-linked control device even from a distance.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the above effects, and should be understood to include all effects that can be inferred from the detailed description of the present invention or the configuration of the invention described in the claims.

도 1은 본 발명의 일실시예에 따른 모션 연동 제어장치를 나타낸 구성도이다.
도 2는 본 발명의 일실시예에 따른 모션 연동 제어장치의 촬영부 및 신체 정보 생성부를 설명하기 위한 예시도이다.
도 3은 본 발명의 일실시예에 따른 모션 연동 제어장치의 계산부를 설명하기 위한 예시도이다.
도 4는 본 발명의 일실시예에 따른 모션 연동 제어장치의 매칭부 및 지시 이미지 표시부를 설명하기 위한 예시도이다.
도 5는 본 발명의 일실시예에 따른 모션 연동 제어장치의 명령 입력부 및 제어부를 설명하기 위한 예시도이다.
도 6은 본 발명의 일실시예에 따른 모션 연동 제어장치의 다른 명령 입력부 형태 및 제어부를 설명하기 위한 예시도이다.
도 7은 본 발명의 일실시예에 따른 모션 연동 제어방법을 나타낸 흐름도이다.1 is a configuration diagram showing a motion-linked control device according to an embodiment of the present invention.
2 is an exemplary diagram for explaining a photographing unit and a body information generating unit of a motion-linked control device according to an embodiment of the present invention.
3 is an exemplary diagram for explaining a calculation unit of a motion interlocking control device according to an embodiment of the present invention.
4 is an exemplary view for explaining a matching unit and an instruction image display unit of a motion-linked control device according to an embodiment of the present invention.
5 is an exemplary view for explaining a command input unit and a control unit of a motion interlocking control device according to an embodiment of the present invention.
6 is an exemplary view for explaining another command input unit type and control unit of the motion interlocking control device according to an embodiment of the present invention.
7 is a flowchart illustrating a motion-linked control method according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, the present invention will be described with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and, therefore, is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.Throughout the specification, when a part is said to be "connected (connected, contacted, combined)" with another part, this is not only "directly connected", but also "indirectly connected" with another member in between. "Including cases where In addition, when a part "includes" a certain component, it means that it may further include other components without excluding other components unless otherwise stated.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "include" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 모션 연동 제어장치를 나타낸 구성도이고, 도 2는 본 발명의 일실시예에 따른 모션 연동 제어장치의 촬영부 및 신체 정보 생성부를 설명하기 위한 예시도이다.1 is a configuration diagram showing a motion-linked control device according to an embodiment of the present invention, and FIG. 2 is an exemplary diagram for explaining a photographing unit and a body information generator of the motion-linked control device according to an embodiment of the present invention. .

본 발명에 따른 모션 연동 제어장치는 사용자의 모션에 의해 설비가 작동되도록 하기 위한 것으로서, 도 1 및 도 2에서 보는 바와 같이, 모션 연동 제어장치는 촬영부(100), 신체 정보 생성부(200), 계산부(300), 디스플레이부(400), 매칭부(500), 모션 정보 생성부(600), 지시 이미지 표시부(700) 및 제어부(800)를 포함할 수 있다.The motion-linked control device according to the present invention is for operating facilities by a user's motion, and as shown in FIGS. 1 and 2, the motion-linked control device includes a photographing unit 100 and a body information generator 200 , a calculation unit 300, a display unit 400, a matching unit 500, a motion information generation unit 600, an instruction image display unit 700, and a control unit 800.

촬영부(100)는 사용자(10)를 촬영하여 촬영 정보를 생성할 수 있다.The photographing unit 100 may generate photographing information by photographing the user 10 .

촬영부(100)는 미리 설정된 거리(D)의 기준 위치(P)에 사용자(10)가 위치되면, 해당 사용자(10)를 촬영할 수 있다. 촬영부(100)는 예를 들면 카메라일 수 있다.When the user 10 is located at the reference position P at a preset distance D, the photographing unit 100 may photograph the user 10 . The photographing unit 100 may be, for example, a camera.

그리고, 모션 연동 제어장치는 기준 위치 표시부(110)를 포함할 수 있다.Also, the motion interlocking control device may include a reference position display unit 110 .

기준 위치 표시부(110)는 기준 위치(P)를 표시할 수 있다. 예를 들면, 기준 위치 표시부(110)는 바닥에 기준 위치(P)를 나타내는 광을 조사할 수 있다.The reference position display unit 110 may display the reference position P. For example, the reference position display unit 110 may radiate light indicating the reference position P to the floor.

신체 정보 생성부(200)는 촬영부(100)에서 생성하는 촬영 정보를 기초로 사용자의 신체 골격 정보를 생성할 수 있다.The body information generation unit 200 may generate user's body skeleton information based on photographing information generated by the photographing unit 100 .

특히, 신체 정보 생성부(200)는 사용자(10) 신체의 특정 기준점을 중심으로 오른팔 및 왼팔의 길이를 각각 측정할 수 있다. In particular, the body information generating unit 200 may measure the lengths of the right and left arms, respectively, around a specific reference point on the body of the user 10 .

오른팔의 길이를 측정하기 위해, 신체 정보 생성부(200)는 우측 어깨(11)를 기준점으로 하여 우측 팔꿈치(12) 및 우측 손(13)의 골격 정보를 생성할 수 있다. 그리고, 왼팔의 길이를 측정하기 위해, 신체 정보 생성부(200)는 좌측 어깨(14)를 기준점으로 하여 좌측 팔꿈치(15) 및 좌측 손(16)의 골격 정보를 생성할 수 있다.In order to measure the length of the right arm, the body information generation unit 200 may generate bone information of the right elbow 12 and the right hand 13 using the right shoulder 11 as a reference point. In addition, in order to measure the length of the left arm, the body information generation unit 200 may generate skeleton information of the left elbow 15 and the left hand 16 using the left shoulder 14 as a reference point.

한편, 신체의 특정 기준점은 전술한 바와 같은 어깨로만 한정되는 것은 아니다. 즉, 신체의 특정 기준점으로는 사용자의 오른쪽 눈, 왼쪽 눈, 두 눈의 중간 지점, 또는 얼굴(17)의 중심 등이 설정될 수도 있다.Meanwhile, the specific reference point of the body is not limited to the shoulder as described above. That is, the user's right eye, left eye, the middle point between the two eyes, or the center of the face 17 may be set as the specific reference point of the body.

신체 정보 생성부(200)는 모션 연동 제어장치를 처음 사용하는 사용자를 대상으로 수행될 수 있다. 즉, 모션 연동 제어장치를 처음 사용하는 사용자는 신체 정보 생성부(200)에 의해 신체 골격 정보가 생성되는 과정을 거치게 된다. The body information generating unit 200 may be performed for a user who uses the motion-linked control device for the first time. That is, a user who uses the motion-linked control device for the first time goes through a process of generating body skeleton information by the body information generating unit 200 .

신체 정보 생성부(200)는 생성한 신체 골격 정보와 해당 사용자를 매칭하여 저장할 수 있다. 이를 통해, 일단 한번 신체 골격 정보가 생성된 사용자에 대해서는 추가적인 신체 골격 정보 생성 과정이 생략될 수 있다.The body information generating unit 200 may match and store generated body skeleton information with a corresponding user. Through this, a process of generating additional body skeleton information can be omitted for a user whose body skeleton information has been created once.

신체 정보 생성부(200)는 촬영부(100)와 사용자(10) 사이의 거리(D) 정보 및 사용자(10)의 크기 정보를 더 참고하여 신체 골격 정보를 보정할 수 있고, 이를 통해, 더욱 정확한 신체 골격 정보를 생성할 수 있다.The body information generation unit 200 may correct the body skeleton information by further referring to the distance (D) information between the photographing unit 100 and the user 10 and the size information of the user 10, and through this, further Accurate body skeleton information can be generated.

한편, 모션 연동 제어장치는 모션 연동 제어장치를 사용자가 처음 사용하는 사용자인지를 확인하는 사용자 확인부(210)를 더 포함할 수 있다. Meanwhile, the interlocking motion control device may further include a user confirmation unit 210 that checks whether the user is a first-time user of the interlocking motion control device.

사용자 확인부(210)는, 촬영부(100)에서 생성하는 촬영 정보와, 신체 정보 생성부(200)가 생성하는 신체 골격 정보를 기초로, 이전에 생성되어 저장되어 있는 신체 골격 정보 중에 현재 기준 위치(P)에 위치하고 있는 사용자의 신체 골격 정보와 일치하는 신체 골격 정보가 있는지를 확인할 수 있다. 확인 결과, 현재 기준 위치(P)에 위치하고 있는 사용자의 신체 골격 정보와 일치하는 신체 골격 정보가 저장되어 있는 것으로 확인되면, 현재 기준 위치(P)에 위치하고 있는 사용자에 대한 추가적인 신체 골격 정보 생성 과정이 생략될 수 있고, 이미 생성된 신체 골격 정보가 사용될 수 있다.The user identification unit 210 determines the current criterion among previously generated and stored body skeleton information based on the photographing information generated by the photographing unit 100 and the body skeleton information generated by the body information generation unit 200. It may be checked whether there is body skeleton information matching the body skeleton information of the user located at the position P. As a result of the check, if it is confirmed that body skeleton information matching the body skeleton information of the user located at the current reference position (P) is stored, additional body skeleton information generation process for the user located at the current reference position (P) is performed. It may be omitted, and already generated body skeleton information may be used.

또는, 사용자 확인부(210)는, 현재 기준 위치(P)에 위치한 사용자로부터 자신이 모션 연동 제어장치를 처음 사용하는 사람인지 아닌지에 대한 정보를 입력 받을 수도 있다. 이를 위해, 사용자 확인부(210)는 사용자로부터 정보를 입력 받기 위한 입력수단을 포함할 수 있다. 이러한 입력수단으로는 예를 들면, 터치스크린이 사용될 수 있다.Alternatively, the user confirmation unit 210 may receive information on whether or not the user located at the current reference position P is a person using the motion-linked controller for the first time or not. To this end, the user confirmation unit 210 may include an input means for receiving information from the user. For example, a touch screen may be used as such an input means.

도 3은 본 발명의 일실시예에 따른 모션 연동 제어장치의 계산부를 설명하기 위한 예시도이다.3 is an exemplary diagram for explaining a calculation unit of a motion interlocking control device according to an embodiment of the present invention.

도 1 내지 도 3에서 보는 바와 같이, 계산부(300)는 신체 골격 정보를 기초로 사용자의 팔 길이 및 팔이 동작할 수 있는 팔 동작 영역을 계산할 수 있다. 이때, 계산부(300)는 사용자의 오른팔 및 왼팔에 대해서 각각 팔 동작 영역을 계산할 수 잇다.As shown in FIGS. 1 to 3 , the calculation unit 300 may calculate the user's arm length and an arm motion region in which the arm can operate based on the body skeleton information. At this time, the calculation unit 300 may calculate arm motion regions for each of the user's right arm and left arm.

즉, 계산부(300)는 사용자의 오른팔에 대한 팔 동작 영역(310)을 계산할 수 있다. 이를 위해, 계산부(300)는 신체 골격 정보에서 우측 어깨(11), 우측 팔꿈치(12) 및 우측 손(13)의 골격 정도를 활용할 수 있다. 계산부(300)는 오른팔을 최대로 뻗은 거리를 기준으로 오른팔의 팔 동작 영역(310)을 생성할 수 있다(도 3의 (a) 참조). That is, the calculation unit 300 may calculate the arm motion region 310 for the user's right arm. To this end, the calculation unit 300 may utilize the degree of skeleton of the right shoulder 11, the right elbow 12, and the right hand 13 in the body skeleton information. The calculation unit 300 may generate an arm motion region 310 of the right arm based on the maximum extended distance of the right arm (see (a) of FIG. 3 ).

디스플레이부(400)는 영상 또는 이미지를 표시할 수 있으며, 디스플레이부(400)에는 명령 입력부(410)가 표시될 수 있다. 명령 입력부(410)는 설비(900)를 작동시키기 위한 복수 개의 입력 아이콘을 가질 수 있다.The display unit 400 may display a video or image, and a command input unit 410 may be displayed on the display unit 400 . The command input unit 410 may have a plurality of input icons for operating the facility 900 .

명령 입력부(410)의 가로 길이와 세로 길이, 그리고 가로 길이와 세로 길이의 비는 미리 획득될 수 있는데, 계산부(300)는 사용자 오른팔의 팔 동작 영역(310)이 명령 입력부(410)의 가로 길이와 세로 길이의 비에 대응되는 비를 가지도록 생성할 수 있다. The horizontal length and vertical length of the command input unit 410 and the ratio between the horizontal length and vertical length may be acquired in advance. It can be created to have a ratio corresponding to the ratio of the length to the vertical length.

예를 들어, 도 4에서 보는 바와 같이, 명령 입력부(410)의 가로 길이(411)와 세로 길이(412)의 비가 1.5:1인 경우, 계산부(300)는 사용자 오른팔의 팔 동작 영역(310)의 가로 길이(311)와 세로 길이(312)의 비가 1.5:1이 되도록 생성할 수 있다.For example, as shown in FIG. 4 , when the ratio of the horizontal length 411 and the vertical length 412 of the command input unit 410 is 1.5:1, the calculation unit 300 calculates the arm motion area 310 of the user's right arm. ) can be generated so that the ratio of the horizontal length 311 and the vertical length 312 is 1.5:1.

계산된 사용자 오른팔의 팔 동작 영역(310)의 각 모서리는 사용자가 오른팔을 최대로 뻗었을 때 위치되는 지점에 대응될 수 있다. 따라서, 사용자의 오른팔은 오른팔의 팔 동작 영역(310) 내의 어느 지점에도 위치될 수 있다.Each corner of the calculated arm motion region 310 of the user's right arm may correspond to a point located when the user's right arm is maximally extended. Accordingly, the user's right arm can be positioned anywhere within the arm motion region 310 of the right arm.

마찬가지 방법으로, 계산부(300)는 사용자의 왼팔에 대한 팔 동작 영역(320)을 계산할 수 있으며, 계산된 사용자 왼팔의 팔 동작 영역(320)의 각 모서리는 사용자가 왼팔을 최대로 뻗었을 때 위치되는 지점에 대응될 수 있다. 따라서, 사용자의 왼팔은 왼팔의 팔 동작 영역(320) 내의 어느 지점에도 위치될 수 있다.In the same way, the calculation unit 300 may calculate the arm motion area 320 for the user's left arm, and each corner of the calculated arm motion area 320 for the user's left arm is obtained when the user extends the left arm to the maximum. It may correspond to a location point. Accordingly, the user's left arm can be positioned anywhere within the arm motion area 320 of the left arm.

도 4는 본 발명의 일실시예에 따른 모션 연동 제어장치의 매칭부 및 지시 이미지 표시부를 설명하기 위한 예시도이다.4 is an exemplary view for explaining a matching unit and an instruction image display unit of a motion-linked control device according to an embodiment of the present invention.

도 4를 더 포함하여 보는 바와 같이, 매칭부(500)는 팔 동작 영역(310)을 명령 입력부(410)에 대응되도록 매칭할 수 있다. As further included in FIG. 4 , the matching unit 500 may match the arm operation area 310 to correspond to the command input unit 410 .

통상적으로 사람이 오른손 잡이인 경우에는 오른팔이 왼팔보다 더 길고, 왼손 잡이인 경우에는 왼팔이 오른팔보다 더 길다. 따라서, 사용자의 오른팔의 팔 동작 영역(310)과 왼팔의 팔 동작 영역(320)은, 가로 길이와 세로 길이의 비는 동일하더라도, 가로 길이 및 세로 길이는 서로 다를 수 있다.Normally, if a person is right-handed, the right arm is longer than the left arm, and if a person is left-handed, the left arm is longer than the right arm. Accordingly, the arm action region 310 of the user's right arm and the arm action region 320 of the left arm may have different horizontal and vertical lengths, even if the ratio of the horizontal length to the vertical length is the same.

모션 연동 제어장치를 사용하는 사용자가 오른손 잡이인 경우에는 오른팔을 사용할 것이고, 왼손 잡이인 경우에는 왼팔을 사용할 것이다. 그런데, 사용자가 오른팔을 사용하는데, 왼팔의 팔 동작 영역(320)을 명령 입력부(410)에 매칭하게 되면, 사용자가 오른팔을 최대로 뻗었을 때, 오른손이 명령 입력부(410)를 벗어나게 되는 문제점이 발생한다. 또는, 사용자가 왼팔을 사용하는데, 오른팔의 팔 동작 영역(310)을 명령 입력부(410)에 매칭하게 되면, 사용자가 왼팔을 최대로 뻗더라도 왼손이 명령 입력부(410)의 모서리에 미치지 못하게 되는 문제점이 발생한다.If a user using the motion-linked controller is right-handed, he/she will use his right arm, and if he is left-handed, he will use his left arm. However, when the user uses the right arm, and the arm operation area 320 of the left arm is matched with the command input unit 410, the right hand moves out of the command input unit 410 when the user extends the right arm to the maximum. Occurs. Alternatively, when the user uses the left arm, and the arm operation area 310 of the right arm is matched with the command input unit 410, the left hand does not reach the corner of the command input unit 410 even if the user extends the left arm to the maximum. this happens

이러한 문제점을 방지하기 위해, 매칭부(500)는 사용자가 오른손 잡이인 경우에는 오른팔의 팔 동작 영역(310)을 명령 입력부(410)에 매칭시키고, 사용자가 왼손 잡이인 경우에는 왼팔의 팔 동작 영역(320)을 명령 입력부(410)에 매칭시킬 수 있다.In order to prevent this problem, the matching unit 500 matches the arm operation area 310 of the right arm with the command input unit 410 when the user is right-handed, and matches the arm operation area 310 of the left arm when the user is left-handed. (320) can be matched to the command input unit (410).

전술한 바와 같이, 통상적으로 오른손 잡이는 오른팔이 왼팔보다 더 길기 때문에, 신체 정보 생성부(200)가 생성한 신체 골격 정보를 기초로 계산부(300)가 계산한 사용자의 팔 길이가 오른팔이 더 긴 경우, 이를 기초로 매칭부(500)는 오른팔의 팔 동작 영역(310)을 명령 입력부(410)에 매칭할 수 있다. 그리고, 신체 정보 생성부(200)가 생성한 신체 골격 정보를 기초로 계산부(300)가 계산한 사용자의 팔 길이가 왼팔이 더 긴 경우에는, 이를 기초로 하여 매칭부(500)는 왼팔의 팔 동작 영역(320)을 명령 입력부(410)에 매칭할 수 있다.As described above, since the right arm of a right-handed person is usually longer than the left arm, the user's arm length calculated by the calculator 300 based on the body skeleton information generated by the body information generator 200 is longer than the right arm. If it is long, the matching unit 500 may match the arm motion region 310 of the right arm to the command input unit 410 based on this. And, if the arm length of the user calculated by the calculator 300 based on the body skeleton information generated by the body information generator 200 is longer than the left arm, the matching unit 500 based on this calculates the length of the left arm. The arm motion region 320 may be matched to the command input unit 410 .

더하여, 사용자가 오른팔이 더 긴 오른손 잡이라고 하더라도, 오른손에 물건을 들고 있거나, 오른손을 움직일 수 없는 경우에는 모션 연동 제어장치 사용을 위해 왼손을 사용할 수도 있다. 그런데, 이 경우에도 매칭부(500)가 오른팔의 팔 동작 영역(310)을 명령 입력부(410)에 매칭하게 되면, 전술한 바와 같이, 사용자가 왼팔을 최대로 뻗더라도 명령 입력부(410)의 모서리에는 미치지 못하게 될 수 있다.In addition, even if the user is right-handed with a longer right arm, if the user is holding an object in the right hand or cannot move the right hand, the user may use the left hand to use the motion-linked controller. However, even in this case, if the matching unit 500 matches the arm motion area 310 of the right arm with the command input unit 410, as described above, even if the user extends the left arm to the maximum, the corner of the command input unit 410 may fall short of

이를 방지하기 위해, 매칭부(500)는 촬영부(100)로부터 촬영 정보를 전달받고, 이를 기초로, 현재 기준 위치(P)에 위치한 사용자가 사용하는 팔이 오른팔인지 왼팔인지를 확인하고, 이에 대응하여 오른팔의 팔 동작 영역(310) 또는 왼팔의 팔 동작 영역(320)을 매칭시키는 과정을 더 수행할 수 있으며, 이를 통해, 사용자가 사용하는 팔과, 그에 맞는 팔 동작 영역이 명령 입력부(410)에 매칭될 수 있다.In order to prevent this, the matching unit 500 receives photographing information from the photographing unit 100, and based on this, determines whether the arm used by the user located at the current reference position P is the right arm or the left arm. Correspondingly, a process of matching the arm motion area 310 of the right arm or the arm motion area 320 of the left arm may be further performed. Through this, the arm used by the user and the corresponding arm motion area may be input to the command input unit 410. ) can be matched.

한편, 모션 정보 생성부(600)는 촬영부(100)에서 생성하는 촬영 정보를 기초로 사용자의 팔 모션 정보를 생성할 수 있다.Meanwhile, the motion information generating unit 600 may generate user arm motion information based on photographing information generated by the photographing unit 100 .

그리고, 지시 이미지 표시부(700)는 모션 정보 생성부(600)에서 생성하는 팔 모션 정보를 기초로, 명령 입력부(410)에 사용자가 사용하는 손에 대응되는 지시 이미지(710)를 표시하고, 사용자 손의 위치에 대응되도록 지시 이미지(710)를 이동시켜 표시할 수 있다. 지시 이미지(710)는 다양한 형태로 형성될 수 있으며, 일 예로, 손 모양으로 형성될 수 있다.Then, the instruction image display unit 700 displays the instruction image 710 corresponding to the user's hand on the command input unit 410 based on the arm motion information generated by the motion information generation unit 600, and the user The pointing image 710 may be displayed by moving it to correspond to the position of the hand. The pointing image 710 may be formed in various shapes, and for example, may be formed in a hand shape.

지시 이미지 표시부(700)는 기준 위치(P)에 위치한 사용자(10)가 오른팔을 사용하면 오른손에 대응되는 지시 이미지(710)를 표시할 수 있고, 사용자(10)가 왼팔을 사용하면 왼손에 대응되는 지시 이미지(710)를 표시할 수 있다. The instruction image display unit 700 can display the instruction image 710 corresponding to the right hand when the user 10 located at the reference position P uses his right arm, and when the user 10 uses his left arm, the instruction image 710 corresponds to the left hand. A pointing image 710 may be displayed.

그러면, 사용자(10)는 명령 입력부(410)에 표시되는 지시 이미지(710)를 보면서 자신의 팔을 움직여 지시 이미지(710)를 이동시킬 수 있다.Then, the user 10 may move the instruction image 710 by moving his/her arm while viewing the instruction image 710 displayed on the command input unit 410 .

도 5는 본 발명의 일실시예에 따른 모션 연동 제어장치의 명령 입력부 및 제어부를 설명하기 위한 예시도이다.5 is an exemplary view for explaining a command input unit and a control unit of a motion interlocking control device according to an embodiment of the present invention.

도 1 및 도 5에서 보는 바와 같이, 명령 입력부(410)는 복수 개의 입력 아이콘(421~429)을 가질 수 있다.As shown in FIGS. 1 and 5 , the command input unit 410 may have a plurality of input icons 421 to 429 .

입력 아이콘은 설비(900)를 동작시키기 위한 명령이 입력되는 부분으로, 입력 아이콘의 종류 및 형태는 설비(900)의 종류에 대응될 수 있다.The input icon is a part where a command for operating the facility 900 is input, and the type and shape of the input icon may correspond to the type of facility 900.

이하에서는, 설비(900)가 실내환경을 제어하는 공기조화설비인 경우를 예로 하여 설명한다.Hereinafter, a case in which the facility 900 is an air conditioning facility that controls an indoor environment will be described as an example.

도 5에서 보는 바와 같이, 예를 들면, 입력 아이콘은 시간정보(421), 현재표시정보(422), 외부날씨정보(423), 온도정보(424), Up 버튼(425), Down 버튼(426), Forward 버튼(427), Backward 버튼(428) 및 메시지정보(429)일 수 있다. As shown in FIG. 5, for example, input icons include time information 421, current display information 422, outside weather information 423, temperature information 424, Up button 425, and Down button 426. ), a Forward button 427, a Backward button 428, and message information 429.

사용자는 기준 위치(P)에서 팔을 움직이면서 디스플레이부(400)에 표시되는 명령 입력부(410)에 표시되는 지시 이미지(710)를 보면서 지시 이미지(710)를 이동시킬 수 있다. 그리고, 어느 특정 입력 아이콘의 명령을 입력하고 싶으면, 지시 이미지(710)를 해당 입력 아이콘에 겹쳐지도록 이동시키고 입력동작을 수행할 수 있다. The user may move the instruction image 710 while viewing the instruction image 710 displayed on the command input unit 410 displayed on the display unit 400 while moving the arm at the reference position P. Further, if a command of a specific input icon is desired to be input, the instruction image 710 may be moved so as to overlap the corresponding input icon, and an input operation may be performed.

그리고, 제어부(800)는 지시 이미지(710)가 복수 개의 입력 아이콘 중 어느 하나의 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작을 한 것인지 안 한 것인지를 판정할 수 있다. 제어부(800)는 지시 이미지(710)가 입력동작을 한 것으로 판정되면, 설비(900)를 작동시켜 해당 작동을 실행하도록 할 수 있다.In addition, the controller 800 may determine whether or not an input operation for the instruction image 710 to execute an operation associated with any one input icon among a plurality of input icons has been performed. When it is determined that the instruction image 710 has performed an input operation, the controller 800 may operate the facility 900 to execute the corresponding operation.

여기서, 입력동작은 사용자가 특정 동작을 수행하는 것으로서, 예를 들면, 사용자가 주먹을 쥐는 동작일 수 있다.Here, the input operation is a user performing a specific operation, and may be, for example, a user's fist clenching operation.

지시 이미지(710)가 복수 개의 입력 아이콘 중 어느 하나의 입력 아이콘에 겹치도록 위치된 상태에서 사용자가 입력동작을 수행하면, 제어부(800)는 겹쳐진 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작으로 판정하고, 설비(900)가 해당 명령을 수행하도록 할 수 있다.When the user performs an input operation in a state where the pointing image 710 is positioned so as to overlap one of the plurality of input icons, the controller 800 performs an operation linked to the overlapped input icon as an input operation. and make the facility 900 carry out the command.

즉, 도 5의 (b)에서 보는 바와 같이, 사용자에 팔을 움직여 지시 이미지(710)를 Down 버튼(426)에 겹쳐지도록 하고, 이 상태에서 주먹을 쥐어 입력동작을 하면, 제어부(800)는 Down 버튼(426)의 명령에 따라 공기조화설비를 제어하여 실내온도가 낮아지도록 제어할 수 있다. That is, as shown in (b) of FIG. 5, when the user moves his arm so that the instruction image 710 overlaps the down button 426 and performs an input operation by clenching his fist in this state, the controller 800 According to the command of the down button 426, the air conditioning equipment may be controlled to lower the indoor temperature.

다른 예로, 지시 이미지(710)가 Up 버튼(425)에 겹쳐지고 입력동작이 한 것으로 판정되면, 제어부(800)는 공기조화설비를 작동하여 실내온도가 높아지도록 제어할 수 있다.As another example, if the instruction image 710 overlaps the Up button 425 and it is determined that an input operation has been performed, the controller 800 may operate the air conditioning system and control the room temperature to increase.

입력 아이콘의 종류는 예시적인 것으로, 다른 종류의 입력 아이콘이 가감될 수 있음은 물론이다.The type of input icon is exemplary, and other types of input icons may be added or subtracted, of course.

이처럼, 본 발명에 따른 모션 연동 제어장치에는 원격제어기(Remote Controller), 스마트 안경(Smart Glasses), 증강현실 안경(AR glasses) 등과 같은 별도의 장치가 불필요하다. As such, the motion-linked control device according to the present invention does not require a separate device such as a remote controller, smart glasses, or augmented reality glasses.

또한, 본 발명에 따른 모션 연동 제어장치는 명령 입력부에 지시 이미지가 표시되기 때문에, 사용자의 인식 오류를 줄일 수 있다.In addition, since the instruction image is displayed on the command input unit in the motion-linked control device according to the present invention, a user's recognition error can be reduced.

또한, 본 발명에 따른 모션 연동 제어장치는 주변 소음이나 타인의 음성 등에 의한 영향을 받지도 않으며, 청력 이상자나 거동이 불편한 사람도 유용하게 사용이 가능하다. 그리고, 기준 위치(P)를 멀리 설정하게 되면, 원거리에서도 사용자가 모션 연동 제어장치를 제어할 수 있다.In addition, the motion-linked control device according to the present invention is not affected by ambient noise or other people's voices, and can be usefully used by people with hearing impairment or people with reduced mobility. In addition, when the reference position P is set far away, the user can control the motion interlocking control device even from a long distance.

한편, 앞에서는 모션 연동 제어장치가 공기조화설비를 제어하는 경우로 설명하였지만, 모션 연동 제어장치의 제어 대상 설비는, 홈 오토메이션이나 공장 자동화 설비, 또는, 병원 수술실, 임상 실험실 및 감염병동 등의 설비 등 다양할 수 있다.On the other hand, although it was described above that the motion-linked control device controls the air conditioning equipment, the control target facility of the motion-linked control device is home automation or factory automation equipment, or facilities such as hospital operating rooms, clinical laboratories, and infection wards. etc. can be varied.

도 6은 본 발명의 일실시예에 따른 모션 연동 제어장치의 다른 명령 입력부 형태 및 제어부를 설명하기 위한 예시도이다.6 is an exemplary view for explaining another command input unit type and control unit of the motion interlocking control device according to an embodiment of the present invention.

도 6에서 보는 바와 같이, 디스플레이부(400)는 가상 공간(430)을 더 표시할 수 있다. 가상 공간(430)은 실내, 공장 내부, 병실 내부, 실험실 내부, 회의실 등 다양할 수 있다. As shown in FIG. 6 , the display unit 400 may further display a virtual space 430 . The virtual space 430 may be various, such as an indoor room, a factory interior, a hospital room interior, a laboratory interior, and a conference room.

그리고, 가상 공간(430)에는 테이블(431) 등 다양한 물건이 표시될 수 있다.In addition, various objects such as a table 431 may be displayed in the virtual space 430 .

또한, 디스플레이부(400)는 가상 공간(430)에서 사용자를 대신하는 아바타(440)를 더 표시할 수 있다.Also, the display unit 400 may further display an avatar 440 representing the user in the virtual space 430 .

그리고, 디스플레이부(400)는 가상 공간 디스플레이부(450)를 표시할 수 있으며, 명령 입력부(410)는 가상 공간 디스플레이부(450)에 표시될 수 있다. Also, the display unit 400 may display the virtual space display unit 450, and the command input unit 410 may be displayed on the virtual space display unit 450.

즉, 도 5에서와 같이, 디스플레이부(400)는 명령 입력부(410)만 표시하거나, 또는 도 6에서와 같이, 디스플레이부(400)는 가상 공간(430), 아바타(440) 및 가상 공간 디스플레이부(450)를 표시하고, 가상 공간 디스플레이부(450)에 명령 입력부(410)를 표시할 수도 있다.That is, as in FIG. 5, the display unit 400 displays only the command input unit 410, or as in FIG. 6, the display unit 400 displays the virtual space 430, the avatar 440, and the virtual space. The display unit 450 may be displayed, and the command input unit 410 may be displayed on the virtual space display unit 450 .

이 경우에도, 지시 이미지(710)는 명령 입력부(410)에 표시될 수 있으며, 사용자의 손 동작에 따라 명령 입력부(410)에서 이동되어 표시될 수 있다.Even in this case, the instruction image 710 may be displayed on the command input unit 410 and may be moved and displayed on the command input unit 410 according to the user's hand motion.

이하에서는 모션 연동 제어방법에 대해서 설명한다. Hereinafter, a motion-linked control method will be described.

도 7은 본 발명의 일실시예에 따른 모션 연동 제어방법을 나타낸 흐름도이다.7 is a flowchart illustrating a motion-linked control method according to an embodiment of the present invention.

도 7에서 보는 바와 같이, 모션 연동 제어방법은 촬영 정보 생성단계(S1100), 신체 정보 생성단계(S1200), 팔 동작 영역 계산단계(S1300), 매칭단계(S1400), 모션 정보 생성단계(S1500), 지시 이미지 표시단계(S1600) 및 제어단계(S1700)를 포함할 수 있다.As shown in FIG. 7, the motion-linked control method includes a shooting information generation step (S1100), a body information generation step (S1200), an arm motion area calculation step (S1300), a matching step (S1400), and a motion information generation step (S1500). , an instruction image display step (S1600) and a control step (S1700).

촬영 정보 생성단계(S1100)는 촬영부가 사용자를 촬영하여 촬영 정보를 생성하는 단계일 수 있다.The photographing information generating step ( S1100 ) may be a step in which the photographing unit photographs the user and generates photographing information.

그리고, 신체 정보 생성단계(S1200)는 신체 정보 생성부가 촬영 정보를 기초로 사용자의 신체 골격 정보를 생성하는 단계일 수 있다. 신체 정보 생성단계(S1200)에서, 신체 정보 생성부는 사용자 신체의 특정 기준점을 중심으로 오른팔 및 왼팔의 길이를 각각 측정할 수 있다.In addition, the body information generating step ( S1200 ) may be a step in which the body information generating unit generates the user's body skeleton information based on the photographing information. In the body information generating step ( S1200 ), the body information generating unit may measure the lengths of the right arm and the left arm, respectively, around a specific reference point of the user's body.

팔 동작 영역 계산단계(S1300)는 계산부가 신체 골격 정보를 기초로 사용자의 팔 길이 및 팔이 동작할 수 있는 팔 동작 영역을 계산하는 단계일 수 있다. 팔 동작 영역 계산단계(S1300)에서, 계산부는 오른팔 및 왼팔의 팔 동작 영역을 각각 계산할 수 있다.The arm motion region calculation step ( S1300 ) may be a step in which the calculation unit calculates an arm length of the user and an arm motion region in which the arm can operate based on the body skeleton information. In the arm motion area calculation step ( S1300 ), the calculation unit may calculate the arm motion areas of the right arm and the left arm, respectively.

매칭단계(S1400)는 매칭부가 팔 동작 영역을 설비를 작동시키기 위한 복수 개의 입력 아이콘을 가지고 디스플레이부에 표시되는 명령 입력부에 대응되도록 매칭하는 단계일 수 있다.The matching step (S1400) may be a step in which the matching unit matches the arm operation area to correspond to a command input unit displayed on the display unit having a plurality of input icons for operating the equipment.

매칭단계(S1400)에서, 매칭부는 사용자가 오른팔을 사용하면 오른팔의 팔 동작 영역을 명령 입력부에 매칭시키고, 사용자가 왼팔을 사용하면 왼팔의 팔 동작 영역을 명령 입력부에 매칭시킬 수 있다.In the matching step (S1400), the matching unit may match the arm motion region of the right arm with the command input unit when the user uses the right arm, and match the arm motion region of the left arm with the command input unit when the user uses the left arm.

모션 정보 생성단계(S1500)는 모션 정보 생성부가 촬영 정보를 기초로 사용자의 팔 모션 정보를 생성하는 단계일 수 있다.The motion information generation step ( S1500 ) may be a step in which the motion information generator generates motion information of the user's arm based on the photographing information.

그리고, 지시 이미지 표시단계(S1600)는 지시 이미지 표시부가 팔 모션 정보를 기초로 명령 입력부에 사용자의 손의 위치에 대응되도록 지시 이미지를 이동시켜 표시하는 단계일 수 있다.In addition, the pointing image display step ( S1600 ) may be a step of moving and displaying the pointing image so as to correspond to the position of the user's hand on the command input unit based on the arm motion information by the pointing image display unit.

그리고, 제어단계(S1700)는 제어부가 지시 이미지가 복수 개의 입력 아이콘중 어느 하나의 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작을 한 것으로 판정하면, 설비를 작동시켜 해당 작동을 실행하도록 하는 단계일 수 있다. Then, in the control step (S1700), if the control unit determines that an input operation for executing an operation linked to any one input icon among a plurality of input icons is performed by the control unit, a step of operating the facility to execute the corresponding operation can be

제어단계(S1700)에서, 제어부는 지시 이미지가 복수 개의 입력 아이콘 중 어느 하나의 입력 아이콘에 겹치도록 위치된 상태에서 사용자가 특정 동작을 수행하면, 겹쳐진 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작으로 판정할 수 있다.In the control step (S1700), the control unit performs an input operation to execute an operation linked to the overlapped input icon when the user performs a specific operation in a state where the instruction image is positioned so as to overlap any one input icon among a plurality of input icons. can be judged by

한편, 도 7을 참조하여 앞에서 설명한 모션 연동 제어방법에는 비록 기재되어 있지 않더라도, 도 1 내지 도 6을 통해 모션 연동 제어장치와 관련하여 전술한 내용은 모션 연동 제어방법에도 동일하게 적용될 수 있음은 물론이다.On the other hand, even if it is not described in the motion-linked control method described above with reference to FIG. 7, the above information in relation to the motion-linked control device through FIGS. 1 to 6 can be equally applied to the motion-linked control method. am.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be interpreted as being included in the scope of the present invention.

10: 사용자 100: 촬영부
200: 신체 정보 생성부 210: 사용자 확인부
300: 계산부 310,320: 팔 동작 영역
400: 디스플레이부 410: 명령 입력부
500: 매칭부 600: 모션 정보 생성부
700: 지시 이미지 표시부 710: 지시 이미지
800: 제어부 900: 설비10: user 100: recording unit
200: body information generation unit 210: user identification unit
300: calculator 310, 320: arm operation area
400: display unit 410: command input unit
500: matching unit 600: motion information generating unit
700: instruction image display unit 710: instruction image
800: control unit 900: facilities

Claims (9)

사용자의 모션에 의해 설비가 작동되도록 하기 위한 모션 연동 제어장치로서,
사용자를 촬영하여 촬영 정보를 생성하는 촬영부;
상기 촬영 정보를 기초로 사용자의 신체 골격 정보를 생성하는 신체 정보 생성부;
상기 신체 골격 정보를 기초로 사용자의 팔 길이 및 팔이 동작할 수 있는 팔 동작 영역을 계산하는 계산부;
상기 설비를 작동시키기 위한 복수 개의 입력 아이콘을 가지는 명령 입력부가 표시되는 디스플레이부;
상기 팔 동작 영역을 상기 명령 입력부에 대응되도록 매칭하는 매칭부;
상기 촬영 정보를 기초로 사용자의 팔 모션 정보를 생성하는 모션 정보 생성부;
상기 팔 모션 정보를 기초로 상기 명령 입력부에 상기 사용자의 손의 위치에 대응되도록 지시 이미지를 이동시켜 표시하는 지시 이미지 표시부; 및
상기 지시 이미지가 복수 개의 상기 입력 아이콘 중 어느 하나의 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작을 한 것으로 판정되면, 상기 설비를 작동시켜 해당 작동을 실행하도록 하는 제어부를 포함하고,
상기 명령 입력부는 상기 디스플레이부의 일부 영역에 표시되며,
상기 계산부는 상기 팔 동작 영역이 상기 명령 입력부의 가로 길이와 세로 길이의 비에 대응되는 비를 가지도록 생성하는 것을 특징으로 하는 모션 연동 제어장치.As a motion interlocking control device for operating equipment by a user's motion,
a photographing unit generating photographing information by photographing a user;
a body information generating unit generating body skeleton information of the user based on the photographing information;
a calculation unit which calculates an arm length of the user and an arm motion region in which the arm can operate based on the body skeleton information;
a display unit displaying a command input unit having a plurality of input icons for operating the equipment;
a matching unit matching the arm operation region to correspond to the command input unit;
a motion information generation unit generating motion information of a user's arm based on the photographing information;
an indication image display unit which moves and displays an indication image corresponding to the position of the user's hand in the command input unit based on the arm motion information; and
When it is determined that the instruction image has performed an input operation to execute an operation linked to any one input icon among the plurality of input icons, a control unit for operating the facility to execute the corresponding operation;
The command input unit is displayed on a partial area of the display unit,
The motion interlocking control device, characterized in that the calculation unit generates the arm operation region to have a ratio corresponding to a ratio of a horizontal length and a vertical length of the command input unit. 제1항에 있어서,
상기 제어부는
상기 지시 이미지가 복수 개의 상기 입력 아이콘 중 어느 하나의 입력 아이콘에 겹치도록 위치된 상태에서 사용자가 특정 동작을 수행하면, 겹쳐진 상기 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작으로 판정하는 것을 특징으로 하는 모션 연동 제어장치.According to claim 1,
The control unit
When a user performs a specific operation in a state where the pointing image is positioned so as to overlap any one of the plurality of input icons, it is determined as an input operation to execute an operation linked to the overlapped input icon. motion interlocking control device. 제1항에 있어서,
상기 신체 정보 생성부는 사용자 신체의 특정 기준점을 중심으로 오른팔 및 왼팔의 길이를 각각 측정하고,
상기 계산부는 오른팔 및 왼팔의 팔 동작 영역을 각각 계산하며,
상기 매칭부는 사용자가 오른팔을 사용하면 오른팔의 팔 동작 영역을 상기 명령 입력부에 매칭시키고, 사용자가 왼팔을 사용하면 왼팔의 팔 동작 영역을 상기 명령 입력부에 매칭시키는 것을 특징으로 하는 모션 연동 제어장치.According to claim 1,
The body information generating unit measures the lengths of the right arm and the left arm, respectively, around a specific reference point of the user's body;
The calculation unit calculates arm motion areas of the right arm and the left arm, respectively;
The matching unit matches an arm motion region of the right arm with the command input unit when the user uses the right arm, and matches an arm motion region of the left arm with the command input unit when the user uses the left arm. 제1항에 있어서,
상기 신체 정보 생성부는
상기 촬영부와 사용자와 사이의 거리 정보 및 사용자의 크기 정보를 더 기초로 하여 상기 신체 골격 정보를 생성하는 것을 특징으로 하는 모션 연동 제어장치.According to claim 1,
The body information generating unit
The motion-linked control device according to claim 1 , wherein the body skeleton information is generated further based on distance information between the photographing unit and the user and size information of the user. 제1항에 있어서,
상기 디스플레이부는 가상 공간과, 상기 가상 공간에서 사용자를 대신하는 아바타를 표시하고,
상기 명령 입력부는 상기 가상 공간상의 가상 공간 디스플레이부에 표시되는 것을 특징으로 하는 모션 연동 제어장치.According to claim 1,
The display unit displays a virtual space and an avatar representing a user in the virtual space;
The motion linkage control device, characterized in that the command input unit is displayed on a virtual space display unit on the virtual space. 사용자의 모션에 의해 설비가 작동되도록 하기 위한 모션 연동 제어방법으로서,
촬영부가 사용자를 촬영하여 촬영 정보를 생성하는 촬영 정보 생성단계;
신체 정보 생성부가 상기 촬영 정보를 기초로 사용자의 신체 골격 정보를 생성하는 신체 정보 생성단계;
계산부가 상기 신체 골격 정보를 기초로 사용자의 팔 길이 및 팔이 동작할 수 있는 팔 동작 영역을 계산하는 팔 동작 영역 계산단계;
매칭부가 상기 팔 동작 영역을 상기 설비를 작동시키기 위한 복수 개의 입력 아이콘을 가지고 디스플레이부에 표시되는 명령 입력부에 대응되도록 매칭하는 매칭단계;
모션 정보 생성부가 상기 촬영 정보를 기초로 사용자의 팔 모션 정보를 생성하는 모션 정보 생성단계;
지시 이미지 표시부가 상기 팔 모션 정보를 기초로 상기 명령 입력부에 상기 사용자의 손의 위치에 대응되도록 지시 이미지를 이동시켜 표시하는 지시 이미지 표시단계; 및
제어부가 상기 지시 이미지가 복수 개의 상기 입력 아이콘 중 어느 하나의 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작을 한 것으로 판정하면, 상기 설비를 작동시켜 해당 작동을 실행하도록 하는 제어단계를 포함하고,
상기 명령 입력부는 상기 디스플레이부의 일부 영역에 표시되며,
상기 팔 동작 영역 계산단계에서, 상기 계산부는 상기 팔 동작 영역이 상기 명령 입력부의 가로 길이와 세로 길이의 비에 대응되는 비를 가지도록 생성하는 것을 특징으로 하는 모션 연동 제어방법.As a motion-linked control method for operating equipment by a user's motion,
a photographing information generating step in which a photographing unit photographs a user and generates photographing information;
a body information generation step in which a body information generator generates body skeleton information of the user based on the photographing information;
an arm motion area calculation step in which a calculator calculates an arm length of the user and an arm motion area in which the arm can operate based on the body skeleton information;
a matching step in which a matching unit matches the arm operation region to correspond to a command input unit displayed on a display unit having a plurality of input icons for operating the equipment;
a motion information generation step in which a motion information generation unit generates motion information of a user's arm based on the photographing information;
a pointing image display step of moving and displaying the pointing image to correspond to the position of the user's hand in the command input unit based on the arm motion information by the pointing image display unit; and
and a control step of operating the facility to execute the corresponding operation when the controller determines that the instruction image has performed an input operation to execute an operation linked to any one input icon among the plurality of input icons,
The command input unit is displayed on a partial area of the display unit,
In the step of calculating the arm motion area, the calculation unit generates the arm motion area to have a ratio corresponding to a ratio between a horizontal length and a vertical length of the command input unit. 제6항에 있어서,
상기 제어단계에서, 상기 제어부는 상기 지시 이미지가 복수 개의 상기 입력 아이콘 중 어느 하나의 입력 아이콘에 겹치도록 위치된 상태에서 사용자가 특정 동작을 수행하면, 겹쳐진 상기 입력 아이콘과 연동되는 작동을 실행하도록 하는 입력동작으로 판정하는 것을 특징으로 하는 모션 연동 제어방법.According to claim 6,
In the controlling step, the control unit executes an operation linked to the overlapping input icon when a user performs a specific operation in a state where the pointing image is positioned so as to overlap any one input icon among a plurality of input icons. A motion-linked control method characterized in that it is determined by an input operation. 제6항에 있어서,
상기 신체 정보 생성단계에서, 상기 신체 정보 생성부는 사용자 신체의 특정 기준점을 중심으로 오른팔 및 왼팔의 길이를 각각 측정하고,
상기 팔 동작 영역 계산단계에서, 상기 계산부는 오른팔 및 왼팔의 팔 동작 영역을 각각 계산하며,
상기 매칭단계에서, 상기 매칭부는 사용자가 오른팔을 사용하면 오른팔의 팔 동작 영역을 상기 명령 입력부에 매칭시키고, 사용자가 왼팔을 사용하면 왼팔의 팔 동작 영역을 상기 명령 입력부에 매칭시키는 것을 특징으로 하는 모션 연동 제어방법.According to claim 6,
In the body information generating step, the body information generator measures the lengths of the right arm and the left arm around a specific reference point of the user's body, respectively;
In the arm motion area calculation step, the calculation unit calculates arm motion areas of the right arm and the left arm, respectively;
In the matching step, the matching unit matches the arm motion area of the right arm to the command input unit when the user uses the right arm, and matches the arm motion area of the left arm to the command input unit when the user uses the left arm. Interlocking control method. 제6항에 있어서,
상기 디스플레이부는 가상 공간과, 상기 가상 공간에서 사용자를 대신하는 아바타를 더 표시하고,
상기 매칭단계에서, 상기 명령 입력부는 상기 가상 공간상의 가상 공간 디스플레이부에 표시되는 것을 특징으로 하는 모션 연동 제어방법.According to claim 6,
The display unit further displays a virtual space and an avatar representing the user in the virtual space;
In the matching step, the command input unit is displayed on a virtual space display unit on the virtual space.
KR1020220130631A 2022-10-12 2022-10-12 Apparatus for controlling with motion interlocking and method of controlling with motion interlocking KR102540782B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220130631A KR102540782B1 (en) 2022-10-12 2022-10-12 Apparatus for controlling with motion interlocking and method of controlling with motion interlocking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220130631A KR102540782B1 (en) 2022-10-12 2022-10-12 Apparatus for controlling with motion interlocking and method of controlling with motion interlocking

Publications (1)

Publication Number Publication Date
KR102540782B1 true KR102540782B1 (en) 2023-06-13

Family

ID=86762518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220130631A KR102540782B1 (en) 2022-10-12 2022-10-12 Apparatus for controlling with motion interlocking and method of controlling with motion interlocking

Country Status (1)

Country Link
KR (1) KR102540782B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150103278A (en) * 2013-03-05 2015-09-09 인텔 코포레이션 Interaction of multiple perceptual sensing inputs
KR101773435B1 (en) 2016-12-27 2017-08-31 영산대학교산학협력단 Motion Controller Modularization System
KR101950603B1 (en) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 Remote device control device based on virtual reality and motion recognition, and rehabilitation method using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150103278A (en) * 2013-03-05 2015-09-09 인텔 코포레이션 Interaction of multiple perceptual sensing inputs
KR101773435B1 (en) 2016-12-27 2017-08-31 영산대학교산학협력단 Motion Controller Modularization System
KR101950603B1 (en) * 2017-09-20 2019-05-09 순천향대학교 산학협력단 Remote device control device based on virtual reality and motion recognition, and rehabilitation method using the same

Similar Documents

Publication Publication Date Title
EP2093650B1 (en) User interface system based on pointing device
US9824497B2 (en) Information processing apparatus, information processing system, and information processing method
US20200120308A1 (en) Telepresence Management
EP1904915B1 (en) Method of controlling a control point position on a command area and method for control of a device
JP4907483B2 (en) Video display device
US20190054632A1 (en) Methods for operating medical imaging devices and medical imaging devices
US7978178B2 (en) Remote control
CN110162236B (en) Display method and device between virtual sample boards and computer equipment
KR20170026164A (en) Virtual reality display apparatus and display method thereof
US20200105068A1 (en) Augmented reality for collaborative interventions
US20220317462A1 (en) Information processing apparatus, information processing method, and program
JP2012172910A (en) System for operating indoor environmental control device
CN113366539A (en) System localization of virtual objects for mixed reality
KR20190024228A (en) Home automation system using real-time indoor image
JPH07271546A (en) Image display control method
KR102540782B1 (en) Apparatus for controlling with motion interlocking and method of controlling with motion interlocking
EP1380987B1 (en) A sound control installation
KR20190048810A (en) Apparatus and method for providing augmented reality contents
JP2021162607A (en) Display system, information processing apparatus, and display control method for display system
JP2016095557A (en) Display control device and display control method
US10810867B2 (en) Remote control system, remote control method, and program
WO2012008553A1 (en) Robot system
KR20180060403A (en) Control apparatus for drone based on image
Gacem et al. Finding objects faster in dense environments using a projection augmented robotic arm
KR102178939B1 (en) Apparatus for controlling environment and method of controlling environment

Legal Events

Date Code Title Description
GRNT Written decision to grant