KR20230166319A - Device, method and program recording medium for identifying human 3d whole-body pose/motion - Google Patents

Abstract

본 발명은 휴머노이드 로봇을 기반으로 구성한 휴먼 모델을 이용하여 강인한 자세 식별 성능을 갖도록 한 대상자의 3차원 전신 자세를 식별하기 위한 장치 및 방법에 관한 것으로, 전자 장치의 적어도 하나의 프로세서가, 로봇 장치와 연결된 카메라를 통하여 대상자의 이미지를 획득하기 위한 이미지 획득부;획득된 상기 이미지로부터 인체골격 정보를 생성하는 인체골격 정보 생성부;생성된 인체골격 주요 관절의 2차원 픽셀좌표와, 정면 또는 측면에서 봤을 때의 휴먼 모델 내 해당 관절의 2차원 좌표간 거리 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 값, 전신 관절의 각도를 탐색하는 최적화 알고리즘을 실행하는 최적화부;추정된 관절각 정보에 기초하여 상기 휴먼 모델 자세 시뮬레이션을 실행함으로써 상기 대상자의 자세 또는 모션 타입과 상태를 식별하는 식별부;를 포함하는 것이다.The present invention relates to an apparatus and method for identifying the three-dimensional whole body posture of a subject with strong posture identification performance using a human model constructed based on a humanoid robot, wherein at least one processor of an electronic device includes a robot device and An image acquisition unit for acquiring an image of the subject through a connected camera; A human skeleton information generation unit for generating human skeleton information from the acquired image; Two-dimensional pixel coordinates of the major joints of the generated human skeleton and a view from the front or side An optimization unit that executes an optimization algorithm that searches the camera's shooting angle, the distance value between the camera and the subject, and the angles of the whole body joints to minimize the distance error between the two-dimensional coordinates of the corresponding joint in the human model; and an identification unit that identifies the subject's posture or motion type and state by executing the human model posture simulation based on the human model.

Description

대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체{DEVICE, METHOD AND PROGRAM RECORDING MEDIUM FOR IDENTIFYING HUMAN 3D WHOLE-BODY POSE/MOTION}Device, method and program recording medium for identifying a subject's three-dimensional whole body posture {DEVICE, METHOD AND PROGRAM RECORDING MEDIUM FOR IDENTIFYING HUMAN 3D WHOLE-BODY POSE/MOTION}

본 발명은 전신 자세 식별에 관한 것으로, 구체적으로 휴머노이드 로봇을 기반으로 구성한 휴먼 모델을 이용하여 강인한 자세 식별 성능을 갖도록 한 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체에 관한 것이다.The present invention relates to full-body posture identification, and more specifically, to an apparatus, method, and program recording medium for identifying a subject's three-dimensional full-body posture using a human model constructed based on a humanoid robot to have robust posture identification performance. .

최근 과학 기술이 발달할수록 사람과 상호작용을 하는 지능형 로봇이 더욱 주목을 받고 있다. 지능형 로봇이 산업용 로봇과 차별화되기 위해서는 인간에 초점을 맞춘 상황 판단 기능이 중요하다. 이를 위해서 로봇이 사람의 행동을 인식하여 능동적으로 상황을 판단하는 것이 중요해졌다.As scientific technology develops recently, intelligent robots that interact with people are attracting more attention. In order for intelligent robots to differentiate themselves from industrial robots, a human-focused situational judgment function is important. To this end, it has become important for robots to recognize human behavior and actively judge the situation.

그와 함께 카메라를 통해 얻은 이미지나 비디오와 같은 2차원 자료를 통하여 사람의 관절 위치를 인식하고, 사람의 자세를 추정하는 기술인 인간자세추정(Human Pose Estimation)이 주목받고 있다.At the same time, Human Pose Estimation, a technology that recognizes the position of a person's joints and estimates the person's posture through two-dimensional data such as images or videos obtained through a camera, is attracting attention.

하지만 현실의 사람 행동은 위치, 방향, 깊이를 포함한다.However, real human behavior includes location, direction, and depth.

따라서, 사람의 자세 추정 또는 동작 인식 기술은 이미지 내지 영상을 분석함으로써 수행되고 있으며 다양한 융합 기술에 기초하여 활발하게 연구되고 있다.Therefore, human posture estimation or motion recognition technology is performed by analyzing images or videos and is being actively researched based on various fusion technologies.

또한, 이미지 또는 영상을 분석함으로써 2D 차원의 자세 분석, 3D 차원의 자세 분석에 대한 연구가 활발하게 진행되고 있으며, 보다 상세하게는 사람의 신체 구조에 대응되는 골격 모델을 생성하고, 생성된 골격 모델 내 관절 각도 등을 추정함으로써 수행된다.In addition, by analyzing images or videos, research on 2D-dimensional posture analysis and 3D-dimensional posture analysis is actively underway. In more detail, a skeletal model corresponding to the human body structure is generated, and the generated skeletal model This is done by estimating internal joint angles, etc.

한편, 인공 지능 기술은 종래 규칙(Rule) 기반 시스템과 달리 스스로 학습하고, 똑똑해지는 시스템으로서 영상 처리, 음성 처리 등 다양한 분야에서 사용되고 있다. 최근 심층 신경망(deep neural network, DNN) 알고리즘이 다양한 머신 러닝 분야에 사용되며 성능 향상이 크게 이루어지고 있으며 이를 통한 영상 처리 기술을 통한 영상 인식 기술이 적용된 제품들 역시 공개되고 있다.Meanwhile, unlike conventional rule-based systems, artificial intelligence technology is a system that learns and becomes smarter on its own and is used in various fields such as image processing and voice processing. Recently, deep neural network (DNN) algorithms have been used in various machine learning fields, significantly improving performance, and products equipped with image recognition technology through image processing technology are also being released.

종래 기술의 사람의 자세를 분석하기 위해 인체의 모형을 모방한 인체 모델을 활용하여 사람의 보행 패턴, 자세 등을 분석하기 위한 기술들이 연구되어 왔으나, 실제 사람의 정확한 자세를 추정하는 데는 한계가 있다.In order to analyze a person's posture in the prior art, technologies have been researched to analyze a person's walking pattern and posture by using a human body model that imitates the human body, but there are limitations in estimating the accurate posture of an actual person. .

따라서, 사람의 자세를 보다 정확하게 식별하기 위한 기술 개발이 요구되고 있다.Therefore, there is a need to develop technology to more accurately identify a person's posture.

대한민국 공개특허 제10-2020-0084567호Republic of Korea Patent Publication No. 10-2020-0084567 대한민국 공개특허 제10-2020-0036353호Republic of Korea Patent Publication No. 10-2020-0036353 대한민국 공개특허 제10-2017-0119496호Republic of Korea Patent Publication No. 10-2017-0119496

본 발명은 종래 기술의 전신 자세 식별 기술의 문제점을 해결하기 위한 것으로, 전자 장치가 대상자의 자세를 식별하는 방법 및 이를 수행하는 전자 장치를 제공하는데 그 목적이 있다.The present invention is intended to solve problems in the full body posture identification technology of the prior art, and its purpose is to provide a method for an electronic device to identify a subject's posture and an electronic device that performs the same.

본 발명은 휴먼 모델을 이용하여 대상자의 3차원 인체 자세나 모션을 식별하는 방법 및 이를 수행하는 전자 장치를 제공하는데 그 목적이 있다.The purpose of the present invention is to provide a method for identifying a subject's 3D human body posture or motion using a human model, and an electronic device for performing the same.

본 발명은 휴머노이드 로봇을 기반으로 구성한 휴먼 모델을 이용하여 강인한 자세 식별 성능을 갖도록 한 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체를 제공하는데 그 목적이 있다.The purpose of the present invention is to provide an apparatus, method, and program recording medium for identifying the three-dimensional whole body posture of a subject with strong posture identification performance using a human model constructed based on a humanoid robot.

본 발명은 직립해 있을 때 2차원 모델의 관절 좌표를 이용해 사람의 사지 링크 길이를 계산하고, 그 길이의 변화를 이용해서 3차원 휴머노이드 로봇 모델에서 대응되는 관절각 변화를 추정하여 정확도를 높인 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체를 제공하는데 그 목적이 있다.The present invention calculates the limb link length of a person using the joint coordinates of a two-dimensional model when upright, and uses the change in length to estimate the corresponding joint angle change in a three-dimensional humanoid robot model to improve accuracy. The purpose is to provide a device, method, and program recording medium for identifying 3D whole body posture.

본 발명은 2차원 및 3차원 행동 추정 결과를 사람 행동 인식을 위한 용이한 데이터로 사용하여 위험 행동 감지, 재활 치료 등 다양한 분야에서 활용 가능하도록 한 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체를 제공하는데 그 목적이 있다.The present invention provides an apparatus and method for identifying a subject's 3D whole body posture that can be used in various fields such as risky behavior detection and rehabilitation treatment by using 2D and 3D behavior estimation results as easy data for human behavior recognition. The purpose is to provide and program recording media.

본 발명은 사람의 관절 좌표를 인식하여 행동을 추정하는 것에 의해 사용자의 프라이버시를 보호할 수 있도록 한 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체를 제공하는데 그 목적이 있다.The purpose of the present invention is to provide an apparatus, method, and program recording medium for identifying a subject's three-dimensional whole body posture so as to protect the user's privacy by recognizing the person's joint coordinates and estimating behavior.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Other objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the description below.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 대상자의 3차원 전신 자세를 식별하기 위한 장치는 전자 장치의 적어도 하나의 프로세서가, 로봇 장치와 연결된 카메라를 통하여 대상자의 이미지를 획득하기 위한 이미지 획득부;획득된 상기 이미지로부터 인체골격 정보를 생성하는 인체골격 정보 생성부;생성된 인체골격 주요 관절의 2차원 픽셀좌표와 정면 또는 측면에서 봤을 때의 휴먼 모델 내 해당 관절의 2차원 좌표간 거리 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 값, 전신 관절의 각도를 탐색하는 최적화 알고리즘을 실행하는 최적화부;추정된 관절각 정보에 기초하여 상기 휴먼 모델 자세 시뮬레이션을 실행함으로써 상기 대상자의 자세 또는 모션 타입과 상태를 식별하는 식별부;를 포함하는 것을 특징으로 한다.A device for identifying the three-dimensional whole body posture of a subject according to the present invention for achieving the above object includes at least one processor of an electronic device, an image acquisition unit for acquiring an image of the subject through a camera connected to a robot device. ;Human skeleton information generation unit that generates human skeleton information from the acquired image; Distance error between the two-dimensional pixel coordinates of the generated major joints of the human skeleton and the two-dimensional coordinates of the corresponding joints in the human model when viewed from the front or side An optimization unit that executes an optimization algorithm that searches for the shooting angle of the camera, the distance value between the camera and the subject, and the angle of the whole body joint to minimize the subject's posture or It is characterized in that it includes an identification unit that identifies the motion type and state.

다른 목적을 달성하기 위한 본 발명에 따른 대상자의 3차원 전신 자세를 식별하기 위한 장치는 대상자의 자세 또는 모션 타입과 상태를 식별하기 위한 전자 장치는, 네트워크 인터페이스;하나 이상의 인스트럭션을 저장하는 메모리; 및 적어도 하나의 프로세서; 를 포함하는 로봇 장치이고, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 로봇 장치와 연결된 카메라를 통하여 상기 대상자를 촬영함으로써 이미지를 획득하고, 상기 생성된 인체골격 주요 관절의 2차원 픽셀좌표와, 정면 또는 측면에서 봤을 때의 휴먼 모델 내 해당 관절의 2차원 좌표간 거리 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 값, 해당 관절의 각도를 탐색하는 최적화 알고리즘을 실행하고, 상기 추정된 관절각 정보에 기초하여 상기 로봇 자세로부터 관절각의 각도를 분석함으로써 상기 대상자의 자세 또는 모션 타입과 상태를 식별하는 것을 특징으로 한다.An electronic device for identifying the subject's posture or motion type and state according to the present invention for achieving another purpose includes: a network interface; a memory storing one or more instructions; and at least one processor; A robotic device comprising a, wherein the at least one processor executes the one or more instructions, acquires an image by photographing the subject through a camera connected to the robotic device, and generates two-dimensional pixels of major joints of the human skeleton. Execute an optimization algorithm that explores the camera's shooting angle, the distance value between the camera and the subject, and the angle of the corresponding joint to minimize the distance error between the coordinates and the 2-dimensional coordinates of the corresponding joint in the human model when viewed from the front or side, Characterized in identifying the posture or motion type and state of the subject by analyzing the angle of the joint angle from the robot posture based on the estimated joint angle information.

또 다른 목적을 달성하기 위한 본 발명에 따른 대상자의 3차원 전신 자세를 식별하기 위한 방법은 전자 장치와 연결된 카메라를 통하여 대상자를 촬영함으로써 영상을 획득하는 단계;획득된 상기 이미지로부터 인체골격 정보를 생성하는 단계;상기 생성된 인체골격 주요 관절의 2차원 픽셀좌표와 정면 또는 측면에서 봤을 때의 휴먼 모델 내 해당 관절의 2차원 좌표 간 거리 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 관련 값, 해당 관절의 각도를 탐색하는 최적화 알고리즘 실행 단계; 및 상기 추정된 관절각 정보에 기초하여 로봇 자세 시뮬레이션을 실행함으로써 상기 대상자의 자세/모션 타입과 상태를 식별하는 단계;를 포함하는 것을 특징으로 한다.A method for identifying a subject's three-dimensional whole body posture according to the present invention for achieving another purpose includes obtaining an image by photographing the subject through a camera connected to an electronic device; generating human skeletal information from the acquired image; Step; Values related to the camera's shooting angle and the distance between the camera and the subject so that the distance error between the generated two-dimensional pixel coordinates of the main joints of the human skeleton and the two-dimensional coordinates of the corresponding joints in the human model when viewed from the front or side is minimized , an optimization algorithm execution step that searches for the angle of the corresponding joint; And identifying the subject's posture/motion type and state by executing a robot posture simulation based on the estimated joint angle information.

또 다른 목적을 달성하기 위한 본 발명에 따른 대상자의 3차원 전신 자세를 식별하기 위한 프로그램 기록 매체는 제 8항 내지 제14항 중 어느 하나의 항에 따른 대상자의 3차원 전신 자세를 식별하기 위한 방법을 수행하기 위한 프로그램이 저장되는 것을 특징으로 한다.A program recording medium for identifying the three-dimensional whole body posture of a subject according to the present invention to achieve another purpose is a method for identifying the three-dimensional whole body posture of a subject according to any one of claims 8 to 14. Characterized in that a program for performing is stored.

이상에서 설명한 바와 같은 본 발명에 따른 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체는 다음과 같은 효과가 있다.As described above, the device, method, and program recording medium for identifying a subject's three-dimensional whole body posture according to the present invention have the following effects.

첫째, 휴머노이드 로봇을 기반으로 구성한 휴먼 모델을 이용하여 강인한 자세 식별 성능을 갖도록 한다.First, a human model based on a humanoid robot is used to ensure robust posture identification performance.

둘째, 직립상태에서 2차원 모델의 관절 좌표를 이용해 사람의 사지 링크 길이를 계산하고, 그 길이의 변화를 이용해서 3차원 휴머노이드 로봇 모델에서 대응되는 관절각 변화를 추정하여 정확도를 높인다.Second, the human limb link length is calculated using the joint coordinates of the 2D model in the upright state, and the change in length is used to estimate the corresponding joint angle change in the 3D humanoid robot model to increase accuracy.

셋째, 2차원 및 3차원 행동 추정 결과를 사람 행동 인식을 위한 용이한 데이터로 사용하여 위험 행동 감지, 재활 치료 등 다양한 분야에서 활용 가능하도록 한다.Third, the 2D and 3D behavior estimation results can be used as easy data for human behavior recognition, allowing them to be used in various fields such as risk behavior detection and rehabilitation treatment.

넷째, 사람의 관절 좌표를 인식하여 행동을 추정하는 것에 의해 사용자의 프라이버시를 보호할 수 있도록 한다.Fourth, it protects the user's privacy by recognizing the coordinates of a person's joints and estimating behavior.

도 1은 일 실시 예에 따른 전자 장치가 대상자의 자세나 모션을 식별하는 과정을 개략적으로 설명하기 위한 구성도
도 2는 일 실시 예에 따른 DH(Denavit-Hartenberg) 법을 이용한 인접 좌표계 간의 기하학적 관계를 나타내는 구성도
도 3은 일 실시 예에 따른 인체의 3가지 평면을 설명하기 위한 구성도
도 4는 일 실시 예에 따른 휴먼 모델 전신의 관절-링크 모델을 설명하기 위한 구성도
도 5는 일 실시 예에 따른 인간의 상체만의 움직임을 완전하게 표현하기 위해 골반 중심점과 몸통 간의 시상면, 관상면, 횡평면 관절각의 DH법 기반 관계를 설명하기 위한 구성도
도 6은 골반 중심점에 있는 휴먼 좌표계와 세계 좌표계의 회전 관계를 표시하는 구성도
도 7은 일 실시 예에 따른 신경망 모델에서 인식한 관절 랜드마크 식별번호의 의미를 설명하기 위한 구성도
도 8은 일 실시 예에 따라 전자 장치가 대상자의 자세를 관절각 기반으로 인식하는 방법을 나타낸 플로우차트
도 9는 일 실시 예에 따라 MPP에서 추출한 픽셀 좌표로 표시된 인체의 골격 모델과 본 발명에 따른 방법으로 인식한 관절각으로 구성한 인체의 골격 모델을 비교한 구성도
도 10은 도 9에서 2차원으로 비교된 휴먼 모델을 도 4의 3차원 링크-관절 모델로 나타낸 구성도
도 11은 엎드린 자세에 대해 MPP로 추출한 2차원 골격 모델과 본 발명에 따른 휴먼 모델로 근사화한 모델을 비교한 구성도
도 12는 도 11에서 2차원으로 비교된 휴먼 모델을 3차원 링크-관절 모델로 나타낸 구성도
도 13은 일 실시 예에 따른 전자 장치의 구성 블록도
도 14는 또 다른 실시 예에 따른 전자 장치의 구성 블록도1 is a configuration diagram schematically illustrating a process by which an electronic device identifies a subject's posture or motion, according to an embodiment.
Figure 2 is a configuration diagram showing the geometric relationship between adjacent coordinate systems using the DH (Denavit-Hartenberg) method according to an embodiment.
Figure 3 is a configuration diagram for explaining three planes of the human body according to an embodiment
Figure 4 is a configuration diagram illustrating a joint-link model of the entire body of a human model according to an embodiment.
Figure 5 is a configuration diagram for explaining the DH method-based relationship of sagittal, coronal, and transverse plane joint angles between the pelvic center point and the torso to completely express the movement of only the human upper body according to an embodiment.
Figure 6 is a configuration diagram showing the rotation relationship between the human coordinate system and the world coordinate system at the center point of the pelvis.
Figure 7 is a configuration diagram for explaining the meaning of a joint landmark identification number recognized by a neural network model according to an embodiment
Figure 8 is a flowchart showing a method by which an electronic device recognizes a subject's posture based on joint angles, according to an embodiment.
Figure 9 is a diagram comparing a human skeleton model represented by pixel coordinates extracted from MPP according to an embodiment and a human skeleton model composed of joint angles recognized by the method according to the present invention.
Figure 10 is a configuration diagram showing the human model compared in two dimensions in Figure 9 with the three-dimensional link-joint model of Figure 4
Figure 11 is a diagram comparing the two-dimensional skeletal model extracted by MPP for the prone position and the model approximated by the human model according to the present invention.
Figure 12 is a configuration diagram showing the human model compared in two dimensions in Figure 11 as a three-dimensional link-joint model
13 is a block diagram of an electronic device according to an embodiment.
14 is a block diagram of an electronic device according to another embodiment.

이하, 본 발명에 따른 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments of the device, method, and program recording medium for identifying a subject's three-dimensional whole body posture according to the present invention will be described in detail as follows.

본 발명에 따른 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.The characteristics and advantages of the device, method, and program recording medium for identifying a subject's three-dimensional whole body posture according to the present invention will become apparent through the detailed description of each embodiment below.

도 1은 일 실시 예에 따른 전자 장치가 대상자의 자세나 모션을 식별하는 과정을 개략적으로 설명하기 위한 구성도이다.1 is a configuration diagram schematically illustrating a process in which an electronic device identifies a subject's posture or motion, according to an embodiment.

본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present disclosure have selected general terms that are currently widely used as much as possible while considering the functions in the present disclosure, but this may vary depending on the intention or precedents of those skilled in the art, the emergence of new technologies, etc. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the relevant invention. Therefore, the terms used in this disclosure should be defined based on the meaning of the term and the overall content of this disclosure, rather than simply the name of the term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When it is said that a part "includes" a certain element throughout the specification, this means that, unless specifically stated to the contrary, it does not exclude other elements but may further include other elements. In addition, terms such as "... unit" and "module" used in the specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. .

또한 명세서 전체에서 약어 hp는 엉덩이(hip)을 의미하고, kn은 무릎(knee)을 의미하며, an은 발목(ankle)을 의미하고, sh는 어깨(shoulder)를 의미하고, el은 팔꿈치(elbow)를 의미하고, hd는 머리(head)를 의미하며, l은 왼쪽(left), r은 오른쪽(right)을 의미할 수 있다.In addition, throughout the specification, the abbreviations hp means hip, kn means knee, an means ankle, sh means shoulder, and el means elbow. ), hd may mean head, l may mean left, and r may mean right.

본 발명에 따른 대상자의 3차원 전신 자세를 식별하기 위한 장치 및 방법은 휴머노이드 로봇을 기반으로 구성한 휴먼 모델을 이용하여 강인한 자세 식별 성능을 갖도록 한 것이다.The device and method for identifying a subject's three-dimensional whole body posture according to the present invention are designed to have robust posture identification performance by using a human model constructed based on a humanoid robot.

이를 위하여, 본 발명은 직립 상태에서 2차원 모델의 관절 좌표를 이용해 사람의 사지 링크 길이를 계산하고, 그 길이의 변화를 이용해서 3차원 휴머노이드 로봇 모델에서 대응되는 관절각 변화를 추정하여 정확도를 높이는 구성을 포함할 수 있다.To this end, the present invention calculates the limb link length of a person using the joint coordinates of a two-dimensional model in an upright state, and uses the change in length to estimate the corresponding joint angle change in a three-dimensional humanoid robot model to increase accuracy. Configuration may be included.

본 발명은 2차원 및 3차원 행동 추정 결과를 사람 행동 인식을 위한 용이한 데이터로 사용하여 위험 행동 감지, 재활 치료 등 다양한 분야에서 활용 가능하도록 하는 구성을 포함할 수 있다.The present invention may include a configuration that uses 2D and 3D behavior estimation results as easy data for human behavior recognition so that it can be used in various fields such as risk behavior detection and rehabilitation treatment.

본 발명은 사람의 관절 좌표를 인식하여 행동을 추정하는 것에 의해 사용자의 프라이버시를 보호할 수 있도록 하는 구성을 포함할 수 있다.The present invention may include a configuration that protects the user's privacy by recognizing the coordinates of a person's joints and estimating behavior.

이하의 설명에서 전자 장치(1000)는 대상자의 3차원 전신 자세를 식별하기 위한 로봇 장치일 수 있고, 이로 제한되지 않는다.In the following description, the electronic device 1000 may be a robotic device for identifying the subject's 3D whole body posture, but is not limited thereto.

일 실시 예에 의하면 전자 장치(1000)는 대상자를 촬영함으로써 이미지 (102, 104)를 획득하고, 획득된 이미지에 포함된 대상자의 보행 패턴을 식별할 수 있다.According to one embodiment, the electronic device 1000 may acquire images 102 and 104 by photographing a subject and identify the subject's walking pattern included in the acquired images.

일 실시 예에 의하면, 전자 장치(1000)는 프로세서(120) 및 메모리(140)를 포함하고, 메모리(140)는 미리 구축된 휴먼 모델(142)에 대한 정보 및 신경망 모델(144)에 대한 정보를 포함할 수 있다.According to one embodiment, the electronic device 1000 includes a processor 120 and a memory 140, and the memory 140 stores information about the pre-built human model 142 and information about the neural network model 144. may include.

전자 장치(1000)의 프로세서(120)는 대상자의 자세 또는 모션 타입과 상태를 식별하기 위하여, 로봇 장치와 연결된 카메라를 통하여 상기 대상자의 이미지를 획득하기 위한 이미지 획득부와, 획득된 상기 이미지로부터 인체골격 정보를 생성하는 인체골격 정보 생성부와, 생성된 인체골격 주요 관절의 픽셀좌표와 휴먼 모델 내 해당 관절의 좌표간 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 값, 전신 관절의 각도를 탐색하는 최적화 알고리즘을 실행하는 최적화부와, 추정된 관절각 정보에 기초하여 상기 휴먼 모델 자세 시뮬레이션을 실행함으로써 상기 대상자의 자세 또는 모션 타입과 상태를 식별하는 식별부를 포함할 수 있다.The processor 120 of the electronic device 1000 includes an image acquisition unit to acquire an image of the subject through a camera connected to a robot device in order to identify the subject's posture or motion type and state, and a human body from the acquired image. The human skeleton information generation unit that generates skeletal information, the shooting angle of the camera, the distance value between the camera and the subject, and the angle of the joints of the whole body to minimize the error between the pixel coordinates of the generated major joints of the human skeleton and the coordinates of the corresponding joints in the human model. It may include an optimization unit that executes an optimization algorithm that searches for and an identification unit that identifies the subject's posture or motion type and state by executing the human model posture simulation based on the estimated joint angle information.

그리고 전자 장치(1000)는 대상자에 대한 이미지(102, 104)를 획득할 수 있다.And the electronic device 1000 can acquire images 102 and 104 of the subject.

일 실시 예에 의하면 전자 장치(1000)는 카메라 장치와 연결됨으로써, 카메라 장치로부터 이미지(102, 104)를 획득할 수도 있다.According to one embodiment, the electronic device 1000 may acquire images 102 and 104 from the camera device by being connected to the camera device.

그러나 또 다른 실시 예에 의하면, 전자 장치(1000)가 카메라 장치를 포함하고, 카메라 장치를 통하여 대상자에 대한 이미지(102, 104)를 획득할 수도 있다. However, according to another embodiment, the electronic device 1000 may include a camera device and obtain images 102 and 104 of the subject through the camera device.

예를 들어, 전자 장치(1000)는 이미지를 미리 저장된 신경망 모델에 입력함으로써 인체골격 정보(관절 정보, 링크 정보를 포함)를 획득하고, 획득된 인체골격 정보에 기초하여, 대상자에 대한 카메라 촬영 각도, 관절 각도, 관절을 연결하는 링크의 길이 등에 대한 정보를 식별할 수 있다.For example, the electronic device 1000 acquires human skeleton information (including joint information and link information) by inputting the image into a pre-stored neural network model, and based on the obtained human skeleton information, the camera shooting angle for the subject , information about joint angles, length of links connecting joints, etc. can be identified.

전자 장치(1000)는 획득된 인체골격 정보에 기초하여 최적화 알고리즘으로 로봇 모델의 관절 변수를 조정하여 최대한 근사화함으로써, 이를 토대로 대상자의 자세를 이루는 상지와 하지의 주요 관절의 각도를 추정하여 다양한 자세 정보(162)를 결정할 수 있다. Based on the acquired human skeleton information, the electronic device 1000 adjusts the joint variables of the robot model using an optimization algorithm to approximate them as much as possible, and based on this, estimates the angles of the main joints of the upper and lower extremities that make up the subject's posture to provide various posture information. (162) can be determined.

본 개시에 따른 전자 장치(1000)는 관절 정보에 기초하여 대상자의 자세 종류(164)를 식별할 수 있다.The electronic device 1000 according to the present disclosure can identify the subject's posture type 164 based on joint information.

일 실시 예에 의하면, 본 개시에 따른 전자 장치(1000)는 서버(2000)와 연동함으로써 대상자의 자세와 모션을 식별할 수도 있다.According to one embodiment, the electronic device 1000 according to the present disclosure may identify the subject's posture and motion by linking with the server 2000.

일 실시 예에 의하면, 전자 장치(1000)는 네트워크를 통하여 서버(2000)와 연동될 수 있고, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 중 적어도 하나의 조합을 포함할 수 있다.According to one embodiment, the electronic device 1000 may be linked to the server 2000 through a network, and the network may include a local area network (LAN), a wide area network (WAN), and a value-added communication network ( It may include a combination of at least one of a Value Added Network (VAN) and a mobile radio communication network.

본 개시에 따른 전자 장치(1000)는 상술한 서버(2000)외에도 다양한 네트워크 구성 주체와 통신을 하기 위한 포괄적인 의미의 데이터 통신망과, 유선 인터넷, 무선 인터넷 및 모바일 무선 통신망 자체를 포함할 수 도 있다.In addition to the server 2000 described above, the electronic device 1000 according to the present disclosure may include a comprehensive data communication network for communicating with various network constituents, as well as a wired Internet, wireless Internet, and a mobile wireless communication network itself. .

일 실시 예에 의하면, 전자 장치(1000)가 이용하는 신경망 모델(144)은 OpenPose, TRT Pose, MediaPipe Pose(MPP) 모델일 수 있다.According to one embodiment, the neural network model 144 used by the electronic device 1000 may be an OpenPose, TRT Pose, or MediaPipe Pose (MPP) model.

전자 장치(1000)는 이러한 모델을 이용하여 3차원 인체 모션을 2차원 카메라 영상 평면에 덧입혀서 표시할 수 있다.The electronic device 1000 can use this model to display 3D human body motion by superimposing it on the 2D camera image plane.

일 실시 예에 의하면 인체골격 정보는 관절 정보, 관절 사이를 연결하는 링크에 관한 링크 정보를 포함할 수 있다.According to one embodiment, human skeleton information may include joint information and link information about links connecting joints.

일 실시 예에 의하면, 관절 정보는 관절각, 관절 식별 번호에 대한 정보를 포함할 수 있고, 링크 정보는 링크의 길이에 대한 정보를 더 포함할 수도 있다.According to one embodiment, the joint information may include information about the joint angle and joint identification number, and the link information may further include information about the length of the link.

일 실시 예에 의하면, 링크 사이의 각도에 대한 정보는 관절 정보에 포함될 수도 있다.According to one embodiment, information about the angle between links may be included in joint information.

또한, 일 실시 예에 의하면, 전자 장치(1000)는 MPP 모델 외에도 기타 인공 지능 모델을 더 이용하여 이미지 내 대상자의 자세를 식별할 수도 있다.Additionally, according to one embodiment, the electronic device 1000 may use other artificial intelligence models in addition to the MPP model to identify the subject's posture in the image.

일 실시 예에 의하면, 전자 장치(1000)가 이용하는 인공 지능 모델은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.According to one embodiment, the artificial intelligence model used by the electronic device 1000 may include a deep neural network (DNN), for example, a convolutional neural network (CNN), a recurrent neural network (RNN), It may include, but is not limited to, Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), or Deep Q-Networks.

도 2는 일 실시 예에 따른 DH(Denavit-Hartenberg) 법을 이용한 인접 좌표계 간의 기하학적 관계를 나타내는 구성도이다.Figure 2 is a configuration diagram showing the geometric relationship between adjacent coordinate systems using the DH (Denavit-Hartenberg) method according to an embodiment.

DH법은 로봇의 인접한 좌표계 사이의 회전과 이동 관계를 표현하기 위해 Denavit와 Hartenberg가 1955년에 제안한 방법으로서, 4개의 파라미터를 갖는 4×4 동차변환행렬(homogeneous transformation matrix)의 곱을 이용해서 로봇의 링크나 몸체에 부착된 좌표계를 이전 링크의 좌표계로부터 체계적으로 구축하는 방법이다. The DH method is a method proposed by Denavit and Hartenberg in 1955 to express rotation and movement relationships between adjacent coordinate systems of a robot. It uses the product of a 4×4 homogeneous transformation matrix with four parameters to determine the robot’s This is a method of systematically constructing a coordinate system attached to a link or body from the coordinate system of the previous link.

DH법은 링크와 링크가 서로 연결되어 있으면 대부분의 로봇에 적용할 수 있으므로, 기준좌표계를 기준으로 임의의 링크 좌표계 나 말단부 좌표계 의 원점과 방향도 순차적으로 구할 수 있다.The DH method can be applied to most robots if link to link is connected to each other, so the reference coordinate system Random link coordinate system based on B end coordinate system The origin and direction can also be obtained sequentially.

DH법을 이해하기 위해 도 2에 도시된 바와 같이, 번째 관절이 번째 링크와 번째 링크를 연결하고, 각 링크에 좌표계와 좌표계가 부착되어 있다고 가정한다.As shown in Figure 2 to understand the DH method, the second joint second link and Connect the second link, and for each link coordinate system and Assume that a coordinate system is attached.

번째 관절의 액추에이터가 회전이나 이동을 하면 후단에 연결된 번째 링크와 좌표계가 이에 반응해서 움직인다. When the actuator of the first joint rotates or moves, the actuator connected to the rear end second link and The coordinate system moves in response to this.

도 2에서 네 개의 DH 파라미터 (202, 204, 206, 208)는 DH법에서 규정한 파라미터로서 각각 관절각(joint angle), 링크 비틀림(link twist), 링크 오프셋(link offset), 링크 길이(link length)를 나타낸다.The four DH parameters in Figure 2 (202, 204, 206, 208) are parameters specified in the DH method and represent joint angle, link twist, link offset, and link length, respectively.

DH변환행렬 는 후행승산(post-multiply) 기법을 적용하여 하기 수학식 1과 같이 나타날 수 있다.DH conversion matrix can be expressed as Equation 1 below by applying the post-multiply technique.

상기 수학식 1식에서 대문자 와 는 sin 함수와 cos 함수를 각각 나타내며, 위첨자와 아래첨자는 각각 DH 파라미터와 그 인덱스를 나타낸다.Capital letters in Equation 1 above and represents the sin function and the cos function, respectively, and the superscript and subscript represent the DH parameter and its index, respectively.

즉, 는 를 나타내고 는 를 의미한다. 그리고 Rot은 좌표계 회전 행렬을, Trans는 좌표계 이동 행렬을 의미한다.in other words, Is represents Is means. And Rot means the coordinate system rotation matrix, and Trans means the coordinate system movement matrix.

도 3은 일 실시 예에 따른 인체의 3가지 평면을 설명하기 위한 구성도이다.Figure 3 is a configuration diagram for explaining three planes of the human body according to an embodiment.

일 실시 예에 따르면 인체는 3가지 평면(예컨대 인체의 운동면)으로 구분될 수 있다. 예를 들어, Coronal Plane(404)은 관상면으로, 인체를 앞이나 뒤에서 볼 때의 2차원 단면일 수 있다. 또한, Sagittal Plane(402)은 시상면으로, 신체를 왼쪽이나 오른쪽에서 볼 때의 2차원 단면일 수 있다. 또한, Transverse Plane(406)은 횡평면으로, 신체를 위 또는 아래에서 볼 때의 2차원 단면일 수 있다.According to one embodiment, the human body can be divided into three planes (eg, movement planes of the human body). For example, Coronal Plane 404 is a coronal plane, which may be a two-dimensional cross section of the human body when viewed from the front or back. Additionally, the Sagittal Plane 402 is the sagittal plane, which may be a two-dimensional cross-section of the body when viewed from the left or right. Additionally, the transverse plane 406 is a transverse plane and may be a two-dimensional cross-section of the body when viewed from above or below.

전자 장치(1000)는 인체의 3가지 평면에 대한 관절 정보 내지 링크 정보들을 결정할 수 있다.The electronic device 1000 can determine joint information or link information for three planes of the human body.

도 4는 일 실시 예에 따른 휴먼 모델 전신의 관절-링크 모델을 설명하기 위한 구성도이다.Figure 4 is a configuration diagram for explaining a joint-link model of the entire body of a human model according to an embodiment.

도 4는 휴먼 모델이 서 있을 때의 상체와 하체를 링크와 관절들로 표현한 것으로 각 링크 좌표계들은 DH법의 파라미터 규정방식을 따른다.Figure 4 represents the upper and lower body of the human model when it is standing with links and joints, and each link coordinate system follows the parameter definition method of the DH method.

기준좌표계(reference coordinate frame)인 좌표계는 골반 중심점에 위치하고, 세계좌표계(world coordinate frame)인 좌표계는 통상적인 방식대로 축은 로봇의 앞쪽 방향을, 축은 로봇의 왼쪽을 향하는 측면 방향을, 축은 위쪽을 향하는 방향으로 설정될 수 있다. 세계좌표계는 대상인을 촬영하는 카메라의 상대적인 각도에 의해 결정된다.A reference coordinate frame The coordinate system is located at the center of the pelvis and is a world coordinate frame. The coordinate system is set in the usual way. The axis is the front direction of the robot, The axis points laterally toward the left side of the robot. The axis can be set in an upward direction. The world coordinate system is determined by the relative angle of the camera capturing the subject.

도 4에서 휴먼 모델의 하체는 2개의 발바닥면과 6개의 좌우대칭 링크()와 골반 링크()로 구성되어 있으며, 관절면에서는 6개의 시상면 관절(), 4개의 관상면 관절(), 2개의 횡평면 관절()로 구성되어 있음을 알 수 있다.In Figure 4, the lower body of the human model has two plantar surfaces and six symmetrical links ( ) and pelvic link ( ), and on the articular surface, there are six sagittal joints ( ), four coronal joints ( ), two transverse plane joints ( ) It can be seen that it is composed of.

도 4에서 휴먼 모델의 상체는 4개의 좌우대칭 링크()와 허리 링크(), 어깨 링크(), 몸통 링크(), 목 링크(), 머리()로 구성되어 있으며, 관절면에서는 6개의 시상면 관절(), 3개의 관상면 관절(), 4개의 횡평면(transversal plane) 관절()로 구성되어 있다.In Figure 4, the upper body of the human model has four symmetrical links ( ) and waist link ( ), shoulder link ( ), body link ( ), neck link ( ), head( ), and on the articular surface, there are six sagittal joints ( ), three coronal joints ( ), four transversal plane joints ( ) is composed of.

이 중에서 요추 부위에는 의 세 관절이 있어서 상체의 동작을 3자유도로 모두 표현할 수 있다.Among these, the lumbar region Because there are three joints, the movements of the upper body can be expressed in all three degrees of freedom.

이제 도 2 내지 4를 참조하여 하체의 골반 중심점에 위치해 있는 기준좌표계 에서 하체 링크상의 임의의 점을 측정할 때의 좌표를 계산하는 과정을 설명한다.Now, referring to Figures 2 to 4, the reference coordinate system located at the center point of the pelvis of the lower body The process of calculating coordinates when measuring an arbitrary point on the lower body link is explained.

이를 위해 골반 중심점에 있는 좌표계를 축의 반대방향으로 만큼 이동해서 왼쪽 고관절의 횡평면 관절각 좌표계로 이동해야 하는데, 아래 식으로 표현할 수 있다. For this purpose, at the center of the pelvis coordinate system in the opposite direction of the axis It must be moved to the transverse plane joint angle coordinate system of the left hip joint, which can be expressed in the equation below.

먼저, 왼쪽 고관절에서 횡평면 관절인 회전에 의해 변환된 좌표계 상의 한 점 을 좌표계에서 보았을 때의 확장벡터 은 수학식 1의 DH행렬 를 이용하여 다음과 같이 표현할 수 있다.First, the transverse plane joint in the left hip joint transformed by rotation a point in a coordinate system second Expansion vector when viewed from the coordinate system is the DH matrix of Equation 1 It can be expressed as follows using .

상기 수학식 3의 벡터에서 위첨자 0은 기준좌표계가 0번째() 좌표계이고 아래첨자 1은 대상 좌표계가 첫 번째() 좌표계라는 의미를 갖는다. In Equation 3 above, In vectors, the superscript 0 indicates that the reference coordinate system is the 0th ( ) coordinate system, and the subscript 1 indicates that the target coordinate system is the first ( ) means a coordinate system.

은 DH변환행렬로서, 도 2를 참조하면 네 개의 DH 파라미터는, , , 의 관계가 있음을 알 수 있다. 여기서 주의할 점은 고관절 횡평면 회전각 은 Vicon의 기준각에 따라 내회전(internal rotation)을 양의 방향으로, 외회전(external rotation)을 음의 방향으로 정의했다. 식에서 는 복합변환행렬을 의미한다. is the DH conversion matrix. Referring to Figure 2, the four DH parameters are , , , It can be seen that there is a relationship. The point to note here is the hip joint transverse plane rotation angle. defined internal rotation as a positive direction and external rotation as a negative direction according to the reference angle of the Vicon. In Eq. means a complex transformation matrix.

그 다음, 왼쪽 고관절에서 관상면 관절인 회전에 의해 변환된 좌표계 상의 한 점 를 좌표계에서 보았을 때의 확장벡터 는 DH변환행렬과 후행승산(post-multiply) 규칙을 이용하여 다음의 수학식 4로 표현할 수 있다.Next, in the left hip joint, the coronal joint transformed by rotation a point in a coordinate system cast Expansion vector when viewed from the coordinate system Can be expressed in Equation 4 below using the DH transformation matrix and the post-multiply rule.

상기 수학식 4에서 의 네 개 DH 파라미터는 , , , 의 관계가 있음을 알 수 있다.In Equation 4 above, The four DH parameters of , , , It can be seen that there is a relationship.

여기서 주의할 점은 고관절 관상면 회전각 은 Vicon의 기준각에 따라 내전(adduction)을 양의 방향, 외전(abduction)을 음의 방향으로 정의했다. The point to note here is the hip joint coronal rotation angle. defined adduction as positive direction and abduction as negative direction according to Vicon's reference angle.

이제 왼쪽 허벅지 링크에 위치한 좌표계 상의 한 점 , 왼쪽 정강이 링크에 위치한 좌표계 상의 한 점 , 왼쪽 발목에 위치한 좌표계 상의 한 점 를 좌표계에서 보았을 때의 확장벡터 를 다음과 같은 관계식으로 표현할 수 있다.Now located on the left thigh link. a point in a coordinate system , located on the left shank link. a point in a coordinate system , located on the left ankle a point in a coordinate system cast Expansion vector when viewed from the coordinate system can be expressed with the following relational expression:

상기 수학식 5 내지 7에서, 의 DH 파라미터는 , , , 이고, 의 DH 파라미터는 , , , 이고, 의 DH 파라미터는 , , , 임을 알 수 있다. In Equations 5 to 7 above, The DH parameters of , , , ego, The DH parameters of , , , ego, The DH parameters of , , , You can see that it is.

여기서 주의할 점은 시상면 관절 회전각 의 부호는 다리를 들어올리는 방향을 굴곡(flexion)이라고 하고 양의 방향으로 간주하며, 다리를 내리는 방향을 신전(extension)이라고 하고 음의 방향으로 간주한다.What to note here is the sagittal plane joint rotation angle. The sign of the direction of raising the leg is called flexion and is considered a positive direction, and the direction of lowering the leg is called extension and is considered a negative direction.

그림에서 은 오른손 법칙에 의한 양의 회전방향과 일치하지만, 은 이와는 반대방향이므로 음의 부호가 붙어있다.In the picture coincides with the positive rotation direction according to the right-hand rule, Since is the opposite direction, it has a negative sign.

그 다음으로 왼쪽 발바닥에 위치한 좌표계 상의 한 점 를 좌표계에서 보았을 때의 확장벡터 는 다음 관계식으로 표현된다.Next, located on the sole of the left foot a point in a coordinate system cast Expansion vector when viewed from the coordinate system is expressed by the following relational expression:

상기 수학식 8에서 에 대한 네 개의 DH 파라미터는 , , , 이다.In Equation 8 above, The four DH parameters for , , , am.

이제 하체의 오른쪽 고관절에 위치한 좌표계 상의 한 점 을 좌표계에서 보았을 때의 확장벡터 를 계산하기 위해 도 4를 참조하면, 골반 중심점에 있는 좌표계를 축 방향으로 만큼 이동해서 왼쪽 고관절의 횡평면 관절각 좌표계로 이동해야 하는데, 아래 식으로 표현할 수 있다. Now located at the right hip joint of the lower body. a point in a coordinate system second Expansion vector when viewed from the coordinate system Referring to Figure 4 to calculate , at the center of the pelvis coordinate system axially It must be moved to the transverse plane joint angle coordinate system of the left hip joint, which can be expressed in the equation below.

그리고 DH 행렬 에 , , , 파라미터를 입력하여 다음과 같이 표현할 수 있다. and DH matrix to , , , By entering parameters, it can be expressed as follows.

그 다음, 오른쪽 고관절에서 관상면 관절인 회전에 의해 변환된 좌표계 상의 한 점 을 좌표계에서 보았을 때의 확장벡터 는 DH변환행렬과 후행승산 규칙을 이용하여 다음과 같이 표현할 수 있다.Next, in the right hip joint, the coronal joint transformed by rotation a point in a coordinate system second Expansion vector when viewed from the coordinate system can be expressed as follows using the DH transformation matrix and the post-multiplication rule.

상기 수학식 11에서 의 DH 파라미터는 , , , 의 관계가 성립함을 알 수 있다.In Equation 11 above, The DH parameters of , , , It can be seen that the relationship is established.

이제 오른쪽 허벅지 링크에 위치한 좌표계 상의 한 점 , 오른쪽 정강이 링크에 위치한 좌표계 상의 한 점 , 오른쪽 발목에 위치한 좌표계 상의 한 점 를 좌표계에서 보았을 때의 확장벡터 를 다음과 같은 관계식으로 표현할 수 있다.Now located at the right thigh link. a point in a coordinate system , located on the right shin link. a point in a coordinate system , located on the right ankle a point in a coordinate system cast Expansion vector when viewed from the coordinate system can be expressed with the following relational expression:

상기 수학식 12 내지 14에서 의 DH 파라미터는 , , , 이고, 의 DH 파라미터는 , , , 이고, 의 DH 파라미터는 , , , 임을 알 수 있다. 그 다음으로, 오른쪽 발바닥에 위치한 ?逞쪄Ⅰ? 상의 한 점 을 좌표계에서 보았을 때의 확장벡터 는 다음 관계식으로 표현된다.In Equations 12 to 14 above, The DH parameters of , , , ego, The DH parameters of , , , ego, The DH parameters of , , , You can see that it is. Next, located on the sole of the right foot ?逞JjiⅠ? a piece of clothing second Expansion vector when viewed from the coordinate system is expressed by the following relational expression:

상기 수학식 15에서 에 대한 네 개의 DH 파라미터는 , , , 이다.In Equation 15 above, The four DH parameters for , , , am.

하기 표 1에 따라 모든 링크 좌표계의 DH 행렬의 파라미터를 나타낼 수 있다The parameters of the DH matrix of all link coordinate systems can be expressed according to Table 1 below.

상기 표1은 상술한 수학식 1 내지 15에 따라 결정된 서있는 휴머노이즈 로봇 모델 하체의 링크 좌표계의 DH 변환 행렬을 나타낸다.Table 1 above shows the DH transformation matrix of the link coordinate system of the lower body of the standing human noise robot model determined according to Equations 1 to 15 described above.

도 4에서 상체의 3자유도 회전을 담당하는 요추 부분은 구로 표현했는데, 인간의 3자유도 상체 움직임을 완전하게 표현하기 위해 상체의 시상면 관절각 , 관상면 관절각 , 횡평면 관절각 의 좌표계 회전변환이 발생한다.In Figure 4, the lumbar part responsible for the 3-degree-of-freedom rotation of the upper body is expressed as a sphere. In order to completely express the 3-degree-of-freedom upper body movement of the human body, the sagittal joint angle of the upper body , coronal joint angle , transverse plane joint angle A coordinate system rotation transformation occurs.

도 5는 이를 좀 더 자세하게 표현한 것이다. 세 각도의 양의 방향은 Vicon의 정의를 따라 앞으로 숙일 때(Forward tilt) , 왼쪽으로 기울어질 때(Left tilt) , 왼쪽으로 회전할 때(Left rotation) 으로 정의했다.Figure 5 expresses this in more detail. The positive direction of the three angles is when leaning forward according to the Vicon definition. , When tilting to the left , When rotating to the left (Left rotation) defined as

도 5는 일 실시 예에 따른 인간의 상체 움직임을 완전하게 표현하기 위해 골반 중심점과 몸통 간의 시상면, 관상면, 횡평면 관절각의 DH법 기반 관계를 설명하기 위한 구성도이다.Figure 5 is a configuration diagram for explaining the DH method-based relationship of sagittal, coronal, and transverse plane joint angles between the pelvic center point and the torso to completely express human upper body movements according to an embodiment.

도 5에서 요추에 있는 좌표계 는 하체의 골반 중심부에 위치한 좌표계로부터 다음의 좌표계 변환행렬을 통해 생성된다. 식에서 는 고관절 중심부와 요추 간 허리 거리이다.Coordinate system at the lumbar spine in Figure 5 Located in the center of the pelvis of the lower body It is created from the coordinate system through the following coordinate system transformation matrix. In Eq. is the waist distance between the center of the hip joint and the lumbar spine.

그 다음으로 시상면 상체관절각 의 회전으로 생성된 골반중심 좌표계 는 ?些쪄Ⅰ瓦【? DH 변환 파라미터를 , , , 로 설정하고 DH 변환을 한 결과로 표현된다. Next, sagittal plane upper body joint angles Pelvis-centered coordinate system created by rotation of Is ?些JjiⅠ瓦【? DH conversion parameters , , , It is set to and expressed as the result of DH conversion.

그리고 관상면 상체관절각 의 회전으로 생성된 골반중심 좌표계 는 좌표계에서 DH 변환 파라미터를 , , , 로 설정하고 DH 변환을 한 결과로 표현된다. and coronal plane upper body joint angles Pelvis-centered coordinate system created by rotation of Is DH transformation parameters in coordinate system , , , It is set to and expressed as the result of DH conversion.

그 다음으로 횡평면 상체관절각 의 회전으로 생성된 와 의 좌표계 관계를 보면 좌표계와 좌표계 관계처럼 DH법을 적용할 수 없으므로 DH법을 적용하기 위해 다음 식과 같은 방식의 복합변환행렬을 통해 좌표계를 생성한다. Next, the transverse plane upper body joint angle created by the rotation of and Looking at the coordinate system relationship of coordinate system and Since the DH method cannot be applied like the coordinate system relationship, in order to apply the DH method, a complex transformation matrix as shown in the following equation is used. Create a coordinate system.

그 다음에 좌표계와 좌표계 간에는 , , , 의 DH변환 관계가 성립한다. Then coordinate system and Between coordinate systems , , , The DH conversion relationship is established.

지금까지의 변환관계가 순차적으로 이루어진 것이므로 후행승산에 의하면 다음의 식으로 골반중심점에서 발생한 전체 회전변환을 표현할 수 있다. Since the transformation relationship so far has been accomplished sequentially, the entire rotation transformation that occurred at the pelvic center point can be expressed by the following equation according to the posterior multiplication.

상체의 왼쪽 관상면 중심에 위치한 좌표계는 요추에 있는 좌표계를 도 5의 축을 중심으로 만큼 회전시켜 축을 얻고, 축을 따라 만큼 이동시키고, 축을 따라 (:어깨 링크)만큼 반대방향으로 이동시킨 후, 축을 중심으로 축을 만큼 회전시켜서 축을 구할 수 있다.Located in the center of the left coronal plane of the upper body The coordinate system is at the lumbar spine. The coordinate system in Figure 5 around the axis Rotate it as much as get the axis, along the axis Move it as much as along the axis ( :Shoulder link) in the opposite direction, around the axis axis By rotating it as much as The axis can be obtained.

이 과정을 DH변환 행렬로 표현하면 가 된다. If this process is expressed as a DH conversion matrix, It becomes.

이 행렬을 수학식 18에 후행승산해서 의 완전한 식을 표현하면 다음과 같이 한 줄의 수식으로 표현된다.By post-multiplying this matrix by Equation 18, The complete expression is expressed as a one-line formula as follows.

상체의 왼쪽 관상면 어깨관절에 위치한 좌표계 상의 한 점 를 좌표계에서 보았을 때의 확장벡터 는 DH행렬을 이용하여 다음과 같이 표현할 수 있다.Located in the left coronal shoulder joint of the upper body a point in a coordinate system cast Expansion vector when viewed from the coordinate system can be expressed as follows using the DH matrix.

상체의 왼쪽 시상면 어깨 관절에 위치한 좌표계는 축을 중심으로 축을 만큼 회전시켜서 축을 얻고, ?矛敾? 중심으로 축을 만큼 회전시켜 축을 얻는다. 이를 DH행렬 의 파라미터로 표현하면 , , , 이며 수식으로 표현하면 다음과 같다.Located at the shoulder joint in the left sagittal plane of the upper body The coordinate system is around the axis axis By rotating it as much as get the axis, ?矛敾? to the center axis Rotate it as much as get the axis This is the DH matrix If expressed as a parameter of , , , And expressed in a formula, it is as follows:

그 다음으로 왼쪽 위팔 링크에 위치한 좌표계 상의 한 점 과 왼쪽 아래팔에 위치한 좌표계 상의 한 점 을 좌표계에서 보았을 때의 확장벡터 와 은 다음 수학식에 따른 관계식으로 표현된다.Next, located on the left upper arm link a point in a coordinate system and located on the left forearm a point in a coordinate system second Expansion vector when viewed from the coordinate system and is expressed as a relational expression according to the following equation.

상기 수학식 22 내지 23에서 에 대한 네 개의 DH 파라미터는 앞에서 설명한 회전각 부호설정 원리에 의해 , , , 이고, 에 대한 네 개의 DH 파라미터는 , , , 이다.In Equations 22 to 23 above, The four DH parameters for are determined by the rotation angle sign setting principle described previously. , , , ego, The four DH parameters for , , , am.

상체의 오른쪽 관상면 어깨관절에 위치한 좌표계는 좌표계를 축을 따라 만큼 이동하여 얻은 것이므로, 의 DH 파라미터는 , , , 이 되고 좌표계 상의 한 점 을 좌표계에서 보았을 때의 확장벡터 는 DH행렬을 이용하여 하기 수학식 24로 표현될 수 있다.Located in the right coronal shoulder joint of the upper body The coordinate system is coordinate system along the axis Because it was obtained by moving as much as The DH parameters of , , , Become this a point in a coordinate system second Expansion vector when viewed from the coordinate system Can be expressed as Equation 24 below using the DH matrix.

상체의 오른쪽 시상면 어깨 관절에 위치한 좌표계는 축을 중심으로 축을 만큼 회전시켜서 축을 얻고, ?吩敾? 중심으로 축을 만큼 회전시켜 축을 얻는다. 이를 DH행렬 의 파라미터로 표현하면 , , , 이며 수식으로 표현하면 다음과 같다.Located at the shoulder joint in the right sagittal plane of the upper body The coordinate system is around the axis axis By rotating it as much as get the axis, ?吩敾? to the center axis Rotate it as much as get the axis This is the DH matrix If expressed as a parameter of , , , And expressed in a formula, it is as follows:

그 다음으로 오른쪽 위팔 링크에 위치한 좌표계 상의 한 점 과 오른쪽 아래팔에 위치한 좌표계 상의 한 점 을 좌표계에서 보았을 때의 확장벡터 과 은 다음 관계식으로 표현된다.Next, located on the right upper arm link a point in a coordinate system and located on the right forearm a point in a coordinate system second Expansion vector when viewed from the coordinate system class is expressed by the following relational expression:

상기 수학식 26 내지 27에서 에 대한 네 개의 DH 파라미터는 , , , 이고, 에 대한 네 개의 DH 파라미터는 , , , 이다.In Equations 26 to 27 above, The four DH parameters for , , , ego, The four DH parameters for , , , am.

도 4에서 머리와 목에 위치한 관절들의 좌표계를 구하기 위해 각 좌표계 변환관계를 설명하면 다음과 같다.In FIG. 4, the coordinate system transformation relationship for obtaining the coordinate system of the joints located in the head and neck is explained as follows.

목에 위치한 좌표계는 좌표계를 축을 따라 만큼 이동하고, 새로운 ?零敾? 중심으로 축을 만큼 회전하여 축을 얻으므로, 의 DH 파라미터는 , , , 가 된다. 확장벡터 는 DH행렬을 이용하여 다음과 같이 표현할 수 있다.located in the neck The coordinate system is coordinate system along the axis As far as moving, new ?零敾? to the center axis Rotate as much as Since we get the axis, The DH parameters of , , , It becomes. extended vector can be expressed as follows using the DH matrix.

목의 횡평면 관절각 의 회전에 의해 변환되는 좌표계는 축을 중심으로 축을 만큼 회전하고, 축을 따라서 만큼 이동하고, 축을 중심으로 축을 만큼 회전하여 축을 얻게 되므로 의 DH 파라미터는 , , , 가 되고 다음과 같이 표현된다.Transverse plane joint angle of the neck converted by rotation of The coordinate system is around the axis axis Rotate as much as along the axis Move as much as around the axis axis Rotate as much as Because you get an axis The DH parameters of , , , and is expressed as follows:

머리의 시상면 관절각 의 회전에 의해 변환되는 좌표계는 축을 중심으로 축을 만큼 회전하여 축을 얻고, 축을 따라서 만큼 이동하여 얻게 되므로 의 DH 파라미터는 , , , 가 되고 다음과 같이 표현된다.Sagittal joint angles of the head converted by rotation of The coordinate system is around the axis axis Rotate as much as get the axis, along the axis Because you get it by moving as much as The DH parameters of , , , and is expressed as follows:

하기 표 2에서 상체의 모든 링크 좌표계의 DH 변환행렬을 정리했다.Table 2 below summarizes the DH transformation matrices of all link coordinate systems of the upper body.

지금까지는 링크 좌표계 상의 한 점이 갖는 좌표 를 왼쪽 고관절에 위치한 좌표계 기준으로 측정했을 때의 좌표 관계식을 구했는데, 이를 도 4 내지 도 6의 신체 중심점에 놓인 휴먼좌표계인 좌표계를 기준으로 측정한 좌표값으로 변환하기 위해서는 다음 식과 같이 좌표계 변환행렬을 추가적으로 곱해줘야 한다.So far, the coordinates of a point in the link coordinate system located in the left hip joint The coordinate equation when measured based on the coordinate system was obtained, which is the human coordinate system located at the body center point in Figures 4 to 6. In order to convert to coordinate values measured based on the coordinate system, the coordinate system conversion matrix must be additionally multiplied as shown in the following equation.

상기 수학식 31에서 는 좌표계의 각 축 단위벡터를, 는 좌표계의 각 축 단위벡터를 각각 나타낸다.In Equation 31 above, Is The unit vector of each axis of the coordinate system, Is It represents the unit vector of each axis of the coordinate system.

도 6은 골반 중심점에 있는 휴먼 좌표계와 세계 좌표계의 회전 관계를 표시하는 그림으로, 세계좌표계 에서 축을 중심으로 만큼 회전하고, 축을 중심으로 만큼 회전하고, 축을 중심으로 만큼 회전해서 로봇 좌표계 가 얻어진다고 하면, 세계좌표계에 대해 연속회전이 일어나는 것이므로 선행승산(premultiply)을 해서 다음의 식으로 표현할 수 있다.Figure 6 is a diagram showing the rotation relationship between the human coordinate system and the world coordinate system at the center point of the pelvis. at around the axis Rotate as much as around the axis Rotate as much as around the axis Rotate the robot coordinate system by If is obtained, since continuous rotation occurs with respect to the world coordinate system, it can be expressed in the following equation by premultiplying.

도 7은 일 실시 예에 따른 신경망 모델에서 인식한 관절 및 관절 사이를 연결하는 링크를 설명하기 위한 구성도이다.Figure 7 is a configuration diagram for explaining joints recognized by a neural network model and links connecting joints, according to an embodiment.

일 실시 예에 의하면, 전자 장치(1000)는 대상자를 촬영함으로써 획득한 이미지를 소정의 신경망 패키지(예컨대 MPP)에 입력함으로써 대상자의 각 주요 관절의 2차원 픽셀 좌표들을 획득할 수 있다. MPP는 인간의 관절과 얼굴, 발의 각 위치를 도 7에서 보는 것과 같이 0에서 32까지의 번호로 인식할 수 있다.According to one embodiment, the electronic device 1000 may obtain two-dimensional pixel coordinates of each major joint of the subject by inputting an image obtained by photographing the subject into a predetermined neural network package (eg, MPP). MPP can recognize each position of human joints, face, and feet as numbers from 0 to 32, as shown in Figure 7.

도 8은 일 실시 예에 따라 전자 장치가 대상자의 자세를 관절각 기반으로 인식하는 방법을 나타낸 플로우차트이다.Figure 8 is a flowchart showing a method by which an electronic device recognizes a subject's posture based on joint angles, according to an embodiment.

S210에서 로봇 장치(1000)는 초기화 작업으로서 대상자의 모델링에 필요한 신체 링크 길이 정보를 알고 있는지 확인한다. 이 신체 링크 길이는 도 4에 나타낸 휴먼 모델의 각 링크 길이에 해당되며, 최적화 알고리즘을 이용하여 MPP 등의 알고리즘을 통해 획득한 관절의 2차원 좌표에 3차원 모델의 관절좌표를 피팅(fitting)하는데 기본적으로 필요하다. 신체 링크 길이는 실제 길이를 기준으로 하는 것이므로 가장 정확하게는 골격인식 패키지의 랜드마크 위치에 마커를 붙이고 줄자를 이용하여 측정하는 것이 바람직하다.In S210, the robot device 1000 checks whether it knows the body link length information required for modeling the subject as an initialization task. This body link length corresponds to each link length of the human model shown in Figure 4, and an optimization algorithm is used to fit the joint coordinates of the 3D model to the 2D coordinates of the joints obtained through an algorithm such as MPP. It is basically necessary. Since the body link length is based on the actual length, it is most accurate to attach a marker to the landmark position of the skeletal recognition package and measure it using a tape measure.

S220에서는 만약 대상자의 링크 길이 정보가 없다면 대상자를 차려 자세로 해서 몇 초간 촬영 후 전체 프레임에 대해 골격인식 패키지로 인체 관절 좌표를 계산한 다음, 관절좌표간 거리를 계산하고 실제 길이로 보정함으로써 이를 각 링크 길이 정보로 등록한다. 실제 길이를 보정하는 방법으로는 대상자의 키를 이용하거나, 측정이 용이한 윗팔의 길이를 이용할 수 있다.In S220, if there is no link length information on the subject, the subject is put in a standing posture, the subject is photographed for a few seconds, and the coordinates of human joints are calculated using a skeletal recognition package for the entire frame. Then, the distance between the joint coordinates is calculated and corrected to the actual length for each frame. Register as link length information. To correct the actual length, you can use the subject's height or the length of the upper arm, which is easy to measure.

S230에서 로봇 장치(1000)는 대상자를 촬영함으로써 이미지를 획득한다. 일 실시 예에 의하면 로봇 장치(1000)는 로봇 장치와 연결된 외부 디바이스로부터 대상자를 포함하는 이미지를 획득할 수도 있다.In S230, the robot device 1000 acquires an image by photographing the subject. According to one embodiment, the robotic device 1000 may acquire an image including a subject from an external device connected to the robotic device.

S240에서 로봇 장치(1000)는 이미지로부터 해당 인체골격 각 관절의 2차원 픽셀 좌표를 생성할 수 있다. 보다 상세하게는, 로봇 장치(1000)는 획득된 이미지를 신경망 모델에 입력함으로써 신경망 모델로부터 인체 골격 정보를 획득할 수도 있다.In S240, the robot device 1000 may generate two-dimensional pixel coordinates of each joint of the corresponding human skeleton from the image. More specifically, the robotic device 1000 may obtain human skeleton information from the neural network model by inputting the acquired image into the neural network model.

일 실시 예에 의하면, 로봇 장치가 이용하는 신경망 모델은 심층 신경망(DNN:Deep Neural Network)을 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), RNN (Recurrent Neural Network),RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.According to one embodiment, the neural network model used by the robot device may include a deep neural network (DNN), for example, Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), and Restricted Boltzmann (RBM). Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network), or Deep Q-Networks, etc., but are not limited thereto.

또한, 일 실시 예에 의하면 로봇 장치(1000)가 이용하는 신경망 모델은 MPP 모델로서, 인체의 관절 및 링크에 대한 정보를 출력하는 신경망 모델일 수 있다. 본 개시에 따른 인체골격 정보는 이미지 내 대상자의 관절의 좌표 정보 및 상기 관절 사이를 연결하는 링크의 길이 정보를 포함할 수 있다.Additionally, according to one embodiment, the neural network model used by the robot device 1000 is an MPP model, which may be a neural network model that outputs information about joints and links of the human body. Human skeleton information according to the present disclosure may include coordinate information of the subject's joints in the image and length information of links connecting the joints.

S250에서, 로봇 장치(1000)는 상기 생성된 인체골격 주요 관절의 픽셀좌표와 휴먼 모델 내 해당 관절의 좌표 간 거리 오차가 최소화되도록 최적화 알고리즘을 실행한다.In S250, the robot device 1000 executes an optimization algorithm to minimize the distance error between the generated pixel coordinates of major joints of the human skeleton and the coordinates of the corresponding joints in the human model.

도 9는 일 실시 예에 따라 서서 팔을 든 자세를 MPP로 추출한 픽셀 좌표 기반 인체의 골격 모델(실선)과 본 특허에서 제시한 방법으로 인식한 관절각으로 구성한 휴먼 모델(점선)을 비교한 도면이다. 최적화의 결과로서 두 모델이 거의 일치함을 알 수 있다.Figure 9 is a diagram comparing a human skeletal model (solid line) based on pixel coordinates of a human body extracted by MPP for a standing arm-raising posture according to an embodiment and a human model (dotted line) composed of joint angles recognized by the method presented in this patent. am. As a result of optimization, it can be seen that the two models are almost identical.

MPP는 카메라 픽셀 영상에서 인간의 주요 관절과 얼굴, 발을 인식하여 픽셀 좌표값을 계산하므로 이 좌표를 기반으로 인체를 2차원에서 표시하면 상하 반전된 자세가 나온다. MPP 모델을 도 9와 같이 표시하기 위해 골반 중심점을 기준으로 픽셀의 값 좌표를 반전하고 골반 중심점이 2차원 좌표계 원점으로 오게 해야 한다.MPP calculates pixel coordinates by recognizing the main joints, face, and feet of the human in the camera pixel image, so when the human body is displayed in two dimensions based on these coordinates, the posture is upside down and reversed. To display the MPP model as shown in Figure 9, pixels are divided based on the pelvic center point. The value coordinates must be inverted and the pelvic center point should be at the origin of the two-dimensional coordinate system.

도 10은 도 9에서 2차원으로 비교된 휴먼 모델을 도 4의 3차원 링크-관절 모델로 나타낸 것을 보인다.Figure 10 shows the human model compared in two dimensions in Figure 9 expressed as a three-dimensional link-joint model in Figure 4.

도 11은 엎드린 자세에 대해 MPP로 추출한 2차원 골격 모델과 본 특허의 휴먼 모델로 근사화한 모델을 비교한 것을 나타낸다.Figure 11 shows a comparison between the two-dimensional skeletal model extracted by MPP for the prone position and the model approximated by the human model of this patent.

도 12는 도 11에서 2차원으로 비교된 휴먼 모델을 3차원 링크-관절 모델로 나타낸 것을 보인다.Figure 12 shows the human model compared in two dimensions in Figure 11 expressed as a three-dimensional link-joint model.

본 발명에서는 인간형 로봇의 엄밀한 3차원 모델을 기반으로 각 관절의 2차원 좌표와 MPP로 인식된 해당 관절의 픽셀 좌표간 거리 오차의 평균을 최소화해야 하기 때문에, 비용함수(cost function)의 미분 방정식 계산을 필요로 하지 않는 연산적 최적화 기법(computational optimization method)을 사용해야 한다. 본 발명에서 사용되는 연산적 최적화 기법으로는 Simulated Annealing, 유전 알고리듬, Particle Swarm Optimization, Dynamic Encoding Algorithm for Searches 등이 있다.In the present invention, based on a strict three-dimensional model of a humanoid robot, the average of the distance error between the two-dimensional coordinates of each joint and the pixel coordinates of the corresponding joint recognized as MPP must be minimized, so the differential equation of the cost function is calculated. A computational optimization method that does not require should be used. The computational optimization techniques used in the present invention include Simulated Annealing, genetic algorithm, Particle Swarm Optimization, and Dynamic Encoding Algorithm for Searches.

본 발명에서는 아래의 단계를 거쳐 영상으로부터 추출된 골격모델에 가장 가까운 3차원 자세를 만들어내는 관절의 각도값을 계산한다.In the present invention, the angle value of the joint that creates the 3D posture closest to the skeletal model extracted from the image is calculated through the following steps.

첫째, 최적변수를 설정하고 각 최적변수의 탐색 범위를 정한다. 일 례로 3차원 자세 인식에 기본적으로 필요한 최적변수를 다음과 같이 설정할 수 있다.First, set the optimal variables and determine the search range for each optimal variable. For example, the optimal variables fundamentally needed for 3D posture recognition can be set as follows.

상기 수학식 33에서 는 휴먼 모델의 scale factor로서, MPP로 추출된 골격모델의 크기에 맞추기 위해 휴먼 모델의 전신 링크 길이에 곱해주는 값이다. 식에서 는 시상면 관절각, 는 관상면 관절각, 는 횡평면 관절각을 의미하며 상세한 정의는 앞에서 설명되었다.In Equation 33 above, is the scale factor of the human model, which is a value multiplied by the full-body link length of the human model to match the size of the skeletal model extracted with MPP. In Eq. is the sagittal joint angle, is the coronal joint angle, refers to the transverse plane joint angle, and the detailed definition was explained previously.

그리고 정확한 관절 좌표값 비교를 위해 두 좌표계의 원점을 골반 중심점으로 이동해야 한다.And to accurately compare joint coordinate values, the origin of the two coordinate systems must be moved to the center point of the pelvis.

둘째, 최적화 기법이 최소화하는 비용함수로서 MPP로 추출한 2차원 모델의 주요 관절좌표와 3차원 휴먼 모델의 2차원 주요 관절좌표의 거리 오차의 합을 다음 식으로 계산한다.Second, as a cost function that the optimization technique minimizes, the sum of the distance errors of the main joint coordinates of the 2D model extracted with MPP and the 2D main joint coordinates of the 3D human model is calculated using the following equation.

상기 수학식 34에서 는 비교할 관절의 개수, 는 두 관절좌표 간의 거리, 는 MPP가 추출한 관절의 픽셀좌표를, 는 도 4의 휴먼 모델 좌표계인 상에서 (왼쪽/오른쪽) 부분의 번째 위치의 관절의 평면(관상면) 좌표를 의미한다.In equation 34 above, is the number of joints to compare, is the distance between two joint coordinates, is the pixel coordinates of the joint extracted by MPP, is the human model coordinate system of FIG. 4 at the table (left/right) part of the joint in the second position It means plane (coronal plane) coordinates.

휴먼 모델의 정면을 기준으로 카메라의 촬영각이 이면 도 6에서 인체 중심점의 축 방향인 가 카메라 관련 세계좌표계의 축 방향인 로부터 만큼 상대적으로 회전한다.The camera's shooting angle is based on the front of the human model. In this case, the center point of the human body in Figure 6 axial The world coordinate system related to the camera is axial from rotates relative to that amount.

이 때 각 관절의 관상면 좌표인 가 카메라에서 추출된 픽셀좌표인 에 매칭이 되므로 최적화 알고리즘으로 정확한 관절각을 계산한다면 두 관절의 좌표간 거리는 0에 가까워질 것이다.At this time, the coronal coordinates of each joint are is the pixel coordinates extracted from the camera. Since it matches, if the exact joint angle is calculated using the optimization algorithm, the distance between the coordinates of the two joints will be close to 0.

셋째, 최적화 알고리즘이 현재 탐색한 전신 관절각과 자세를 조사해서 각도가 정상적인 범위를 벗어났는지 여부와 자세의 좌우 균형, 손과 발의 접지 여부 등을 조사해서 비정상적인 값일수록 큰 벌칙함수(penalty function) 값을 비용함수에 더함으로써 그런 자세를 피하게 한다. 이 벌칙함수를 라고 하면 전체 비용함수는 다음과 같이 표현된다.Third, the optimization algorithm investigates the body joint angles and postures currently explored and examines whether the angles are outside the normal range, the left-right balance of the posture, whether the hands and feet are grounded, etc., and sets a larger penalty function value for abnormal values. By adding it to the cost function, we avoid that posture. This penalty function The entire cost function is expressed as follows.

도 9의 S260에서, 로봇 장치(1000)는 S250에서 결정된 관절 정보에 기초하여 대상자의 자세 시뮬레이션을 통해 상기 대상자의 자세의 타입과 상태를 식별할 수 있다. 예를 들어, 로봇 장치(1000)는 대상자의 신체 골격에 대응되는 로봇 모델 내 각 관절에 대한 정보를 결정하고, 결정된 관절 정보를 휴먼 모델을 이용하여 시뮬레이션함으로써 대상자의 자세(누워있기, 앉아있기 등)나 동작 유형(체조, 신체 작업, 보행 등)을 식별할 수 있다.In S260 of FIG. 9 , the robotic device 1000 may identify the type and state of the subject's posture through simulation of the subject's posture based on the joint information determined in S250. For example, the robot device 1000 determines information about each joint in the robot model corresponding to the subject's body skeleton and simulates the determined joint information using a human model to determine the subject's posture (lying, sitting, etc.) ) or type of movement (gymnastics, physical work, walking, etc.).

S270에서는 자세나 모션 인식 종료 여부를 확인해서 계속 진행 중이면 S230으로 돌아가서 반복하게하며, 마지막 프레임이면 자세나 모션 인식을 종료한다.In S270, it is checked whether the posture or motion recognition has ended, and if it is still in progress, it returns to S230 and repeats. If it is the last frame, the posture or motion recognition ends.

도 13은 일 실시 예에 따른 전자 장치의 블록도이다.13 is a block diagram of an electronic device according to an embodiment.

도 14는 또 다른 실시 예에 따른 전자 장치의 블록도이다.Figure 14 is a block diagram of an electronic device according to another embodiment.

도 14에 도시된 바와 같이 일 실시 예에 따른 로봇 장치(1000)는 프로세서(1300), 네트워크 인터페이스(1500) 및 메모리(1700)를 포함할 수 있다.As shown in FIG. 14 , the robot device 1000 according to an embodiment may include a processor 1300, a network interface 1500, and a memory 1700.

그러나, 도시된 구성 요소가 모두 필수구성요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 로봇 장치(1000)가 구현될 수도 있고, 그 보다 적은 구성 요소에 의해서도 로봇 장치(1000)는 구현될 수 있다.However, not all of the illustrated components are essential components. The robotic device 1000 may be implemented with more components than the illustrated components, or the robotic device 1000 may be implemented with fewer components.

예를 들어, 도 14에 도시된 바와 같이 로봇 장치(1000)는 프로세서(1300), 네트워크 인터페이스(1500) 및 메모리(1700)외에, 사용자 입력 인터페이스(1100), 출력부(1200), 센싱부(1400), 네트워크 인터페이스(1500) 및 A/V 입력부(1600)를 더 포함할 수도 있다.For example, as shown in FIG. 14, the robot device 1000 includes a processor 1300, a network interface 1500, and a memory 1700, as well as a user input interface 1100, an output unit 1200, and a sensing unit ( 1400), a network interface 1500, and an A/V input unit 1600 may be further included.

사용자 입력 인터페이스(1100)는, 사용자가 로봇 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력 인터페이스(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. 사용자 입력 인터페이스(1100)는 대상자로부터 로봇 장치를 제어하기 위한 키보드 입력, 음성 입력 기타 터치 입력 등을 획득할 수 있다.The user input interface 1100 refers to a means for a user to input data to control the robot device 1000. For example, the user input interface 1100 includes a key pad, a dome switch, and a touch pad (contact capacitive type, pressure resistive type, infrared detection type, surface ultrasonic conduction type, There may be a mathematical tension measurement method, a piezo effect method, etc.), a jog wheel, a jog switch, etc., but it is not limited to these. The user input interface 1100 can obtain keyboard input, voice input, and other touch inputs for controlling the robot device from the subject.

출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다. 예를 들어, 로봇 장치(1000)는 출력부(1200)를 이용하여 사용자 입력에 따른 컨텐츠를 출력할 수 있다.The output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit 1210, an audio output unit 1220, and a vibration motor 1230. there is. For example, the robot device 1000 may output content according to user input using the output unit 1200.

디스플레이부(1210)는 로봇 장치(1000)에서 처리되는 정보 내지 컨텐츠를 표시 출력하기 위한 화면을 포함한다. 또한, 화면은 영상을 디스플레이 할 수 있다. The display unit 1210 includes a screen for displaying and outputting information or content processed by the robot device 1000. Additionally, the screen can display images.

예를 들면, 디스플레이부(1210)는 로봇 장치(1000)가 인식한 대상 객체에 대한 정보, 사용자 음성 입력에 매칭되는 컨텐츠들을 표시할 수 있다.For example, the display unit 1210 may display information about the target object recognized by the robot device 1000 and content matching the user's voice input.

음향 출력부(1220)는 네트워크 인터페이스(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 사용자 음성 입력에 대한 음성 인식 결과에 따른 응답 오디오 데이터를 출력할 수도 있다. 또한, 음향 출력부(1220)는 전자 장치(2000)에서 수행되는 기능(예를 들어, 호신호 수신음,메시지 수신음, 알림음)과 관련된 음향 신호를 출력할 수도 있다.The audio output unit 1220 outputs audio data received from the network interface 1500 or stored in the memory 1700. Additionally, the audio output unit 1220 may output response audio data according to the voice recognition result for the user's voice input. Additionally, the sound output unit 1220 may output sound signals related to functions performed in the electronic device 2000 (eg, call signal reception sound, message reception sound, notification sound).

프로세서(1300)는 통상적으로 로봇 장치(1000)의 전반적인 동작을 제어한다. The processor 1300 typically controls the overall operation of the robot device 1000.

예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력 인터페이스(1100), 출력부(1200), 센싱부(1400), 네트워크 인터페이스(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다. 또한, 프로세서(1300)는 메모리(1700)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 11에 기재된 로봇 장치(1000)의 기능을 수행할 수 있다For example, the processor 1300 executes programs stored in the memory 1700, such as the user input interface 1100, the output unit 1200, the sensing unit 1400, the network interface 1500, and the A/V input unit. (1600) etc. can be controlled overall. Additionally, the processor 1300 may perform the functions of the robot device 1000 shown in FIGS. 1 to 11 by executing programs stored in the memory 1700.

일 실시 예에 의하면, 프로세서(1300)는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 로봇 장치와 연결된 카메라를 통하여 상기 대상자를 촬영함으로써 이미지를 획득하고, 상기 이미지로부터 획득된 인체골격 정보에 기초하여 미리 설정된 좌표계에 따른 휴먼 모델을 생성하고, 상기 최적화 알고리즘으로 영상에서 인식된 2차원 인체골격 정보와 최대한 일치하게 하는 휴먼 모델의 관절각을 탐색 및 검증하고, 상기 결정된 관절 정보에 기초하여 상기 대상자의 자세나 모션 종류를 식별할 수 있다.According to one embodiment, the processor 1300 acquires an image by executing the one or more instructions, photographing the subject through a camera connected to the robot device, and preset based on the human skeletal information obtained from the image. Create a human model according to the coordinate system, search and verify the joint angles of the human model that match the two-dimensional human skeleton information recognized in the image as much as possible using the optimization algorithm, and determine the subject's posture or posture based on the determined joint information. The type of motion can be identified.

일 실시 예에 의하면, 프로세서(1300)는 상기 획득된 이미지를 신경망 모델에 입력함으로써 상기 신경망 모델로부터 인체골격 정보를 획득할 수 있다.According to one embodiment, the processor 1300 may obtain human skeletal information from the neural network model by inputting the acquired image into the neural network model.

일 실시 예에 의하면, 적어도 하나의 프로세서는 인체의 골격 구조에 기초하여 배치되는 기 설정된 수의 관절 및 상기 관절 사이를 연결하는 링크를 포함하는 관절-링크 모델에 대하여 DH 변환행렬을 적용함으로써 왼쪽 고관절을 기준으로 하는 기준 좌표계에 따른 링크 좌표계를 생성하고, 상기 링크 좌표계에 좌표계 변환행렬을 추가적으로 적용함으로써 신체 중심점을 기준으로 하는 휴먼 모델 좌표계를 생성하고, 상기 카메라 촬영 각도에 기초하여 적응적으로 상기 휴먼 좌표계에 회전 변환행렬을 적용함으로써 세계 좌표계를 생성하고, 상기 카메라 촬영 각도에 기초하여 휴먼 좌표계 또는 세계 좌표계에 따른 상기 로봇 모델을 생성할 수 있다.According to one embodiment, at least one processor applies a DH transformation matrix to a joint-link model including a preset number of joints arranged based on the skeletal structure of the human body and links connecting the joints, thereby transforming the left hip joint. A link coordinate system is created according to a reference coordinate system based on , a human model coordinate system is created based on the body center point by additionally applying a coordinate system transformation matrix to the link coordinate system, and the human model coordinate system is adaptively based on the camera shooting angle. A world coordinate system can be created by applying a rotation transformation matrix to the coordinate system, and the robot model according to the human coordinate system or the world coordinate system can be generated based on the camera shooting angle.

센싱부(1400)는, 로봇 장치(1000)의 상태 또는 로봇 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다. 센싱부(1400)는 로봇 장치(1000)의 사양 정보, 로봇 장치(1000)의 상태 정보, 로봇 장치(1000)의 주변 환경 정보, 사용자의 상태 정보, 사용자의 위치 정보 등을 센싱하는데 이용될 수 있다.The sensing unit 1400 may detect the state of the robot device 1000 or the state around the robot device 1000 and transmit the sensed information to the processor 1300. The sensing unit 1400 can be used to sense specification information of the robot device 1000, status information of the robot device 1000, surrounding environment information of the robot device 1000, user status information, user location information, etc. there is.

센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.The sensing unit 1400 includes a geomagnetic sensor 1410, an acceleration sensor 1420, a temperature/humidity sensor 1430, an infrared sensor 1440, a gyroscope sensor 1450, and a position sensor. It may include at least one of (eg, GPS) 1460, an air pressure sensor 1470, a proximity sensor 1480, and an RGB sensor (illuminance sensor) 1490, but is not limited thereto. Since the function of each sensor can be intuitively deduced by a person skilled in the art from its name, detailed description will be omitted.

네트워크 인터페이스(1500)는 로봇 장치(1000)가 다른 장치(미도시) 내지 서버(2000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 로봇 장치(1000)와 데이터를 송수신할 수 있는 컴퓨팅 장치이거나 센싱 장치일 수 있으나, 이에 제한되지 않는다. 예를 들어, 네트워크 인터페이스(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.The network interface 1500 may include one or more components that allow the robot device 1000 to communicate with another device (not shown) or a server 2000. Other devices (not shown) may be computing devices or sensing devices capable of transmitting and receiving data to and from the robot device 1000, but are not limited thereto. For example, the network interface 1500 may include a short-range communication unit 1510, a mobile communication unit 1520, and a broadcast reception unit 1530.

근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.The short-range wireless communication unit 1510 includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, and an infrared ( It may include, but is not limited to, an IrDA (infrared Data Association) communication unit, a WFD (Wi-Fi Direct) communication unit, and a UWB (ultra wideband) communication unit.

이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit 1520 transmits and receives wireless signals with at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to voice call signals, video call signals, or text/multimedia message transmission and reception.

방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.The broadcast receiver 1530 receives broadcast signals and/or broadcast-related information from the outside through a broadcast channel.

방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 로봇 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.Broadcast channels may include satellite channels and terrestrial channels. Depending on the implementation example, the robot device 1000 may not include the broadcast receiver 1530.

A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 예를 들어, 카메라(1610)는 대상자를 촬영함으로써 대상자에 대한 이미지를 획득할 수 있다. 또한, 카메라(1610)는 대상자에 대한 이미지를 프레임에 따라 획득함으로써 동영상을 획득할 수도 있다. 카메라내 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.The A/V (Audio/Video) input unit 1600 is for inputting audio or video signals, and may include a camera 1610, a microphone 1620, etc. The camera 1610 can obtain image frames such as still images or videos through an image sensor in video call mode or shooting mode. For example, the camera 1610 may obtain an image of the subject by photographing the subject. Additionally, the camera 1610 may obtain a video by acquiring images of the subject according to the frame. Images captured through the image sensor within the camera may be processed through the processor 1300 or a separate image processor (not shown).

마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 사용자로부터 음향 신호 내지 음성 신호를 수신할 수 있다. 마이크로폰(1620)은 사용자의 음성 입력을 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다. The microphone 1620 receives external sound signals and processes them into electrical voice data. For example, the microphone 1620 may receive an audio signal or a voice signal from an external device or a user. The microphone 1620 can receive a user's voice input. The microphone 1620 can use various noise removal algorithms to remove noise generated in the process of receiving an external acoustic signal.

마이크로폰(1620)은 획득된 사용자 음성 신호를 프로세서(1300)로 전달한다. The microphone 1620 transmits the acquired user voice signal to the processor 1300.

프로세서(1300)는 소정의 신경망 모델 내지 음성 인식을 위한 모델을 이용하여 사용자 음성 신호를 분석함으로써 사용자의 음성을 식별할 수 있다.The processor 1300 may identify the user's voice by analyzing the user's voice signal using a predetermined neural network model or a model for voice recognition.

메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 로봇 장치(1000)로 입력되거나 전자 장치(2000)로부터 출력되는 데이터를 저장할 수도 있다. 또한, 메모리(1700)는 로봇 모델에 대한 정보, 로봇 모델 내 링크 또는 관절에 대한 정보, 신경망 모델에 대한 정보, 음성 인식 모델에 대한 정보 등을 저장할 수 있다. 또한, 메모리(1700)는 사용자 음성에 따라 표시될 수 있는 다양한 컨텐츠에 대한 정보를 더 포함할 수도 있다.The memory 1700 may store programs for processing and control of the processor 1300, and may also store data input to the robot device 1000 or output from the electronic device 2000. Additionally, the memory 1700 may store information about the robot model, information about links or joints within the robot model, information about the neural network model, information about the voice recognition model, etc. Additionally, the memory 1700 may further include information about various contents that can be displayed according to the user's voice.

일 실시 예에 의하면, 메모리(1700)에는 로봇 장치(1000)가 이용하는 적어도 하나의 인공 지능 모델에 대한 파라미터 정보를 더 저장할 수도 있다. 예를 들어, 메모리(1700)는 적어도 하나의 신경망 모델 내 레이어들, 노드들, 상기 레이어들의 연결 강도에 관한 가중치 값들을 저장할 수 있다. 또한, 로봇 장치(1000)는 인공 지능 모델을 학습시키기 위한 다양한 학습 데이터등을 더 저장할 수도 있다.According to one embodiment, the memory 1700 may further store parameter information about at least one artificial intelligence model used by the robot device 1000. For example, the memory 1700 may store layers, nodes, and weight values related to connection strengths of the layers within at least one neural network model. Additionally, the robot device 1000 may further store various learning data for training an artificial intelligence model.

메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory),EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 1700 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), or RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , and may include at least one type of storage medium among optical disks.

메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.Programs stored in the memory 1700 can be classified into a plurality of modules according to their functions, for example, a UI module 1710, a touch screen module 1720, a notification module 1730, etc. .

UI 모듈(1710)은, 애플리케이션 별로 로봇 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다.The UI module 1710 may provide specialized UI, GUI, etc. that are linked to the robot device 1000 for each application.

터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시 예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.The touch screen module 1720 may detect a user's touch gesture on the touch screen and transmit information about the touch gesture to the processor 1300. The touch screen module 1720 according to some embodiments can recognize and analyze touch codes. The touch screen module 1720 may be composed of separate hardware including a controller.

알림 모듈(1730)은 로봇 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 로봇 장치(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.The notification module 1730 may generate a signal to notify the occurrence of an event in the robot device 1000. Examples of events occurring in the robot device 1000 include receiving a call signal, receiving a message, inputting a key signal, and schedule notification. The notification module 1730 may output a notification signal in the form of a video signal through the display unit 1210, may output a notification signal in the form of an audio signal through the sound output unit 1220, and the vibration motor 1230 A notification signal can also be output in the form of a vibration signal.

일 실시예에 따른 대상자의 자세나 모션 종류를 식별하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.A method of identifying a subject's posture or type of motion according to an embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the present disclosure or may be known and usable by those skilled in the art of computer software.

또한, 상기 일 실시 예에 다른 방법을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 장치가 제공될 수 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Additionally, a computer program device including a recording medium storing a program for performing a method different from the above embodiment may be provided. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

이상에서 설명한 본 발명에 따른 대상자의 3차원 전신 자세를 식별하기 위한 장치 및 방법은 휴머노이드 로봇을 기반으로 구성한 휴먼 모델을 이용하여 강인한 자세 식별 성능을 갖도록 한 것이다.The apparatus and method for identifying the 3D whole body posture of a subject according to the present invention described above are designed to have robust posture identification performance by using a human model constructed based on a humanoid robot.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the specified embodiments should be considered from an illustrative rather than a limiting point of view, the scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope are intended to be included in the present invention. It will have to be interpreted.

1000. 전자장치
2000. 서버1000. Electronic devices
2000. Server

Claims (15)

전자 장치의 적어도 하나의 프로세서가,
로봇 장치와 연결된 카메라를 통하여 대상자의 이미지를 획득하기 위한 이미지 획득부;
획득된 상기 이미지로부터 인체골격 정보를 생성하는 인체골격 정보 생성부;
생성된 인체골격 주요 관절의 2차원 픽셀좌표와 정면 또는 측면에서 봤을 때의 휴먼 모델 내 해당 관절의 2차원 좌표간 거리 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 값, 전신 관절의 각도를 탐색하는 최적화 알고리즘을 실행하는 최적화부;
추정된 관절각 정보에 기초하여 상기 휴먼 모델 자세 시뮬레이션을 실행함으로써 상기 대상자의 자세 또는 모션 타입과 상태를 식별하는 식별부;를 포함하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.At least one processor of the electronic device,
An image acquisition unit for acquiring an image of a subject through a camera connected to the robot device;
a human skeleton information generator that generates human skeleton information from the acquired image;
The shooting angle of the camera, the distance value between the camera and the subject, and the angles of the joints of the entire body to minimize the distance error between the 2D pixel coordinates of the major joints of the generated human skeleton and the 2D coordinates of the corresponding joints in the human model when viewed from the front or side. an optimization unit that executes an optimization algorithm that searches for;
An identification unit that identifies the posture or motion type and state of the subject by executing the human model posture simulation based on the estimated joint angle information. An apparatus for identifying a three-dimensional whole body posture of a subject, comprising a. 대상자의 자세 또는 모션 타입과 상태를 식별하기 위한 전자 장치는,
네트워크 인터페이스;
하나 이상의 인스트럭션을 저장하는 메모리; 및
적어도 하나의 프로세서; 를 포함하는 로봇 장치이고,
상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 로봇 장치와 연결된 카메라를 통하여 상기 대상자를 촬영함으로써 이미지를 획득하고,
상기 생성된 인체골격 주요 관절의 2차원 픽셀좌표와, 정면 또는 측면에서 봤을 때의 휴먼 모델 내 해당 관절의 2차원 좌표간 거리 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 값, 해당 관절의 각도를 탐색하는 최적화 알고리즘을 실행하고,
상기 추정된 관절각 정보에 기초하여 상기 로봇 자세로부터 관절각의 각도를 분석함으로써 상기 대상자의 자세 또는 모션 타입과 상태를 식별하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.An electronic device for identifying the subject's posture or motion type and state,
network interface;
A memory that stores one or more instructions; and
at least one processor; It is a robotic device including,
The at least one processor executes the one or more instructions,
Obtaining an image by photographing the subject through a camera connected to the robot device,
The shooting angle of the camera, the distance value between the camera and the subject, and the corresponding joint so that the distance error between the generated two-dimensional pixel coordinates of the major joints of the human skeleton and the two-dimensional coordinates of the corresponding joint in the human model when viewed from the front or side is minimized. Run an optimization algorithm to search for the angle of
A device for identifying a three-dimensional whole body posture of a subject, characterized in that the posture or motion type and state of the subject are identified by analyzing the angle of the joint angle from the robot posture based on the estimated joint angle information. 제 1 항 또는 제 2 항에 있어서, 상기 적어도 하나의 프로세서는,
상기 획득된 이미지를 신경망 모델에 입력함으로써 상기 신경망 모델로부터 인체골격 정보를 획득하고,
상기 인체골격 정보는 상기 이미지 내 대상자의 관절의 좌표 정보 및 상기 관절 사이를 연결하는 링크의 길이 정보를 포함하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.The method of claim 1 or 2, wherein the at least one processor:
Obtaining human skeletal information from the neural network model by inputting the acquired image into the neural network model,
The human skeleton information is a device for identifying the subject's three-dimensional whole body posture, characterized in that it includes coordinate information of the subject's joints in the image and length information of links connecting the joints. 제 1 항 또는 제 2 항에 있어서, 휴먼 모델을 생성하기 위하여,
인체의 골격 구조에 기초하여 배치되는 기 설정된 수의 관절 및 상기 관절 사이를 연결하는 링크를 포함하는 관절-링크 모델에 대하여 DH 변환행렬을 적용함으로써 왼쪽 고관절을 기준으로 하는 기준 좌표계에 따른 링크 좌표계를 생성하고,
상기 링크 좌표계에 좌표계 변환행렬을 추가적으로 적용함으로써 신체 중심점에 위치한 휴먼 좌표계를 생성하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.The method of claim 1 or 2, wherein to generate a human model,
By applying the DH transformation matrix to a joint-link model including a preset number of joints arranged based on the skeletal structure of the human body and links connecting the joints, a link coordinate system according to a reference coordinate system based on the left hip joint is created. create,
A device for identifying a subject's three-dimensional whole body posture, characterized in that it generates a human coordinate system located at the body center point by additionally applying a coordinate system transformation matrix to the link coordinate system. 제 1 항 또는 제 2 항에 있어서, 전자 장치는,
이미지를 신경망 모델에 입력함으로써 인체골격 정보를 획득하고, 획득된 인체골격 정보에 기초하여, 대상자에 대한 카메라 촬영 각도, 관절 각도, 관절을 연결하는 링크의 길이에 대한 정보를 식별하고,
획득된 인체골격 정보에 기초하여 최적화 알고리즘으로 휴먼 모델의 관절 변수를 조정하여 최대한 근사화하고, 이를 토대로 대상자의 자세를 이루는 상지와 하지의 관절의 각도를 추정하여 자세 정보를 결정하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.The electronic device of claim 1 or 2,
Obtain human skeletal information by inputting the image into a neural network model, and based on the obtained human skeletal information, identify information about the camera angle of the subject, joint angle, and length of link connecting the joints,
Based on the acquired human skeletal information, the joint variables of the human model are adjusted using an optimization algorithm to approximate them as much as possible, and based on this, the angles of the joints of the upper and lower extremities that make up the subject's posture are estimated to determine posture information. A device for identifying 3D whole body posture. 제 1 항 또는 제 2 항에 있어서, 전자 장치는,
대상자의 자세 또는 모션 타입과 상태를 식별하기 위하여 외부 서버와 연동하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.The electronic device of claim 1 or 2,
A device for identifying a subject's three-dimensional whole body posture, characterized in that it links with an external server to identify the subject's posture or motion type and state. 제 1 항 또는 제 2 항에 있어서, 전자 장치는,
인체를 앞이나 뒤에서 볼 때의 2차원 단면인 관상면,
신체를 왼쪽이나 오른쪽에서 볼 때의 2차원 단면인 시상면,
신체를 위 또는 아래에서 볼 때의 2차원 단면인 횡평면의 인체의 3가지 평면에 대한 관절 정보 내지 링크 정보들을 결정하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 장치.The electronic device of claim 1 or 2,
Coronal plane, a two-dimensional cross-section of the human body when viewed from the front or back,
Sagittal plane, a two-dimensional cross-section of the body as seen from the left or right side;
A device for identifying a subject's three-dimensional whole body posture, characterized in that it determines joint information or link information for three planes of the human body in the transverse plane, which is a two-dimensional cross-section when the body is viewed from above or below. 전자 장치와 연결된 카메라를 통하여 대상자를 촬영함으로써 영상을 획득하는 단계;
획득된 상기 이미지로부터 인체골격 정보를 생성하는 단계;
상기 생성된 인체골격 주요 관절의 2차원 픽셀좌표와 정면 또는 측면에서 봤을 때의 휴먼 모델 내 해당 관절의 2차원 좌표 간 거리 오차가 최소화되도록 카메라의 촬영각도와 카메라와 대상자의 거리 관련 값, 해당 관절의 각도를 탐색하는 최적화 알고리즘 실행 단계; 및
상기 추정된 관절각 정보에 기초하여 로봇 자세 시뮬레이션을 실행함으로써 상기 대상자의 자세/모션 타입과 상태를 식별하는 단계;를 포함하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.Obtaining an image by photographing a subject through a camera connected to an electronic device;
Generating human skeletal information from the acquired image;
To minimize the distance error between the generated two-dimensional pixel coordinates of the major joints of the human skeleton and the two-dimensional coordinates of the corresponding joints in the human model when viewed from the front or side, the camera's shooting angle, the distance between the camera and the subject, and the corresponding joints An optimization algorithm execution step that searches for the angle of; and
Identifying the posture/motion type and state of the subject by executing a robot posture simulation based on the estimated joint angle information. A method for identifying a three-dimensional whole body posture of a subject, comprising: 제 8 항에 있어서, 휴먼 모델을 생성하기 위하여,
인체의 골격 구조에 기초하여 배치되는 기 설정된 수의 관절 및 상기 관절 사이를 연결하는 링크를 포함하는 관절-링크 모델에 대하여 DH 변환행렬을 적용함으로써 왼쪽 고관절을 기준으로 하는 기준 좌표계에 따른 링크 좌표계를 생성하고,
상기 링크 좌표계에 좌표계 변환행렬을 추가적으로 적용함으로써 신체 중심점에 위치한 휴먼 좌표계를 생성하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.The method of claim 8, wherein to create a human model,
By applying the DH transformation matrix to a joint-link model including a preset number of joints arranged based on the skeletal structure of the human body and links connecting the joints, a link coordinate system according to a reference coordinate system based on the left hip joint is created. create,
A method for identifying a subject's three-dimensional whole body posture, characterized by generating a human coordinate system located at the body center point by additionally applying a coordinate system transformation matrix to the link coordinate system. 제 8 항에 있어서, 전자 장치는,
이미지를 신경망 모델에 입력함으로써 인체골격 정보를 획득하고, 획득된 인체골격 정보에 기초하여, 대상자에 대한 카메라 촬영 각도, 관절 각도, 관절을 연결하는 링크의 길이에 대한 정보를 식별하고,
획득된 인체골격 정보에 기초하여 최적화 알고리즘으로 휴먼 모델의 관절 변수를 조정하여 최대한 근사화하고, 이를 토대로 대상자의 자세를 이루는 상지와 하지의 관절의 각도를 추정하여 자세 정보를 결정하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.The electronic device of claim 8,
Obtain human skeletal information by inputting the image into a neural network model, and based on the obtained human skeletal information, identify information about the camera angle of the subject, joint angle, and length of link connecting the joints,
Based on the acquired human skeletal information, the joint variables of the human model are adjusted using an optimization algorithm to approximate them as much as possible, and based on this, the angles of the joints of the upper and lower extremities that make up the subject's posture are estimated to determine posture information. A method for identifying 3D whole body posture. 제 8 항에 있어서, 전자 장치는,
인체를 앞이나 뒤에서 볼 때의 2차원 단면인 관상면,
신체를 왼쪽이나 오른쪽에서 볼 때의 2차원 단면인 시상면,
신체를 위 또는 아래에서 볼 때의 2차원 단면인 횡평면의 인체의 3가지 평면에 대한 관절 정보 내지 링크 정보들을 결정하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.The electronic device of claim 8,
Coronal plane, a two-dimensional cross-section of the human body when viewed from the front or back,
Sagittal plane, a two-dimensional cross-section of the body as seen from the left or right side;
A method for identifying a subject's three-dimensional whole body posture, characterized by determining joint information or link information for three planes of the human body in the transverse plane, which is a two-dimensional cross-section when the body is viewed from above or below. 제 8 항에 있어서, 휴먼 모델의 하체는 2개의 발바닥면과 6개의 좌우대칭 링크()와 골반 링크()로 구성되고, 관절면에서는 6개의 시상면 관절(), 4개의 관상면 관절(), 2개의 횡평면 관절()로 구성되는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.According to claim 8, the lower body of the human model has two plantar surfaces and six symmetrical links ( ) and pelvic link ( ), and on the articular surface there are six sagittal joints ( ), four coronal joints ( ), two transverse plane joints ( ) A method for identifying the subject's three-dimensional whole body posture, characterized in that it consists of: 제 8 항에 있어서, 휴먼 모델의 상체는 4개의 좌우대칭 링크()와 허리 링크(), 어깨 링크(), 몸통 링크(), 목 링크(), 머리()로 구성되어 있으며, 관절면에서는 6개의 시상면 관절(), 3개의 관상면 관절(), 4개의 횡평면(transversal plane) 관절()로 구성되고,
요추 부위에는 의 세 관절이 있어서 상체의 동작을 3자유도로 모두 표현하는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.According to claim 8, the upper body of the human model has four symmetrical links ( ) and waist link ( ), shoulder link ( ), body link ( ), neck link ( ), head( ), and on the articular surface, there are six sagittal joints ( ), three coronal joints ( ), four transversal plane joints ( ) consists of,
In the lumbar region A method for identifying a subject's three-dimensional whole body posture, characterized by having three joints to express the motion of the upper body in all three degrees of freedom. 제 13 항에 있어서, 인간의 3자유도 상체 움직임을 완전하게 표현하기 위해 상체의 시상면 관절각 , 관상면 관절각 , 횡평면 관절각 의 좌표계 회전변환이 발생하고,
세 각도의 양의 방향은 Vicon의 정의를 따라 앞으로 숙일 때(Forward tilt) , 왼쪽으로 기울어질 때(Left tilt) , 왼쪽으로 회전할 때(Left rotation) 으로 정의되는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 방법.The method of claim 13, wherein the sagittal joint angles of the upper body are used to completely express the three degrees of freedom of human upper body movements. , coronal joint angle , transverse plane joint angle A coordinate system rotation transformation occurs,
The positive direction of the three angles is when leaning forward according to the Vicon definition. , When tilting to the left , When rotating to the left (Left rotation) A method for identifying a subject's three-dimensional whole body posture, characterized in that it is defined as. 제 8항 내지 제14항 중 어느 하나의 항에 따른 대상자의 3차원 전신 자세를 식별하기 위한 방법을 수행하기 위한 프로그램이 저장되는 것을 특징으로 하는 대상자의 3차원 전신 자세를 식별하기 위한 프로그램 기록 매체.
A program recording medium for identifying a three-dimensional whole body posture of a subject, characterized in that a program for performing the method for identifying the three-dimensional whole body posture of a subject according to any one of claims 8 to 14 is stored. .