KR102314103B1

KR102314103B1 - 미용 교육 컨텐츠 생성 장치 및 그 방법

Info

Publication number: KR102314103B1
Application number: KR1020210060123A
Authority: KR
Inventors: 김은혜
Original assignee: (주)은혜컴퍼니
Priority date: 2021-05-10
Filing date: 2021-05-10
Publication date: 2021-10-18
Also published as: KR102667880B1; KR20220152908A

Abstract

본 발명은 미용 교육 컨텐츠 생성 장치 및 그 방법에 대한 것으로, 복수의 깊이 카메라를 이용하여 미용 행위를 수행하고 있는 적어도 하나의 사람의 움직임을 전방위로 촬영하여 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집하는 동작 정보 수집부; 상기 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성하고, 상기 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 상기 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성하는 행동 정보 생성부; 상기 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성하는 최종 행동 정보 생성부; 상기 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 상기 영상 데이터를 동작 영상 생성 모델에 입력하여 360도 회전이 가능한 사람의 움직임에 대한 3D 합성 영상 데이터를 생성하는 3D 영상 생성부; 상기 신체 부위별 동선, 이동 속도 및 이동 각도에 대한 정보를 분석하여 정보 제공 텍스트를 생성하고, 생성한 정보 제공 텍스트를 기반으로 생성한 대한 3D 합성 영상 데이터에 자막을 입혀 미용 콘텐츠를 생성하는 미용 콘텐츠 생성부를 포함할 수 있다.

Description

미용 교육 컨텐츠 생성 장치 및 그 방법{beauty educational content generating apparatus and method therefor}

본 발명은 미용 교육 컨텐츠를 생성하는 기술에 대한 것으로, 더욱 자세하게는 미용 전문가의 미용 동작을 복수의 깊이 카메라를 통해 촬영함으로써 촬영 데이터를 분석하여 360도 3D 영상으로 생성된 미용 교육 컨텐츠를 자동으로 생성하고, 미용 교육 컨텐츠는 행동이 선명하게 식별될 수 있도록 신체 부위를 연결해 사람의 형상으로 생성된 3D 영상에 신체 부위별 동선, 이동 속도 및 이동 각도에 대한 정보를 분석하여 생성한 정보 제공 텍스트를 자막으로 입혀 컨텐츠를 시청하는 사용자들에게 복잡한 동작으로 이루어진 미용 동작을 손쉽게 학습할 수 있도록 미용 교육 콘텐츠를 제공하는 미용 콘텐츠 자동 생성 장치 및 그 방법을 제공하는데 그 목적이 있다.

삭제

K-POP를 선두로 한국 드라마, 영화들이 전세계인의 사랑을 점차 받고 있는 것을 기화로 K-Beauty라고 하는 한국식 화장법, 마사지법, 미용 시술 방법 등 미용 분야에 대해 점차 관심이 늘어가고 있다.
이러한 미용 분야에 포함된 활동을 수행하기 위해서는 미용 동작의 숙달이 기본적은 전제 조건이며, 이러한 미용 동작을 학습하기 위해서 종래에는 교육기관에 찾아가 많은 비용을 들여 교육과정을 오프라인에서 수강하는 방법 만이 존재하였다.

그러나 이러한 방법은 지방 또는 해외에 있는 수요자들에게는 현실적으로 어려운 대안일 뿐만 아니라 비용도 상대적으로 많이 소요되며, 특히 현재와 같은 코로나 바이러스로 인한 사회적 거리두기가 강화된 환경에서는 많은 제약이 존재한다.

이러한 제약을 극복하기 위하여 유튜브 등 다양한 동영상 기반의 소셜 네트워크에서는 미용 교육에 대한 많은 영상 콘텐츠들이 올라와 있지만 이러한 영상을 만들기 위해서는 실제로 미용 동작을 수행하는 사람 외에도 촬영기사, 편집자 등이 필요하며 자막에 넣을 스크립트도 별도로 생성하여 입혀야 하는 번거로움이 존재한다.

따라서 미용 전문가가 타인의 별도 도움 없이도 손쉽게 미용 컨텐츠를 만들수 있게 하는 기술에 대한 니즈가 점차 커지고 있는 상황이다.
대한민국 공개특허공보 제10-2020-0089640호(2020.07.27.)

본 발명은 미용 전문가가 타인의 별도 도움 없이도 손쉽게 미용 컨텐츠를 만들수 있는 미용 콘텐츠 자동 생성 기술을 제공하고자 하는데 목적이 있으며, 복수의 깊이 카메라를 설치하고, 미용 전문가가 미용 동작을 수행하기만 하면, 미용 동작을 수행하는 것을 복수의 깊이 카메라가 촬영하고, 촬영한 영상 데이터 및 송수신 데이터를 분석하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함한 행동 정보를 이용하여 사람의 움직임에 대한 3D 합성 영상 데이터를 생성하고 신체 부위별 동선, 이동 속도 및 이동 각도에 대한 정보를 분석하여 생성한 정보 제공 텍스트를 자막으로 입혀서 타인의 도움 없이도 미용 전문가가 미용동작을 3D영상으로 구현한 미용 관련 영상 콘텐츠를 생성하여 피교육자들에게 제공할 수 있다.

본 발명의 일 실시예에 따르면 미용 콘텐츠 자동 생성 장치는 복수의 깊이 카메라를 이용하여 미용 행위를 수행하고 있는 적어도 하나의 사람의 움직임을 전방위로 촬영하여 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집하는 동작 정보 수집부; 상기 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성하고, 상기 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 상기 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성하는 행동 정보 생성부; 상기 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성하는 최종 행동 정보 생성부; 상기 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 상기 영상 데이터를 동작 영상 생성 모델에 입력하여 360도 회전이 가능한 사람의 움직임에 대한 3D 합성 영상 데이터를 생성하는 3D 영상 생성부; 및 상기 신체 부위별 동선, 이동 속도 및 이동 각도에 대한 정보를 분석하여 정보 제공 텍스트를 생성하고, 생성한 정보 제공 텍스트를 기반으로 생성한 대한 3D 합성 영상 데이터에 자막을 입혀 미용 콘텐츠를 생성하는 미용 콘텐츠 생성부를 포함할 수 있다.

본 발명의 일 실시예에 따르면 행동 정보 생성부는, 특징점 추출 모듈, 행동 정보 분석 모듈로 형성된 인공 신경망 기반의 영상 분석 모델을 포함하며, 상기 특징점 추출 모듈에 상기 영상 데이터를 입력하여 특징점을 추출하고, 추출된 특징점을 미리 설정 해놓은 신체 부위별로 라벨링하며, 행동 정보 분석 모듈에 상기 신체 부위별 특징점 및 영상 데이터를 입력하여 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 특징 맵을 생성하고, 생성된 특징 맵에 출력 활성화 함수를 적용하여 제1 행동 정보를 출력하는 제1 행동 정보 생성부; 및 상기 각 깊이 카메라별 송수신 시간 데이터를 분석하여 미리 설정 해놓은 신체 부위별 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 검출된 노이즈를 제거하고, 연속형 확률 분포 함수를 이용하여 표면의 빛의 흡수량에 상관없이 일정한 진폭으로 정규화 시킨 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간값 필터로 평균화하여 제2 행동 정보를 생성하는 제2 행동 정보 생성부를 더 포함할 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보 생성부는, 상기 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 가진 최종 행동 정보를 생성하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용하여, 상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출하고, 상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출하고, 상기 제1 차이값과 상기 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 상기 구분 손실값이 최소가 되도록 가중치를 고정하여, 상기 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트할 수 있다.

본 발명의 일 실시예에 따르면 상기 3D 영상 생성부는, 복수의 연산 레이어로 이루어진 합성곱 인공 신경망으로 구현되고 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함하는 동작 영상 생성 모델을 포함하고, 상기 3D 영상 합성 모듈은 상기 영상 데이터를 입력하면 영상 데이터에 포함된 객체를 제외한 복수의 배경 이미지를 추출하고, 추출된 복수의 배경 데이터를 레퍼런스 이미지에 매칭하여 전처리를 수행하고, 전처리가 수행된 복수의 배경 데이터를 분석하여 구간별로 디스크립터 데이터를 설정하며, 복수의 이미지 데이터 중 공간상 연결되는 이미지 데이터 간에 서로 공유되는 디스크립터 데이터를 도출하고, 도출된 상기 디스크립터 데이터를 기준으로 복수의 이미지를 정합하여 360도 회전이 가능한 배경화면 영상 데이터를 생성하고, 상기 동작 영상 생성 모듈은 미리 설정된 신체 부위를 중심으로 각 신체 부위를 연결해 사람의 형상을 3D로 생성하고, 상기 생성된 사람의 형상을 상기 최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도에 따라 각 신체 부위별로 움직이는 동작 영상 데이터를 생성하고, 상기 3D 영상 합성 모듈은 상기 360도 회전이 가능한 배경화면에 3D 가상 인물의 동작 영상을 위치 및 각도에 따라 합성하여 합성 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 상기 동작 정보 수집부는, 송수신 시간 데이터를 수집함에 있어, 2단계의 깊이 측정을 수행하고, 제1 깊이 측정은 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행하고, 제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시키고, 상기 낮은 변조 주파수는 수학식 1을 기반으로 선정되며,

[수학식 1]

삭제

상기 높은 변조 주파수는 상기 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정되고, 상기 표준 편차가 미리 설정한 한계값보다 작다면 신호 대 잡음비가 높은 것으로 판단하여 상기 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 될 수 있으며, 상기 제2 깊이 측정을 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시킬 수 있다.

본 발명의 실시예에 따라 구현된 미용 콘텐츠 자동 생성 장치 및 그 방법을 이용하면 스탠드를 이용해 미용 전문가의 미용 동작을 촬영할 수 있는 복수의 깊이 카메라의 위치만 세팅해주면 타인의 별도 도움 없이도 복수의 깊이 카메라가 촬영하고, 촬영한 영상 데이터 및 송수신 데이터를 분석하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함한 행동 정보를 이용하여 사람의 움직임에 대한 3D 합성 영상 데이터를 생성하고 신체 부위별 동선, 이동 속도 및 이동 각도에 대한 정보를 분석하여 생성한 정보 제공 텍스트를 자막으로 입혀서 미용 전문가가 미용동작을 3D영상으로 구현한 미용 관련 영상 콘텐츠를 생성하여 피교육자들에게 제공함으로써, 쉽고 빠르게 미용 콘텐츠의 생성이 가능하며, 사람의 실제 동작 영상이 아닌 신체 세부 부위별로 동작의 식별이 가능한 3D 영상일 뿐만 아니라 자막으로 정보 제공 텍스트까지 제공되므로 피교육자로 하여금 교육 내용을 좀 더 명확하게 인식할 수 있는 효과가 존재한다.

도 1은 본 발명의 실시예에 따라 구현된 미용 콘텐츠 자동 생성 장치의 구성도이다.
도 2는 도 1에 도시된 행동 정보 생성부의 세부 구성도이다.
도 3은 본 발명의 일 실시예에 따라 구현된 영상 분석 모델을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 구현된 특징점 추출 모듈 및 행동 정보 분석 모듈을 포함한 영상 분석 모델을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델의 세부 모듈을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델을 나타낸 도면이다.
도 7는 본 발명의 일 실시예에 따라 구현된 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함한 동작 영상 생성 모델을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따라 미용 콘텐츠 자동 생성 방법의 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다.

그리고 몇 가지 대체 실시예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다.

그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 미용 콘텐츠 자동 생성 장치 및 그 방법에 대하여 설명한다.

도 1은 본 발명의 실시예에 따라 구현된 미용 콘텐츠 자동 생성 장치(10)의 구성도이다.

도 1을 참조하면 미용 콘텐츠 자동 생성 장치(10)는 동작 정보 수집부(100), 행동 정보 생성부(200), 최종 행동 정보 생성부(300), 3D 영상 생성부(400), 미용 콘텐츠 생성부(500)를 포함할 수 있다.

동작 정보 수집부(100)는 복수의 깊이 카메라를 이용하여 미용 행위를 수행하고 있는 적어도 하나의 사람의 움직임을 전방위로 촬영하여 영상 데이터 및 영상 데이터에 대응하는 미리 설정된 신체 부위별 송수신 시간 데이터를 포함한 동작 정보를 수집할 수 있다.

본 발명의 일 실시예에 따르면 깊이 카메라로는 구 좌표계의 원점에서 펄스 변조된 적외선(IR) 빔을 목표물에 발사시켜 수평(pan, φ)과 상하(tilt, θ)로 스캐닝하여 구 표면(sphere surface)의 각기 다른 불연속 점(г, θ, φ)의 분포(point-wise)에서 일어나는 역방향 산란(back scattering)으로 반사되어 원점으로 되돌아오는 시간, 즉 송수신 시간을 기반으로 배경 내 목표물의 3차원 영상 정보를 획득할 수 있는 카메라가 사용될 수 있다.

본 발명의 일 실시예에 따르면 복수개의 깊이 카메라는 적어도 하나의 사람의 움직임을 전방위로 촬영할 수 있도록 일정한 각도를 기준으로 설치될 수 있으며, 영상 데이터 및 영상 데이터와 시간을 기준으로 대응되는 미리 설정된 신체 부위별 송수신 시간 데이터를 수집할 수 있다.

여기서 미리 설정된 신체 부위는 사람의 동작을 식별할 수 있는 사람의 신체 부위를 의미하며, 예를 들어 양 손의 손가락 끝과 각 마디, 팔목, 팔꿈치 어깨, 목, 얼굴의 각 이목구비 양 끝단, 고과절, 무릎, 발목, 양 발의 발가락 끝과 각 마디 등 주로 신체의 끝단 및 가동가능한 관절 부위를 중심으로 설정될 수 있다.

본 발명의 일 실시예에 따르면 동작 정보 수집부(100)는 송수신 시간 데이터를 수집함에 있어, 2단계의 깊이 측정을 수행할 수 있다.

본 발명의 일 실시예에 따르면 2단계의 깊이 측정은 제1 깊이 측정 단계 및 제2 깊이 측정 단계로 구분할 수 있다.

상기 실시예와 같이 2단계로 나누어 깊이 측정을 수행하는 이유는 단일 주파수를 사용할 때 낮은 변조 주파수를 이용하여 깊이 측정을 수행하는 경우에는 최대 범위는 넓어지지만 측정 품질은 낮아지는 단점이 존재하며, 반대로, 높은 변조 주파수를 이용하여 깊이 측정을 수행하는 경우에는 측정 품질은 향상시킬 수 있지만 최대 범위는 좁아진다는 단점이 존재하므로, 이러한 단점을 최대한 보완하기 위함에 있다.

본 발명의 일 실시예에 따르면 제1 깊이 측정은 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행할 수 있다.

본 발명의 일 실시예에 따르면 제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시킬 수 있다.

본 발명의 일 실시예에 따르면 넓은 최대 깊이 범위를 갖도록 낮은 변조 주파수를 이용하는 제1 깊이 측정은, 넓은 깊이 범위를 대상으로 대략적인 깊이를 측정할 수 있으며, 이때의 측정 품질은 변조 주파수에 비례관계를 가지므로 제1 깊이 측정을 통해 측정된 경과는 넓은 관심 영역에 대하여 낮은 측정 품질을 제공할 수 있다.

본 발명의 일 실시예에 따르면 제2 깊이 측정은 최대 깊이 범위가 제1 깊이 측정의 정밀도를 기반으로 설정될 수 있으며, 상대적으로 더 높은 주파수를 선택하여 좁은 관심 영역에 대한 높은 측점 품질을 제공함으로써 제1 깊이 측정 결과의 오차를 보상할 수 있다.

본 발명의 일 실시예에 따르면 낮은 변조 주파수는 수학식 1를 기반으로 선정될 수 있다.

여기서

는 낮은 변조 주파수를 의미하며,

는 광속,

는 최대 깊이 범위를 의미할 수 있다.

본 발명의 일 실시예에 따르면 높은 변조 주파수는 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정될 수 있으며, 표준 편차가 미리 설정한 한계값보다 작다면, 이는 신호 대 잡음비가 높은 것으로 판단하여 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 선정될 수 있다.

여기서 표준 편차(

)는 수학식 2를 기반으로 산출될 수 있다.

여기서

는 살출하고자 하는 표준 편차를 의미할 수 있으며, dp는 제1 깊이 측정으로 통해 측정된 깊이를 의미할 수 있으며 μ는 관심 영역(RoI)에 대한 dp의 평균값을 의미하며 N은 관심 영역 내의 픽셀의 개수로서 자연수일 수 있다.

본 발명의 일 실시예에 따르면 제1 깊이 측정 단계 및 제2 깊이 측정 단계를 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시킬 수 있다.

행동 정보 생성부(200)는 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 인공 신경망 기반의 영상 분석 모델은 깊이 카메라별 영상 데이터를 입력층에 입력 받아 미리 설정된 각 신체 부위별로 동선, 이동 속도, 이동 각도 정보를 출력할 수 있으며, 이를 각 신체 부위별로 그룹핑하여 제1 행동 정보를 생성하도록 학습될 수 있다.

또한 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 노이즈가 제거된 각 깊이 카메라 별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 각 깊이 카메라 별로 생성된 신체 부위별 송수신 시간 데이터를 분석하여 각 신체 부위별로 시간의 흐름에 따라 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성할 수 있다.

여기서 깊이 데이터란 관심 영역의 3차원적 위치를 인식할 수 있는 데이터를 의미할 수 있으며, 속도 데이터는 깊이 데이터를 기반으로 시간의 흐름에 따라 위치의 변경을 통해 산출된 이동 속도를 의미할 수 있으며, 진폭 데이터는 깊이 카메라에 의해 송신된 광은 표면의 진폭 정도에 따라 표면의 광 강도가 상이하므로 손상된 광이 반사되어 생긴 표면의 광 강도를 의미할 수 있다.

본 발명의 일 실시예에 따르면 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 노이즈를 제거할 수 있다.

상기 실시예에 다르면 진폭 데이터는 깊이 카메라에 의해 반사되는 광이 얼마나 밝은지를 나타낼 수 있고, 이는 표면의 진폭 정도에 따라 표면의 광 강도가 상이하게 나타나는 것을 특징을 기반으로 한다.

본 발명의 일 실시예에 따르면 깊이 카메라에 사용되는 비이상적인 파형으로 인해 생기는 잡음과 객체의 경계에 생기는 노이즈를 제거하기 위해 누적 분포 함수 및 노이즈 함수를 사용하여 필터링을 수행할 수 있다.

본 발명의 일 실시예에 따르면 누적 분포 함수는 수학식 3을 기반으로 수행될 수 있다.

Φ(x)는 누적 분포 함수를 나타내며 NF는 노이즈 함수를 의미할 수 있다.

본 발명의 일 실시예에 따르면 노이즈 함수(NF)는 수학식 4를 기반으로 수행될 수 있다.

행동 정보 생성부(200)는 도 2를 참고하여 더 자세하게 설명하도록 한다.

최종 행동 정보 생성부(300)는 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성할 수 있다.

본 발명의 일 실시예에 따르면 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 가진 최종 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보 생성 모델은 동작 분석 모듈 및 정합 모듈을 포함할 수 있다.

본 발명의 일 실시예에 따르면 동작 분석 모듈은 제2 행동 정보에 포함된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 입력 받아 각 신체 부위별 동선, 이동 속도 및 이동 각도 정보를 출력할 수 있다.

본 발명의 일 실시예에 따르면 정합 모듈은 제1 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 입력 받아 발생하는 차이를 오차로 산출할 수 있다.

상기 실시예에 따르면 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 출력할 수 있고, 이를 포함하는 최종 행동 정보를 생성할 수 있다.

여기서 오차가 발생한 데이터의 신체 부위별로 가중치를 부여하고 제1 행동 정보, 제2 행동 정보 별로도 가중치를 부여하여 가중치를 적용하여 산출한 값들의 중간 값으로 평균화를 수행하여 최종 행동 정보를 생성할 수 있으며, 본 발명의 일 실시예에 따르면 가중치 값들은 인공 신경망 기반의 판단 모델에 의해 정확도가 상대적으로 향상되도록 업데이트 될 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용할 수 있다.

상기 실시예에 따르면 인공 신경망 기반의 판단 모델을 이용하여 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출할 수 있다.

또한 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출할 수 있다.

상기 실시예에 따르면 제1 차이값과 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 구분 손실값이 최소가 되도록 가중치를 고정하여, 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트할 수 있다.

3D 영상 생성부(400)는 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 영상 데이터를 동작 영상 생성 모델에 입력하여 360도 회전이 가능한 사람의 움직임에 대한 3D 합성 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 동작 영상 생성 모델에 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도를 입력하여 각 신체 부위를 기점으로 하고, 이를 연결하여 사람의 형상으로 3D 영상을 생성할 수 있으며 시간의 흐름에 따라 변화하는 값을 반영하여 사람의 움직임을 나타낼 수 있는 3D 영상을 생성할 수 있다.

본 발명의 일 실시예에 따르면 영상 데이터를 동작 영상 생성 모델에 입력하여 영상 데이터에 포함된 배경 이미지를 이용하여 배경화면 영상 데이터를 생성할 수 있다.

3D 영상 생성부(400)에 대해서는 도 5를 참조하면 더 자세하게 설명하도록 한다.

미용 콘텐츠 생성부(500)는 신체 부위별 동선, 이동 속도 및 이동 각도에 대한 정보를 분석하여 정보 제공 텍스트를 생성하고, 생성한 정보 제공 텍스트를 기반으로 생성한 대한 3D 합성 영상 데이터에 자막을 입혀 미용 콘텐츠를 생성할 수 있다.

본 발명의 일 실시예에 따르면 정보 제공 텍스트는 신체 부위별 동선, 이동 속도 및 이동 각도에 대한 정보를 분석하여 시간의 흐름에 따라 영상에 매칭되도록 생성된 텍스트 형태의 정보일 수 있으며, 신체 부위가 어떤 방향과 속도와 각도로 움직이는지 산술적인 값을 텍스트로 변환하여 제공하는 것일 수 있다.

도 2는 도 1에 도시된 행동 정보 생성부(200)의 세부 구성도이다.

행동 정보 생성부(200)는 제1 행동 정보 생성부(210), 제2 행동 정보 생성부(220)을 포함할 수 있으며, 제1 행동 정보 생성부(210)는 특징점 추출 모듈, 행동 정보 분석 모듈로 형성된 인공 신경망 기반의 영상 분석 모델을 포함할 수 있다.

본 발명의 일 실시예에 따르면 제1 행동 정보 생성부(210)는 특징점 추출 모듈에 영상 데이터를 입력하여 특징점을 추출하고, 추출된 특징점을 미리 설정 해놓은 신체 부위별로 라벨링할 수 있다.

본 발명의 일 실시예에 따르면 특징점 추출 모듈은 미리 설정된 신체 부위를 특정할 수 있는 특징점을 영상으로부터 추출할 수 있도록 학습된 모델일 수 있다.

본 발명의 일 실시예에 따르면 추출된 특징점 중 적어도 하나의 특징점을 신체 부위에 매칭시켜 라벨링할 수 있다.

또한 행동 정보 분석 모듈에 라벨링된 특징점 및 영상 데이터를 입력하여 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 특징 맵을 생성하고, 생성된 특징 맵에 출력 활성화 함수를 적용하여 제1 행동 정보를 출력할 수 있다.

본 발명의 일 실시예에 따르면 특징 맵은 특징점 별 동선, 이동 속도 및 이동 각도를 그룹화하여 다수의 그룹을 생성하고 이를 특징점에 매칭되는 신체 부위로 정렬해서 생성한 데이터일 수 있다.

제2 행동 정보 생성부(220)는 각 깊이 카메라별 송수신 시간 데이터를 분석하여 미리 설정 해놓은 신체 부위별 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 제2 행동 정보 생성부(220)는 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 검출된 노이즈를 제거하고, 연속형 확률 분포 함수를 이용하여 표면의 빛의 흡수량에 상관없이 일정한 진폭으로 정규화 시킨 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간값 필터로 평균화하여 제2 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 노이즈 함수(NF)는 하기의 수학식 4을 기반으로 수행될 수 있다.

본 발명의 일 실시예에 따르면 중간값 필터는 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거할 수 있는 필터를 의미할 수 있다.

도 3은 본 발명의 일 실시예에 따라 구현된 영상 분석 모델을 나타낸 도면이다.

도 3을 참조하면 본 발명의 일 실시예에 따라 구현된 영상 분석 모델이 도시되어 있으며 영상 분석 모델은 합성곱 연산망으로 형성될 수 있으며, 각 깊이 카메라가 수집한 복수의 영상 데이터를 입력층에 입력 받고 제1 행동 정보를 출력할 수 있다.

도 4는 본 발명의 일 실시예에 따라 구현된 특징점 추출 모듈 및 행동 정보 분석 모듈을 포함한 영상 분석 모델을 나타낸 도면이다.

도 4를 참조하면 본 발명의 일 실시예에 따라 구현된 영상 분석 모델에 포함된 특징점 추출 모듈과 행동 정보 분석 모듈의 데이터 흐름이 나타나 있다.

본 발명의 일 실시예에 따르면 각 깊이 카메라에서 수집된 복수의 영상 데이터를 특징점 추출 모듈에 입력하면 미리 설정된 신체 부위를 특정할 수 있는 특징점을 영상으로부터 추출되며, 추출된 특징점 중 적어도 하나의 특징점을 신체 부위에 매칭시켜 라벨링한 라벨링된 특징점 정보가 생성될 수 있다.

본 발명의 일 실시예에 따르면 행동 정보 분석 모듈에 라벨링된 특징점 정보와 각 깊이 카메라에서 수집된 복수의 영상 데이터를 입력하면 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보가 생성될 수 있다.

도 5는 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델의 세부 모듈을 나타낸 도면이다.

도 5를 참조하면 3D 영상 생성부(400)는 복수의 연산 레이어로 이루어진 합성곱 인공 신경망으로 구현되고 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함하는 동작 영상 생성 모델을 할 수 있다.

본 발명의 일 실시예에 따르면 3D 영상 합성 모듈은 상기 영상 데이터를 입력하면 영상 데이터에 포함된 객체를 제외한 복수의 배경 이미지를 추출하고, 추출된 복수의 배경 데이터를 레퍼런스 이미지에 매칭하여 전처리를 수행할 수 있다.

여기서 레퍼런스 이미지는 복수로 생성된 배경 이미지에 매칭되어 전방위 영상으로 조합되기 위해 그 위치 및 크기에 대하여 미리 설정된 기준 이미지를 의미할 수 있다.

상기 실시예에 따르면 전처리가 수행된 복수의 배경 데이터를 분석하여 구간별로 디스크립터 데이터를 설정하며, 복수의 이미지 데이터 중 공간상 연결되는 이미지 데이터 간에 서로 공유되는 디스크립터 데이터를 도출하고, 도출된 디스크립터 데이터를 기준으로 복수의 이미지를 정합하여 360도 회전이 가능한 배경화면 영상 데이터를 생성할 수 있다.

여기서 디스크립터 데이터는 두 이미지 간 유사도를 측정하기 위하여 이미지에서 의미 있는 특징들을 적절한 숫자로 변환하여 산출된 특징을 대표할 수 있는 숫자에 대한 데이터를 의미할 수 있다.

본 발명의 일 실시예에 따르면 획득한 복수의 배경 데이터를 대상으로 이미지 부분별로 특징적인 부분(Scale-space extrema detection)을 찾아 특징점으로 분류할 수 있으며, 분류된 특징점들 중에서 신뢰도 있는 최종 특징점인 핵심 특징점을 선별하여 핵심 특징점들의 픽셀값(Intensity), 핵심 특징점들 중 객체의 코너에 해당하는 위치나 크기 등을 기준으로 최종 특징점을 우선 선별할 수 있다.

상기 실시예에 따르면 최종 특징점의 주변 영역에 대해 경사도를 산출하여 전체적으로 주변 영역의 픽셀들이 가리키는 방향을 구하고, 주변 영역의 픽셀들이 가리키는 방향이 0도가 되도록 회전하여 주변 영역에 당하는 부분을 디스크립터 데이터로 설정할 수 있다.

본 발명의 일 실시예에 따르면 디스크립터 데이터는 최종 특징점의 주변 영역의 픽셀 값들이 포함될 수 있으며, 최종 특징점을 기준으로 주변 영역의 픽셀 값들의 방향정보에 기반한 히스토그램 정보도 포함되므로, 디스크립터 데이터를 이용하여 촬영각에 따라 변경된 복수의 이미지 데이터를 대비하여 동일한 구간을 나타내는 타겟 포인트를 식별함으로써 서로 이웃하는 이미지 데이터들을 정확하게 정합하여 배경화면 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 동작 영상 생성 모듈은 미리 설정된 신체 부위를 중심으로 각 신체 부위를 연결해 사람의 형상을 3D로 생성하고, 생성된 사람의 형상을 상기 최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도에 따라 각 신체 부위별로 움직이는 동작 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 3D 영상 합성 모듈은 상기 360도 회전이 가능한 배경화면에 3D 가상 인물의 동작 영상을 위치 및 각도에 따라 합성하여 합성 영상 데이터를 생성할 수 있다.

도 6은 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델을 나타낸 도면이다.

도 6을 참조하면 본 발명의 일 실시예에 따라 합성곱 신경망 기반으로 구현된 동작 영상 생성 모델이 도시되어 있으며, 각 깊이 카메라별 영상 데이터와 각 신체 부위별 동선, 이동속도, 이동 각도 정보를 동작 영상 모델에 입력 받으면 3D 합성 영상 데이터를 출력할 수 있다.

도 7는 본 발명의 일 실시예에 따라 구현된 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함한 동작 영상 생성 모델을 나타낸 도면이다.

도 7을 참조하면 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 포함된 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈 사이의 데이터 흐름이 나타나 있다.

본 발명의 일 실시예에 따르면 배경화면 생성 모듈에 각 깊이 카메라별 영상 데이터를 입력하여 배경화면 영상 데이터를 출력 받고, 동작 영상 생성 모듈에 각 신체 부위별 동선, 이동 속도, 이동 각도 정보를 입력하여 동작 영상 데이터를 출력할 수 있다.

상기 일 실시예에 따르면 배경화면 생성 모듈과 동작 영상 생성 모듈에서 각각 출력된 배경화면 영상 데이터 및 동작 영상 데이터를 3D 영상 합성 모듈에 입력하여 3D 합성 영상 데이터를 출력 받을 수 있다.

도 8은 본 발명의 일 실시예에 따라 미용 콘텐츠 자동 생성 방법의 흐름도이다.

미용 행위를 수행하고 있는 적어도 하나의 사람의 움직임을 전방위로 촬영하여 영상 데이터 및 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집한다(S10).

본 발명의 일 실시예에 따르면 복수의 깊이 카메라를 이용하여 미용 행위를 수행하고 있는 적어도 하나의 사람의 움직임을 전방위로 촬영하여 영상 데이터 및 영상 데이터에 대응하는 미리 설정된 신체 부위별 송수신 시간 데이터를 포함한 동작 정보를 수집할 수 있다.

본 발명의 일 실시예에 따르면 깊이 카메라로는 구 좌표계의 원점에서 펄스 변조된 적외선(IR) 빔을 목표물에 발사시켜 수평(pan, φ)과 상하(tilt, θ)로 스캐닝하여 구 표면(sphere surface)의 각기 다른 불연속 점(г, θ, φ)의 분포(point??wise)에서 일어나는 역방향 산란(back scattering)으로 반사되어 원점으로 되돌아오는 시간, 즉 송수신 시간을 기반으로 배경 내 목표물의 3차원 영상 정보를 획득할 수 있는 카메라가 사용될 수 있다.

본 발명의 일 실시예에 따르면 송수신 시간 데이터를 수집함에 있어, 2단계의 깊이 측정을 수행할 수 있다.

여기서 표준 편차(

)는 수학식 2를 기반으로 산출될 수 있다.

동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성한다(S20).

본 발명의 일 실시예에 따르면 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성할 수 있으며, 일 실시예에 따르면 인공 신경망 기반의 영상 분석 모델은 깊이 카메라별 영상 데이터를 입력층에 입력 받아 미리 설정된 각 신체 부위별로 동선, 이동 속도, 이동 각도 정보를 출력할 수 있으며, 이를 각 신체 부위별로 그룹핑하여 제1 행동 정보를 생성하도록 학습될 수 있다.

동작 정보에 포함된 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하여 노이즈를 제거한 후 중간 값으로 평균화하여 제2 행동 정보를 생성한다(S30).

본 발명의 일 실시예에 따르면 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 노이즈가 제거된 각 깊이 카메라 별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성할 수 있다.

제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성한다(S40).

본 발명의 일 실시예에 따르면 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성할 수 있다.

최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 상기 영상 데이터를 동작 영상 생성 모델에 입력하여 3D 합성 영상 데이터를 생성한다(S50).

본 발명의 일 실시예에 따르면 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 영상 데이터를 동작 영상 생성 모델에 입력하여 360도 회전이 가능한 사람의 움직임에 대한 3D 합성 영상 데이터를 생성할 수 있다.

신체 부위별 동선, 이동 속도 및 이동 각도에 대한 정보를 분석하여 정보 제공 텍스트를 생성하고, 정보 제공 텍스트를 기반으로 3D 합성 영상 데이터에 자막을 입혀 미용 콘텐츠를 생성한다(S60).

본 발명의 일 실시예에 따르면 신체 부위별 동선, 이동 속도 및 이동 각도에 대한 정보를 분석하여 정보 제공 텍스트를 생성하고, 생성한 정보 제공 텍스트를 기반으로 생성한 대한 3D 합성 영상 데이터에 자막을 입혀 미용 콘텐츠를 생성할 수 있다.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

복수의 깊이 카메라를 이용하여 미용 행위를 수행하고 있는 적어도 하나의 사람의 움직임을 전방위로 촬영하여 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집하는 동작 정보 수집부;
상기 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성하고, 상기 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 상기 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성하는 행동 정보 생성부;
상기 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성하는 최종 행동 정보 생성부;
상기 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 상기 영상 데이터를 동작 영상 생성 모델에 입력하여 360도 회전이 가능한 사람의 움직임에 대한 3D 합성 영상 데이터를 생성하는 3D 영상 생성부; 및
상기 신체 부위별 동선, 이동 속도 및 이동 각도에 대한 정보를 분석하여 정보 제공 텍스트를 생성하고, 생성한 정보 제공 텍스트를 기반으로 생성한 대한 3D 합성 영상 데이터에 자막을 입혀 미용 콘텐츠를 생성하는 미용 콘텐츠 생성부를 포함하고,
상기 행동 정보 생성부는,
특징점 추출 모듈, 행동 정보 분석 모듈로 형성된 인공 신경망 기반의 영상 분석 모델을 포함하며, 상기 특징점 추출 모듈에 상기 영상 데이터를 입력하여 특징점을 추출하고, 추출된 특징점을 미리 설정 해놓은 신체 부위별로 라벨링하며, 행동 정보 분석 모듈에 상기 신체 부위별 특징점 및 영상 데이터를 입력하여 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 특징 맵을 생성하고, 생성된 특징 맵에 출력 활성화 함수를 적용하여 제1 행동 정보를 출력하는 제1 행동 정보 생성부; 및
상기 각 깊이 카메라별 송수신 시간 데이터를 분석하여 미리 설정 해놓은 신체 부위별 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 검출된 노이즈를 제거하고, 연속형 확률 분포 함수를 이용하여 표면의 빛의 흡수량에 상관없이 일정한 진폭으로 정규화 시킨 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간값 필터로 평균화하여 제2 행동 정보를 생성하고,
상기 최종 행동 정보 생성부는,
상기 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 가진 최종 행동 정보를 생성하고,
상기 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용하여,
상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출하고,
상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출하고,
상기 제1 차이값과 상기 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 상기 구분 손실값이 최소가 되도록 가중치를 고정하여, 상기 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트하며,
상기 동작 정보 수집부는,
송수신 시간 데이터를 수집함에 있어, 2가지의 변조 주파수를 이용하여 2단계의 깊이 측정을 수행하고,
제1 깊이 측정은 상기 2가지의 변조 주파수 중 상대적으로 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행하고,
제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 상기 2가지의 변조 주파수 중 상대적으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시키고,
상기 낮은 변조 주파수는 수학식 1을 기반으로 선정되며,
[수학식 1]

상기 높은 변조 주파수는 상기 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정되고, 상기 표준 편차가 미리 설정한 한계값보다 작다면 신호 대 잡음비가 높은 것으로 판단하여 상기 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 될 수 있으며,
상기 제2 깊이 측정을 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시키는 것을 특징으로 하는 미용 콘텐츠 자동 생성 장치.
삭제
삭제
제 1 항에 있어서 상기 3D 영상 생성부는,
복수의 연산 레이어로 이루어진 합성곱 인공 신경망으로 구현되고 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함하는 동작 영상 생성 모델을 포함하고,
상기 3D 영상 합성 모듈은 상기 영상 데이터를 입력하면 영상 데이터에 포함된 객체를 제외한 복수의 배경 이미지를 추출하고, 추출된 복수의 배경 데이터를 레퍼런스 이미지에 매칭하여 전처리를 수행하고, 전처리가 수행된 복수의 배경 데이터를 분석하여 구간별로 디스크립터 데이터를 설정하며, 복수의 이미지 데이터 중 공간상 연결되는 이미지 데이터 간에 서로 공유되는 디스크립터 데이터를 도출하고, 도출된 상기 디스크립터 데이터를 기준으로 복수의 이미지를 정합하여 360도 회전이 가능한 배경화면 영상 데이터를 생성하고,
상기 동작 영상 생성 모듈은 미리 설정된 신체 부위를 중심으로 각 신체 부위를 연결해 사람의 형상을 3D로 생성하고, 상기 생성된 사람의 형상을 상기 최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도에 따라 각 신체 부위별로 움직이는 동작 영상 데이터를 생성하고,
상기 3D 영상 합성 모듈은 상기 360도 회전이 가능한 배경화면에 3D 가상 인물의 동작 영상을 위치 및 각도에 따라 합성하여 합성 영상 데이터를 생성하는 것을 특징으로 하는 미용 콘텐츠 자동 생성 장치.
삭제