KR101512141B1

KR101512141B1 - 사람 움직임 방향을 고려한 스마트 조명 제어 장치 및 방법

Info

Publication number: KR101512141B1
Application number: KR1020130074945A
Authority: KR
Inventors: 이찬수; 천성용
Original assignee: 영남대학교 산학협력단
Priority date: 2013-06-27
Filing date: 2013-06-27
Publication date: 2015-04-16
Also published as: KR20150001541A

Abstract

본 발명의 일 측면에 따르면,
사람 움직임 방향을 고려한 조명 제어 방법에 있어서, 조명 제어 장치의 영상 획득 수단이 깊이 영상을 획득하는 영상 획득 단계; 상기 조명제어장치의 사람위치 검출 수단이 상기 획득된 깊이 영상으로부터 사람 영상 영역을 검출하는 사람 영역 검출 단계; 상기 사람위치 검출 수단이 상기 사람 영상 영역의 사각형 꼭짓점의 좌표를 실제 공간 크기와 비례하여 지도 이미지 공간을 생성하고 상기 지도 이미지 공간에서 상기 사람 영상 영역의 중심 좌표를 추출하는 사람 위치 추출 단계; 상기 조명제어장치의 조명 위치 설정 수단이 상기 지도 이미지 공간에서 조명장치의 위치를 설정하는 조명 위치 설정 단계; 상기 조명제어장치의 조명 거리 계산 수단이 상기 사람 영상 영역의 중심 좌표와 상기 조명장치의 위치 좌표를 기반으로 조명 거리를 계산하는 조명 거리 계산 단계; 상기 조명제어장치의 이동 방향 검출 수단이 이전 사람 영상 영역의 중심 좌표로부터 현재 상기 사람 영상 영역의 중심 좌표를 차감하여 이동 방향을 구하는 이동 방향 검출 단계; 상기 이동 방향 검출 수단이 상기 사람 영상 영역의 중심 좌표를 기준으로 어깨 라인을 검출하고 상기 이동 방향을 바탕으로 바라보는 방향을 검출하는 바라보는 방향 검출 단계; 상기 조명제어장치의 조명 제어신호 생성 수단이 상기 조명 거리와 바라보는 방향을 포함하여 조명연출 패턴에 따른 조명 연출 제어 범위와 조명 연출 제어 신호를 생성하는 조명 제어신호 생성 단계; 및 상기 조명제어장치의 조명제어수단이 상기 조명 연출 제어 신호를 전송받아 상기 조명장치에 조명을 제어하는 신호를 발생하는 조명장치 제어 단계를 포함하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법이 제공된다.

Description

사람 움직임 방향을 고려한 스마트 조명 제어 장치 및 방법 {SMART LIGHTING CONTROL DEVICE AND METHOD BASED DIRECTION OF HUMAN MOTION}

본 발명은 사람의 움직이는 방향을 고려하여 조명을 제어하는 스마트 조명제어 장치 및 그 방법에 관한 것이다.

기존의 조명들과 다르게 LED는 전력 소비가 적고 제어가 용이하기 때문에 에너지 절감을 위해 많은 연구가 진행되고 있다.

조명장치는 외부로부터 공급되는 전원에 의해 전기를 빛으로 변환하는 장치로써, 일반적으로 실내 또는 실외의 일정 위치에 설치되어 어두운 영역을 밝히기 위해 사용되는 장치를 의미한다.

최근에는 산업사회의 발전과 소득 향상으로 인해 이러한 조명장치가 어두운 영역을 밝히는 단순한 기능만을 수행하는 것이 아니라, 특정 영역을 장식하기 위한 장치로도 많이 사용되고 있다.

최근에는 복수의 조명장치를 일정한 규칙에 따라 온-오프 시키거나 사람의 감성이나 주변 분위기에 따라 조도나 색상이 변화될 수 있는 조명장치 제어 시스템도 보급되고 있다.

그러나 일반적인 조명장치 제어 시스템의 경우, 특정 공간 내에서 많은 태양광의 양으로 인해 조도가 높은 창 측 영역에 설치된 조명장치와 상대적으로 작은 태양광의 양으로 인해 조도가 낮은 내측 영역에 설치된 조명장치의 조도를 동일하게 설정하였기 때문에, 조명장치가 설치되어 있는 공간의 조도가 전체적으로 불균일하게 됨은 물론, 불필요한 전력소비가 발생할 수 있다는 문제점이 있다.

대한민국 공개 특허 공보 10-2013-0045069호에서는 상술한 문제점을 해결하기 위한 수단으로 복수 개의 조명장치가 설치되어 있는 특정공간의 각 경계선과 상기 조명장치의 위치정보를 이용하여 2차원의 격자모델을 구성하는 모델링부; 및 상기 격자모델 상에 존재하는 복수 개의 격자점에 매핑되는 각 조명장치들의 조도 값을 상기 각 경계선에서의 조도 값에 따라 상이하게 설정하여 조명장치들이 설치되어 있는 공간의 조도를 균일하게 제어할 수 있는 조명장치의 제어시스템 및 방법에 대해 개시되고 있다.

위와 같은 제어시스템은 조명장치가 설치된 공간 내에서 외부 밝기의 변화에 따라 해당 공간에 설치되어 있는 조명장치들의 조도분포를 적응적으로 제어함으로써 해당 공간의 조도 균일성을 향상시킬 수 있게 된다.

그러나 무대장치에서 사람 위주로 국부 조명을 할 경우에는, 사람이 바라보는 방향에 맞추어 제어 패턴 및 제어영역 범위를 다양하게 설정할 필요성이 제기되며, 조명의 위치와 조명 거리를 바탕으로 제어영역 범위를 효율적으로 제어할 수 있는 조명 제어 방법이 필요하다.

대한민국 공개 특허 공보 10-2013-0045069호 (조명장치의 제어 시스템 및 방법 )

본 발명은 사람의 움직임 방향을 고려하여 제어 패턴에 따른 제어영역 범위를 설정하고 조명장치의 위치와 조명 거리를 바탕으로 조명을 제어하는 스마트 조명제어장치 및 방법을 제공하는 것에 있다.

본 발명의 일 측면에 따르면,

깊이 영상을 획득할 수 있는 영상 획득부; 상기 깊이 영상으로부터 사람 영역과 위치를 검출하는 사람 위치 검출부; 지도 이미지상에 조명장치의 위치를 입력하여 조명장치의 위치를 설정하는 조명 위치 설정부; 상기 사람 위치 검출부에서 검출된 사람 위치와 상기 조명장치의 위치를 기반으로 조명 거리를 계산하는 조명 거리 계산부; 상기 사람 위치 검출부에서 검출된 사람 위치의 좌표와 이전 좌표를 바탕으로 이동 방향을 검출하고 상기 사람 영역으로부터 어깨선을 검출하며, 상기 이동 방향을 고려하여 바라보는 방향을 검출하는 이동 방향 검출부; 상기 조명 거리 계산부와 이동 방향 검출부에서 검출된 각 조명장치와의 거리와 각도를 바탕으로 조명연출 패턴에 따른 조명 연출 제어 신호를 생성하는 조명 제어 신호 생성부; 및 상기 조명 연출 제어 신호를 전송받아 상기 조명장치에 조명을 제어하는 신호를 발생하는 조명 제어부; 를 포함하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 장치가 제공된다.

또한, 본 발명의 다른 측면에 따르면, 사람 움직임 방향을 고려한 조명 제어 방법에 있어서, 조명 제어 장치의 영상 획득 수단이 깊이 영상을 획득하는 영상 획득 단계; 상기 조명제어장치의 사람위치 검출 수단이 상기 획득된 깊이 영상으로부터 사람 영상 영역을 검출하는 사람 영역 검출 단계; 상기 사람위치 검출 수단이 상기 사람 영상 영역의 사각형 꼭짓점의 좌표를 실제 공간 크기와 비례하여 지도 이미지 공간을 생성하고 상기 지도 이미지 공간상에서 상기 사람 영상 영역의 중심 좌표를 추출하는 사람 위치 추출 단계; 상기 조명제어장치의 조명 위치 설정 수단이 상기 지도 이미지 공간에서 조명장치의 위치를 설정하는 조명 위치 설정 단계; 상기 조명제어장치의 조명 거리 계산 수단이 상기 사람 영상 영역의 중심 좌표와 상기 조명장치의 위치 좌표를 기반으로 조명 거리를 계산하는 조명 거리 계산 단계; 상기 조명제어장치의 이동 방향 검출 수단이 이전 사람 영상 영역의 중심 좌표로부터 현재 상기 사람 영상 영역의 중심 좌표를 차감하여 이동 방향을 구하는 이동 방향 검출 단계; 상기 이동 방향 검출 수단이 상기 사람 영상 영역의 중심 좌표를 기준으로 어깨 라인을 검출하고 상기 이동 방향을 바탕으로 바라보는 방향을 검출하는 바라보는 방향 검출 단계; 상기 조명제어장치의 조명 제어신호 생성 수단이 상기 조명 거리와 바라보는 방향을 포함하여 조명연출 패턴에 따른 조명 연출 제어 범위와 조명 연출 제어 신호를 생성하는 조명 제어신호 생성 단계; 및 상기 조명제어장치의 조명제어수단이 상기 조명 연출 제어 신호를 전송받아 상기 조명장치에 조명을 제어하는 신호를 발생하는 조명장치 제어 단계를 포함하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법이 제공된다.

본 발명의 일 실시 예에 따르면, 사람의 바라보는 방향에 맞추어 원형 패턴 및 타원형 패턴 등 다양한 조명 제어 패턴을 설정할 수 있으며, 조명의 거리에 따라 적합한 조명 환경을 제공할 수 있는 효과가 있다.

본 발명의 또 다른 측면에 따르면, 사람의 바라보는 방향 및 이동 방향에 따라 적합한 국부 조명을 하게 되므로 자동으로 쾌적한 조명을 제공하면서 또한 불필요한 조명을 줄임으로써, 에너지를 절감할 수 있는 효과가 있다.

도 1은 본 발명의 일실시 예에 따른 사람의 움직임 방향을 고려한 스마트 조명 제어 장치에 관한 블록 선도이다.
도 2는 본 발명의 일실시 예에 따른 사람 후보 영역에 대한 영상 깊이 값의 히스토그램을 도시한 것이다.
도 3은 본 발명의 일실시 예에 따른 위치 설정부에서 지도 이미지 공간상에 조명의 위치를 설정한 것을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시 예에 따른 지도 이미지에서 사람의 이동에 따른 각도를 구하는 방법을 도시한 것이다.
도 5는 본 발명의 일실시 예에 따른 어깨선을 검출하기 위해 사람의 영역으로부터 어깨선을 추정하기 위한 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시 예에 따라 지도 이미지상에서 검출된 어깨선을 도시한 것이다.
도 7은 본 발명의 일실시 예에 따른 검출된 어깨선에 대한 각도를 설명하기 위한 도면이다.
도 8은 본 발명의 일실시 예에 따라 바라보는 방향을 검출하기 위한 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시 예에 따른 조명 제어 영역을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는

것으로 이해되어야 한다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소를 신호를 전송한다로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.

본 발명의 일 실시 예에 따르면 사람의 움직임 방향을 고려하여 원형 또는 타원형 등으로 조명의 제어영역 범위를 설정하고 조명의 위치와 조명 거리를 바탕으로 효과적으로 조명을 제어하는 장치 및 방법을 제안한다.

즉, 본 발명의 일 실시 예에 따르면, 사람의 바라보는 방향을 검출하여 사람의 바라보는 방향을 중심으로 조명의 영역을 포함하는 조명의 제어범위 영역을 설한 다음, 조명의 거리에 따라 적합한 조명 제어를 함으로써, 쾌적한 조명 환경을 제공하면서 또한 불필요한 조명을 줄여서 에너지를 절감할 수 있는 효과가 있다.

이하 첨부되는 도면을 참고하여 본 발명의 실시 예들에 대하여 상세하게 설명한다.

도 1은 본 발명의 일실시 예에 따른 사람의 움직임 방향을 고려한 스마트 조명 제어 장치에 관한 블록도이다.

도 1을 참조하면 본 발명의 일 실시 예에 따른 스마트 조명 제어 장치는 깊이 영상 또는 열 영상 등으로 조명의 변화와 관계없이 일정한 영상을 얻을 수 있는 카메라를 포함하는 영상 획득부(100), 영상 획득부(100)에서 획득한 영상을 바탕으로 사람의 위치를 추정하는 사람 위치 검출부(200), 조명의 위치를 설정할 수 있는 조명 위치 설정부(300), 사람의 위치와 조명의 위치를 바탕으로 거리를 계산할 수 있는 조명 거리 계산부(400), 사람의 이전 위치와 현재 위치를 통해 이동 방향과 어깨선을 바탕으로 바라보는 방향을 검출할 수 있는 이동 방향 검출부(500), 조명 거리 계산부(400)에서 계산된 거리와 이동 방향 검출부(500)에서 검출된 이동방향을 바탕으로 조명 신호를 생성하는 조명 신호 생성부(600) 및 상기 조명 신호 생성부(600)에서 생성된 조명 신호에 의해 조명장치를 제어하는 조명 제어부(700)를 포함한다.

먼저, 사람 움직임 방향 기반의 조명 제어 장치가 조명장치를 제어하는 방법은 깊이 영상을 획득하는 단계를 수행하게 된다.

상술한 실시 예에서 영상 획득부(100)는 거리 또는 깊이(depth), 열 영상을 획득할 수 있는 장치로 스테레오 카메라를 이용한 disparity 영상을 획득하는 장치 또는 TOF(Time of Flight) 방식을 이용한 시간 차이를 측정해서 깊이 영상을 획득하는 장치, 특정한 빛 패턴(Light Structure)을 방사하여 왜곡된 빛 패턴을 계산하여 깊이 영상을 획득하는 장치 등을 포함한다. 이러한 깊이 측정 카메라는 이미 개발된 키넥트(Kinect), bumblebee 등이 사용될 수 있다. 열 영상을 획득하는 장치로는 원거리에서 온도측정에 사용될 수 있는 서모파일(thermopile)을 어레이(Arrary)로 사용하여 카메라의 CMOS 센서와 유사하게 동작할 수 있는 서모파일 어레이를 사용하여 열 영상을 획득하는 장치가 포함될 수 있다.

본 발명에서는 disparity 영상, depth 영상, 거리 영상, 깊이 영상에 대한 용어를 깊이 영상으로 통일하여 정의한다. 또한, 열 영상을 획득하는 장치를 열 영상 카메라로 정의한다.

본 발명의 일 실시 예에 따르면, 영상 획득부(100)에서는 깊이 영상 카메라 또는 열 영상 카메라를 통하여 깊이 영상을 획득하여 사람 위치 검출부(200)로 전송한다.

본 발명의 일 실시 예에 따른 사람움직임 방향을 고려한 스마트 조명 제어 장치가 조명장치를 제어하는 방법은 깊이 영상을 획득하는 단계 이후에 획득된 깊이 영상으로부터 사람 영상 영역을 검출하는 단계를 수행하게 된다.

상술한 사람 위치 검출부(200)는 영상 획득부(100)에서 전송된 깊이 영상으로부터 사람의 영역과 사람의 위치를 검출한다.

본 발명의 일 실시 예에 따르면, 깊이 영상 값은 거리 값(mm) 또는 그레이 픽셀 값으로 표시될 수 있다.

여기서 그레이 값은 깊이 영상 카메라가 측정할 수 있는 최솟값과 최댓값을 바탕으로 255 범위로 계산되거나, 사용자가 측정할 범위를 지정하여 그 범위를 255 범위 내에서 갖도록 할 수 있다. 가령, 깊이 영상 카메라가 측정할 수 있는 거리가 1mm ~ 5000mm 라고 하고 영상 내의 한 점(Point)이 500mm이라면 이 점의 그레이 값은 다음과 같이 구할 수 있다.

여기서 그레이 값은 설정에 따라 소수점이 반올림 되거나 올림, 버림 될 수 있다.

또 다른 일 실시 예에서는 사용자가 측정할 범위를 지정하기 위해 천장에 설치된 깊이 영상 카메라에서 획득한 깊이 영상을 바탕으로 최대 깊이 값은 바닥면으로 설정하고 나머지 범위를 정규화하여 그레이 값으로 사용할 수 있다.

깊이 영상을 바탕으로 사람 위치를 검출하기 위해 먼저 배경 영역을 제거한다.

본 발명의 일실시 예에서는 최대 깊이 값과 최대 깊이 값을 기준으로 일정 범위의 값까지를 배경으로 설정하여 입력된 깊이 영상에서 배경 영역을 제거하는 단계를 수행한다.

본 발명의 일 실시 예에 따르면, 사람 위치 검출부(200)는 깊이 영상으로부터 사람을 검출하기 위해 최대 깊이 값과 상기 최대 깊이 값으로부터 일정 범위의 값까지를 배경으로 설정하여 상기 깊이 영상의 배경 영역 제거하며, 상기 제거된 배경 영역으로부터 나머지 영역들의 크기가 일정 크기 이상이면 물체 영역으로 설정하게 되며, 상기 물체 영역의 중심 좌표, 바운더리, 깊이 중 어느 하나 이상을 바탕으로 사람 영역의 정보를 검출하여 사람 영역으로 설정하는 수단을 포함하게 된다.

본 발명의 일 실시 예에서, FOV(field of view)를 50° 가지는 깊이 영상 카메라가 3000mm 높이에 바닥면과 평행하게 설치되어 바닥면을 수직으로 관찰하고 있다고 가정하면, 깊이 영상 카메라가 측정할 수 있는 최대 거리는 25°의 꼭지각을 갖는 두 개의 직각 삼각형의 빗변에 해당된다. (FOV는 카메라를 정면에서 봤을 때의 각도이므로, 실제로 한쪽 평면에서는 θ/2만 적용되게 된다) 그리고 cosθ 에 의해 최대거리 x를 구할 수 있다.

따라서 빗변을 따라 도달하는 카메라의 최대 측정 거리는 다음과 같이 구할 수 있다.

,

배경을 제거하기 위한 문턱치를Ｉ _th라고 한다면, 문턱치는

와 같은 범위를 가져야한다. 일반적으로 (유아가 아닌) 사람은 카메라의 수직 아래에서 1000mm 이상의 키를 가지므로 2000mm에 해당하는 픽셀 값을 기준으로 문턱치(thresholding)를 주어 배경을 제거할 수 있으며, FOV를 고려하여 2,200mm을 최종 Ｉ _th로 설정할 수 있다.

또 다른 실시 예에서는, 열영상 카메라의 픽셀 값은 온도 값으로 표시되며, 카메라 설정에 의하여 특정 온도 범위에 대해서만 측정하도록 할 수 있다. 가령 사람은 보통 36도의 체온을 가지나 옷, 머리카락에 의해서 감소된 열만을 측정이 가능하다. 따라서 측정 범위를 27° ~ 35°의 범위로 설정하면 사람의 열 영상을 획득할 수 있다. 열 영상은 실제로 온도 값을 가지기 때문에 이를 그레이 값으로 변환하여 사용한다. 실제로 열 영상은 노이즈에 의해 정확한 사람에 대한 영상이 아닌 노이즈를 포함한 영상을 획득하기 때문에 노이즈 제거를 위해 30°에 해당하는 픽셀 값을 바탕으로 문턱치를 설정하여 노이즈를 제거할 수 있다.

깊이 영상 또는 열 영상에서 배경 영역을 제거한 후, 검출된 영역에 대해 각 영역의 크기가 일정 크기 이상이 되는 영상을 추출하며 추출된 영상을 판단하여 사람 후보 영역으로 선정을 한다. 여기서 일정 크기 이하의 검출된 영역은 노이즈 성분으로 간주하여 제거되도록 하기 위함이다.

본 발명의 일실시 예에 따르면, 다양한 실험치에 의하여 각 물체가 가지는 영상의 픽셀의 수에서, 이 픽셀 수가 카메라 해상도의 0.5% 미만인 영상에 대하여는 대부분 노이즈 성분인 것을 알 수 있었다.

따라서, 본 발명의 일 실시 예에서는 각 물체가 가지는 영상의 픽셀의 수에서, 이 픽셀 수가 카메라 해상도의 0.5% 미만인 영상에 노이즈 성분으로 간주하고 제거하게 된다.

예를 들면, 카메라의 해상도가 640×480일 때, 이에 0.5%에 해당하는 크기는 640×480×0.005=1536이며, 이보다 작은 크기를 가지는 영역에 대해서는 사람 위치 검출부(200)에서 노이즈로 간주하여 제거하게 된다.

본 발명의 일 실시 예에서는 사람 후보 영역은 영역의 좌측 상단의 픽셀 좌표와 우측 하단의 픽셀 좌표의 위치를 바탕으로 바운더리(boundary)를 구하며, 바운더리의 중심을 중심점으로 사용한다.

또 다른 실시 예에서는 깊이 영상 카메라를 사용할 경우에는 사람 후보의 영역의 중심은 머리 영역을 검출하고 머리 영역의 중심점을 사용할 수 있다.

본 발명의 일 실시 예인 도 2는 본 발명의 일실시 예에 따른 사람 후보 영역의 영상 깊이 값의 히스토그램을 도시한 것이다.

본 발명의 일실시 예에 따르면, 다양한 실험치에 의하여, 사람 후보 영역의 영상 깊이 값의 히스토그램 CDF(Cumulative Distribution Function)의 하위 10% 영역에 해당하는 값이 머리 영역에 해당하는 것임을 알 수 있었다.

깊이 영상에서 사람 후보 영역은 카메라로부터 가장 가까운 값이 가장 낮은 값을 갖게 된다(0 값은 제외). 따라서 사람 후보 영역 중 가장 작은 픽셀 값이 카메라와 머리 간의 거리 중 가장 가까운 지점을 의미하게 된다. 하지만, 머리는 둥글기 때문에 머리 영역 전체가 모두 같은 값을 가지지 않는다.

실험치에 의하면 머리 영역은 대부분 히스토그램의 CDF중 하위 10% 영역을 차지하게 됨을 알 수 있었다.

그러므로 머리 영역을 지정하기 위해 스토그램의 CDF중 하위 10% 영역을 사용하여 머리 영역을 구할 수 있다. 이값은 응용 시스템에 따라 그 값은 달라질 수 있다. 이값이 작아지면 노이즈 등에 의한 오류가 증가하고, 이값이 너무 커지면 머리 부분뿐 아니라 신체의 다른 영역도 포함하게 되어 정확도가 떨어지게 된다.

도 2를 참조하면, 깊이 카메라를 사용할 경우에는 머리 영역은 사람 후보 영역의 영상 깊이 값의 히스토그램 CDF(Cumulative Distribution Function)의 하위 10% 영역에 해당하는 값(90)을 머리 영역의 픽셀 값으로 추정한다.

본 발명의 일 실시 예에 따르면, 사람 영역 설정 단계에서는 사람 후보 영역에 해당하는 물체의 중심 좌표에 대해서 아래의 식과 같이 일정 프레임 동안의 누적 이동량이 일정 값(THacc) 이상이 되면 사람 영역으로 설정한다.

예를 들면, 지도 이미지에서 x, y 픽셀에 대해 움직임이 5 이하인 움직임은 노이즈로 간주할 수 있다. 그리고 5프레임간의 누적 이동 거리가 7(

=7)초과인 사람 후보 영역은 위치 검출부에서 사람 영역으로 판단할 수 있다.

누적 이동량은 다음 [수학식 1]로 나타낸다.

(여기서 acc는 누적값을 나타내며, i는 i번째 사람 후보 영역, t는 현재 프레임, n은 측정할 최대 프레임 수, x는 i번째 후보 영역의 x 좌표, y는 i번째 후보 영역의 y좌표를 의미한다.)

[수학식 1]에서 구한

이면 사람 후보 영역은 사람 영역으로 판단하게 된다.

본 발명의 일 실시 예에 따른 조명 연출 제어방법은, 검출된 사람 영상 영역의 사각형 꼭짓점의 좌표를 실제 공간 크기와 비례하여 지도 이미지 공간을 생성하고 상기 지도 이미지 공간상에서 상기 사람 영상 영역의 중심 좌표를 추출하는 단계를 포함한다.

본 발명의 일실시 예에서는 고정되어 있는 카메라로부터 입력된 깊이 영상의 사각형 꼭짓점의 좌표를 실제 공간 크기와 비례하여 지도 이미지 공간을 생성하게 된다.

중심좌표 추출 단계에서는 상기 사람 영상의 이미지 중심부를 지도 이미지 공간의 좌표로 추출한다.

본 발명의 일 실시 예에서는 상기 지도 이미지 공간으로 투시(perspectvie) 변환을 통해 실제 공간을 이미지 공간으로 투영하게 되며, 카메라의 설치 위치에 따라 입력된 영상 좌표를 실제 위치의 가상 좌표와 비교하여 좌표 보정을 하게 된다. 중심좌표 추출과 좌표 보정 단계를 거쳐서 실제 대상이 위치한 공간 좌표로 변환하는 단계를 수행한다.

상술한 조명 위치 설정부(300)는 주어진 공간에 대한 이미지 맵에 대하여 설정하고자하는 위치가 입력되면, 이를 바탕으로 조명의 위치를 설정하는 인터페이스를 제공하는 수단을 포함한다. 즉, 조명 위치 설정부(300)는 미리 지정하거나 유저 인터페이스 등을 통해 이미지 공간상에서의 조명 위치를 설정할 수 있다.

본 발명의 일 실시 예에 따른 조명 연출 제어방법은, 지도 이미지 공간에서 조명장치의 위치를 설정하는 단계를 포함한다.

도 3은 본 발명의 일실시 예에 따른 위치 설정부에서 지도 이미지 공간상에 조명의 위치를 설정한 예이다.

본 발명의 일 실시 예에 따르면, 지도 이미지(30)는 실제 공간의 크기에 비례하게 평면으로 나타내며, 조명의 위치를 초기값으로 입력하여 설정한다. 또한, 각 조명은 조명 제어를 위한 컨트롤러로부터 아이디(1 ~ 12)가 부여되어 있으며, 조명의 위치를 설정할 때 조명의 아이디(1 ~12)와 같은 위치를 설정하도록 한다.

본 발명의 일실시 예에서는 실제 공간 300×500㎠인 공간을 600×1000 픽셀의 지도 이미지에 1:2 비율로 나타내었으며 12개의 조명을 균등하게 배치하고, 조명의 위치도 같은 비율로 지도 이미지에 설정하였다. 또한, 각 조명은 도 2와 같이 아이디(1 ~ 12)를 부여하여 개별로 제어할 수 있도록 하였다.

조명 거리 계산부(400)에서는 사람 위치 검출부(200)에서 검출된 사람 위치와 조명 위치 설정부에서 설정된 조명과의 위치를 기반으로 각 조명과의 거리를 계산한다,

사람과 조명과의 거리는 다음 [수학식 2]로부터 구해진다.

여기서 j는 각 조명이며,

는 I번 째 검출된 사람의 지도 이미지상에서 위치를 의미하며

는 지도 이미지상에서의 j번 째 조명의 위치,

는 i번 째 사람과 j번 째 조명과의 거리를 의미한다.

본 발명의 일 실시 예에 따른 조명 연출 제어방법은, 이전 사람 영상 영역의 중심 좌표로부터 현재 상기 사람 영상 영역의 중심 좌표를 차감하여 이동 방향을 구하는 단계를 포함한다.

도 4는 본 발명의 일실시 예에 따른 지도 이미지에서 사람의 이동에 따른 각도를 구하는 방법을 도시한 것이다.

본 발명의 일 실시 예에 따르면, 이동 방향 검출부(500)는 사람 위치 검출부에서 검출된 사람의 영역을 바탕으로 어깨선을 검출하고 이전의 사람 위치와 현재 위치로부터 이동방향을 검출한다.

또한, 검출된 어깨선과 이동 방향을 바탕으로 바라보는 방향을 검출하게 된다.

본 발명의 일실시 예에서는 이전 사람 위치와 현재 위치로부터 이동 방향을 검출하기 위해 다음과 같은 식을 통해 이동방향을 검출할 수 있다.

도 4를 참조하면, 사람이 t-1에서 t로 이동할 때, 좌표(31)는 t에서의 사람의 좌표를 나타내며, 좌표(32)는 t-1에서의 사람의 좌표를 나타낸다.

이때 이동방향에 대한 각도는 다음 [수학식 3]으로 구해진다.

여기서

,

는 지도 이미지상에서 x - y 좌표 위치, t는 현재 관측된 시점, t-1은 이전 관측된 시점, θ는 x축을 기준으로 이동 방향에 대한 각도이다.

본 발명의 일 실시 예에 따른 조명 연출 제어방법은, 사람 영상 영역의 중심 좌표를 기준으로 어깨 라인을 검출하고 이동 방향을 바탕으로 바라보는 방향을 검출하는 단계를 포함한다.

도 5는 본 발명의 일실시 예에 따른 어깨선을 검출하기 위해 사람의 영역으로부터 어깨선을 추정하기 위한 방법을 도시한 것이다.

도 5의 (a)는 가장 작은 x 좌표에 있는 픽셀과 가장 큰 x 좌표에 있는 픽셀의 위치의 최외곽 점으로부터 1차 최소자승법을 이용하여 두 점을 잇는 선(41)을 도시한 것이다.

도 5의 (b)는 가장 작은 y 좌표에 있는 픽셀, 가장 큰 y 좌표에 있는 픽셀의 위치의 최외곽 점으로부터 1차 최소자승법을 이용하여 두 점을 잇는 선(51)을 도시한 것이다.

도 5를 참조하면, 어깨선을 검출하기 위해서 사람 위치 검출부(200)에서 검출된 사람의 영역에서 가장 작은 x 좌표에 있는 픽셀과 가장 큰 x 좌표에 있는 픽셀, 가장 작은 y 좌표에 있는 픽셀, 가장 큰 y 좌표에 있는 픽셀의 위치로부터 최외각 네 점을 찾고, 좌우, 상하의 점들의 좌표를 바탕으로 1차 최소자승법(least-squares problems)을 이용하여 각각 두 점을 잇는 선을 구한다.

도 6은 본 발명의 일실시 예에 따라 지도 이미지상에서 검출된 어깨선을 도시한 것이다.

본 발명의 일 실시 예에 따르면, 도 5와 같은 방법에 의하여 검출된 사람의 영역에서 가장 작은 x 좌표에 있는 픽셀과 가장 큰 x 좌표에 있는 픽셀, 가장 작은 y 좌표에 있는 픽셀, 가장 큰 y 좌표에 있는 픽셀의 위치로부터 최외각 네 점을 찾고, 좌우, 상하의 점들의 좌표를 바탕으로 1차 최소자승법을 이용하여 각각 두 점을 잇는 선을 구한 다음, 각각 이 이 두 선이 지나는 픽셀들 중 값이 0이 아닌 픽셀의 수를 카운트하여 더 많은 쪽을 우세한 방향으로 선택한다.

위와 같이 우세한 방향으로 선택된 선은 수많은 실험치에서도 어깨선 방향과 일치하게 됨을 알 수 있었다.

도 6을 참조하면, 두 선이 지나는 픽셀들 중 값이 0이 아닌 픽셀의 수를 카운트하여 더 많은 쪽인 도 5의 (a)를 우세한 방향으로 선정하여 지도 이미지상에 검출된 어깨선(61)을 도시한 것이다.

가운데 영상은 머리부(60)를 나타낸다.

도 7은 본 발명의 일실시 예에 따른 검출된 어깨선에 대한 각도를 도시한 것이다.

본 발명의 일 실시 예에 따르면, 우세한 방향으로 선정된 어깨선(71)은 양끝 점을 이용하여 어깨선의 각도 즉, 어깨 라인이 향하는 각도 θ_p를 다음 [수학식 4]에 의하여 계산되어진다.

(여기서 x₁과 y₁은 좌측 또는 상단 좌표이고 x₂와 y₂는 우측 또는 하단 좌표, θ_p는 어깨선의 각도이다.)

도 7을 참조하면, 사람이 바라보는 방향 즉 사람의 진행 방향은 어깨선(71)에 수직인 선이 되고, 수직인 선은 두 가지 방향(θ_p, θ_p+180)으로 나타난다.

따라서 사람이 바라보는 방향은 θ_p(73), 또는 θ_p+180(72) 임을 알 수 있다.

본 발명의 일 실시 예에서는 사람이 진행하는 방향을 바라보는 방향으로 추정을 하고, θ_p(73), 또는 θ_p+180(72) 중, 이동 방향 θ_m를 이용하여 선택할 수 있도록 하였다.

즉, 이동방향 검출부(500)에서는 사람 영역의 어깨선 검출을 통하여 방향을 추정하고 이전의 이동경로에 대한 정보를 바탕으로 전방과 후방을 구분하는 방법을 채택하였다.

본 발명의 또 다른 실시 예에서는, 머리로 인한 방해가 없이 어깨선의 검출을 효과적으로 하기 위하여 머리 영역을 제거하고 경계 상자(bounding box)를 구성하여 경계 상자와의 두 접점을 통하여 어깨의 방향을 추정하는 방법을 제공될 수 있다.

도 8은 본 발명의 일실시 예에 따라 바라보는 방향을 검출하기 위한 방법을 설명하기 위한 도면이다.

도 8을 참조하면, 이전 위치와 현재 위치로부터 이동각도θ_m(수평면과 이루는 각도)를 구한다.

그리고 상술한 바와 같이 어깨선 검출로부터 [수학식 4]를 이용하여 θ_p와 θ_p+180을 구한다.

θ_m에 의한 선분(r)과 수직인 선분(b)을 그린 뒤, 사람이 바라보는 각도를 θ_S이라 하면, 선분(r)은 바라보는 각도라고 할 때 θ_S+ 90이 되고 선분(b)은 θ_S- 90이 된다.

따라서 어깨선이 바라보는 각도로 볼 수 있는 θ_S의 범위는 다음 [수학식 5]와 같다.

그러므로 이동 방향 검출부(500)에서 바라보는 방향(θ_S)을 검출하는 과정은 θ_p가 조건

에 만족할 경우에는 θ_p로 판단하게 되며 그렇지 않은 경우에는 θ_p+180을 바라보는 방향(θ_S)으로 판단하게 된다.

본 발명의 일 실시 예에 따른 조명 연출 제어방법은, 바라보는 방향과 조명장치와의 거리를 바탕으로 조명연출 패턴에 따른 조명 연출 제어 신호를 생성하는 단계를 포함한다.

본 발명의 일 실시 예에 따르면, 조명 제어 신호 생성부(600)는 사람의 위치와 바라보는 방향, 조명장치의 위치가 주어졌을 때 조명과의 거리 및 형태를 바탕으로 조명 연출 제어 범위에 포함되는 조명 연출을 제어하는 신호를 생성한다.

즉, 조명 제어 신호 생성부(600)는 조명 거리 계산부에서 계산된 조명들과의 거리와 이동 방향 검출부에서 계산된 각 사람의 방향을 바탕으로 조명 연출 제어 신호를 생성한다.

본 발명의 일실시 예에 따르면, 조명 연출 제어 신호를 생성하는 것은, 사람의 위치와 방향을 기반으로 원형, 타원형 등 조명 연출 패턴으로 조명 연출 제어 범위를 정하여 조명과의 거리를 계산하여 조명을 제어할 수 있으며, 조명 연출 제어 범위에 조명이 들어갈 경우 조명과의 거리에 따라 디밍(dimming)하거나 스위칭(on/off) 신호를 생성할 수 있다.

또한, 조명 연출 제어 범위를 정할 때 바라보는 방향을 바탕으로 offset을 줄 수 있다.

본 발명의 일 실시 예에 따르면, 원형 연출의 형태의 경우에는 다음 [수학식 6]에 의해 조명 연출 제어 범위의 반경 안에 조명 장치가 존재하는지 판단할 수 있으며, d²보다 작거나 같으면 조명 연출 제어 범위에 속하는 것으로 판단될 수 있다.

(여기서 a와 b는 각각 지도 이미지상에서 사람 영역의 중심 좌표의 x, y 좌표에 해당하며 C _x, C _y 는 x, y에 대한 주어진 offset값, d는 제어할 범위에 해당하는 반지름, x, y는 각 조명의 위치, i는 i번째 조명이다.)

도 9는 본 발명의 일실시 예에 따른 조명 연출 제어 범위를 설명하기 위한 도면이다.

도 9의(a)와 같이 사람의 위치가 제어할 원 영역의 중심에 위치한다면 식[6]에서 c는 0에 해당한다.

도 9(b)와 같이 사람의 위치가 원의 중심보다 아래에 있다면 c 값은 음수를 갖게 된다.

예를 들면, 사람의 위치를 원의 중심으로 두고 제어한다고 할 때 d가 50이고 사람의 위치 (a, b) = (100, 100)이고, 두 조명이 각각 (x₁, y₁) = (75, 75), (x ₂, y ₂) = (50, 75)라고 한다면, [수학식 6]에 따라 (x₁, y₁)의 거리는 35.36, (x ₂, y ₂) 의 거리는 55.90으로 계산되므로 첫 번째 조명은 조명 연출 제어 범위 안에 존재하고, 두 번째 조명은 존재하지 않는다.

본 발명의 또 다른 실시 예에 따르면, 또한 도 9(c)와 같이 타원형의 형태일 경우에는 다음 [수학식 7]을 이용하여 조명 연출의 제어 범위에 위치하는지 알 수 있다.

여기서 a는 타원의 짧은 축의 1/2, b는 타원의 긴 축의 1/2, x와 y는 조명의 위치, i는 i번째 조명 장치를 의미한다. 또한, a와 b는 연출 제어할 영역의 크기, α, β는 사람 영역의 중심 좌표의 위치, C _x , C _y 는 x, y에 대한 offset(편차값)을 의미한다.

offset(편차값)은 바라보는 방향을 바탕으로 설정할 수 있다.

예를 들어, 도 9(b)(c)처럼 제어할 범위의 중심에 사람이 있는 것이 아니라 한쪽에 치우쳐 있을 때 이값은 offset에 의해 결정되며 바라보는 방향각 θ_s를 기준으로 결정될 수 있다.

즉,

,

(여기서 ｅ는 미리 설정된 중심으로부터의 거리에 대한 상수 값이다.)

또한, 조명 연출 제어 신호를 생성하기 위해서 단순 on/off의 신호를 생성하는 것은 조명 연출 제어 범위에 해당하는 조명 장치에는 on신호를 그렇지 않은 조명 장치에는 off신호를 줄 수 있다.

또 다른 실시 예에서는 거리에 따른 디밍 제어 신호를 제안한다.

예를 들면, 각 조명과의 계산된 거리를 최대 거리를 바탕으로 다음 식[8]과 같이 거리에 대한 퍼센트로 디밍신호를 생성할 수 있다.

식

여기서 PWM은 PWM(Pulse width modulation)으로 디밍제어를 할 때의 PWM의 값, t는 수학식 6, 7의 값(좌변항에서 계산된 값), d는 제어 연출 패턴이 원일 경우에는 반지름이고, 제어 연출 패턴이 타원의 방정식일 경우에는 1이다.

예를 들면, 원형 패턴으로 제어 연출을 하는 경우에 d가 50일 때, 최대 거리가 50이고, [수학식 6]의 좌변항에서 계산된 값을 t라고 할 때. t가 50보다 작다면 1-(t ÷ 50)을 한다면 1~0 범위에서 정규화된 값으로 설정하는 것이 가능하다.

이 정규화된 값을 8비트 PWM에 대해 퍼센트로 사용하여 신호를 생성할 수 있다. 예를 들면, 8비트 PWM이 가질 수 있는 값은 0~255의 총 256개의 값이고, 정규화된 값이 0.15라고 하면, 256 × 0.15=38.4가 되고 반올림하여 38의 값을 PWM 값으로 사용하여 디밍 제어 신호를 발생할 수 있다.

본 발명의 일실시 예에서는 조명 제어 신호를 생성하기 위해 RS485기반의 DMX512를 사용하였으며, DMX512의 제어 장치를 제어하기 위한 신호를 주어진 프로토콜에 맞추어 생성하였다. 하지만, DMX512 외에 Zigbee 및 Bluetooth, 무선 랜 등의 다른 통신 방법 및 프로토콜을 사용하는 것도 포함된다.

본 발명의 일 실시 예에 따른 조명 연출 제어방법은, 상기 조명연출 제어신호에 의하여 조명장치에 조명을 제어하는 신호를 발생하는 단계를 포함한다.

조명 제어부(700)는 조명 생성부로부터 전송받은 조명 신호를 바탕으로 조명 장치를 제어하게 되며, PWM, 가변저항 등을 이용하여 색온도나 조도, 색상 등을 제어하게 된다.

따라서, 본 발명의 일 실시 예에 따른 조명제어방법은 조명제어장치가 자동으로 사람의 영역을 구별하고 사람의 이동 방향과 사람의 바라보는 방향을 산출하여 조명 제어 신호를 생성하여 조명장치를 스스로 제어할 수 있다.

본 발명의 일 실시 예에 따른 조명제어방법은 사람의 이동 방향과 사람의 어깨 라인을 구별하여 사람의 바라보는 방향을 판단하는 구성 및 방법을 제안함으로써, 자동으로 사람의 바라보는 방향을 정확하게 산출하여 조명장치를 제어할 수 있는 조명 제어장치를 제공할 수 있다.

또한, 사람의 바라보는 방향에 따라 다양한 오프셋 조건을 설정하여 다양한 국부조명을 자동으로 연출할 수 있게 된다.

본 발명의 일 실시 예에 따르면, 사람의 바라보는 방향에 맞추어 오프셋 크기를 조절함으로써, 원형 패턴 및 타원형 패턴 등 다양한 조명 제어 패턴을 설정할 수 있으며, 조명의 거리에 따라 적합한 조명 환경을 제공할 수 있는 효과가 있다.

또한, 사람의 바라보는 방향으로만 오프셋을 주어 자동으로 쾌적한 조명을 제공하면서 또한 불필요한 조명을 줄임으로써, 에너지를 절감할 수 있는 효과를 가지게 된다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

1 ~ 12: 조명 장치의 ID
20: 조명 장치
100: 영상 획득부
200: 사람 위치 검출부
300: 조명 위치 설정부
400: 조명 거리 계산부
500: 이동 방향 검출부
600: 조명 신호 생성부
700: 조명 제어부

Claims

삭제
삭제
사람 움직임 방향을 고려한 조명 제어 방법에 있어서,
조명 제어 장치의 영상 획득 수단이 깊이 영상을 획득하는 영상 획득 단계;
상기 조명제어장치의 사람위치 검출 수단이 상기 획득된 깊이 영상으로부터 사람 영상 영역을 검출하는 사람 영역 검출 단계;
상기 사람위치 검출 수단이 상기 사람 영상 영역의 사각형 꼭짓점의 좌표를 실제 공간 크기와 비례하여 지도 이미지 공간을 생성하고 상기 지도 이미지 공간에서 상기 사람 영상 영역의 중심 좌표를 추출하는 사람 위치 추출 단계;
상기 조명제어장치의 조명 위치 설정 수단이 상기 지도 이미지 공간에서 조명장치의 위치를 설정하는 조명 위치 설정 단계;
상기 조명제어장치의 조명 거리 계산 수단이 상기 사람 영상 영역의 중심 좌표와 상기 조명장치의 위치 좌표를 기반으로 조명 거리를 계산하는 조명 거리 계산 단계;
상기 조명제어장치의 이동 방향 검출 수단이 이전 사람 영상 영역의 중심 좌표로부터 현재 상기 사람 영상 영역의 중심 좌표를 차감하여 이동 방향을 구하는 이동 방향 검출 단계;
상기 이동 방향 검출 수단이 상기 사람 영상 영역의 중심 좌표를 기준으로 어깨 라인을 검출하고 상기 이동 방향을 바탕으로 바라보는 방향을 검출하는 바라보는 방향 검출 단계;
상기 조명제어장치의 조명 제어신호 생성 수단이 상기 조명 거리와 바라보는 방향을 포함하여 조명연출 패턴에 따른 조명 연출 제어 범위와 조명 연출 제어 신호를 생성하는 조명 제어신호 생성 단계; 및
상기 조명제어장치의 조명제어수단이 상기 조명 연출 제어 신호를 전송받아 상기 조명장치에 조명을 제어하는 신호를 발생하는 조명장치 제어 단계를 포함하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법
제 3항에 있어서
상기 사람 영역 검출 단계에서 사람 영상 영역을 검출하는 것은, 상기 획득된 깊이 영상에 대하여 다음 [식 1] 에 의한 일정 프레임 동안의 누적 이동량(acc_i)이 일정 값 이상이 되면 사람 영상 영역으로 검출하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법
[식 1]

(여기서 acc_i는 누적값을 나타내며, i는 i번째 사람 후보 영역, t는 현재 프레임, n은 측정할 최대 프레임 수, x는 i번째 후보 영역의 x 좌표, y는 i번째 후보 영역의 y좌표를 의미한다.)
제 3항에 있어서,
상기 사람 위치 추출 단계에서 상기 사람 영상 영역의 중심 좌표를 추출하는 것은, 상기 사람 영상 영역 중에서 머리 영역을 검출하고 상기 머리 영역의 중심점을 상기 중심 좌표로 추출하는 것을 더 포함하되,
상기 머리 영역은 상기 사람 영상 영역의 깊이 영상 값의 히스토그램 CDF(Cumulative Distribution Function)의 하위 10% 영역에 해당하는 값을 상기 머리 영역의 픽셀 값으로 추정하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법
제 3항에 있어서,
상기 이동 방향 검출 단계에서 다음 [식 2]에 의하여 상기 이동 방향에 대한 각도(θ)를 구하는 것을 더 포함하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법
[식 2]

(여기서
,
는 상기 지도 이미지상에서 x - y 좌표 위치, t는 현재 관측된 시점, t-1은 이전 관측된 시점, θ는 x축을 기준으로 이동 방향에 대한 각도임)
제 6항에 있어서
상기 바라보는 방향 검출 단계에서 상기 어깨 라인을 검출하는 것은, 상기 사람 위치 추출 단계에서 검출된 사람의 영역에서 가장 작은 x 좌표에 있는 픽셀과 가장 큰 x 좌표에 있는 픽셀, 가장 작은 y 좌표에 있는 픽셀 및 가장 큰 y 좌표에 있는 픽셀의 위치로부터 최외각 네 점을 찾고, 좌우, 상하의 점들의 좌표를 바탕으로 1차 최소자승법을 이용하여 각각 두 점을 잇는 선을 구한 다음, 각각 이 이 두 선이 지나는 픽셀들 중 값이 0이 아닌 픽셀의 수를 카운트하여 더 많은 쪽을 어깨 라인으로 검출하는 것을 더 포함하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법
제 7항에 있어서
상기 검출된 어깨 라인은 다음 [식 3]에 의하여 어깨 라인이 향하는 각도(θ_p)를 구하는 것을 더 포함하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법
[식 3]

(여기서 x₁과 y₁은 상기 지도 이미지상에서 검출된 어깨 라인의 좌측 또는 상단 좌표이고 x₂와 y₂는 우측 또는 하단 좌표, θ_p는 x축에 대하여 어깨 라인이 향하는 각도임.)
제 8항에 있어서
상기 바라보는 방향 검출 단계에서 바라보는 방향(θ_S)은 상기 어깨 라인이 향하는 각도 θ_p가 조건
에 만족할 경우에는 θ_p로 판단하게 되며, 그렇지 않은 경우에는 θ_p+180 을 바라보는 방향(θ_S)으로 검출하는 것을 더 포함하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법
제 3항에 있어서,
상기 조명 제어 신호 생성 단계에서 조명연출 패턴에 따른 조명 연출 제어 범위가 원형 연출 패턴인 경우, 각 조명 장치가 다음 [식 4]에 의하여 구한 좌측 항의 값이 d²보다 작거나 같으면 조명 연출 제어 범위 내에 위치하는 것으로 판단하는 것을 더 포함하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법
[식 4]

(여기서 a와 b는 상기 지도 이미지상에서 사람 영역의 중심 좌표의 x, y 좌표에 해당하며 C _x, C _y 는 x, y에 대하여 주어진 offset값(편차값), d는 제어할 범위에 해당하는 반지름, x, y는 각 조명의 위치, i는 i번째 조명임.)
제 3항에 있어서,
상기 조명 제어 신호 생성 단계에서 조명연출 패턴에 따른 조명 연출 제어 범위가 타원형 연출 패턴인 경우, 각 조명 장치가 다음 [식 5]에 의하여 구한 좌측 항의 값이 1보다 작거나 같으면 조명 연출 제어 범위 내에 위치하는 것으로 판단하는 것을 더 포함하는 것을 특징으로 하는 사람 움직임 방향을 고려한 스마트 조명 제어 방법
[식 5]

(여기서 a는 타원의 짧은 축의 1/2, b는 타원의 긴 축의 1/2, x와 y는 조명의 위치, i는 i번째 조명 장치를 의미한다. 또한, a와 b는 연출 제어할 영역의 크기, α, β는 사람 영역의 중심 좌표의 위치, C _x , C _y 는 x, y에 대하여 주어진 offset(편차값)을 의미한다.)