KR20230077267A - Illuminance control street light using CCTV based on R-CNN to increase power efficiency - Google Patents

Abstract

국내에서 사용되는 전력 소비량 중 가로등에 사용되는 전력은 연간 7,111MWh임. 이를 획기적으로 줄일 수 있는 아이더어를 필요로 한다. Deep Learning 알고리즘을 이용하여 사람을 인식해서 사람이 있을 경우에만 가로등이 밝게 켜지고 사람이 없을 때는 작은 불빛만 나오게 한다면 전력 소비량을 획기적으로 줄일 수 있다. 사람을 인식하는 방법으로는 CCTV를 이용하여 인식할 것인데 카메라를 이용할 경우 사생활 침해 문제에 직면할 수 있음. 따라서 사람의 얼굴과 몸을 따로 인식하여 얼굴 부분을 모자이크 처리한다면 사생활 침해 문제를 해결할 수 있다. 또한 기존 가로등은 ON/OFF 제어 외에 제어가 힘든 HMI 등을 이용하였으나 LED 등으로 변경함으로서 기존 전력 소비량을 40% 줄일 수 있었다. 이 LED 등은 PWM 제어가 가능하므로 전력 소모량을 더욱 줄일 수 있다. 결국 사람이 있을 때와 없을 때의 조도를 제어할 때와 기존 가로등 시스템처럼 항상 가로등을 ON 시켜놨을 때의 전류 차이가 조도를 제어한 것이 0.3A의 낮은 전류가 흐르는 것을 확인할 수 있었다. 부하가 같고 내부 저항이 같기 때문에 전류의 차이는 곧 전력의 차이라 볼 수 있다. 즉 사람의 유무와 위치에 따라 조도 제어한 것이 더 좋은 전력 효율을 가지는 것을 알 수 있다.Of the domestic electricity consumption, the electricity used for street lights is 7,111MWh per year. We need an idea that can drastically reduce this. If a person is recognized using a deep learning algorithm, and the street light turns on brightly only when there is a person present and only a small light comes out when there is no person, power consumption can be drastically reduced. As a method of recognizing a person, CCTV will be used to recognize it, but if a camera is used, privacy infringement problems may be encountered. Therefore, if the person's face and body are recognized separately and the face part is mosaic-processed, the privacy invasion problem can be solved. In addition, existing streetlights used HMI lights, which are difficult to control, in addition to ON/OFF control, but by changing to LED lights, the existing power consumption could be reduced by 40%. These LED lights can be PWM controlled, which further reduces power consumption. at last It was confirmed that a low current of 0.3A flows when the illumination intensity is controlled by the current difference between when the illumination intensity is controlled with and without a person and when the streetlight is always turned on like the existing streetlight system. Since the load is the same and the internal resistance is the same, the difference in current can be seen as the difference in power. That is, it can be seen that the lighting control according to the presence and location of people has better power efficiency.

Description

전력 효율 증가를 위한 R-CNN 기반의 CCTV를 활용한 조도 제어 가로등{Illuminance control street light using CCTV based on R-CNN to increase power efficiency}Illuminance control street light using CCTV based on R-CNN to increase power efficiency}

본 발명은 전력 소모를 줄이는 것에 관한 것으로서, 상세하게는 사람의 유무와 행동반경을 딥 러닝 알고리즘을 이용하여 파악하여 그 결과에 따라 조도를 제어하는 것이다.The present invention relates to reducing power consumption, and in detail, detects the existence of a person and the radius of action using a deep learning algorithm, and controls the intensity of illumination according to the result.

일반적인 가로등은 저녁 시간이나 심야 시간에 안전 및 조경 목적으로 설치된다. 현재 공중 화장실 조명, 신발장 조명 등 즉, 실내 공간은 센서를 이용하여 사람을 파악하고 그 값에 따라 조명을 제어하고 있다. 하지만 공원이나 거리 즉 실외 공간은 센서로 인식하는 것이 어렵기 때문에 이를 딥 러닝 알고리즘을 이용하여 사람의 유무와 행동반경에 따라 조도를 제어한다. 현재 딥 러닝을 이용하여 사람의 유무에 따라 가로등 조도를 제어하는 연구는 여러 회사에서도 진행 중인 연구이다. 2018년 용도별 전력 사용량을 확인했을 때 대한민국 전체 전력 사용량의 1.36%를 차지한다. 이는 7,111MWh로 굉장히 많은 전력이 소모되고 있다. 또한 기존의 가로등의 경우 ON/OFF 외의 제어가 현실적으로 어려운 HID 등을 이용한다. HID 전력 회로의 경우 교류 전원을 이용하는 경우가 많기 때문에 제어 회로를 추가로 설비하는 것이 어렵다.Common streetlights are installed for safety and landscaping purposes in the evening or late at night. Currently, public toilet lighting, shoe closet lighting, and the like, that is, indoor spaces use sensors to identify people and control lighting according to the values. However, since it is difficult to recognize a park or street, that is, an outdoor space with a sensor, the intensity of illumination is controlled according to the presence or absence of people and the radius of action by using a deep learning algorithm. Currently, research on controlling the intensity of streetlights according to the presence or absence of people using deep learning is being conducted by several companies. In 2018, when the power consumption by use was checked, it accounted for 1.36% of the total power consumption in Korea. This is 7,111MWh, which consumes a lot of power. In addition, in the case of existing street lights, HID lamps, which are practically difficult to control other than ON/OFF, are used. In the case of HID power circuits, since AC power is often used, it is difficult to additionally install a control circuit.

첫 번째로 딥러닝 모델을 설정해야 한다. 영상처리에 관련된 딥 러닝 모델 중 가벼운 모델을 찾아야 한다. 좋은 PC에서 모델을 구동할 경우 좋은 성능의 모델을 찾아서 구동하면 되겠지만, 우리는 좋은 PC가 아닌 Jetson Nano라는 미니 PC를 이용하여 구동할 것이기 때문에 모델은 가벼우되 무난한 성능을 가지는 모델을 가져야 한다.First, we need to set up a deep learning model. Among the deep learning models related to image processing, a lightweight model should be found. If you run the model on a good PC, you can find a model with good performance and run it, but since we will use a mini PC called Jetson Nano, not a good PC, the model must be lightweight but have good performance.

두 번째로 사생활 침해를 방지해야 한다. CCTV 영상을 받아들여 얼굴과 몸을 따로 인식할 경우 사생활 침해 문제에 직면할 수 있다.Second, we must prevent invasion of privacy. If you accept CCTV images and recognize your face and body separately, you may face privacy infringement issues.

세 번재로 사람의 유무와 이동 반경에 따라 조도를 제어해야 한다. 전력 소모를 줄이기 위해 사람이 없거나 멀리 있으면 낮은 밝기를 유지하고 사람이 가까이 있으면 높은 밝기를 유지해야 한다.Thirdly, the intensity of illumination must be controlled according to the presence or absence of people and the moving radius. To reduce power consumption, low brightness should be maintained when there is no person or far away, and high brightness should be maintained when a person is nearby.

상기한 목적 달성을 위한 본 조도 제어 가로등은 미니 PC에서 구동하기 위해 많은 R-CNN 모델들을 이용하여 학습하고 그 모델을 Jetson Nano에서 구동시키고 얼굴에 그려지는 BOX의 데이터를 전부 BOOL로 처리하여 모자이크 처리 하면서 몸에 그려지는 BOX의 평균값 중 가장 큰 값을 이용하여 조도 제어하는 것을 특징으로 한다.This illuminance control street light to achieve the above purpose is learned using many R-CNN models to run on a mini PC, drives the model on Jetson Nano, and processes all BOX data drawn on the face into BOOL to process mosaic It is characterized in that the illuminance is controlled using the largest value among the average values of the boxes drawn on the body while doing so.

사람이 있을 때와 없을 때의 조도를 제어할 때와 기존 가로등 시스템처럼 항상 가로등을 ON 시켜놨을 때의 전류 차이가 조도를 제어한 것이 0.3A의 낮은 전류가 흐르는 것을 확인할 수 있었다. 부하가 같고 내부 저항이 같기 때문에 전류의 차이는 곧 전력의 차이라 볼 수 있다. 즉 사람의 유무와 위치에 따라 조도 제어한 것이 더 좋은 전력 효율을 가지는 것을 알 수 있다.It was confirmed that a low current of 0.3A flows when the illumination intensity is controlled by the current difference between when the illumination intensity is controlled with and without a person and when the streetlight is always turned on like the existing streetlight system. Since the load is the same and the internal resistance is the same, the difference in current can be seen as the difference in power. That is, it can be seen that the lighting control according to the presence and location of people has better power efficiency.

도1: 본 발명에 의한 R-CNN 처리 결과를 나타낸 도면이다.
도2: 모자이크 처리 결과
도3: 위치찾기 결과
도4: 하드웨어 연결도
도5: 가로등 구동을 위한 회로도
도6: 대표도Figure 1: A diagram showing the results of R-CNN processing according to the present invention.
Figure 2: Mosaic processing result
Figure 3: Locate result
Figure 4: Hardware Connection Diagram
Figure 5: Circuit diagram for street lamp driving
Figure 6: Representative diagram

이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, if it is determined that a related known function or configuration may unnecessarily obscure the gist of the present invention, a detailed description thereof will be omitted.

도 1은 R-CNN 모델 중 미니 PC에서 구동 가능하고 무난한 성능을 가지는 모델을 이용하여 학습을 진행한 결과이다. 사용한 모델은 ssdlite mobilenet v2 coco 모델이다. 여러 가지 모델을 학습해보고 Jetson Nano에서 구동했을 때 delay 없이 구동 되는 모델 중 가장 좋은 정확도를 가지는 모델이다. 1 is a result of learning using a model that can be run on a mini PC and has satisfactory performance among R-CNN models. The model used is the ssdlite mobilenet v2 coco model. After learning several models, it is the model with the best accuracy among the models that run without delay when run on Jetson Nano.

도 2는 얼굴에 그려지는 BOX의 데이터를 전부 BOOL 처리해서 얼굴 모자이크를 한 것이다. R-CNN 출력은 class와 score boxes를 가지며 class는 얼굴인지 몸인지 판별하는 것, score는 class가 맞을 확률, boxes는 박스의 4개 좌표를 말한다. 그리고 frame은 현재 사용하고 있는 해상도를 말한다. 위에 말한 class, scroe, boxes, frame은 배열로 이루어져 있으며 class는 1,2로 이루어져 있다. 1은 얼굴 2는 몸의 해당하는 class이다. score는 0~1까지의 숫자로 나타타며 높은 값일수록 정확도가 높다. boxes 또한 0~1의 값을 가지며 0일수록 왼쪽에 붙어 있고 1일수록 오른쪽에 붙어 있음을 뜻한다. 모자이크 처리는 class 중 1에만 즉, 얼굴에만 해당하는 class 중 0.8을 넘는 score 값을 매칭시켜서 그 값을 box와 매칭한다. 그 매칭한 box는 0~1로 이루어져 있기 때문에 frame과 매칭시켜 사용한 해상도 1280*720에 매칭시켜야 한다. 매칭시킨 후 x축은 1280, y축은 720을 곱해줘서 box 좌표를 알아낸 후 내부 값을 전부 0으로 처리한다면 얼굴에 그려지는 box의 내부는 전부 검은색으로 나올 것이다. 2 shows a face mosaic by BOOL-processing all the data of the BOX drawn on the face. R-CNN output has class and score boxes, where class is the face or body, score is the probability that the class is correct, and boxes are the 4 coordinates of the box. And frame refers to the resolution currently being used. The class, screen, boxes, and frame mentioned above are made up of an array, and the class is made up of 1 and 2. 1 is the face 2 is the corresponding class of the body. The score is expressed as a number from 0 to 1, and the higher the value, the higher the accuracy. boxes also have a value of 0 to 1, with 0 being attached to the left and 1 being attached to the right. Mosaic processing matches only one of the classes, that is, a score value that exceeds 0.8 among the classes corresponding only to the face, and matches that value with the box. Since the matched box consists of 0 to 1, it must be matched with the frame and matched to the used resolution of 1280*720. After matching, the x-axis is multiplied by 1280 and the y-axis is multiplied by 720 to find out the coordinates of the box, and if all internal values are treated as 0, the inside of the box drawn on the face will all come out in black.

도 3은 사람이 몇 명이 들어오든 맨 앞 사람에 따라 조도를 제어하면 되기 때문에 사람의 위치 중 맨 앞 사람을 찾을 수 있도록 한 것이다. class는 2를 가지며 그 정확도가 80%를 넘는 것들만 box에 매칭하고 그 box를 다시 frame에 매칭시켜 배열 값을 알아낸 후 몸에 그려지는 box의 위 점과 아래 점을 잡아 평균값을 구해 평균값 중 가장 큰 값을 찾아낸다. 3 shows that the first person among the positions of people can be found because the illuminance can be controlled according to the first person no matter how many people enter. The class has 2, and only those whose accuracy exceeds 80% are matched to the box, and the box is matched to the frame again to find the array value. find the big value.

도 4는 만든 하드웨어의 연결도이다. CCTV에서 받아들인 이미지를 Jetson Nano에서 R-CNN, 모자이크 처리, 위치를 찾은 후 위치 값을 아두이노에 보내 아두이노를 통해 조도를 제어할 수 있다. Figure 4 is a connection diagram of the hardware made. After finding the image received from CCTV through R-CNN, mosaic processing, and positioning in Jetson Nano, the position value can be sent to Arduino to control illumination through Arduino.

도 5는 가로등 PWM 제어를 위한 회로도이다. 전력을 고려해야 하는 전력 회로로서 아두이노로는 전력을 다룰 수 없기 때문에 외부 전원과 FET를 사용하여 전력 회로를 구성했다. 결국 아두이노의 PWM 신호에 따라 LED 조명을 제어할 수 있다. 5 is a circuit diagram for PWM control of a street light. As a power circuit that needs to consider power, Arduino cannot handle power, so an external power source and FET are used to configure the power circuit. After all, you can control the LED light according to the Arduino's PWM signal.

도 6은 대표도이며 R-CNN, 모자이크 처리, 위치 찾기, 통신, 회로, 하드웨어를 전부 제작한 최종본이다. Figure 6 is a representative diagram and is the final version of R-CNN, mosaic processing, location finding, communication, circuit, and hardware.

Claims (1)

조도 제어 가로등에 있어서,
영상을 받아오는 카메라부:
영상으로부터 딥 러닝 알고리즘을 이용하여 사람의 얼굴과 몸을 인식하는 인식부;
모자이크 처리와 위치를 찾는 계산을 하는 연산부:
위치를 찾은 값을 통해 LED 조명을 PWM 제어하는 제어부를 포함하는 것을 특징으로 하는 조도 제어 가로등
In the illumination control street light,
The camera part receiving the video:
a recognition unit that recognizes a person's face and body from an image using a deep learning algorithm;
Computing unit that performs mosaic processing and positioning calculations:
Illumination control street light comprising a control unit for PWM control of the LED lighting through the value found in the position

Images