KR20190117832A

KR20190117832A - Sympathetic Companion Plant Robot System

Info

Publication number: KR20190117832A
Application number: KR1020180034239A
Authority: KR
Inventors: 배진호; 김정찬
Original assignee: 제주대학교 산학협력단; 에스앤피글로벌주식회사
Priority date: 2018-03-26
Filing date: 2018-03-26
Publication date: 2019-10-17
Also published as: KR102116259B1

Abstract

The present invention relates to a sympathetic companion plant robot system comprising a plant cultivation part for providing a space in which plants are cultivated, acquiring data by monitoring a state of the of plants, and adjusting a cultivation environment for the plants according to the data; and an artificial intelligence control part for collectively managing the information on the plants using the data obtained from the plant cultivation part and performing a sympathetic function between the plants and humans by using the same. The plant cultivation part and the artificial intelligence control part are installed in one robot housing to not only provide an environment necessary for the cultivation of plants in the robot housing, but can be combined with an artificial intelligence engine to interact with the humans and act as companion plants by using the data on the state of the plants.

Description

교감형 반려식물 로봇시스템{Sympathetic Companion Plant Robot System}Sympathetic Companion Plant Robot System

본 발명은 교감형 반려식물 로봇시스템에 관한 것으로, 보다 상세하게는 다양한 센서를 이용하여 식물의 상태를 모니터링을 하고, 모니터링된 데이터를 인공지능 엔진과 결합하여 인간과 대화, 행동 등을 통해 인간과 교감할 수 있는 교감형 반려식물 로봇시스템에 관한 것이다. The present invention relates to a sympathetic companion robot system, and more specifically, to monitor the condition of plants using various sensors, and to combine the monitored data with an artificial intelligence engine to communicate with humans through conversations and actions. The present invention relates to a sympathetic companion plant robot system.

최근 싱글족, 독거노인 등 1인 가구가 전체 약 1900만 가구 중 520만 가구를 차지하여 27.2%의 비율인 것으로 조사되었으며, 계속적으로 1인 가구의 수는 증가하는 추세이다. 특히, 독거노인의 경우 현재 노인 6명 중 1명을 차지하고 있을 뿐 아니라 그 비중은 앞으로 더 증가 할 것으로 전망된다. Recently, single-person households such as singles and the elderly living alone accounted for 5.2 million households out of a total of 19 million households, accounting for 27.2%, and the number of single-person households continues to increase. In particular, elderly people living alone are not only occupying one in six senior citizens but are expected to increase in the future.

이와 같은 1인 가구의 증가는 반려시장의 성장을 초래하는데, 반려 산업 규모는 2016년 2조원에서 2020년 5조8000억 원까지 늘어날 것으로 전망된다(2017년 04월 06일자 헤럴드경제).The increase in single-person households leads to the growth of the companion market, which is expected to increase from 2 trillion won in 2016 to 580 trillion won in 2020 (Herald Economy, April 06, 2017).

이와 같이 반려시장이 성장추세에 있지만, 반려의 대상으로 동물을 선택하기 어려운 사람들, 예컨대 바쁜 직장인이나 노인들에게 반려식물이 각광받고 있으며, 식물을 대상으로 하는 반려시장 또한 커지는 경향을 보인다.As such, the companion market is on the rise, but pet plants are attracting the attention of people who are unable to select animals as companions, such as busy office workers or the elderly, and the companion market for plants also tends to grow.

예컨대, 화분, 화초, 원예재료 등의 매출량이 매년 큰 폭으로 증가하여 가정에서 식물을 키우는 일이 점점 늘어나고 있는 것을 알 수 있다. For example, sales of pollen, flowers, horticultural materials, etc. are greatly increased every year, and it can be seen that growing plants at home is increasing.

그러나, 가정의 실내에서 식물을 잘 성장시키기 위해서는 광량, 수분, 온도, 습도 등 식물이 성장할 수 있는 환경을 사람이 일일이 조절해줘야 하는데, 식물을 키워본 경험이 많은 사람일 경우에는 스스로 터득된 경험에 의해, 식물을 재배할 수 있지만, 식물을 키워본 경험이 적거나 다양한 식물군을 재배하는 경우에는 각각의 식물의 재배정보에 포함되는 온도, 습도 및 일사량 등의 성장환경조건을 각 재배자가 체감으로 정확하게 예측하여 식물을 재배하는 일이 쉽지 않다는 등의 여러가지 문제점이 있었다.However, in order to grow plants indoors well, people need to control the environment in which plants can grow such as light quantity, moisture, temperature, and humidity.However, if you have many experiences with growing plants, By planting plants, but having little experience in growing plants, or growing various plant groups, each grower feels the growth environment conditions such as temperature, humidity, and insolation in each plant's planting information. There are various problems, such as the difficulty of cultivating plants with accurate prediction.

또한, 바쁜 직장인들은 집에서 생활하는 비율이 적기 때문에, 실질적으로 식물을 제대로 관리하며 재배하는 일이 쉽지 않은 현실이다. In addition, busy office workers have a small percentage of living at home, so it is not easy to actually manage and grow plants.

이와 관련된 종래의 기술로서, 한국등록특허 제10-0481162호는 성장하는 식물의 재배 관리를 용이하게 제어할 수 있는 성장환경 제어가 가능한 디지털 화분이 개시되어 있다. As a related art, Korean Patent No. 10-0481162 discloses a digital pollen capable of controlling a growth environment that can easily control the cultivation management of a growing plant.

상기 등록특허는 식물을 재배하는 재배자가 식물의 성장환경인, 광조사량, 주위 온도 및 수분 등과 식물의 생존 유무를 감지할 수 있도록 각종 센서를 구비하고, 이들 센서에 의해 감지한 각종 데이터를 재배자가 인지할 수 있도록 퍼스널 컴퓨터의 모니터 또는 표시부(액정표시장치)에 표시함으로써, 식물의 재배 관리를 보다 용이하게 하는 장점은 있지만, 수집된 데이터를 재배자가 확인한 후 직접 필요한 에너지를 식물에 공급해야 한다는 점에서 시간을 내기 어려운 직장인들이나 노인들에게는 적합하지 못하며, 일괄적으로 특정 데이터를 측정하여 식물의 상태를 추정하므로 식물의 상태가 재배자에게 정확하게 전달되지 못할 위험성이 있다.The registered patent is provided with a variety of sensors to enable the grower to grow the plant to detect the survival of the plant, such as the amount of light irradiation, ambient temperature and water, which is the growth environment of the plant, and the grower to the various data detected by these sensors Displaying on a monitor or display unit (liquid crystal display) of a personal computer so that it can be recognized is easier to manage the cultivation of the plant, but it is necessary to supply the required energy directly to the plant after the grower has confirmed the collected data It is not suitable for office workers or elderly people who are unable to find time in the market, and there is a risk that the condition of the plant may not be accurately transmitted to the grower because it estimates the condition of the plant by measuring specific data in a batch.

또한, 반려의 대상으로 식물을 선택하는 사람이 증가하는 현 추세에서, 종래의 기술로는 식물과의 교감이 어려우므로 식물을 재배함과 동시에 식물과의 '교감'을 할 수 있는 기술이 요구되고 있다. In addition, in the current trend of increasing the number of people who choose plants as the object of companionship, it is difficult to communicate with plants using conventional techniques, so that a technique for cultivating plants and at the same time 'communicating' with plants is required. have.

한국등록특허 제10-0481162호.Korean Patent No. 10-0481162.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출한 것으로서, 식물을 반려의 대상으로 인식할 수 있도록 인공지능 엔진을 통해 식물과의 '교감' 이 가능한 교감형 반려식물 로봇시스템을 제공하는데 그 목적이 있다. The present invention has been made to solve the above problems, to provide a sympathetic companion plant robot system capable of 'communicating' with the plant through an artificial intelligence engine to recognize the plant as the object of companion. have.

또한, 다양한 센서를 이용하여 식물의 상태를 모니터링을 하고, 모니터링된 데이터를 이용하여 식물의 재배에 필요한 광량조절, 수분조절, 온도습도 조절을 자동적으로 함으로써, 가정에서 식물의 재배를 용이하게 하는 교감형 반려식물 로봇시스템을 제공하는데 그 목적이 있다. In addition, by using various sensors to monitor the condition of the plant, and using the monitored data to automatically adjust the amount of light, moisture, temperature and humidity necessary for plant cultivation, sympathetic facilitating planting at home The purpose is to provide a type pet robot system.

상기와 같은 목적을 달성하기 위하여, 본 발명에서는 식물이 재배되는 공간을 제공하며, 식물의 상태를 모니터링하여 데이터를 취득하고, 상기 데이터에 따라 식물에 대한 재배환경을 조절하는 식물 재배부와, 상기 식물 재배부에서 취득한 데이터를 이용하여 식물에 대한 정보를 총괄적으로 관리하고, 이를 이용하여 식물과 인간 사이에 교감 기능을 수행하는 인공지능 제어부를 포함하며, 상기 식물 재배부와 인공지능 제어부가 하나의 로봇 하우징 내에 설치되어 상기 로봇 하우징 내에서 식물의 재배에 필요한 환경을 제공할 뿐 아니라 상기 데이터를 이용하여 인공지능 엔진과 결합하여 인간과 교감할 수 있는 교감형 반려식물 로봇시스템이 제공된다.In order to achieve the above object, the present invention provides a space in which plants are grown, the plant cultivation unit for obtaining the data by monitoring the state of the plant, and adjusting the cultivation environment for the plant according to the data, and It includes an artificial intelligence control unit that collectively manages information about the plant by using the data obtained from the plant cultivation unit, and performs the sympathetic function between the plant and the human being using the plant cultivation unit, wherein the plant cultivation unit and the artificial intelligence controller It is provided in the robot housing is provided with the sympathetic companion robot system that can not only provide the environment necessary for the cultivation of plants in the robot housing, but also can interact with the human in combination with the artificial intelligence engine using the data.

상기 식물 재배부는, 식물의 재배공간을 제공하는 케이스와, 상기 식물의 상태를 모니터링하여 식물에 대한 생장 환경 데이터를 취득하기 위한 센서모듈과, 상기 센서모듈이 취득한 생장 환경 데이터에 따라 상기 식물에 대한 재배 환경을 조절하기 위한 재배환경 조절모듈을 포함할 수 있다. The plant cultivation unit includes a case for providing a plant cultivation space, a sensor module for monitoring the state of the plant, and obtaining growth environment data for the plant, and a growth environment data for the plant according to the growth environment data acquired by the sensor module. It may include a cultivation environment control module for adjusting the cultivation environment.

상기 케이스는 개폐가능한 도어를 포함하며, 아크릴, 도자기, 나무, 유리 또는 금속 재질로 이루어질 수 있다. The case includes an openable door and may be made of acrylic, ceramics, wood, glass or metal.

또한, 상기 센서모듈은, 상기 식물이 심겨지는 화분 내 토양의 건조도를 실시간으로 측정하는 토양습도 센서와, 상기 케이스 내 온도 및 습도를 실시간으로 측정하는 온도습도 센서와, 상기 식물에 물을 공급하는 물탱크의 수위를 측정하는 수위센서를 포함할 수 있다. In addition, the sensor module, a soil humidity sensor for measuring in real time the dryness of the soil in the planter planting the plant, a temperature humidity sensor for measuring the temperature and humidity in the case in real time, and supplies water to the plant It may include a water level sensor for measuring the water level of the water tank.

한편, 상기 식물 재배부는 상기 식물의 건강상태를 파악하기 위한 광합성 관찰 카메라를 더 포함할 수 있다. On the other hand, the plant cultivation unit may further include a photosynthesis observation camera to determine the health state of the plant.

이 경우, 상기 광합성 관찰 카메라를 통해 얻은 영상을 이용하여 식생지수(NDVI)를 계산하고, 이를 이용하여 식물의 건강상태를 파악하는 것을 특징으로 한다. In this case, the vegetation index (NDVI) is calculated using the image obtained through the photosynthetic observation camera, and the health state of the plant is determined using the same.

상기 광합성 관찰 카메라는 적외선 카메라를 포함하며, 상기 적외선 카메라를 통해 얻은 블루 필터(Blue filter)를 적용한 이미지와 상기 블루 필터를 미 적용한 이미지를 사용하여 상기 식생지수(NDVI)를 계산할 수 있다.The photosynthetic observation camera may be used to slide the image is applied, and an infrared camera, an image filter is applied to a blue (Blue filter) obtained by the infrared camera and the blue filter to calculate the vegetation index (NDVI).

한편, 상기 재배환경 조절모듈은, 상기 식물에 엘이디광을 발산하도록 하는 조명 모듈과, 상기 케이스 내 측정된 온도 및 습도 데이터에 따라 상기 케이스 내를 환기시키기 위한 환기팬을 포함할 수 있다. On the other hand, the cultivation environment control module may include a lighting module for emitting LED light to the plant, and a ventilation fan for ventilating the inside of the case according to the temperature and humidity data measured in the case.

본 발명에서는 상기 식물 재배부에서 취득한 생장 환경 데이터를 전송받아 확인하거나 상기 식물 재배부의 재배환경 조절모듈을 원격으로 제어할 수 있는 애플리케이션이 구동되는 외부 단말기가 더 포함될 수 있다. The present invention may further include an external terminal running an application capable of receiving and confirming the growth environment data acquired by the plant cultivation unit or remotely controlling the cultivation environment control module of the plant cultivation unit.

본 발명에 있어서, 상기 인공지능 제어부는, 사용자의 얼굴 인식 및 충돌을 방지하기 위해 전방의 영상을 획득하는 카메라와, 상기 식물의 각종 재배정보를 제공하고, 식물 재배를 위한 제어 명령을 지시하기 위한 디스플레이와, 사용자의 음성 인식을 위한 소리를 계측하는 마이크와, 사용자와 식물 간의 음성 교감을 위해 소리를 재생하는 스피커와, 통신기능 수행으로 외부 단말기와 통신하는 통신부와, 상기 카메라, 디스플레이, 마이크 또는 외부 단말기를 통해 취득한 데이터를 인식하여 분석하고, 분석한 데이터를 근거하여 인간과의 교감 알고리즘을 통해 상기 디스플레이 또는 스피커를 제어하는 제어모듈을 포함할 수 있다. In the present invention, the artificial intelligence control unit, to obtain a front image to prevent the face recognition and collision of the user, to provide a variety of cultivation information of the plant, and to instruct a control command for plant cultivation A display, a microphone for measuring sound for recognizing a user's voice, a speaker for reproducing sound for voice interaction between a user and a plant, a communication unit for communicating with an external terminal by performing a communication function, and the camera, display, microphone or The control module may include a control module that recognizes and analyzes data acquired through an external terminal and controls the display or the speaker through a sympathetic algorithm with a human based on the analyzed data.

상기 제어모듈은, 상기 카메라를 통해 사용자의 얼굴을 인식하는 얼굴 인식부와, 상기 마이크 또는 외부 단말기를 통해 들어오는 음성을 인식하고, 식물의 상태 모니터링 결과를 통해 설정된 단어를 이용하여 인간과 대화를 하는 음성 인식부를 포함할 수 있다. The control module, the face recognition unit for recognizing the user's face through the camera, and the voice received through the microphone or an external terminal, and communicates with the human using the words set through the plant state monitoring results It may include a voice recognition unit.

상기 음성 인식부에서의 음성 인식을 위한 음성데이터 처리과정은 음성 전처리 과정, 특징벡터추출 과정, ELM 알고리즘을 사용한 판별의 과정을 거치는 것을 특징으로 한다.The speech data processing process for speech recognition in the speech recognition unit is characterized by undergoing a speech preprocessing process, a feature vector extraction process, and a process of discrimination using an ELM algorithm.

한편, 상기 로봇 하우징의 이동을 가능하게 하는 로봇 이동부가 더 포함될 수 있다. On the other hand, the robot moving unit for enabling the movement of the robot housing may be further included.

여기서, 상기 로봇 이동부는, 전원을 공급하는 전원부와, 상기 로봇 하우징의 이동을 위한 구동부와, 충돌 회피를 위한 초음파센서 또는 적외선센서가 탑재되는 센서부를 포함할 수 있다. The robot moving unit may include a power supply unit supplying power, a driving unit for moving the robot housing, and a sensor unit on which an ultrasonic sensor or an infrared sensor for collision avoidance is mounted.

또한, 상기 전원부에 전기를 공급하고, 식물에 물을 공급하는 물탱크에 물을 공급하는 도킹 스테이션이 더 포함될 수 있다. The docking station may further include a docking station for supplying electricity to the power supply unit and supplying water to the water tank for supplying water to the plant.

이상에서 살펴본 본 발명에 의하면, 식물을 반려의 대상으로 인식할 수 있도록 인공지능 엔진을 통해 식물과의 '교감' 이 가능한 효과가 있다. According to the present invention as described above, there is an effect that can 'communicate' with the plant through the artificial intelligence engine to recognize the plant as the object of companion.

또한, 다양한 센서를 이용하여 식물의 상태를 모니터링을 하고, 모니터링된 데이터를 이용하여 식물의 재배에 필요한 광량조절, 수분조절, 온도습도 조절을 자동적으로 함으로써, 가정에서 식물의 재배를 용이하게 하는 효과가 있다. In addition, by monitoring the condition of the plant using a variety of sensors, by using the monitored data to automatically control the amount of light, moisture, temperature and humidity necessary for the cultivation of the plant, the effect of facilitating the cultivation of the plant at home There is.

도 1은 본 발명의 교감형 반려식물 로봇시스템의 일실시예를 도시한 전체 사시도이다.
도 2는 본 발명의 식물 재배부의 내부 구성을 보이는 정면도이다.
도 3은 본 발명의 식물 재배부의 내부 구성을 보이는 측면도이다.
도 4는 본 발명의 교감형 반려식물 로봇시스템의 전체 구성을 나타내는 블록도이다.
도 5는 본 발명의 교감형 반려식물 로봇시스템에서 얼굴 인식과정을 나타내는 블록도이다.
도 6은 본 발명의 교감형 반려식물 로봇시스템에서 음성 인식과정을 나타내는 블록도이다.
도 7은 본 발명의 교감형 반려식물 로봇시스템에서 물과 전기를 공급하는 일실시예를 도시한 예시도이다.
도 8은 본 발명에서 식생지수(NDVI)의 계산 원리를 나타내는 도면이다.
도 9는 본 발명에서 식생지수(NDVI) 계산을 위한 카메라의 각 출력영역을 나타내는 도면이다.
도 10은 본 발명에서 식생지수(NDVI) 계산을 위한 IR 캠의 연산공식을 나타내는 도면이다.
도 11은 본 발명의 IR 캠에서의 블루 필터(Blue Filter) 유무에 따른 이미지를 나타내는 사진이다.
도 12 내지 도 13은 본 발명의 실시예에서 계산된 식생지수(NDVI)를 픽셀 단위로 나타내는 픽셀단위 그래프와 가우시안 분포 그래프이다.
도 14는 본 발명의 실시예에서 추출된 표본의 식생지수(NDVI) 연산 값을 나타내는 표이다.
도 15는 본 발명의 실시예에서 추출된 표본의 위치 및 픽셀 크기별 식생지수(NDVI) 값을 나타내는 그래프이다.
도 16은 본 발명의 실시예에서 연산된 식생지수(NDVI)의 결과 이미지를 나타내는 사진이다.1 is an overall perspective view showing an embodiment of the sympathetic companion plant robot system of the present invention.
2 is a front view showing the internal configuration of the plant cultivation unit of the present invention.
Figure 3 is a side view showing the internal configuration of the plant cultivation unit of the present invention.
Figure 4 is a block diagram showing the overall configuration of the sympathetic companion plant robot system of the present invention.
Figure 5 is a block diagram showing a face recognition process in the sympathetic companion robot system of the present invention.
6 is a block diagram showing a speech recognition process in the sympathetic companion plant robot system of the present invention.
Figure 7 is an exemplary view showing an embodiment of supplying water and electricity in the sympathetic companion robot system of the present invention.
8 is a view showing the calculation principle of the vegetation index (NDVI) in the present invention.
9 is a view showing each output area of the camera for calculating the vegetation index (NDVI) in the present invention.
FIG. 10 is a diagram illustrating an operation formula of an IR cam for calculating a vegetation index (NDVI) in the present invention.
11 is a photograph showing an image according to the presence or absence of a blue filter in the IR cam of the present invention.
12 to 13 are pixel unit graphs and Gaussian distribution graphs representing the vegetation index (NDVI) calculated in an embodiment of the present invention.
14 is a table showing the vegetation index (NDVI) calculation value of the sample extracted in the embodiment of the present invention.
FIG. 15 is a graph showing vegetation index (NDVI) values for respective positions and pixel sizes of samples extracted in an embodiment of the present invention.
16 is a photograph showing a resultant image of the vegetation index (NDVI) calculated in the embodiment of the present invention.

이하에서는 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예에 대해 상세하게 설명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the present embodiments are intended to complete the disclosure of the present invention and to those skilled in the art to fully understand the scope of the invention. It is provided to inform you.

도 1은 본 발명의 교감형 반려식물 로봇시스템의 일실시예를 도시한 전체 사시도이고, 도 2는 본 발명의 식물 재배부의 내부 구성을 보이는 정면도이고, 도 3은 본 발명의 식물 재배부의 내부 구성을 보이는 측면도이고, 도 4는 본 발명의 교감형 반려식물 로봇시스템의 전체 구성을 나타내는 블록도이다. 1 is an overall perspective view showing an embodiment of the sympathetic companion robot system of the present invention, Figure 2 is a front view showing the internal configuration of the plant cultivation unit of the present invention, Figure 3 is an internal configuration of the plant cultivation unit of the present invention Figure 4 is a side view, Figure 4 is a block diagram showing the overall configuration of the sympathetic companion plant robot system of the present invention.

본 발명은 사람과 식물 사이에 '교감'을 할 수 있는 교감형 반려식물 로봇시스템으로서, 로봇 하우징 내에서 식물을 키우고 재배하는 식물에 필요한 빛, 수분, 영양분 등을 모두 공급할 뿐만 아니라 식물의 상태를 다양한 센서를 이용하여 모니터링을 하고, 모니터링된 데이터를 이용하여 인공지능 엔진과 결합하여 인간과 대화, 행동 등을 하여 인간과 교감할 수 있는 반려 로봇이다. The present invention is a sympathetic companion plant robot system that can 'sympathize' between a person and a plant, and supplies all the light, moisture, and nutrients necessary for the plant to grow and cultivate the plant in the robot housing, It is a companion robot that can monitor with various sensors and communicate with humans by interacting with humans by using artificial intelligence engines using the monitored data.

본 발명에서 제안하는 교감형 반려식물 로봇시스템(100)의 일실시예는 도 1에서 보는 바와 같이, 크게 식물 재배부(110), 인공지능 제어부(120), 로봇 이동부(130)를 포함한다. One embodiment of the sympathetic companion plant robot system 100 proposed in the present invention includes a plant cultivation unit 110, an artificial intelligence controller 120, and a robot moving unit 130 as shown in FIG. 1. .

이와 같은 교감형 반려식물 로봇시스템(100)은 상기 식물 재배부(110)와 인공지능 제어부(120)가 하나의 로봇 하우징 내에 설치되어 상기 로봇 하우징 내에서 식물의 재배에 필요한 환경을 제공할 뿐 아니라 식물에 대한 데이터를 이용하여 인공지능 엔진과 결합하여 인간과 교감할 수 있는 구성을 갖는다. Such a sympathetic companion plant robot system 100 is the plant cultivation unit 110 and the artificial intelligence control unit 120 is installed in one robot housing to provide an environment for planting plants in the robot housing as well Using plant data, it can be combined with AI engines to have a structure that can interact with humans.

먼저, 상기 식물 재배부(110)는 식물이 재배되는 공간을 제공하며, 식물의 상태를 모니터링하여 데이터를 취득하고, 상기 데이터에 따라 식물에 대한 재배환경을 조절하는 구성요소로서, 식물의 재배공간을 제공하는 케이스(112)와, 상기 식물의 상태를 모니터링하여 식물에 대한 생장 환경 데이터를 취득하기 위한 센서모듈(114)과, 상기 센서모듈(114)이 취득한 생장 환경 데이터에 따라 상기 식물에 대한 재배 환경을 조절하기 위한 재배환경 조절모듈을 포함할 수 있다. First, the plant cultivation unit 110 provides a space in which the plant is grown, monitors the state of the plant, acquires data, and adjusts the cultivation environment for the plant according to the data. Case 112 for providing a, and the sensor module 114 for obtaining the growth environment data for the plant by monitoring the state of the plant, and the growth environment data obtained by the sensor module 114 for the plant It may include a cultivation environment control module for adjusting the cultivation environment.

상기 케이스(112)는 개폐가능한 도어(112a)를 포함하며, 아크릴, 도자기, 나무, 유리 또는 금속 재질로 이루어질 수 있다. 상기 도어(112a)는 케이스(112)의 전면에 설치되는 것이 바람직하며, 상기 도어(112a)를 개방하면 식물이 노출되어 식물에 물을 주거나 화분(10)을 교체할 수 있도록 한다. The case 112 includes a door 112a that can be opened and closed, and may be made of acrylic, ceramics, wood, glass, or metal. The door 112a is preferably installed at the front of the case 112. When the door 112a is opened, the door is exposed to water the plant or to replace the pot 10.

또한, 상기 화분(10)은 화분 고정대(20)에 얹혀지는데, 상기 화분 고정대(20)는 상기 도어(112a)가 열리면 자동적으로 전진하여 화분(10)의 교체를 쉽게 할 수 있도록 설계될 수 있다. 이 경우, 상기 화분 고정대(20)의 작동 구조는 공지된 기술이 적용될 수 있다. 예컨대, 상기 도어(112a)의 개폐동작을 감지할 수 있는 센서, 이와 연동하여 상기 화분 고정대(20)가 슬라이딩 이동하는 구조 등으로 설계가 가능하며, 본 발명에서는 이에 대한 상세한 설명은 생략하고자 한다. In addition, the pot 10 is mounted on the pot holder 20, the pot holder 20 may be designed to automatically move when the door 112a is opened to easily replace the pot 10. . In this case, a known technique may be applied to the operation structure of the pot holder 20. For example, a sensor capable of detecting the opening / closing motion of the door 112a and a structure in which the pot holder 20 is slidably moved in conjunction with the sensor 112 may be designed, and a detailed description thereof will be omitted.

한편, 상기 케이스(112)는 식물의 생장에 따라 높이를 조절할 수 있는 구조를 갖도록 할 수 있다. 예를 들어, 상기 케이스(112)가 복수의 칸으로 구분되고, 각각의 칸이 조립식 구조를 갖음으로써, 식물이 성장함에 따라 생장높이에 맞게 상기 칸을 추가하거나 제거할 수 있는 분리형 구조를 갖도록 하는 것이다.On the other hand, the case 112 may have a structure that can adjust the height according to the growth of the plant. For example, the case 112 is divided into a plurality of compartments, and each compartment has a prefabricated structure, so that the compartment can be added or removed to fit the growth height as the plant grows to have a detachable structure. will be.

또한, 상기 센서모듈(114)은, 도 4에 도시한 바와 같이, 상기 식물이 심겨지는 화분 내 토양의 건조도를 실시간으로 측정하는 토양습도 센서(도시안함)와, 상기 케이스 내 온도 및 습도를 실시간으로 측정하는 온도습도 센서(114a)와, 상기 식물에 물을 공급하는 물탱크의 수위를 측정하는 수위센서 등을 포함할 수 있다. In addition, the sensor module 114, as shown in Figure 4, the soil humidity sensor (not shown) for measuring in real time the dryness of the soil in the planter is planted, and the temperature and humidity in the case Temperature and humidity sensor 114a for measuring in real time, and a water level sensor for measuring the water level of the water tank for supplying water to the plant.

먼저, 상기 토양습도 센서는 화분(10)에 장착하여 흙이 일정 습도 이하의 경우 물을 공급해 주고 일정 습도 이상일 경우 물을 주지 않도록 하기 위한 센서로서, 화분(10) 내의 흙의 습도를 감지하여 물의 공급 유무를 판단하도록 한다. First, the soil humidity sensor is a sensor for supplying water when the soil is less than a predetermined humidity by mounting the pot 10, and not to give water when the humidity is above a certain humidity, by detecting the humidity of the soil in the pot 10 Determine if there is a supply.

또한, 상기 온도습도 센서(114a)는 식물 재배부(110) 내의 습도 및 온도 조절을 위해 설치하고, 일정온도 이상의 경우에 환기팬(114c)과 습도를 동시에 공급하여 온도를 낮추고, 일정온도 이하의 경우 히터(114b)를 가동하여 온도를 높일 수 있도록 한다. In addition, the temperature humidity sensor 114a is installed for controlling the humidity and temperature in the plant cultivation unit 110, in the case of a predetermined temperature or more at the same time supplying the ventilation fan 114c and humidity to lower the temperature, below a certain temperature In this case, the heater 114b is operated to increase the temperature.

한편, 상기 수위센서는 식물에 물을 공급하는 물탱크(118)의 수위를 측정하기 위한 것으로, 상기 수위센서는 접촉식 수위센서와 비접촉식 수위센서가 사용될 수 있으나, 본 발명에서는 물탱크의 높이에 구애받지 않는 비접촉식 수위센서를 적용하는 것이 바람직하다. 다만, 비접촉식 수위센서의 경우 마이크로웨이브를 사용하여 물체 넘어에 액체를 파악하므로 마이크로 웨이브가 통과하지 못하는 금속재질의 물탱크는 사용할 수 없다.On the other hand, the water level sensor is to measure the water level of the water tank 118 for supplying water to the plant, the water level sensor may be used a contact level sensor and a non-contact water level sensor, in the present invention in the height of the water tank It is desirable to apply a non-contact water level sensor that is not limited. However, in the case of the non-contact water level sensor, it is impossible to use a metal water tank that cannot pass through the microwave because the liquid is detected over the object using microwaves.

상기 수위센서의 감지에 따라 도 3에 도시된 바와 같이, 물 공급 포트(118a)를 통해 물탱크(118)에 물을 공급받고 물탱크(118)의 물을 이용하여 식물에 물을 펌프를 통해 흙 내부에 침투방식으로 공급하거나 스프레이를 통해 내부 습도를 조절할 수 있게 한다. As shown in FIG. 3 according to the detection of the water level sensor, water is supplied to the water tank 118 through the water supply port 118a and water is supplied to the plant using the water of the water tank 118 through a pump. It can be used to penetrate the soil or spray to control internal humidity.

이외에도, 상기 센서모듈(114)로서 CO2 센서(114d)가 설치될 수 있다. 상기 CO2 센서(114d)는 식물 재배부(110) 내에 CO2를 측정하여 광합성량을 예측하는데 사용하는 것으로, 식물생장을 위한 조명모듈(115)을 조사하고 있을 때 내부 CO2량이 줄어들고, 어두운 상태일 경우 CO2량이 증가하는데, 이를 감지하여 식물이 성장하기에 가장 적합한 이산화탄소의 농도를 갖도록 한다. In addition, a CO 2 sensor 114d may be installed as the sensor module 114. The CO2 sensor 114d is used to estimate the amount of photosynthesis by measuring CO2 in the plant cultivation unit 110. When the illumination module 115 is irradiated for plant growth, the amount of internal CO2 decreases, and in the dark state, CO2 The amount increases, which is sensed to ensure that the plant has the best concentration of carbon dioxide for growth.

한편, 상기 재배환경 조절모듈은 상기 식물에 엘이디광을 발산하도록 하는 조명 모듈(115)과, 상기 케이스(112) 내 측정된 온도 및 습도 데이터에 따라 상기 케이스 내를 환기시키기 위한 환기팬(114c)을 포함할 수 있다. On the other hand, the cultivation environment control module is a lighting module 115 for emitting the LED light to the plant, and the ventilation fan 114c for ventilating the inside of the case according to the temperature and humidity data measured in the case 112 It may include.

상기 조명 모듈(115)은 자연광에 맞춘 LED를 케이스(112)의 실내 상부에 부착하여, 식물생장에 맞추어 상황에 따라 점등하도록 하고, 식물의 상태를 실내 광합성 관찰 카메라(116)로 파악하거나 인간에게 영상을 전송 할 때도 점등 사용한다.The lighting module 115 attaches the LED to the indoor upper part of the case 112 according to the natural light, and lights it according to the situation according to the plant growth, and grasps the state of the plant with the indoor photosynthesis observation camera 116 or gives it to humans. It is also used to transmit video.

또한, 상기 환기팬(114c)은 식물 재배부(110)의 공기를 순환하기 위해 설치되어, 식물이 광합성을 많이 하는 경우 외부(건물의 실내)의 산소량을 증가시키기 위해 상기 환기팬(114c)으로 산소를 밖으로 보낸다. 또한, 식물 재배부(110) 내에 약한 열을 발생하는 열선(114b)을 부착해 내부 온도를 높일 수 있다.In addition, the ventilation fan 114c is installed to circulate the air of the plant cultivation unit 110, to increase the amount of oxygen outside (indoor building) when the plant has a lot of photosynthesis to the ventilation fan 114c. Send oxygen out. In addition, the internal temperature can be increased by attaching a heating wire 114b for generating weak heat in the plant cultivation unit 110.

한편, 상기 식물 재배부(110)는 상기 식물의 건강상태를 파악하기 위한 광합성 관찰 카메라(116)를 더 포함할 수 있다. On the other hand, the plant cultivation unit 110 may further include a photosynthesis observation camera 116 to determine the health state of the plant.

상기 광합성 관찰 카메라(116)는 케이스(112)의 실내 상부에 부착하며, 근적외선 필터를 사용하여 필터가 없을 때 가시광선을 촬영하고, 필터를 이용하여 근적외선을 촬영하여 한 후에, 광합성을 측정하는 기술을 적용할 수 있다. The photosynthetic observation camera 116 is attached to the upper part of the interior of the case 112, using a near-infrared filter to photograph visible light when there is no filter, by using a filter to photograph the near-infrared light, the technique for measuring photosynthesis Can be applied.

일반적으로, 식물은 기본적으로 빛의 약 83%를 흡수하고 12%를 반사, 5%를 투과시키며, 3개의 빛 흡수 색소입자(엽록소a, b 그리고 β-카로틴)로 인하여 가시광선 중 550~630nm 파장의 빛을 반사하고 나머지는 흡수한다. 반사되는 빛의 파장은 녹색파장과 적외선이므로 잎은 가시적으로 녹색을 띈다. 태양광에는 기본적으로 가시광선 외에도 자외선과 적외선을 포함하여 조사된다. 하지만 식물의 잎은 700nm이상의 파장의 빛을 흡수하지 못하고 반사한다. 이를 측정하여 광합성의 유무를 알 수 있다.In general, plants basically absorb about 83% of light, reflect 12%, and transmit 5%, and 550-630 nm in visible light due to three light-absorbing pigment particles (chlorophyll a, b and β-carotene). It reflects light of the wavelengths and absorbs the rest. The wavelengths of the reflected light are green and infrared, so the leaves are visible green. Sunlight is basically irradiated with ultraviolet and infrared rays in addition to visible light. However, the leaves of plants do not absorb light of wavelengths above 700nm and reflect. By measuring this, the presence or absence of photosynthesis can be known.

이와 같이 광합성을 측정하는 기술은 식물에서 적외선이 흡수되지 않고 반사되는 점을 이용한 기술로서, 상기 광합성 관찰 카메라(116)를 통해 얻은 영상을 이용하여 식생지수(NDVI)를 계산하고, 이를 이용하여 식물의 건강상태를 파악한다. As described above, a technique for measuring photosynthesis is a technique using a point where infrared rays are not absorbed from a plant and are reflected, and a vegetation index (NDVI) is calculated by using an image obtained by the photosynthetic observation camera 116, and the plant is used therein. Know your health.

'식생지수(NDVI)'란 건강한 식물의 경우 가시광선을 대부분 흡수하나 건강하지 않아 광합성을 잘 못하는 초목의 경우 가시광선의 반사율이 높아지므로 반사된 가시광선과 반사된 근적외선의 비를 이용하여 식물의 건강상태를 파악하는 것으로, 이러한 식생지수의 계산 원리는 가시광선(특히 적색 영역)과 근적외선 영역에서 녹색 식물의 반사율 차이가 크게 나는 것을 이용하여 두 영역에서 관측되어진 영상에 일정한 수식을 적용하여 식생의 상태를 나타내는 영상을 얻어내는 것이다.NDVI is a healthy plant that absorbs most of the visible light, but the vegetation that is poor in photosynthesis increases the reflectance of visible light because it is not healthy, so the health of the plant is determined by using the ratio of reflected visible light and reflected near infrared light. The calculation principle of the vegetation index is that the vegetation state is applied by applying a constant equation to the images observed in the two regions using the difference in the reflectance of the green plants in the visible light (especially in the red region) and the near infrared region. To get the image that it represents.

도 8은 본 발명에서 식생지수(NDVI)의 계산 원리를 나타내는 도면으로, 건강한 식물(왼쪽)은 대부분의 가시 광선을 흡수하고 근적외선의 많은 부분을 반사하는 반면, 건강이 좋지 않은 식물(오른쪽)은 적은 가시광선을 흡수하고 근적외선을 적게 반사한다.8 is a diagram illustrating the calculation principle of the vegetation index (NDVI) in the present invention, while a healthy plant (left) absorbs most of visible light and reflects a large part of near infrared rays, while a poor health plant (right) Less absorbs visible light and reflects less near infrared.

이와 같이, 식물에서 반사되는 적외선 영역의 색을 확인하기 위해 일반적으로 가시광선 대역의 카메라와 적파장을 감쇠시키는 블루 필터를 적용한 적외선 카메라가 필요하다. 대체적으로 적외선 카메라에 블루 필터를 적용한 이미지와 그렇지 않은 이미지를 사용하여 한 대의 카메라로 식생지수(NDVI)를 계산하기 위한 카메라 구성이 가능하다. As such, in order to check the color of the infrared region reflected from the plant, an infrared camera using a blue filter that attenuates red wavelength and a camera in the visible light band is generally required. In general, a camera can be configured to calculate the vegetation index (NDVI) with a single camera using an image with and without a blue filter applied to the infrared camera.

적외선 카메라와 일반 카메라의 차이점은 적외선 영역을 감쇠시키는 IR Filter의 유무이며, 적외선 영역의 사진 촬영을 위해 본 발명에서는 라즈베리 파이(Raspberry Pi)와 호환되는 ‘NoIR(Filter) V2’카메라를 사용하였다.The difference between an infrared camera and a general camera is the presence or absence of an IR filter that attenuates the infrared region. In the present invention, a “NoIR (Filter) V2” camera compatible with a Raspberry Pi is used in the present invention.

도 9는 본 발명에서 식생지수(NDVI) 계산을 위한 카메라의 각 출력영역을 나타내는 도면으로, 일반 카메라(Normal Cam)는 블루, 그린, 레드가 출력되고, 적외선 카메라(IR Cam)는 블루, 그린, 레드, IR이 출력되는 한편, 블루 필터가 포함된 적외선 카메라(IR Cam)는 블루, 그린, IR이 출력되는 것을 알 수 있다. 9 is a view showing each output area of the camera for calculating the vegetation index (NDVI) in the present invention, a normal camera (Normal Cam) is output blue, green, red, infrared camera (IR Cam) is blue, green While red, IR are output, the infrared camera (IR Cam) including the blue filter can be seen that the blue, green, IR is output.

적외선 카메라에서의 식생지수의 연산은 촬영된 IR 캠 이미지와 블루 필터링이된 IR 캠 이미지에서 레드 칼라만 추출하여 도 10에서와 같이 계산한다. The vegetation index of the infrared camera is calculated as shown in FIG. 10 by extracting only the red color from the captured IR cam image and the blue filtered IR cam image.

도 11은 본 발명의 IR 캠에서의 블루 필터(Blue Filter) 유무에 따른 이미지를 나타내는 사진으로, 블루 필터(Blue Filter)가 없는 경우와 블루 필터링이 된 IR 캠에서의 건강하지 않은 잎과 건강한 잎의 이미지를 나타낸다. FIG. 11 is a photograph showing an image according to the presence or absence of a blue filter in the IR cam of the present invention, in which there is no blue filter and unhealthy leaves and healthy leaves in the blue filtered IR cam. Represents an image of.

도 11에서의 Red Mean값은 각각의 잎에서 100x100 size 로 추출한 표본에 대한 Red 영역의 평균 값이다.The red mean value in FIG. 11 is an average value of the red region for a sample extracted with 100 × 100 size from each leaf.

통상적으로, (i, j) 번째 픽셀의 식생지수 계산식은 아래와 같으며, 본 계산식은 픽셀 단위로 계산한 것이다.Typically, the vegetation index calculation of the (i, j) -th pixel is as follows, and this formula is calculated in pixel units.

상기 계산식에 의해 계산된 식생지수는 도 12와 같이 픽셀 단위의 그래프로 나타낼 수 있다. 여기서, 노락색이 건강하지 않은 잎, 파란색이 건강한 잎의 히스토그램으로, 픽셀 단위로 잎의 건강상태를 구분하기는 쉽지 않다. The vegetation index calculated by the above formula may be represented as a graph in units of pixels as shown in FIG. 12. Here, yellow is an unhealthy leaf, and blue is a histogram of a healthy leaf, and it is not easy to distinguish a leaf health state in pixels.

따라서, 도 12의 히스토그램을 이용하여 가우시안 밀도함수 파라메터를 찾아내어 가우시안 분포 그래프를 도 13에 나타내었다. 도 13을 보면, 건강한 잎은 N(1.066, 0.2655), 건강하지 않은 잎은 N(0.5583, 0.1664)인 것을 알 수 있다. Therefore, Gaussian density function parameters were found using the histogram of FIG. 12, and a Gaussian distribution graph was shown in FIG. 13. Looking at Figure 13, it can be seen that healthy leaves are N (1.066, 0.2655), and unhealthy leaves are N (0.5583, 0.1664).

한편, 픽셀 단위 계산으로 건강한 잎(광합성을 잘하는 잎) 또는 건강하지 않은 잎(광합성을 잘 못하는 잎)으로 판단하는 것이 어려우므로 픽셀 그룹을 평균하였으며, 이 경우의 계산식은 다음과 같다.On the other hand, it is difficult to judge healthy leaves (leaves well photosynthetic) or unhealthy leaves (leaves poor photosynthesis) by pixel-by-pixel calculations and averaged pixel groups, and the equation in this case is as follows.

도 14는 본 발명의 실시예에서 추출된 표본의 식생지수(NDVI) 연산 값을 나타내는 표로서, 표본으로 자른 영역의 레드 값 평균을 살펴보면 건강하지 않은 잎의 경우, 필터 적용 시 값이 크게 감쇠한다. 이로써, 잎이 반사하는 값이 Visible Red > Infra Red 임을 알 수 있다.FIG. 14 is a table showing the NDVI calculation values of a sample extracted in an embodiment of the present invention. In the case of an unhealthy leaf, the value is greatly attenuated when the filter is applied when looking at the average of red values of a region cut into the sample. . Thus, it can be seen that the value reflected by the leaves is Visible Red> Infra Red.

이 경우, 식생지수(NDVI) 연산은 (115.961x2 -153.502)/153.502 = 0.511 이다. In this case, the vegetation index (NDVI) calculation is (115.961x2 -153.502) /153.502 = 0.511.

건강한 잎의 경우 필터 적용 시 값이 적게 감쇠한다. 이로써, 잎이 반사하는 값이 Visible Red < Infra Red 임을 알 수 있다.Healthy leaves attenuate less when applied to the filter. Thus, it can be seen that the value reflected by the leaves is Visible Red <Infra Red.

이 경우, 식생지수(NDVI) 연산은 (127.719x2 -128.481)/128.481 = 0.988 이다. In this case, the vegetation index (NDVI) calculation is (127.719x2 -128.481) /128.481 = 0.988.

결론적으로, 건강한 잎이 식생지수가 더 높다.In conclusion, healthy leaves have a higher vegetation index.

도 15는 본 발명의 실시예에서 추출된 표본의 위치 및 픽셀 크기별 식생지수(NDVI) 값을 나타내는 그래프로서, 픽셀별로 50x50, 100x100, 150x150 의 크기로 두 위치에서 NDVI 연산을 하였다. 도 15를 통해 계산 영상이 큰 픽셀의 평균값이 더 정확한 것을 알 수 있으며, 건강하지 않은 잎은 0.6 이하의 식생지수를 가지고 있고, 건강한 잎은 0.8 이상의 식생지수를 가진 것으로 나타났다. 또한, 결론적으로 NDVI는 픽셀 단위로 판단하는 것보다 영역의 평균으로 잎의 상태를 판단하는 것이 정확한 것을 알 수 있다.FIG. 15 is a graph illustrating a vegetation index (NDVI) value for each sample position and pixel size extracted in an embodiment of the present invention, and NDVI calculations are performed at two positions with sizes of 50x50, 100x100, and 150x150 for each pixel. 15 shows that the average value of the large pixels in the calculated image is more accurate. Unhealthy leaves have a vegetation index of 0.6 or less, and healthy leaves have a vegetation index of 0.8 or more. In conclusion, it can be seen that NDVI determines the state of the leaves by the average of the region rather than the pixel unit.

도 16은 본 발명의 실시예에서 연산된 식생지수(NDVI)의 결과 이미지를 나타내는 사진이다.16 is a photograph showing a resultant image of the vegetation index (NDVI) calculated in the embodiment of the present invention.

본 발명에서는 적외선 카메라 한 대를 사용하여 블루 필터를 적용한 이미지와 미 적용한 이미지를 사용하였으며, NDVI 이미지에서 하얀색일수록 식생지수가 높음을 뜻한다. 즉, Visible Red 에 비해 Infra Red 반사량이 높음을 뜻한다.In the present invention, an infrared camera is used and an unfiltered image and a blue filter are used. The whiter color in the NDVI image indicates that the vegetation index is higher. That is, Infra Red reflectance is higher than Visible Red.

한편, 본 발명에서는 상기 식물 재배부(110)에서 취득한 데이터를 이용하여 식물에 대한 정보를 총괄적으로 관리하고, 이를 이용하여 식물과 인간 사이에 교감 기능을 수행하는 인공지능 제어부(120)를 포함한다. On the other hand, the present invention includes the artificial intelligence control unit 120 to collectively manage the information on the plant using the data obtained from the plant cultivation unit 110, and to perform a sympathetic function between the plant and the human using it. .

상기 인공지능 제어부(120)는 사용자의 얼굴 인식 및 충돌을 방지하기 위해 전방의 영상을 획득하는 카메라(122)와, 상기 식물의 각종 재배정보를 제공하고, 식물 재배를 위한 제어 명령을 지시하기 위한 디스플레이(124)와, 사용자의 음성 인식을 위한 소리를 계측하는 마이크(126)와, 사용자와 식물 간의 음성 교감을 위해 소리를 재생하는 스피커(128)와, 통신기능 수행으로 외부 단말기와 통신하는 통신부(도시안함)와, 상기 카메라(122), 디스플레이(124), 마이크(126) 또는 외부 단말기(500)를 통해 취득한 데이터를 인식하여 분석하고, 분석한 데이터를 근거하여 인간과의 교감 알고리즘을 통해 상기 디스플레이(124) 또는 스피커(128)를 제어하는 제어모듈(400)을 포함할 수 있다. The artificial intelligence controller 120 provides a camera 122 for acquiring an image of the front in order to prevent a face recognition and a collision of a user, and provides various cultivation information of the plant, and instructs a control command for plant cultivation. A display unit 124, a microphone 126 for measuring sound for voice recognition of a user, a speaker 128 for reproducing sound for voice interaction between a user and a plant, and a communication unit communicating with an external terminal by performing a communication function (Not shown) and the data acquired through the camera 122, the display 124, the microphone 126, or the external terminal 500 are recognized and analyzed, and through a sympathetic algorithm with humans based on the analyzed data. It may include a control module 400 for controlling the display 124 or the speaker 128.

또한, 본 발명에서는 상기 식물 재배부(110)에서 취득한 생장 환경 데이터를 전송받아 확인하거나 상기 식물 재배부의 재배환경 조절모듈을 원격으로 제어할 수 있는 애플리케이션이 구동되는 외부 단말기(500)가 더 포함될 수 있다. In addition, the present invention may further include an external terminal 500 for driving the application to check the growth environment data obtained from the plant cultivation unit 110 or to remotely control the cultivation environment control module of the plant cultivation unit. have.

상기 제어모듈(400)은 공유기(510)를 통해 Flask 기반의 웹 서버를 구동하여 외부 단말기(500)에서 접속가능하도록 할 수 있으며, 이를 통해 외부 단말기(500)에서 원격으로 재배환경 조절모듈을 제어하고 전구상태 등을 확인하도록 할 수 있다. The control module 400 may be connected to the external terminal 500 by driving the Flask-based web server through the router 510, thereby controlling the cultivation environment control module remotely from the external terminal 500. And check the bulb status.

한편, 상기 제어모듈(400)은 라즈베리 파이(Raspberry Pi) 기반 제어장치로 구성될 수 있으며, 본 발명에서는 상기 외부 단말기(500)와 통신기능을 수행하는 제1 라즈베리 파이(420)와, 추가적인 제2 라즈베리 파이를 구비하여 라즈베리 파이 간 데이터를 전송하여 통신하도록 구성하였다. 이는 본 발명에서 얼굴인식의 경우 계산량이 많아 기존의 웹 서버를 구동하는 라즈베리 파이(420) 이외에 한 대의 라즈베리 파이를 추가적으로 구비하는 것이 바람직하기 때문이다. On the other hand, the control module 400 may be configured as a raspberry Pi (Raspberry Pi) control device, in the present invention, the first raspberry pi 420 to perform a communication function with the external terminal 500, and the additional agent 2 Raspberry Pi was configured to communicate by transmitting data between the Raspberry Pi. This is because, in the present invention, in the case of face recognition, it is preferable to additionally include one raspberry pi in addition to the raspberry pi 420 for driving a conventional web server.

상기 제1 라즈베리 파이(420)와 추가되는 라즈베리 파이는 시리얼(Serial 통신)으로 데이터를 전송할 수 있으며, 상기 라즈베리 파이에서 각 항목별로 나누어 공유기(510)를 통해 외부 단말기(500)과의 무선 통신 기능을 하도록 구성된다. The first raspberry pi 420 and the added raspberry pi may transmit data through serial (serial communication), and the wireless communication function with the external terminal 500 through the sharer 510 by dividing each item in the raspberry pi. It is configured to be.

본 발명에 있어서, 상기 인공지능 제어부(120)는 식물과 인간과의 교감 알고리즘을 통해 식물을 반려의 대상으로 여기며 키울 수 있도록 하는 것에 특징이 있다. In the present invention, the artificial intelligence control unit 120 is characterized in that the plant can be raised to consider the plant as a companion object through a sympathetic algorithm between the plant and the human.

식물은 동물과 다르게 사람의 행동에 대한 반응이 없거나 매우 느리게 나타난다. 또한, 식물 자체의 상태 또한 청각적으로는 나타나지 않으며, 시각적으로 매우 느리게 나타나므로, 식물과 교감하기 위해서는 사람의 행동에 반응하는 것과 즉각적인 피드백을 필요로 하며, 본 발명에서는 얼굴인식과 음성인식을 통해 이를 해결하고자 하였다.Unlike animals, plants do not respond to human behavior or appear very slowly. In addition, the state of the plant itself also does not appear audibly, and visually very slowly, in order to interact with the plant requires a response to the action of the person and immediate feedback, in the present invention through face recognition and voice recognition I tried to solve this.

이를 위해, 상기 제어모듈(400)은 상기 카메라(122)를 통해 사용자의 얼굴을 인식하는 얼굴 인식부와, 상기 마이크(126) 또는 외부 단말기(500)를 통해 들어오는 음성을 인식하고, 식물의 상태 모니터링 결과를 통해 설정된 단어를 이용하여 인간과 대화를 하는 음성 인식부를 포함할 수 있다. To this end, the control module 400 recognizes a face recognition unit for recognizing the user's face through the camera 122, the voice received through the microphone 126 or the external terminal 500, the state of the plant It may include a speech recognition unit for communicating with a human using a word set through the monitoring result.

도 5는 본 발명의 교감형 반려식물 로봇시스템에서 얼굴 인식과정을 나타내는 블록도이고, 도 6은 본 발명의 교감형 반려식물 로봇시스템에서 음성 인식과정을 나타내는 블록도이다. 5 is a block diagram showing a face recognition process in the sympathetic companion robot system of the present invention, Figure 6 is a block diagram showing a voice recognition process in the sympathetic companion robot system of the present invention.

먼저, 본 발명에서는 식물이 주인을 알아봄으로써 반려의 의미를 강화한다.First, in the present invention, plants recognize the owner to reinforce the meaning of the companion.

이를 위해, 다양한 각도의 얼굴을 트레이닝 하여 주인의 얼굴인식률을 높이는 것이 필요하며, 사용자의 얼굴을 다양한 각도에서 촬영한 얼굴인식 트레이닝 사진 데이터를 상기 제어모듈(400)에 입력하여 상기 카메라(122)에 사람이 인접했을 때 입력된 사진 데이터와 촬영된 영상을 비교하여 사용자의 얼굴을 인식하도록 한다. To this end, it is necessary to increase the face recognition rate of the owner by training the face of various angles, input the face recognition training picture data of the user's face taken from various angles to the control module 400 to the camera 122 When a person is adjacent to each other, the user's face is recognized by comparing the input photo data with the captured image.

얼굴인식의 경우, 계산량이 많아 기존의 웹 서버를 구동하는 라즈베리 파이(420)와 추가적인 라즈베리 파이 간 통신하며, 동작은 서버가 구동되는 라즈베리 파이(420)로 인식여부를 전송하면 음성인식 시 Flask 웹 서버에서 주인 인식 여부에 따라 추가적인 답변을 하도록 한다. ex)안녕하세요? 주인님.In case of face recognition, there is a large amount of computation and communication between the Raspberry Pi 420 running the existing web server and the additional Raspberry Pi, and the operation is transmitted to the Raspberry Pi 420 running the server, the flask web when voice recognition Ask the server for additional answers based on whether the owner is aware. ex) Hello? master.

여기서, 영상인식은 사람 개개인의 특성을 학습함으로써 보다 정확하고 환경변화에 둔감한　특성을 지니고 있어　 on-line 상태에서　실시간으로 적용 가능한　집단 내 분산의 값을 산출해 비교하는 Fisherfaces Linear Discriminant를 분류 알고리즘으로 사용할 수 있다. Here, the image recognition is more accurate and insensitive to environmental changes by learning the characteristics of each person, so that Fisherfaces Linear Discriminant, which calculates and compares the variance in the group that can be applied in real time in the on-line state, is a classification algorithm. Can be used.

한편, 음성인식은 ELM(Extreme_learning_machines)을 사용할 수 있다. Meanwhile, speech recognition may use ELM (Extreme_learning_machines).

본 발명에서는 오프라인 상에서 음성인식을 ELM 알고리즘을 통해 구현하며, 예컨대, '목마르니?', '덥니?', '안녕?' 등 일상생활에서 자주 쓰이는 말을 이용하여 몇 가지 케이스를 인식할 수 있도록 하며, 인식을 위해 트레이닝 데이터로서 케이스당 50회 정도를 녹음하여 데이터 베이스를 구축하고, 알고리즘의 경우 음성데이터에서 추출한 특징벡터라 부르는 특징들의 나열을 각 데이터끼리 비교하여 데이터를 분류한다.In the present invention, the voice recognition is implemented through the ELM algorithm on the offline, for example, 'thirst?', 'Hot?', 'Hello?' It is possible to recognize several cases using words used in everyday life, etc., to build a database by recording about 50 times per case as training data for recognition, and in the case of algorithm, it is a feature vector extracted from voice data. The data is classified by comparing the list of calling features.

해당 음성인식의 경우 데이터의 특징추출과 양질의 데이터베이스를 구축한다면 주인의 목소리를 인식하게 할 수 있다.In the case of the voice recognition, if the feature extraction of data and the construction of a high quality database can recognize the owner's voice.

음성인식을 위한 음성데이터 처리과정은 도 6과 같으며, 크게 1. 음성 전처리 과정, 2. 특징벡터추출 과정, 3. ELM 알고리즘을 사용한 판별의 과정을 거친다.The speech data processing process for speech recognition is as shown in FIG. 6, and is largely subjected to the following processes: 1. speech preprocessing process, 2. feature vector extraction process, and 3. ELM algorithm.

1. 음성 전처리 과정은 음성구간 추출을 포함하며, 음성구간 추출은 데이터에서 음성부분만을 추출하기 위한 전처리 과정으로 다음과 같이 진행된다.1. The speech preprocessing process includes speech segment extraction, and the speech segment extraction is a preprocessing process for extracting only the speech portion from the data.

첫 번째, 44100Hz, 16bit, 스테레오로 저장된 음성을 입력한다.First, enter the voice stored in 44100Hz, 16bit, stereo.

두 번째, 길이가 1100개인 window와 음성신호를 컨볼루션하여 음성의 구간별 에너지를 구한 후 음성에너지의 최고 피크점으로부터 좌우로 에너지가 매우 작은 구간까지의 범위를 구한다.Second, the convolution of the 1100-length window and the audio signal is used to find the energy for each section of the speech, and then the range from the highest peak of the speech energy to the section with the smallest energy to the left and right.

세 번째, 데이터에서 구한 범위만큼을 잘라 음성만을 추출한다.Third, only the voices are extracted by cutting the range obtained from the data.

이후, 정규화 과정은 추출한 음성데이터의 길이와 크기를 맞추어 데이터에서 원활한 특징벡터추출을 할 수 있도록 하는 전처리 과정으로 다음과 같이 진행된다.After that, the normalization process is a preprocessing process for smooth feature vector extraction from the data by adjusting the length and size of the extracted speech data as follows.

첫 번째, 길이와 크기가 각기 다른 추출된 음성신호를 입력한다.First, input extracted voice signals of different lengths and sizes.

두 번째, 음성신호중 길이가 가장 긴 신호를 판별 후 나머지 신호에 0행렬을 추가하여 길이를 맞춘다.Second, after determining the longest signal among the audio signals, the length is added by adding zero matrix to the remaining signals.

세 번째, 음성신호를 정규화하여 크기를 맞춘다.Third, adjust the amplitude by normalizing the audio signal.

2. 특징벡터추출 과정은 전처리 과정을 마친 음성데이터에서 알고리즘으로 구분하기 위한 특징벡터를 추출한다.2. The feature vector extraction process extracts feature vectors for classifying algorithms from speech data that have been preprocessed.

본 발명에서 사용한 특징벡터 추출 방법은 MFCC, short time energy, count peak 3가지로서, MFCC는 음성신호를 판별할 때 가장 많이 쓰이는 특징추출방법으로 저주파에서 민감하고 고주파에서 둔감한 사람의 청각적 특징을 가지는 Mel scale의 filter bank를 적용하여 13개의 coefficient를 추출한다.The feature vector extraction method used in the present invention is MFCC, short time energy, and count peak, and MFCC is the most commonly used feature extraction method for discriminating voice signals. Branches were extracted with 13 coefficients by applying a filter bank of Mel scale.

또한, short time energy는 음성 데이터를 20개의 구간으로 나누어 짧은 시간 동안의 에너지를 구해 특징벡터로 사용한다.In addition, short time energy divides voice data into 20 sections to obtain energy for a short time and use it as a feature vector.

또한, count peak은 음성 데이터의 짧은 시간의 에너지를 구하여 그린 후 피크점의 개수를 특징벡터로 사용한다. In addition, the count peak is obtained by drawing the energy of the short time of the speech data and then using the number of peak points as a feature vector.

하기 [표 1]은 본 출원인이 특징벡터추출 과정에서 추출한 34개의 특징벡터를 ELM 알고리즘을 사용하여 데이터를 분류한 결과이다. [Table 1] shows the results of classifying data using the ELM algorithm for 34 feature vectors extracted by the applicant in the feature vector extraction process.

Output 1Output 1 Output 2Output 2 Output 3Output 3 Input 1(553)Input 1 (553) 438438 Input 2(553)Input 2 (553) 519519 Input 3(476)Input 3 (476) 367367

1- 안녕, 2-덥니, 3-목마르니1- Hi, 2-Tunis, 3-Thy Marni

인식률: 안녕: 79.2%, 덥니: 93.8%, 목마르니: 77.1%Recognition rate: Goodbye: 79.2%, Hot teeth: 93.8%, Thirsty: 77.1%

총인식률: 83,4%Total recognition rate: 83,4%

Train sample의 개수는 440개를 사용했으며, Test sample은 1582개를 사용하였다. 여기서 sample의 개수는 스테리오 음성신호를 모노로 나누어서 사용하여 데이터베이스의 2배 가량이 된 것이다. 결과적으로 83.4%의 총 인식률을 보였다.The number of train samples was 440 and the test samples were 1582. Here, the number of samples is about twice that of the database by dividing the stereo voice signal into mono. As a result, the total recognition rate was 83.4%.

이와 같은 본 발명의 얼굴 인식 및 음성 인식을 통해 식물과의 교감을 기술적으로 달성할 수 있다. Through such a face recognition and voice recognition of the present invention it is possible to technically achieve communication with plants.

도 7은 본 발명의 교감형 반려식물 로봇시스템에서 물과 전기를 공급하는 일실시예를 도시한 예시도로서, 본 발명은 로봇 하우징의 이동을 가능하게 하는 로봇 이동부(130)를 더 포함한다. Figure 7 is an exemplary view showing an embodiment of supplying water and electricity in the sympathetic companion robot system of the present invention, the present invention further includes a robot moving unit 130 to enable the movement of the robot housing. .

여기서, 상기 로봇 이동부(130)는 전원을 공급하는 전원부와, 상기 로봇 하우징의 이동을 위한 구동부(132)와, 충돌 회피를 위한 초음파센서 또는 적외선센서가 탑재되는 센서부를 포함할 수 있다. Here, the robot moving unit 130 may include a power supply unit for supplying power, a driving unit 132 for moving the robot housing, and a sensor unit on which an ultrasonic sensor or an infrared sensor for collision avoidance is mounted.

상기 구동부(132)는 이동바퀴로 구성될 수 있으며, 도 7에 도시한 바와 같이, 상기 전원부에 전기를 공급하고, 식물에 물을 공급하는 물탱크에 물을 공급하는 도킹 스테이션이 더 포함될 수 있다. The driving unit 132 may be configured as a moving wheel, and as shown in FIG. 7, the docking station may further include a docking station for supplying electricity to the power supply unit and supplying water to a water tank for supplying water to plants. .

상기한 구성으로 된 본 발명의 가정용 식물재배를 위한 교감형 반려식물 로봇시스템의 특징은 다음과 같다. The characteristics of the sympathetic companion robot system for home plant cultivation of the present invention having the above configuration is as follows.

a. 센서를 이용한 식물 데이터 취득과 자동화 시스템a. Plant data acquisition and automation system using sensors

=> 기존 온도, 습도, 토양 습도, 물탱크의 잔량 등을 파악하는 기능을 기본적으로 구현 후 광, 온도, 수분을 제어할 수 있다. 또한, 더욱 자세한 식물의 상태를 체크하기 위해 적외선을 기반으로 하는 NDVI 기술 등 새로운 관리 기능을 추가하였다.=> Basically, it is possible to control the light, temperature, and moisture after implementing the function to check the existing temperature, humidity, soil humidity, and the remaining amount of water tank. In addition, new management features have been added, such as infrared-based NDVI technology, for more detailed plant status checks.

b. 앱을 이용한 원격 제어와 데이터 베이스 구축b. Remote control and database construction using apps

=> 앱 서버를 구축하여 식물의 원격 모니터링과 상태체크를 할 수 있게 하였다. 또한 원격제어 기능을 추가하여 어디서든 식물 환경을 제어할 수 있도록 구현하고자 하였다.=> We have built an app server to enable remote monitoring and status checking of plants. In addition, by adding a remote control function to control the plant environment from anywhere.

c. 반려의 의미를 부각한 다양한 시스템c. Various systems highlighting the meaning of companionship

=> 본 발명의 주요 목적으로 기존의 제품은 식물재배의 의미가 강하기 때문에 '반려'의 기능이 취약하다. 가장 반려의 의미를 담은 'Monologue' 또한 일방적으로 식물이 사람에게 상태를 감정으로 표현하는 방식에서 그쳤다. ‘교감’이란 쌍방의 소통을 기반으로 한 것이기 때문에 이러한 부분을 본 발명에서는 인공지능 기술을 사용하여 구현하고자 하였다.=> For the main purpose of the present invention, the existing product is weak in the 'companion' function because the meaning of plant cultivation is strong. 'Monologue', the meaning of companionship, was also unilaterally the way plants express their feelings to people. Since sympathy is based on communication between both parties, the present invention intends to implement such a part using artificial intelligence technology.

본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.The rights of the present invention are not limited to the embodiments described above, but are defined by the claims, and those skilled in the art can make various modifications and adaptations within the scope of the claims. It is self-evident.

110: 식물 재배부 112: 케이스
112a: 도어 114: 센서모듈
114a: 온도습도 센서 115: 조명모듈
116: 광합성 관찰 카메라 118: 물탱크
120: 인공지능 제어부 122: 카메라
124: 디스플레이 126: 마이크
128: 스피커 130: 로봇 이동부
400: 제어모듈 500: 외부 단말기
110: plant cultivation 112: case
112a: door 114: sensor module
114a: temperature and humidity sensor 115: lighting module
116: photosynthesis observation camera 118: water tank
120: artificial intelligence controller 122: camera
124: display 126: microphone
128: speaker 130: robot moving unit
400: control module 500: external terminal

Claims

식물이 재배되는 공간을 제공하며, 식물의 상태를 모니터링하여 데이터를 취득하고, 상기 데이터에 따라 식물에 대한 재배환경을 조절하는 식물 재배부; 및
상기 식물 재배부에서 취득한 데이터를 이용하여 식물에 대한 정보를 총괄적으로 관리하고, 이를 이용하여 식물과 인간 사이에 교감 기능을 수행하는 인공지능 제어부;
를 포함하며,
상기 식물 재배부와 인공지능 제어부가 하나의 로봇 하우징 내에 설치되어 상기 로봇 하우징 내에서 식물의 재배에 필요한 환경을 제공할 뿐 아니라 상기 데이터를 이용하여 인공지능 엔진과 결합하여 인간과 교감할 수 있는 교감형 반려식물 로봇시스템.A plant cultivation unit which provides a space in which plants are grown, obtains data by monitoring a state of the plant, and adjusts a cultivation environment for the plant according to the data; And
An artificial intelligence controller that collectively manages information about plants using data acquired by the plant cultivation unit, and performs sympathetic functions between plants and humans by using the data;
Including;
The plant cultivation unit and the artificial intelligence control unit are installed in one robot housing to provide an environment necessary for cultivation of plants in the robot housing as well as to connect with the artificial intelligence engine using the data to communicate with humans. Type pet robot system.

청구항 1에 있어서, 상기 식물 재배부는,
식물의 재배공간을 제공하는 케이스;
상기 식물의 상태를 모니터링하여 식물에 대한 생장 환경 데이터를 취득하기 위한 센서모듈; 및
상기 센서모듈이 취득한 생장 환경 데이터에 따라 상기 식물에 대한 재배 환경을 조절하기 위한 재배환경 조절모듈;
을 포함하는 교감형 반려식물 로봇시스템.The method according to claim 1, wherein the plant cultivation unit,
A case for providing a planting space;
A sensor module for monitoring the state of the plant to obtain growth environment data for the plant; And
A cultivation environment control module for controlling a cultivation environment for the plant according to the growth environment data acquired by the sensor module;
Sympathetic companion robot system comprising a.

청구항 2에 있어서,
상기 케이스는 개폐가능한 도어를 포함하며, 아크릴, 도자기, 나무, 유리 또는 금속 재질로 이루어지는 것을 특징으로 하는 교감형 반려식물 로봇시스템.The method according to claim 2,
The case includes an opening and closing door, sympathetic companion robot system, characterized in that made of acrylic, ceramics, wood, glass or metal.

청구항 2에 있어서, 상기 센서모듈은,
상기 식물이 심겨지는 화분 내 토양의 건조도를 실시간으로 측정하는 토양습도 센서;
상기 케이스 내 온도 및 습도를 실시간으로 측정하는 온도습도 센서; 및
상기 식물에 물을 공급하는 물탱크의 수위를 측정하는 수위센서;
를 포함하는 교감형 반려식물 로봇시스템.The method according to claim 2, The sensor module,
A soil humidity sensor for measuring in real time the dryness of the soil in the pot in which the plant is planted;
A temperature humidity sensor measuring the temperature and humidity in the case in real time; And
A water level sensor for measuring the water level of the water tank for supplying water to the plant;
Sympathetic companion robot system comprising a.

청구항 2에 있어서,
상기 식물 재배부는 상기 식물의 건강상태를 파악하기 위한 광합성 관찰 카메라를 더 포함하는 것을 특징으로 하는 교감형 반려식물 로봇시스템.The method according to claim 2,
The plant cultivation unit sympathetic companion robot system further comprises a photosynthesis observation camera for determining the health of the plant.

청구항 5에 있어서,
상기 광합성 관찰 카메라를 통해 얻은 영상을 이용하여 식생지수(NDVI)를 계산하고, 이를 이용하여 식물의 건강상태를 파악하는 것을 특징으로 하는 교감형 반려식물 로봇시스템.The method according to claim 5,
Sympathetic companion robot system, characterized in that to calculate the vegetation index (NDVI) using the image obtained through the photosynthetic observation camera, to determine the health status of the plant using the same.

청구항 6에 있어서,
상기 광합성 관찰 카메라는 적외선 카메라를 포함하며, 상기 적외선 카메라를 통해 얻은 블루 필터(Blue filter)를 적용한 이미지와 상기 블루 필터를 미 적용한 이미지를 사용하여 상기 식생지수(NDVI)를 계산하는 것을 특징으로 하는 교감형 반려식물 로봇시스템.The method according to claim 6,
The photosynthetic observation camera using an image applied push the includes an infrared camera, applying a Blu-filter (Blue filter) obtained through the infrared camera image and the blue filter is characterized in that calculating the vegetation index (NDVI) Sympathetic companion plant robot system.

청구항 2에 있어서, 상기 재배환경 조절모듈은,
상기 식물에 엘이디광을 발산하도록 하는 조명 모듈; 및
상기 케이스 내 측정된 온도 및 습도 데이터에 따라 상기 케이스 내를 환기시키기 위한 환기팬;
을 포함하는 교감형 반려식물 로봇시스템.The method of claim 2, wherein the cultivation environment control module,
An illumination module for emitting LED light to the plant; And
A ventilation fan for ventilating the inside of the case according to the temperature and humidity data measured in the case;
Sympathetic companion robot system comprising a.

청구항 1에 있어서,
상기 식물 재배부에서 취득한 생장 환경 데이터를 전송받아 확인하거나 상기 식물 재배부의 재배환경 조절모듈을 원격으로 제어할 수 있는 애플리케이션이 구동되는 외부 단말기가 더 포함되는 것을 특징으로 하는 교감형 반려식물 로봇시스템.The method according to claim 1,
Sympathetic companion robot system, characterized in that it further comprises an external terminal for driving the application to check the growth environment data obtained from the plant cultivation unit or to remotely control the cultivation environment control module of the plant cultivation unit.

청구항 1에 있어서, 상기 인공지능 제어부는,
사용자의 얼굴 인식 및 충돌을 방지하기 위해 전방의 영상을 획득하는 카메라;
상기 식물의 각종 재배정보를 제공하고, 식물 재배를 위한 제어 명령을 지시하기 위한 디스플레이;
사용자의 음성 인식을 위한 소리를 계측하는 마이크;
사용자와 식물 간의 음성 교감을 위해 소리를 재생하는 스피커;
통신기능 수행으로 외부 단말기와 통신하는 통신부; 및
상기 카메라, 디스플레이, 마이크 또는 외부 단말기를 통해 취득한 데이터를 인식하여 분석하고, 분석한 데이터를 근거하여 인간과의 교감 알고리즘을 통해 상기 디스플레이 또는 스피커를 제어하는 제어모듈;
을 포함하는 교감형 반려식물 로봇시스템.The method of claim 1, wherein the artificial intelligence controller,
A camera for acquiring a front image to prevent a face recognition and a collision of a user;
A display for providing various planting information of the plant and instructing a control command for plant planting;
A microphone for measuring a sound for recognizing a voice of a user;
A speaker for reproducing sound for voice interaction between the user and the plant;
A communication unit communicating with an external terminal by performing a communication function; And
A control module that recognizes and analyzes data acquired through the camera, a display, a microphone, or an external terminal, and controls the display or the speaker through a sympathetic algorithm with a human based on the analyzed data;
Sympathetic companion robot system comprising a.

청구항 10에 있어서, 상기 제어모듈은,
상기 카메라를 통해 사용자의 얼굴을 인식하는 얼굴 인식부; 및
상기 마이크 또는 외부 단말기를 통해 들어오는 음성을 인식하고, 식물의 상태 모니터링 결과를 통해 설정된 단어를 이용하여 인간과 대화를 하는 음성 인식부;
를 포함하는 것을 특징으로 하는 교감형 반려식물 로봇시스템.The method of claim 10, wherein the control module,
A face recognition unit recognizing a face of a user through the camera; And
A voice recognition unit for recognizing a voice received through the microphone or an external terminal and talking to a human using a word set through a plant state monitoring result;
Sympathetic companion robot system comprising a.

청구항 11에 있어서,
상기 음성 인식부에서의 음성 인식을 위한 음성데이터 처리과정은 음성 전처리 과정, 특징벡터추출 과정, ELM 알고리즘을 사용한 판별의 과정을 거치는 것을 특징으로 하는 교감형 반려식물 로봇시스템.The method according to claim 11,
The speech data processing process for speech recognition in the speech recognition unit includes a speech preprocessing process, a feature vector extraction process, and a process of discrimination using an ELM algorithm.

청구항 1에 있어서,
상기 로봇 하우징의 이동을 가능하게 하는 로봇 이동부가 더 포함되며,
상기 로봇 이동부는,
전원을 공급하는 전원부;
상기 로봇 하우징의 이동을 위한 구동부; 및
충돌 회피를 위한 초음파센서 또는 적외선센서가 탑재되는 센서부;
를 포함하는 것을 특징으로 하는 교감형 반려식물 로봇시스템.The method according to claim 1,
Further comprising a robot moving unit to enable the movement of the robot housing,
The robot moving unit,
A power supply unit supplying power;
A driving unit for moving the robot housing; And
A sensor unit on which an ultrasonic sensor or an infrared sensor for collision avoidance is mounted;
Sympathetic companion robot system comprising a.

청구항 13에 있어서,
상기 전원부에 전기를 공급하고, 식물에 물을 공급하는 물탱크에 물을 공급하는 도킹 스테이션이 더 포함되는 것을 특징으로 하는 교감형 반려식물 로봇시스템.
The method according to claim 13,
Sympathetic companion robot system, characterized in that it further comprises a docking station for supplying electricity to the power supply, the water tank for supplying water to the plant.