KR102646869B1 - 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법 - Google Patents
축사 관리 카메라를 위한 카메라 관리 시스템 및 방법 Download PDFInfo
- Publication number
- KR102646869B1 KR102646869B1 KR1020220116083A KR20220116083A KR102646869B1 KR 102646869 B1 KR102646869 B1 KR 102646869B1 KR 1020220116083 A KR1020220116083 A KR 1020220116083A KR 20220116083 A KR20220116083 A KR 20220116083A KR 102646869 B1 KR102646869 B1 KR 102646869B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- livestock
- management
- lens
- contamination
- Prior art date
Links
- 244000144972 livestock Species 0.000 title claims abstract description 205
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000007726 management method Methods 0.000 claims abstract description 171
- 238000011109 contamination Methods 0.000 claims abstract description 124
- 238000004458 analytical method Methods 0.000 claims abstract description 35
- 238000004140 cleaning Methods 0.000 claims abstract description 32
- 230000007613 environmental effect Effects 0.000 claims abstract description 29
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012731 temporal analysis Methods 0.000 claims abstract description 16
- 238000000700 time series analysis Methods 0.000 claims abstract description 16
- 238000013480 data collection Methods 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 7
- 239000000428 dust Substances 0.000 claims description 5
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 11
- 239000000356 contaminant Substances 0.000 description 7
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 241000283690 Bos taurus Species 0.000 description 3
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 3
- 229910021529 ammonia Inorganic materials 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229910000037 hydrogen sulfide Inorganic materials 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 238000005406 washing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000287828 Gallus gallus Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000013330 chicken meat Nutrition 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 235000013594 poultry meat Nutrition 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N21/15—Preventing contamination of the components of the optical system or obstruction of the light path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N21/15—Preventing contamination of the components of the optical system or obstruction of the light path
- G01N2021/155—Monitoring cleanness of window, lens, or other parts
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 축사 관리 카메라를 위한 카메라 관리 시스템에 관한 것으로서, 보다 구체적으로는 카메라 관리 시스템으로서, 축사에 설치된 복수의 축사 관리 카메라를 관리하는 카메라 관리부; 상기 축사 관리 카메라에서 수신된 영상을 저장하는 데이터베이스부; 이미지 처리 기술을 이용해 상기 영상을 분석해 렌즈 오염도를 측정하는 오염도 분석부; 및 상기 오염도 분석부에서 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측하는 오염도 예측부를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 축사 관리 카메라를 위한 카메라 관리 방법에 관한 것으로서, 보다 구체적으로는 카메라 관리 시스템에서 각 단계가 수행되는 카메라 관리 방법으로서, (1) 축사에 설치된 복수의 축사 관리 카메라에서 수신된 영상을 데이터베이스부에 저장하는 단계; (2) 이미지 처리 기술을 이용해 상기 영상을 분석해 렌즈 오염도를 측정하는 단계; 및 (3) 상기 단계 (2)에서 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법에 따르면, 축사에 설치된 복수의 축사 관리 카메라에서 수신된 영상을 이미지 처리 기술을 이용해 분석해 렌즈 오염도를 측정하고, 측정한 렌즈 오염도를 시계열 분석해 오염도를 예측함으로써, 카메라 렌즈가 심하게 오염되기 전에 예측된 오염도를 기초로 적절한 유지관리를 할 수 있어서, 컴퓨터 비전을 적용한 축사 관리 정확도를 유지할 수 있다.
또한, 본 발명에서 제안하고 있는 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법에 따르면, 축사 내의 환경 데이터를 이용해 다변량 시계열 분석을 수행해 오염도를 예측함으로써, 축사 내부의 환경까지 고려해 정확하게 카메라 렌즈의 오염도를 예측할 수 있고, 예측한 오염도를 사용해 렌즈 세척 시기를 예측해 알람을 출력하여 편리하게 카메라 렌즈의 유지관리를 할 수 있다.
또한, 본 발명은 축사 관리 카메라를 위한 카메라 관리 방법에 관한 것으로서, 보다 구체적으로는 카메라 관리 시스템에서 각 단계가 수행되는 카메라 관리 방법으로서, (1) 축사에 설치된 복수의 축사 관리 카메라에서 수신된 영상을 데이터베이스부에 저장하는 단계; (2) 이미지 처리 기술을 이용해 상기 영상을 분석해 렌즈 오염도를 측정하는 단계; 및 (3) 상기 단계 (2)에서 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법에 따르면, 축사에 설치된 복수의 축사 관리 카메라에서 수신된 영상을 이미지 처리 기술을 이용해 분석해 렌즈 오염도를 측정하고, 측정한 렌즈 오염도를 시계열 분석해 오염도를 예측함으로써, 카메라 렌즈가 심하게 오염되기 전에 예측된 오염도를 기초로 적절한 유지관리를 할 수 있어서, 컴퓨터 비전을 적용한 축사 관리 정확도를 유지할 수 있다.
또한, 본 발명에서 제안하고 있는 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법에 따르면, 축사 내의 환경 데이터를 이용해 다변량 시계열 분석을 수행해 오염도를 예측함으로써, 축사 내부의 환경까지 고려해 정확하게 카메라 렌즈의 오염도를 예측할 수 있고, 예측한 오염도를 사용해 렌즈 세척 시기를 예측해 알람을 출력하여 편리하게 카메라 렌즈의 유지관리를 할 수 있다.
Description
본 발명은 카메라 관리 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법에 관한 것이다.
소, 돼지, 닭 등 각종 가축이나 가금을 사육하는 농장에서는 축사의 효율적 관리를 위해 다양한 방법을 사용하고 있다. 예를 들어, 소 객체별로 고유 식별정보가 입력된 RFID 칩을 설치하고, 축사 내부나 출입구 등에 리더기를 설치해 소 객체를 인식해 관리하는 방법이 있다. 그런데 이와 같은 종래의 관리 방법에 따르면, 가축 객체에 인식 센서를 설치해야 하므로 작업이 복잡하고 센서 오작동에 의한 문제가 발생할 수 있으며 유지관리가 어려운 단점이 있다.
또한, 축사에 CCTV를 설치해 축사를 실시간으로 관리하는 방법도 널리 사용되고 있다. 최근에는 인공지능 알고리즘을 적용한 영상 처리 기술이 급격히 발달하면서, 축사에 설치된 카메라에서 촬영된 영상을 분석해 가축을 관리할 수 있는 기술의 연구도 활발하게 진행 중이다.
이와 관련된 선행기술로, 등록특허 제10-2264281호(발명의 명칭: 축사 영상을 이용한 가축 체중 추정 시스템 및 방법, 등록일자: 2021년 06월 07일) 등이 개시된 바 있다.
그런데, 축사 내부는 일반적인 실내외 환경에 비하여 공기 중 오염물질이 특별히 많은 환경이고, 이러한 오염물질로 인해 카메라 렌즈가 쉽게 오염될 수 있다. 전술한 바와 같이 인공지능 알고리즘을 적용한 영상 처리 기술을 사용해 축사 영상을 분석하면서 렌즈가 오염된 카메라에서 촬영된 영상을 사용하게 되면, 가축 검출, 체중 추정 등의 분석 정확도가 낮아지거나 분석에 실패할 수 있다.
따라서 축사 환경에 컴퓨터 비전을 적용하고 그 정확도를 유지하기 위해서는, 카메라 렌즈가 심하게 오염되기 전에 적절한 유지관리를 해야 한다. 그러나 농장별로 축사 환경이 다르고 카메라의 특성이나 설치 위치 등에 따라서도 오염 정도가 달라질 수 있으므로, 유지관리 시기를 일률적으로 적용하는 것은 효율이 떨어지는 단점이 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 축사에 설치된 복수의 축사 관리 카메라에서 수신된 영상을 이미지 처리 기술을 이용해 분석해 렌즈 오염도를 측정하고, 측정한 렌즈 오염도를 시계열 분석해 오염도를 예측함으로써, 카메라 렌즈가 심하게 오염되기 전에 예측된 오염도를 기초로 적절한 유지관리를 할 수 있어서, 컴퓨터 비전을 적용한 축사 관리 정확도를 유지할 수 있는, 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 축사 내의 환경 데이터를 이용해 다변량 시계열 분석을 수행해 오염도를 예측함으로써, 축사 내부의 환경까지 고려해 정확하게 카메라 렌즈의 오염도를 예측할 수 있고, 예측한 오염도를 사용해 렌즈 세척 시기를 예측해 알람을 출력하여 편리하게 카메라 렌즈의 유지관리를 할 수 있는, 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 축사 관리 카메라를 위한 카메라 관리 시스템은,
카메라 관리 시스템으로서,
축사에 설치된 복수의 축사 관리 카메라를 관리하는 카메라 관리부;
상기 축사 관리 카메라에서 수신된 영상을 저장하는 데이터베이스부;
이미지 처리 기술을 이용해 상기 영상을 분석해 렌즈 오염도를 측정하는 오염도 분석부; 및
상기 오염도 분석부에서 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측하는 오염도 예측부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
상기 축사 내의 환경 데이터를 수집하는 데이터 수집부를 더 포함할 수 있다.
더욱 바람직하게는, 상기 오염도 예측부는,
상기 데이터 수집부에서 수집된 환경 데이터 및 상기 렌즈 오염도를 이용해 다변량 시계열 분석을 수행하여 오염도를 예측할 수 있다.
더욱 바람직하게는, 상기 환경 데이터는,
상기 축사 내의 먼지 농도, 습도 및 온도를 포함하는 군에서 선택된 적어도 하나 이상일 수 있다.
바람직하게는,
상기 오염도 예측부에서 예측한 오염도가 미리 정해진 값 이상이면 렌즈 세척이 필요한 것으로 판단하고, 세척 시기를 예측해 알람을 출력하는 세척 시기 예측부를 더 포함할 수 있다.
더욱 바람직하게는, 상기 미리 정해진 값은,
컴퓨터 비전을 이용한 축사 분석 장치에서 축사의 분석을 할 수 없거나 분석 정확도가 임계값 미만으로 저하되는 영상이 획득되는 렌즈 오염도 값일 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 축사 관리 카메라를 위한 카메라 관리 방법은,
카메라 관리 시스템에서 각 단계가 수행되는 카메라 관리 방법으로서,
(1) 축사에 설치된 복수의 축사 관리 카메라에서 수신된 영상을 데이터베이스부에 저장하는 단계;
(2) 이미지 처리 기술을 이용해 상기 영상을 분석해 렌즈 오염도를 측정하는 단계; 및
(3) 상기 단계 (2)에서 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (3) 이후에는,
(4) 상기 단계 (3)에서 예측한 오염도가 미리 정해진 값 이상이면 렌즈 세척이 필요한 것으로 판단하고, 세척 시기를 예측해 알람을 출력하는 단계를 더 포함할 수 있다.
본 발명에서 제안하고 있는 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법에 따르면, 축사에 설치된 복수의 축사 관리 카메라에서 수신된 영상을 이미지 처리 기술을 이용해 분석해 렌즈 오염도를 측정하고, 측정한 렌즈 오염도를 시계열 분석해 오염도를 예측함으로써, 카메라 렌즈가 심하게 오염되기 전에 예측된 오염도를 기초로 적절한 유지관리를 할 수 있어서, 컴퓨터 비전을 적용한 축사 관리 정확도를 유지할 수 있다.
또한, 본 발명에서 제안하고 있는 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법에 따르면, 축사 내의 환경 데이터를 이용해 다변량 시계열 분석을 수행해 오염도를 예측함으로써, 축사 내부의 환경까지 고려해 정확하게 카메라 렌즈의 오염도를 예측할 수 있고, 예측한 오염도를 사용해 렌즈 세척 시기를 예측해 알람을 출력하여 편리하게 카메라 렌즈의 유지관리를 할 수 있다.
도 1은 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템을 포함하는 전체 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템의 세부적인 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템에서, 축사에서 수집된 데이터를 이용해 카메라 관리 시스템이 오염도를 예측하는 과정을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템에서, 시간에 따른 축사 영상을 나타낸 도면.
도 6은 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템에서, 환경 데이터와 렌즈 컨디션 값을 LSTM 모델의 입력으로 사용하여 나온 학습 결과를 나타낸 그래프.
도 7은 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템에서 학습된 LSTM 모델을 사용한 테스트셋에 대한 검증 결과를 나타낸 그래프.
도 8은 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 방법의 흐름을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템의 세부적인 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템에서, 축사에서 수집된 데이터를 이용해 카메라 관리 시스템이 오염도를 예측하는 과정을 설명하기 위해 도시한 도면.
도 5는 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템에서, 시간에 따른 축사 영상을 나타낸 도면.
도 6은 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템에서, 환경 데이터와 렌즈 컨디션 값을 LSTM 모델의 입력으로 사용하여 나온 학습 결과를 나타낸 그래프.
도 7은 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 시스템에서 학습된 LSTM 모델을 사용한 테스트셋에 대한 검증 결과를 나타낸 그래프.
도 8은 본 발명의 일실시예에 따른 축사 관리 카메라를 위한 카메라 관리 방법의 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)을 포함하는 전체 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)은, 복수의 축사를 관리할 수 있으며, 사용자 단말기(200)와 네트워크를 통해 통신할 수 있다. 여기서, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
도 2는 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)은, 축사에 설치된 축사 관리 카메라(10)로부터 영상을 전달받아 이미지 처리 기술을 이용해 렌즈 오염도를 분석하고, 렌즈 오염도를 시계열 분석해 오염도를 예측할 수 있다. 각 축사에는 적어도 하나 이상의 축사 관리 카메라(10)가 설치될 수 있으며, 축사 관리 카메라(10)의 설치 위치, 각도, 개수 등은 다양할 수 있다. 즉, 카메라 관리 시스템(100)은 축사에 설치된 복수의 축사 관리 카메라(10)를 관리하며, 축사 관리 카메라(10)에서 촬영된 영상을 분석해 예측한 오염도 및 렌즈 세척 시기 등을 사용자 단말기(200)에 알려줄 수 있다.
여기서, 축사 관리 카메라(10)는, 컴퓨터 비전을 이용한 축사 분석 장치에서 축사 및 가축의 분석을 위한 기초 자료가 되는 축사 영상을 수집하는 장치일 수 있다. 즉, 축사 관리 카메라(10)에서 수집되는 영상은 축사 분석 장치에 전달되며, 축사 분석 장치가 다양한 인공지능 알고리즘을 포함하는 컴퓨터 비전 기술을 이용해 축사 영상을 분석함으로써, 개별 가축을 식별 및 추적하고, 가축 상태, 가축 생육 정도, 가축 체중, 가축 행동 특성, 축사 상태 등 축사 관리에 필요한 다양한 정보를 도출할 수 있다.
사용자 단말기(200)는, 농장 또는 축사를 관리하는 관리자가 사용하는 전자 장치로 구현될 수 있다. 여기서, 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.
도 3은 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)의 세부적인 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)은, 카메라 관리부(110), 데이터베이스부(120), 오염도 분석부(130) 및 오염도 예측부(150)를 포함하여 구성될 수 있으며, 데이터 수집부(140) 및 세척 시기 예측부(160)를 더 포함하여 구성될 수 있다.
도 4는 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)에서, 축사에서 수집된 데이터를 이용해 카메라 관리 시스템(100)이 오염도를 예측하는 과정을 설명하기 위해 도시한 도면이다. 이하에서는, 도 3 및 도 4를 참조하여, 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)의 각 구성에 대해 상세히 설명하도록 한다.
카메라 관리부(110)는, 축사에 설치된 복수의 축사 관리 카메라(10)를 관리할 수 있다. 하나의 축사 내에도, 입구, 복도 등을 비추도록 설치된 카메라, 가축을 향하도록 설치된 카메라 등 다양한 위치, 방향, 개수의 카메라가 설치될 수 있으므로, 카메라 관리부(110)는 축사마다 적어도 하나 이상 설치된 축사 관리 카메라(10)를 관리할 수 있다. 여기서, 축사 관리 카메라(10)는, 일반적인 2차원 가시광선 카메라 외에도, 열 영상 카메라, 뎁스 카메라, 적외선 카메라 등 다양한 종류의 카메라로 구현될 수 있다. 카메라 관리부(110)는, 축사 관리 카메라(10)의 식별부호, 종류, 설치된 축사 정보 등을 포함하는 카메라 정보를 저장 및 등록하고, 카메라 온/오프, 카메라 상태 등을 관리할 수 있다.
한편, 카메라 관리부(110)는, 농장별로 축사 관리 카메라(10)를 관리할 수 있다. 즉, 개별 농장별로 복수의 축사 관리 카메라(10)를 축사별로 등록하고 관리할 수 있으며, 카메라 관리부(110)가 여러 농장을 관리할 수도 있다.
데이터베이스부(120)는, 축사 관리 카메라(10)에서 수신된 영상을 저장할 수 있다. 즉, 데이터베이스부(120)는, 축사 관리 카메라(10)에서 실시간으로 수집되는 영상을 저장하고, 오염도 분석부(130) 및 축사 분석 장치에 실시간 전달하여 분석이 이루어지도록 할 수 있다.
오염도 분석부(130)는, 이미지 처리 기술을 이용해 영상을 분석해 렌즈 오염도를 측정할 수 있다. 축사 관리 카메라(10)는 축사를 향하고 있는 렌즈를 통해 축사 모습을 촬영해 영상을 생성하는데, 렌즈의 오염은 영상의 질에 영향을 미친다. 즉, 렌즈가 오염되면 렌즈에 묻은 먼지, 물, 얼룩 등의 오염물질이 함께 촬영되거나 영상의 선명도가 저하되므로, 오염도 분석부(130)는 축사 영상에 이미지 처리 기술을 적용해 오염물질이 함께 촬영되었는지, 선명도가 저하되었는지 등을 판정하여 렌즈 오염도를 측정할 수 있다.
여기서는, 카메라의 렌즈가 어느 정도 오염되었는지 확인하기 위해 카메라 영상의 오염도를 흐려짐 정도로 확인하였고, 흐려짐 정도를 렌즈 오염도로 정의하였다. 일반적으로 렌즈 부분에 오염물질이 발생하며 해당 오염물질은 초점을 흐리게 만들고, 축사 내부의 카메라 영상 흐려짐 정도는 렌즈의 오염도와 직접적인 상관관계가 있기 때문이다.
예를 들어, 오염도 분석부(130)는 축사 영상을 그레이 스케일로 변환하고, 픽셀별 명암값을 추출하여 렌즈 오염도를 측정할 수 있다. 렌즈 오염이 심하면 오염물질로 인해 영상이 뿌옇게 되어 명암 대비가 적어지므로, 픽셀별 명암값의 균일한 정도로부터 렌즈 오염도를 측정할 수 있다.
다만, 축사 관리 카메라(10)는, 일반적인 2차원 가시광선 카메라 외에도, 열 영상 카메라, 뎁스 카메라, 적외선 카메라 등 다양한 종류의 카메라로 구현될 수 있으므로, 오염도 분석부(130)는 카메라 또는 축사 영상의 종류에 따라 적합한 이미지 처리 기술을 적용해 렌즈 오염도를 분석할 수 있다.
실시예에 따라서, 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)의 오염도 분석부(130)는, 푸리에 변환(Fourier Transform)을 적용해 렌즈 오염도를 측정할 수 있다. 푸리에 변환은 다양한 필터의 주파수 특성 분석에 사용된다. 여기서, 이미지의 경우 2차원 푸리에 변환 사용할 수 있는데, 2차원 신호에 대한 푸리에 변환은 아래 수학식 1과 같이 정의된다. 이때, F(u, v)는 주파수 공간에서 x축 방향으로 u, y축 방향으로 v인 주기함수 성분의 계수이다.
축사 내부 카메라의 흐려짐 정도인 렌즈 오염도를 판단하기 위해서 2차원 고속 푸리에 변환(2D FFT, 2-D Fast Fourier Transform)을 입력 영상에 적용하여 오염도 예측 분석을 위한 렌즈 오염도 값을 획득할 수 있다.
렌즈 오염도를 계산하기 위해 2차원 고속 푸리에 변환을 영상에 적용하는 순서는 다음과 같다.
(a) 입력 영상에 2차원 고속 푸리에 변환을 적용한다. 이 경우, 저주파 성분(DC component)들은 왼쪽 위에 위치한다.
(b) 단계 (a)에서 2차원 고속 푸리에 변환이 적용된 결과에 대해 분석을 쉽게 하기 위해서 주파수가 0인 부분이 중앙에 오도록 이동시킬 수 있다. 이렇게 2차원 고속 푸리에 변환을 한 뒤 중앙에 주파수가 0이 오도록 위치시키면 저주파 성분들이 중앙에 모이도록 이동된다.
(c) 이후에 중앙에 120x120 크기의 사각형으로 마스킹을 수행(값을 0으로 변경)하여 낮은 주파수 성분을 제거하고, 단계 (b)의 이동 방향과 반대 방향으로 단계 (b)에서 이동한 거리만큼 역이동하여, 저주파 성분들이 다시 왼쪽 위로 모이도록 할 수 있다.
(d) 마지막으로 역 2차원 고속 푸리에 변환(Inverse 2-D Fast Fourier Transform)을 적용하여 크기 스펙트럼(magnitude spectrum)을 계산할 수 있다. 이 크기 스펙트럼은 저주파 성분이 제거되어 있게 된다.
(e) 단계 (d)에서 구한 한 화면에 대한 크기 스펙트럼에 대해서 전체 평균값을 계산하여 흐려짐 정도를 계산할 수 있다. 이 계산된 흐려짐 정도의 값이 렌즈 컨디션이며, 렌즈 컨디션이 낮아질수록 렌즈 오염 정도가 높아지므로 렌즈 컨디션에 -을 취하여 렌즈 오염도를 정의할 수 있다. 따라서 화면이 흐려질수록 계산된 평균값인 렌즈 컨디션은 낮게 도출되고, -렌즈 컨디션인 렌즈 오염도는 높게 도출될 수 있다.
도 5는 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)에서, 시간에 따른 축사 영상의 실시예를 나타낸 도면이다. 도 5에 도시된 바와 같이, 시간이 지날수록 카메라 영상의 흐려짐 정도가 심해지며 렌즈에 부착된 오염물질이 더 많아진 것을 확인할 수 있다. 오염도 분석부(130)가 전술한 바와 같은 단계 (a) 내지 단계 (e)를 통해 렌즈 오염도를 측정한 결과, 첫 번째 행의 첫 번째 사진에서 두 번째 행의 두 번째 사진까지 시간이 흐름에 따라 렌즈 컨디션(-렌즈 오염도)이 42에서 -20까지 점점 작게 변화되었다(렌즈 오염도는 -42에서 20까지 점점 크게 변화되었다.).
데이터 수집부(140)는, 축사 내의 환경 데이터를 수집할 수 있다. 여기서, 환경 데이터는, 축사 내의 먼지 농도, 습도 및 온도를 포함하는 군에서 선택된 적어도 하나 이상일 수 있다. 즉, 축사 내에는 다양한 환경 센서(20)가 설치될 수 있으며, 데이터 수집부(140)는 이러한 환경 센서(20)에서 측정되는 환경 데이터를 수집해 데이터베이스부(120)에 저장할 수 있다. 이때, 데이터베이스부(120)는, 축사 관리 카메라(10)에서 수신한 축사 영상과 데이터 수집부(140)에서 수집한 환경 데이터의 축사 식별번호, 카메라와 환경 센서(20)의 설치 위치, 데이터 수집 시각 등을 매칭해 저장할 수 있다.
오염도 예측부(150)는, 오염도 분석부(130)에서 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측할 수 있다. 축사 내부 카메라에 대한 렌즈 오염도 값에 대해 임계값(Threshold)를 설정하여, 설치된 카메라 렌즈들의 현재 상태와 렌즈의 세척 필요 유무를 실시간으로 알 수 있지만, 오염도 분석부(130)에서 측정한 렌즈 오염도는 현재의 오염도를 보여줄 뿐 미래에 대한 예측이 포함되지 않기 때문에 활용성이 부족하다. 따라서 오염도 예측부(150)는 축사 내부의 환경 데이터와 렌즈 오염도를 시계열로 학습하여 해당 카메라 렌즈의 컨디션이 어떻게 변화할 것인지 예측하여 적절한 유지관리가 되도록 관리할 수 있다.
보다 구체적으로, 오염도 예측부(150)는, 데이터 수집부(140)에서 수집된 환경 데이터 및 오염도 분석부(130)에서 측정한 렌즈 오염도를 이용해 다변량 시계열 분석을 수행하여 오염도를 예측할 수 있다. 즉, 카메라 렌즈의 오염 정도는 축사 내부의 먼지 농도, 습도, 온도 등의 환경 데이터에 따라 다를 수 있으므로, 렌즈 오염도와 환경 데이터 사이의 상관관계를 고려할 수 있도록 다변량(멀티모달) 시계열 분석을 수행할 수 있다.
여기서, 다변량 시계열 분석은, 측정한 렌즈 오염도, 환경 데이터, 날짜 등 복수의 변수에 대한 시계열 분석을 수행하는 것으로, VAR(Vector Auto Regression) 등의 모델을 사용할 수 있으며, 파이선(Python)의 Darts 등 시계열 분석 라이브러리를 사용할 수도 있다.
실시예에 따라서, 시계열 데이터의 예측을 위한 대표적인 딥러닝 기법인 RNN(Recurrent Neural Network) 과 LSTM(Long Short-Term Memory models)을 사용할 수 있다. 전통적인 RNN은 짧은 시퀀스에 대해서만 효과를 보이고, 시퀀스가 길어질수록 맨 앞의 정보는 손실되거나 영향력이 거의 없어지게 되는 단점이 있다. 이러한 RNN의 단점을 보완한 것이 LSTM이고, RNN보다 은닉 상태의 계산이 더 복잡해지고 셀 상태(Cell status) 값이 추가되었다.
실험을 위해, 렌즈 오염도 예측을 위한 LSTM 모델을 학습하였고, 학습에 사용한 인자들은 온도, 습도, 산소, 암모니아, 황화수소 및 렌즈 컨디션이다. 렌즈 컨디션을 제외한 나머지 수집 값들(온도, 습도, 산소, 암모니아, 황화수소)인 환경 데이터는 환경 센서를 축사에 설치하여 수집하였고, 렌즈 컨디션은 앞에서 설명한 2차원 고속 푸리에 변환을 적용하여 측정하였다.
각 센서에서 수집되는 환경 변수들의 최솟값과 최댓값은 종류별로 다양하므로, 인공지능 모델에 사용할 각 인자들은 0에서 1 사이의 값으로 정규화를 수행한 이후에 학습에 사용하였다. 그리고 입력 데이터에 대한 입력층의 노드 개수는 환경 변수 및 렌즈 컨디션을 포함하는 총 개수로써, 해당 시스템을 검증하기 위해 6개(온도, 습도, 산소, 암모니아, 황화수소, 렌즈 컨디션)의 노드를 사용하였고, 출력 데이터에 대한 출력층의 노드 개수는 1개(렌즈 컨디션)를 사용하였다.
도 6은 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)에서, 환경 데이터와 렌즈 컨디션 값을 LSTM 모델의 입력으로 사용하여 나온 학습 결과를 나타낸 그래프이다. 도 6의 그래프에서 학습 로스(Training loss) 수치는 낮을수록 성능이 높아짐을 의미한다. 충분히 낮은 수치의 학습 로스가 계산되면, 학습을 멈추고 해당 파라미터는 가중치 파일에 저장한다. 가중치 파일이 저장된 이후에는 해당 가중치를 사용하여 예측을 수행할 수 있다.
도 7은 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)에서 학습된 LSTM 모델을 사용한 테스트셋에 대한 검증 결과를 나타낸 그래프이다. 도 7의 그래프 전체적으로 표시되는 푸른색 “True” 실선은 학습 데이터셋과 테스트 데이터셋 전체에 대한 실제 계산된 렌즈 컨디션을 의미한다. 축사 내부 환경 및 계절(온도, 습도), 축사 관리상태, 렌즈 세척 유무에 따라서 렌즈 컨디션(-렌즈 오염도)이 계속 변화하는 것을 확인할 수 있다. 그래프 우측의 붉은색 “Pred” 실선은 테스트 데이터셋에 대한 예측된 렌즈 컨디션을 의미한다. 시스템 검증을 위해 성능 평가 지표는 MAE(Mean Absolute Error)를 사용하였고, 테스트 데이터셋에 대하여 학습된 가중치를 적용하면 MAE 3.22가 계산되었다. 해당 결괏값은 렌즈 컨디션 수치가 약 3에서 50까지인 것을 고려하였을 때 예측 성능이 충분함을 나타낸다.
카메라 오염도를 예측하기 위해, 렌즈 오염도(또는 렌즈 컨디션)에 대하여 시계열 예측을 위한 방법 중 하나인 LSTM을 적용한 예시를 활용하였지만, 다중 입력과 단일 출력이 존재하는 시계열 인공지능 모델은 모두 활용할 수 있다.
한편, 오염도 예측부(150)는, 축사별 또는 농장별로 설치된 축사 관리 카메라(10)의 평균 오염도를 예측할 수 있다. 즉, 농장에 적어도 하나 이상의 축사가 운영되고, 각 축사에는 적어도 하나 이상의 축사 관리 카메라(10)가 설치되어 있으면, 오염도 예측부(150)는 축사별로 또는 농장 전체의 평균 오염도를 예측할 수 있다. 개별 축사 관리 카메라(10)의 렌즈 오염도가 서로 다르더라도 카메라 렌즈의 유지관리는 축사별 또는 농장별로 하는 것이 효율적이므로, 오염도 예측부(150)는 농장별로 카메라 렌즈의 평균 오염도를 예측할 수 있다. 농장의 축사가 일정 개수 이상으로 규모가 커서 농장의 축사 관리 카메라(10) 전체를 한 번에 렌즈 세척하는 등의 관리가 어려운 규모이면, 축사별로 카메라 렌즈의 평균 오염도를 예측해 유지관리의 효율성을 높일 수 있다.
보다 구체적으로, 오염도 예측부(150)는 축사 관리 카메라(10)별로 측정된 렌즈 오염도를 시계열 분석해 오염도를 예측하고, 예측 오염도를 축사별 또는 농장별로 평균하여 평균 오염도를 예측할 수 있다. 이때, 오염도 예측부(150)는, 각각의 축사 관리 카메라(10)가 설치된 위치에 따라 가중치를 적용해 축사별 또는 농장별로 평균 오염도를 예측할 수 있다. 예를 들어, 축사 입구나 복도에 설치된 축사 관리 카메라(10)보다 축방 등 가축을 향하도록 설치된 축사 관리 카메라(10)에 가중치를 높게 설정하고, 설정한 가중치를 적용해 카메라별 예측 오염도를 가중 평균하여, 축사별 또는 농장별 평균 오염도를 도출할 수 있다.
세척 시기 예측부(160)는, 오염도 예측부(150)에서 예측한 오염도가 미리 정해진 값 이상이면 렌즈 세척이 필요한 것으로 판단하고, 세척 시기를 예측해 알람을 출력할 수 있다. 즉, 오염도 예측부(150)에서 렌즈 오염도를 예측할 수 있으며, 예측된 렌즈 오염도를 활용하여 임계값보다 큰 렌즈 오염도 수치(또는 임계값보다 작은 렌즈 컨디션 수치)가 예측된다면 곧 심한 렌즈 오염이 발생할 것으로 판단하여, 심한 렌즈 오염이 있기 전에 렌즈 세척을 수행할 수 있다. 예를 들어, 전술한 바와 같은 예에서, 세척 시기 예측부(160)는 오염도 예측부(150)가 가중 평균하여 도출한 축사별 또는 농장별 평균 오염도가 미리 정해진 값 이상이 되는 시기를 축사별 또는 농장별 렌즈의 세척 시기로 예측할 수 있다. 이를 통해, 다수의 가축 관리 카메라가 설치된 축사 환경의 경우에는 계획적인 카메라 관리를 할 수 있게 된다.
실시예에 따라서는, 오염도 예측부(150)가 예측한 축사 관리 카메라(10)별 예측 오염도를 기초로, 예측 오염도가 미리 정해진 값 이상인 축사 관리 카메라(10)가 축사별 또는 농장별로 미리 설정된 개수 이상이 되는 시점을 렌즈 세척 시기로 예측할 수도 있다. 이때, 축사 관리 카메라(10)가 설치된 위치에 따라서 가중치를 설정하여 세척 시기를 예측할 수도 있다. 예를 들어, 축사 입구나 복도에 설치된 축사 관리 카메라(10)(가중치 1)보다 축방 등 가축을 향하도록 설치된 축사 관리 카메라(10)(가중치 1.5)에 가중치를 높게 설정함으로써, 축사 입구나 복도에 설치된 카메라 중 3개의 예측 오염도가 미리 정해진 값 이상일 때와, 축방을 향하도록 설치된 카메라 중 2개의 예측 오염도가 미리 정해진 값 이상일 때 같은 결과가 도출되도록 구성할 수 있다.
여기서, 미리 정해진 값은, 컴퓨터 비전을 이용한 축사 분석 장치에서 축사의 분석을 할 수 없거나 분석 정확도가 임계값 미만으로 저하되는 영상이 획득되는 렌즈 오염도 값일 수 있다. 즉, 컴퓨터 비전을 이용해 축사를 관리할 때, 가축 식별이 어려워지는 렌즈 오염도 값을 미리 정해진 값으로 설정해, 카메라 렌즈가 심하게 오염되어 축사 관리 정확도가 저하되기 전에 예측된 오염도를 기초로 적절한 유지관리를 할 수 있다.
한편, 세척 시기 예측부(160)는, 예측한 세척 시기를 사용자 단말기(200)에 알람으로 출력할 수 있다. 이때, 농장별, 축사별, 카메라별 세척 시기 중 적어도 하나를 알려줄 수 있으며, 예측한 세척 시기에 렌즈 세척이 이루어질 수 있도록 예측한 세척 시기로부터 1주일, 한 달, 두 달 등 일정한 시기 이전에 알람을 출력해 적절한 유지관리가 이루어지도록 할 수 있다.
도 8은 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 방법의 흐름을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 방법은, 카메라 관리 시스템(100)에서 각 단계가 수행되는 카메라 관리 방법으로서, 축사에 설치된 복수의 축사 관리 카메라(10)에서 수신된 영상을 데이터베이스부(120)에 저장하는 단계(S110), 이미지 처리 기술을 이용해 영상을 분석해 렌즈 오염도를 측정하는 단계(S120) 및 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측하는 단계(S130)를 포함하여 구현될 수 있으며, 예측한 오염도가 미리 정해진 값 이상이면 렌즈 세척이 필요한 것으로 판단하고, 세척 시기를 예측해 알람을 출력하는 단계(S140)를 더 포함하여 구현될 수 있다.
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100)과 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
전술한 바와 같이, 본 발명에서 제안하고 있는 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100) 및 방법에 따르면, 축사에 설치된 복수의 축사 관리 카메라(10)에서 수신된 영상을 이미지 처리 기술을 이용해 분석해 렌즈 오염도를 측정하고, 측정한 렌즈 오염도를 시계열 분석해 오염도를 예측함으로써, 카메라 렌즈가 심하게 오염되기 전에 예측된 오염도를 기초로 적절한 유지관리를 할 수 있어서, 컴퓨터 비전을 적용한 축사 관리 정확도를 유지할 수 있다.
또한, 본 발명에서 제안하고 있는 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100) 및 방법에 따르면, 축사 내의 환경 데이터를 이용해 다변량 시계열 분석을 수행해 오염도를 예측함으로써, 축사 내부의 환경까지 고려해 정확하게 카메라 렌즈의 오염도를 예측할 수 있고, 예측한 오염도를 사용해 렌즈 세척 시기를 예측해 알람을 출력하여 편리하게 카메라 렌즈의 유지관리를 할 수 있다.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 축사 관리 카메라
20: 환경 센서
100: 카메라 관리 시스템
100: 카메라 관리 시스템
110: 카메라 관리부
120: 데이터베이스부
130: 오염도 분석부
140: 데이터 수집부
150: 오염도 예측부
160: 세척 시기 예측부
200: 사용자 단말기
S110: 축사에 설치된 복수의 축사 관리 카메라에서 수신된 영상을 데이터베이스부에 저장하는 단계
S120: 이미지 처리 기술을 이용해 영상을 분석해 렌즈 오염도를 측정하는 단계
S130: 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측하는 단계
S140: 예측한 오염도가 미리 정해진 값 이상이면 렌즈 세척이 필요한 것으로 판단하고, 세척 시기를 예측해 알람을 출력하는 단계
20: 환경 센서
100: 카메라 관리 시스템
100: 카메라 관리 시스템
110: 카메라 관리부
120: 데이터베이스부
130: 오염도 분석부
140: 데이터 수집부
150: 오염도 예측부
160: 세척 시기 예측부
200: 사용자 단말기
S110: 축사에 설치된 복수의 축사 관리 카메라에서 수신된 영상을 데이터베이스부에 저장하는 단계
S120: 이미지 처리 기술을 이용해 영상을 분석해 렌즈 오염도를 측정하는 단계
S130: 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측하는 단계
S140: 예측한 오염도가 미리 정해진 값 이상이면 렌즈 세척이 필요한 것으로 판단하고, 세척 시기를 예측해 알람을 출력하는 단계
Claims (8)
- 카메라 관리 시스템(100)으로서,
축사에 설치된 복수의 축사 관리 카메라(10)를 관리하는 카메라 관리부(110);
상기 축사 관리 카메라(10)에서 수신된 영상을 저장하는 데이터베이스부(120);
이미지 처리 기술을 이용해 상기 영상을 분석해 렌즈 오염도를 측정하는 오염도 분석부(130); 및
상기 오염도 분석부(130)에서 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측하는 오염도 예측부(150)를 포함하며,
상기 오염도 분석부(130)는,
2차원 고속 푸리에 변환을 상기 영상에 적용해 렌즈 오염도 값을 획득하며,
(a) 상기 영상에 2차원 고속 푸리에 변환을 적용하는 단계;
(b) 상기 단계 (a)의 적용 결과에 대해 주파수가 0인 부분이 중앙에 오도록 이동시켜, 저주파 성분이 중앙에 모이도록 하는 단계;
(c) 중앙에 미리 정해진 크기의 사각형으로 마스킹을 수행해 낮은 주파수 성분을 제거하고, 상기 단계 (b)에서 이동한 거리만큼 역이동하는 단계;
(d) 역 2차원 고속 푸리에 변환을 적용해 크기 스펙트럼을 계산하는 단계; 및
(e) 상기 계산한 크기 스펙트럼에 대해서 상기 영상에 대한 전체 평균값을 계산해 흐려짐 정도를 계산하며, 상기 흐려짐 정도에 마이너스(-)를 취하여 상기 렌즈 오염도 값을 획득하는 단계를 수행하여 상기 렌즈 오염도 값을 획득하는 것을 특징으로 하는, 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100).
- 제1항에 있어서,
상기 축사 내의 환경 데이터를 수집하는 데이터 수집부(140)를 더 포함하는 것을 특징으로 하는, 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100).
- 제2항에 있어서, 상기 오염도 예측부(150)는,
상기 데이터 수집부(140)에서 수집된 환경 데이터 및 상기 렌즈 오염도를 이용해 다변량 시계열 분석을 수행하여 오염도를 예측하는 것을 특징으로 하는, 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100).
- 제2항에 있어서, 상기 환경 데이터는,
상기 축사 내의 먼지 농도, 습도 및 온도를 포함하는 군에서 선택된 적어도 하나 이상인 것을 특징으로 하는, 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100).
- 제1항에 있어서,
상기 오염도 예측부(150)에서 예측한 오염도가 미리 정해진 값 이상이면 렌즈 세척이 필요한 것으로 판단하고, 세척 시기를 예측해 알람을 출력하는 세척 시기 예측부(160)를 더 포함하는 것을 특징으로 하는, 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100).
- 제5항에 있어서, 상기 미리 정해진 값은,
컴퓨터 비전을 이용한 축사 분석 장치에서 축사의 분석을 할 수 없거나 분석 정확도가 임계값 미만으로 저하되는 영상이 획득되는 렌즈 오염도 값인 것을 특징으로 하는, 축사 관리 카메라(10)를 위한 카메라 관리 시스템(100).
- 카메라 관리 시스템(100)에서 각 단계가 수행되는 카메라 관리 방법으로서,
(1) 축사에 설치된 복수의 축사 관리 카메라(10)에서 수신된 영상을 데이터베이스부(120)에 저장하는 단계;
(2) 이미지 처리 기술을 이용해 상기 영상을 분석해 렌즈 오염도를 측정하는 단계; 및
(3) 상기 단계 (2)에서 측정한 렌즈 오염도를 시계열 분석하여 오염도를 예측하는 단계를 포함하며,
상기 단계 (3)에서는,
2차원 고속 푸리에 변환을 상기 영상에 적용해 렌즈 오염도 값을 획득하며,
상기 단계 (3)은,
(a) 상기 영상에 2차원 고속 푸리에 변환을 적용하는 단계;
(b) 상기 단계 (a)의 적용 결과에 대해 주파수가 0인 부분이 중앙에 오도록 이동시켜, 저주파 성분이 중앙에 모이도록 하는 단계;
(c) 중앙에 미리 정해진 크기의 사각형으로 마스킹을 수행해 낮은 주파수 성분을 제거하고, 상기 단계 (b)에서 이동한 거리만큼 역이동하는 단계;
(d) 역 2차원 고속 푸리에 변환을 적용해 크기 스펙트럼을 계산하는 단계; 및
(e) 상기 계산한 크기 스펙트럼에 대해서 상기 영상에 대한 전체 평균값을 계산해 흐려짐 정도를 계산하며, 상기 흐려짐 정도에 마이너스(-)를 취하여 상기 렌즈 오염도 값을 획득하는 단계를 포함하는 것을 특징으로 하는, 축사 관리 카메라(10)를 위한 카메라 관리 방법.
- 제7항에 있어서, 상기 단계 (3) 이후에는,
(4) 상기 단계 (3)에서 예측한 오염도가 미리 정해진 값 이상이면 렌즈 세척이 필요한 것으로 판단하고, 세척 시기를 예측해 알람을 출력하는 단계를 더 포함하는 것을 특징으로 하는, 축사 관리 카메라(10)를 위한 카메라 관리 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220116083A KR102646869B1 (ko) | 2022-09-15 | 2022-09-15 | 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법 |
| PCT/KR2022/021681 WO2024058318A1 (ko) | 2022-09-15 | 2022-12-30 | 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220116083A KR102646869B1 (ko) | 2022-09-15 | 2022-09-15 | 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102646869B1 true KR102646869B1 (ko) | 2024-03-13 |
Family
ID=90275409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220116083A KR102646869B1 (ko) | 2022-09-15 | 2022-09-15 | 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102646869B1 (ko) |
| WO (1) | WO2024058318A1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150076371A (ko) * | 2013-12-26 | 2015-07-07 | 재단법인 포항산업과학연구원 | 렌즈 오염도 측정 장치 및 방법 |
| KR20220115318A (ko) * | 2021-02-10 | 2022-08-17 | 한국전자통신연구원 | 축사 내 환경 데이터 수집 센서의 잔여 수명 예측 장치 및 그 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101778561B1 (ko) * | 2016-04-20 | 2017-09-14 | 주식회사 아이엠에스일렉트로닉스 | 카메라의 오염 검출 및 안내장치, 그리고 그의 제어방법 |
| KR20180121012A (ko) * | 2017-04-28 | 2018-11-07 | 에스엘 주식회사 | 건설 장비의 카메라 오염 검출 장치 |
| KR20200089112A (ko) * | 2019-01-16 | 2020-07-24 | 한국전자통신연구원 | 축사 환경 제어 장치 및 방법 그리고 이를 이용한 시스템 |
-
2022
- 2022-09-15 KR KR1020220116083A patent/KR102646869B1/ko active IP Right Grant
- 2022-12-30 WO PCT/KR2022/021681 patent/WO2024058318A1/ko unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150076371A (ko) * | 2013-12-26 | 2015-07-07 | 재단법인 포항산업과학연구원 | 렌즈 오염도 측정 장치 및 방법 |
| KR20220115318A (ko) * | 2021-02-10 | 2022-08-17 | 한국전자통신연구원 | 축사 내 환경 데이터 수집 센서의 잔여 수명 예측 장치 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024058318A1 (ko) | 2024-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416324B (zh) | 用于检测活体的方法和装置 | |
| CN109697435B (zh) | 人流量监测方法、装置、存储介质及设备 | |
| CN108921051B (zh) | 基于循环神经网络注意力模型的行人属性识别网络及技术 | |
| KR102264281B1 (ko) | 축사 영상을 이용한 가축 체중 추정 시스템 및 방법 | |
| WO2019200735A1 (zh) | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 | |
| Shi et al. | Amur tiger stripes: Individual identification based on deep convolutional neural network | |
| Legrand et al. | Study of autoencoder neural networks for anomaly detection in connected buildings | |
| CN117114913A (zh) | 一种基于大数据的智能化农业数据采集*** | |
| KR102646869B1 (ko) | 축사 관리 카메라를 위한 카메라 관리 시스템 및 방법 | |
| JP6757701B2 (ja) | 任意の追跡器を割り当てたパーティクルを用いる物体追跡プログラム、装置及び方法 | |
| CN113887559A (zh) | 一种脑不在环路应用的脑机信息融合分类方法及*** | |
| CN117257302A (zh) | 人员心理健康状态评估方法及*** | |
| Zmudzinski | Deep Learning Guinea Pig Image Classification Using Nvidia DIGITS and GoogLeNet. | |
| CN117152528A (zh) | 绝缘子状态识别方法、装置、设备、存储介质和程序产品 | |
| CN111833375A (zh) | 一种动物群体轨迹追踪的方法及其*** | |
| Jurj et al. | Real-time identification of animals found in domestic areas of Europe | |
| Choiński et al. | Insect detection on high-resolution images using deep learning | |
| CN113128452A (zh) | 一种基于图像识别的绿化满意度采集方法和*** | |
| CN117275076B (zh) | 基于特征的人脸质量评估模型的构建方法及应用 | |
| CN116611022B (zh) | 智慧校园教育大数据融合方法及平台 | |
| US20240161483A1 (en) | In-situ model adaptation for privacy-compliant image processing | |
| CN113642671B (zh) | 基于任务分布变化的半监督元学习方法及装置 | |
| CN115393362B (zh) | 一种青光眼自动识别模型选择方法、设备和介质 | |
| Brander et al. | Improving data-scarce image classification through multimodal synthetic data pretraining | |
| Thevarasa et al. | Weighted Ensemble Algorithm for Aerial Imaging Based Mosquito Breeding Sites Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |