KR20210090318A - 다기능 스마트 가로등 - Google Patents

다기능 스마트 가로등 Download PDF

Info

Publication number
KR20210090318A
KR20210090318A KR1020200003057A KR20200003057A KR20210090318A KR 20210090318 A KR20210090318 A KR 20210090318A KR 1020200003057 A KR1020200003057 A KR 1020200003057A KR 20200003057 A KR20200003057 A KR 20200003057A KR 20210090318 A KR20210090318 A KR 20210090318A
Authority
KR
South Korea
Prior art keywords
image
smart street
environment
area
input image
Prior art date
Application number
KR1020200003057A
Other languages
English (en)
Inventor
박장식
송종관
윤병우
박학주
박갑주
고훈석
조덕명
진종영
Original Assignee
(주)에이치엠씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이치엠씨 filed Critical (주)에이치엠씨
Priority to KR1020200003057A priority Critical patent/KR20210090318A/ko
Publication of KR20210090318A publication Critical patent/KR20210090318A/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S8/00—Lighting devices intended for fixed installation
    • F21S8/08—Lighting devices intended for fixed installation with a standard
    • F21S8/085—Lighting devices intended for fixed installation with a standard of high-built type, e.g. street light
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V33/00—Structural combinations of lighting devices with other articles, not otherwise provided for
    • F21V33/0004—Personal or domestic articles
    • F21V33/0052—Audio or video equipment, e.g. televisions, telephones, cameras or computers; Remote control devices therefor
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V33/00—Structural combinations of lighting devices with other articles, not otherwise provided for
    • F21V33/0064—Health, life-saving or fire-fighting equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/12—Manually actuated calamity alarm transmitting arrangements emergency non-personal manually actuated alarm, activators, e.g. details of alarm push buttons mounted on an infrastructure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2131/00—Use or application of lighting devices or systems not provided for in codes F21W2102/00-F21W2121/00
    • F21W2131/10—Outdoor lighting
    • F21W2131/103—Outdoor lighting of streets or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 다기능 스마트 가로등에 관한 것으로, 보다 구체적으로는 공공장소에 설치되어 있는 가로등에 카메라, 스피커, EV 충전기, 디스플레이과 같은 IT 장치를 부가하여 기본적인 조명 기능 이외에 실생활의 편의를 도모할 수 있는 다양한 기능을 제공할 수 있도록 한 다기능 스마트 가로등에 관한 것이다.
본 발명의 기술적 사상인 다기능 스마트 가로등은,
상기 스마트 가로등 폴대 상부에 설치되는 지능형 조명부와,
상기 스마트 가로등 폴대 일측에 부설되어 주위를 촬영하는 카메라와,
상기 스마트 가로등 폴에의 다른 일측에 부설되어 외부 사운드를 수신하는 마이크, 방송을 위한 스피커, 조명부와 연동되는 조도센서, 온도센서, 습도 센서, 미세먼지 감기 센서, 위치 확인을 위한 GPS 모듈, 보행자들이 긴급 상황 발생시 사용하기 위한 비상 버튼부와, 각종 정보를 제공하는 터치형 디스플레이부와,
상기 스마트 가로등 폴대 하부에 설치되어 전기 차량의 충전을 가능하게 하는 전기 충전기를 구비하되,
입력 영상을 수신하여 객체를 인식하는 객체 인식기와, 상기 입력 영상을 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 주변 환경 인식기와, 상기 객체 인식기의 출력 정보와 상기 주변 환경 인식기의 정보를 중첩하여 객체와 주변 상황 상호간의 상관 관계를 감지하는 상관 관계 분석기를 구비하는 상기 카메라는 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하기 위하여,
(a) 상기 입력 영상으로부터 소정의 객체 영역을 검출하는 단계;
(b) 상기 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계;
(c) 상기 단계 (a)에서 검출된 상기 객체 영역을 상기 환경 영상 영역을 중첩시켜 상기 환경 영상 영역에 표시하는 단계를 실시하여,
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하되, 상기 입력 영상에 대하여 상기 단계 (a)와 단계 (b)는 병렬적으로 수행하는 것을 특징으로 한다.
본 발명에서 제안하는 다기능 스마트 가로등은 지능형 조명은 물론, 각종 환경 센서와 마이크, 스피커, 디스플레이부, 전기차 충전기 등을 제공함으로써 실생활의 편의를 도모함은 물론 보행자들의 안전을 감시하기 위하여 객체의 추출을 보다 명확하게 하기 위하여 카메라에 입력되는 영상 속의 객체와 주변 환경과의 상관 관계를 파악하여 위험 예방 또는 사고 발생시 신속한 대체가 가능할 수 있도록 하였다.

Description

다기능 스마트 가로등{Multifunction smart street light}
본 발명은 다기능 스마트 가로등에 관한 것으로, 보다 구체적으로는 공공장소에 설치되어 있는 가로등에 카메라, 스피커, EV 충전기, 디스플레이과 같은 IT 장치를 부가하여 기본적인 조명 기능 이외에 실생활의 편의를 도모할 수 있는 다양한 기능을 제공할 수 있도록 한 다기능 스마트 가로등에 관한 것이다.
일반적으로, 가로등은 가로 교통의 안전과 보행자에 대한 범죄 예방의 보안을 위하여 가로를 따라서 소정 거리를 간격으로 설치되는 조명시설을 말하는 것이다.
여기서 가로라 함은 차량용 도로의 가는 물론 보행자용 통행로의 가를 모두 포함하는 개념이다.
또한, 가로등이라 함은 가로 주변을 밝히기 위한 조명만을 지칭하기도 하나 상기 조명을 고정하기 위한 가로등 전주(이하에서 가로등 폴대(pole)라고도 함)를 포함하여 가로등이라고 부르는 것이 일반적이다.
상기와 같은 종래의 가로등은 고속도로, 시가지의 주요 도로, 상업지구 도로, 해안 도로, 및 주택지구 도로 등 다양한 장소에 설치되고 있으며, 그에 알맞은 종류의 가로등이 사용되고 있다. 즉, 자동차 또는 사람이 통행하는 길에는 가로를 밝혀주기 위한 가로등이 설치되어 있다고 해도 무방하다.
종래의 가로등은 도로 주변에 다양한 형태로 설치되어 차량의 교통안전이나 보행자의 범죄 예방을 위한 보안을 유지함에 일조를 하고 있기는 하지만, 가로를 밝히기 위한 조명 시설로서의 역할 이외의 다른 용도로는 거의 사용되지 못하고 있는 실정이다.
특히, 종래의 가로등은 각각이 개별적으로 관리자에 의해 현장에서 확인 관리되는 방식의 시설물로서, 관리자에 의한 유지보수 및 현장 관리에 많은 불편함이 따르는 문제가 있었다.
따라서, 상기와 같이 다양한 장소에 수없이 설치되는 가로등을 가로를 밝히기 위한 조명 시설로 사용함은 물론, 유익한 정보전달의 매체 및 통신수단의 인터페이스로 사용하는 것이 가능한 다기능 스마트 가로등의 개발이 절실히 요구되고 있다.
특히, 사회 안전망 구축 차원에서 도로 곳곳에 설치되어 있는 가로등을 보안 시스템으로 활용하는 방안에 대하여 다양한 연구가 진행되고 있으며, 안전 사고 등의 발생을 실시간으로 감지하여 신속한 조치 등에 활용하는 방안에 대하여 다양한 아이디어가 제안되고 있는 실정이다.
이는 카메라를 통한 객체 인식 기술과 관련되어 있다는 것은 주지의 사실이다.
알려진 바와 같이, 객체를 인식하고 추적하는 기술은 영상 합성, 모션 캡처, 보안 감시 시스템, Human Computer Interaction(HCI)등의 많은 분야에서 널리 적용된다.
특히 최근 실생활에서의 보안, 감시에 대한 요구사항이 늘어남에 따라 비디오 감시 시스템에서의 객체 인식 및 추적 기술은 날로 그 중요성이 증가하고 있다.
최근까지 객체 인식 및 추적을 위한 많은 알고리즘들이 개발되어 왔다.
객체 인식 및 추적을 위한 많은 알고리즘으로 예를 들어, 적응적 배경 생성과 배경 차분 기법, 영역 기반의 객체 추적 기법, 그리고 형태 정보 기반 객체 추출 기법 등이 있다.
하지만 기존의 영상 처리 시스템의 이동 물체 검출 기법은 아직 안정성에 있어서 문제점이 존재한다. 또한, 검출하는 과정에 따른 파워 소모와 정확성, 처리 속도에 있어서도 역시 문제점들이 존재한다.
영상에서 객체 인식이란 입력된 영상에서 목표 객체의 위치를 찾아내는 일련의 과정을 말한다.
영상에서 객체 인식을 수행함에 있어 같은 객체라고 하더라도 개개의 영상 안에서는 객체의 크기, 방향, 위치, 포즈 등이 다르게 나타날 수 있다. 또한 한 영상 내에 여러 개의 객체가 포함되어 있거나, 목표 객체가 다른 객체에 의해 가리워져 그 일부분만 볼 수 있는 경우도 발생할 수 있다.
이러한 모든 조건하에서도 강인하게 동작하는 객체 인식 방법은 쉽지 않은 문제이다.
그 동안 영상에서 객체 인식 기법에 대한 많은 연구가 진행되어 왔고 현재에도 여러 가지 접근 방식이 활발하게 모색되고 있다.
이러한 영상에서 객체를 인식하는 기술은 다양한 기술 분야에서 활용될 수 있다.
예를 들어, 영상에서 객체를 인식하는 기술은 군사 시설, 공항, 주차장, 지하철, 고속도로, 할인점, 주유소, 건설 현장, 유치원, 병원 교통 시스템, ATM 및 편의점 등 다양한 곳에서 보안을 위해 사용할 수 있다. 현재 이러한 영상 보안 시장은 지속적으로 증가하고 있다.
또한, 영상을 편집하는 기술에서도 영상에서 객체를 인식하는 기술이 사용될 수 있다. 이러한 다양한 분야에서 사용되기 위해 영상에서 객체를 인식하기 위한 정확도를 높이기 위한 기술이 필요하다.
최근에는 딥러닝 기술을 적용하여 영상 분할하는 방법이 제안되고 있으나, 사람이 도로에 있는 경우는 사람이 도로에 포함되어 버리거나, 사람과 도로가 분리되어 자동으로 상관 관계를 인지하는데 어려움이 있었다.
이 때문에, 최근 들어, 카메라 입력 영상을 분석하여 상황을 보다 정확하게 인식하기 위하여 객체와 주변 환경을 검출 및 인식하고 객체와 주변 환경의 위상 관계를 분석하는 방법의 필요성이 대두되고 있다.
1. 특허출원번호 "10-2019-0004771", 발명의 명칭 : 스마트 가로등의 제어 시스템 및 방법
본 발명은 공공장소 도로 곳곳에 설치되어 있는 가로등에 카메라, 스피커, EV 충전기, 디스플레이과 같은 IT 장치를 부가하여 기본적인 조명 기능 이외에 실생활의 편의를 도모할 수 있는 다양한 기능을 제공할 수 있도록 한 다기능 스마트 가로등를 제공하고자 한다.
특히, 본 발명에서는 카메라를 통하여 얻은 영상을 분석하고 그 상황을 인식하기 위하여 영상으로부터 주변 환경(도로, 건물, 녹지 등)을 분류하여 인식하고, 객체(사람, 차량 등) 검출 인식하여 객체와 주변 환경의 관계로부터 상황을 인식하는 방법을 제안하고자 한다.
이를 위하여 본 발명은 입력 영상 중에서 소정의 객체를 별도로 딥 러닝 방식에 의하여 검출하고, 이와 병렬적으로 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 방법을 제안하고자 한다.
본 발명의 기술적 사상인 다기능 스마트 가로등은,
상기 스마트 가로등 폴대 상부에 설치되는 지능형 조명부와,
상기 스마트 가로등 폴대 일측에 부설되어 주위를 촬영하는 카메라와,
상기 스마트 가로등 폴에의 다른 일측에 부설되어 외부 사운드를 수신하는 마이크, 방송을 위한 스피커, 조명부와 연동되는 조도센서, 온도센서, 습도 센서, 미세먼지 감기 센서, 위치 확인을 위한 GPS 모듈, 보행자들이 긴급 상황 발생시 사용하기 위한 비상 버튼부와, 각종 정보를 제공하는 터치형 디스플레이부와,
상기 스마트 가로등 폴대 하부에 설치되어 전기 차량의 충전을 가능하게 하는 전기 충전기를 구비하되,
입력 영상을 수신하여 객체를 인식하는 객체 인식기와, 상기 입력 영상을 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 주변 환경 인식기와, 상기 객체 인식기의 출력 정보와 상기 주변 환경 인식기의 정보를 중첩하여 객체와 주변 상황 상호간의 상관 관계를 감지하는 상관 관계 분석기를 구비하는 상기 카메라는 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하기 위하여,
(a) 상기 입력 영상으로부터 소정의 객체 영역을 검출하는 단계;
(b) 상기 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계;
(c) 상기 단계 (a)에서 검출된 상기 객체 영역을 상기 환경 영상 영역을 중첩시켜 상기 환경 영상 영역에 표시하는 단계를 실시하여,
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하되, 상기 입력 영상에 대하여 상기 단계 (a)와 단계 (b)는 병렬적으로 수행하는 것을 특징으로 한다.
본 발명에서 제안하는 다기능 스마트 가로등은 지능형 조명은 물론, 각종 환경 센서와 마이크, 스피커, 디스플레이부, 전기차 충전기 등을 제공함으로써 실생활의 편의를 도모함은 물론 보행자들의 안전을 감시하기 위하여 객체의 추출을 보다 명확하게 하기 위하여 카메라에 입력되는 영상 속의 객체와 주변 환경과의 상관 관계를 파악하여 위험 예방 또는 사고 발생시 신속한 대체가 가능할 수 있도록 하였다.
도 1은 본 발명에서 제안하는 다기능 스마트 가로등의 개념도이다.
도 2는1은 본 발명 스마트 가로등에 사용되는 카메라의 기본 기능 모듈을 설명한다.
도 3은 본 발명에 따른 객체 인식, 환경 영상 영역 분할 방법을 설명하는 도면이다.
도 4 ~6은 의미론적 영상 분할 방법을 설명하는 도면이다.
도 7은 객체와 주변 환경과의 상관관계를 실시간으로 파악할 수 있음을 보여주는 도면이다.
이하, 도면 등을 참조하여 본 발명에서 제안하는 다기능 스마트 가로등에 대하여 설명하고자 한다.
도 1은 본 발명에서 제안하는 다기능 스마트 가로등의 개념도이다.
본 발명에서 제안하는 다기능 스마트 가로등은 스마트 가로등 폴대 상부에 설치되는 지능형 조명부와, 스마트 가로등 폴대 일측에 부설되어 주위를 촬영하는 카메라, 외부 사운드를 수신하는 마이크, 방송을 위한 스피커, 조명부와 연동되는 조도센서, 온도센서, 습도 센서, 미세먼지 감기 센서, 위치 확인을 위한 GPS 모듈, 보행자들이 긴급 상황 발생시 사용하기 위한 비상 버튼부와, 각종 정보를 제공하는 터치형 디스플레이부와, 스마트 가로등 폴대 하부에 설치되어 전기 차량의 충전을 가능하게 하는 전기 충전기(EV 충전기)를 구비한다.
한편, 본 발명의 다기능 스마트 가로등은 무선 네트워크를 통하여 원격지의 서버와 통신 가능하다.
본 발명에 있어서, 다기능 스마트 가로등 내부에 설치되어 있는 제어부에서는 상기 스마트 가로등에 설치되어 있는 상기 각 장치(조명부, 카메라, 스피커...., 전기 충전기)의 정상 작동 상태를 주기적으로 서버로 전송하며, 서버에서는 이를 데이터베이스화하여 저장한다
한편, 본 발명에 있어서, 상기 서버가 상기 스마트 가로등에 설치되어 있는 상기 각 장치(조명부, 카메라, 스피커...., 전기 충전기)로부터 정상 작동 상태임을 나타내는 정보를 수신하지 못하는 경우, 서버에서는 이를 고장으로 판단하고 관리자 단말기 등으로 수리가 필요하다는 정보를 전송할 수 있다
본 발명의 다기능 스마트 가로등은 도로, 해안가, 주택가 주변과 같은 다양한 공공 장소에 설치되어 사용될 수 있으며, 특히 본 발명에서는 스마트 가로등에 설치되는 카메라를 이용하여 보행자의 사고 등을 실시간으로 감지할 수 있는 방법을 제안한다
본 발명의 스마트 가로등에 사용되는 카메라의 경우, 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법을 실시하는 하여,영상 속의 객체와 주변 환경과의 상관 관계를 신속히 파악하여 도로를 침범하거나 방파제 등에서 추락하는 경우 등을 실시간으로 감지할 수 있도록 하였다.
즉, 본 발명의 경우, 일반적인 객체 검출 방식과 달리 주변 환경과의 관계에서 보행자(객체)의 사고 발행 여부를 인식할 수 있는 방법을 제안한다.
이하에서는 본 발명의 카메라에 적용된 기술적 사상에 대하여 보다 구체적으로 설명하기로 한다.
먼저, 본 발명의 실시를 위하여 본 발명에서는 도 2에 도시된 바와 같이, 입력 영상을 수신하여 객체를 인식하는 객체 인식기와, 입력 영상을 의미론적 영상 분할 기법을 적용하여 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 주변 환경 인식기와, 객체 인식기의 출력 정보와 주변 환경 인식기의 정보를 중첩하여 객체와 주변 상황 상호간의 상관 관계를 판단하는 상관 관계 분석기가 제공된다.
도 2의 객체 인식기는 다양한 딥러닝에 의하여 학습되어 있으며, 소정의 영상이 입력되면 해당 영상 속에서 소정의 객체를 추출할 수 있는 기능을 수행한다.
한편, 도 2의 주변 환경 인식기 또한 다양한 딥러닝 기법에 의하여 학습되어 있으며, 특히 의미론적 영상 분할 기법을 적용하여 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 기능을 수행한다.
마지막으로, 도 2의 상관 관계 분석기는 객체 인식기의 출력 정보와 주변 환경 인식기의 출력 정보를 상호 중첩시켜 객체와 주변 환경간의 상호 관계를 알 수 있도록 하는 기능을 수행한다.
이러한 3가지 구성 요소를 이용하여 본 발명에서는 입력 영상에 대하여 객체와 주변 환경 인식을 분리하는 기능을 독립적으로 별도 수행한 후, 검출된 객체의 영역과 주변 환경 요소가 겹쳐지는 화소 수를 계수하여 상황을 인식한다. 즉, 상관관계 방법은 주변 환경 요소와 객체가 겹쳐지는 화소수를 계수하여 상황을 인식한다.
이하에서는 본 발명에서 제안하는 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법의 실시예 1 및 2 를 설명하기로 한다.
본 발명의 실시예 1은 다음과 같은 단계로 이루어진다.
본 발명의 제 1 실시예인 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법은,
(a) 입력 영상으로부터 소정의 객체 영역을 검출하는 단계;
(b) 상기 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계;
(c) 상기 단계 (a)에서 검출된 상기 객체 영역을 상기 환경 영상 영역을 중첩시켜 상기 환경 영상 영역에 표시하는 단계로 이루어지며,
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지한다.
한편, 본 발명의 제 2 실시예인 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법은,
(a) 입력 영상에 대하여 합성곱 기법을 적용하여 인코딩된 특징 영상을 추출하는 단계;
(b) 인코딩된 상기 특징 영상에 대하여 Fully Connected Neural Networks 기법을 적용하여 소정의 객체 영역을 검출하는 단계;
(c) 인코딩된 상기 특징 영상을 디코딩 변화시켜 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계로 이루어지며,
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지한다.
전술한 실시예 1 및 2는 도 3에 도시된 프로세스로 진행된다.
도 3에서 알 수 있듯이, 입력 영상에 대하여 합성곱 기법을 적용하여 인코딩된 특징 영상을 추출한 후, 객체 생성 및 의미론적 영상 분할 방법이 병렬적으로 수행됨을 알 수 있다.
도 4 ~ 도 6은 본 발명에 따라 의미론적 영상 분할 기법을 적용하여 바다, 테트라포트, 및 도로 영역을 분할한 예들을 보여준다.
특히, 도 6은 학습된 모듈을 사용하여 새로운 테스트 영상을 입력한 경우인데, 도시된 바와 같이, 바다, 테트라포트 및 기타 영역을 충실히 분할하는 것을 알 수 있다.
도 7은 본 발명에 따라 구현된 방법을 실시한 것으로, 의미론적 영상 분합법에 의하여 복수개의 환경 영상 영역으로 분할된 상태에서 차량 또는 행인의 객체가 중첩되어 별도로 관리되는 것을 알 수 있다.
특히, 본 발명의 경우, 객체의 이동을 검출함으로써 주변 상황과의 상관 관계를 알 수 있고 이 때문에 위기 상황의 발생 등을 예측할 수도 있다.
특히, 본 발명을 해안가의 테트라포트 등에 적용하는 경우 사람이 테트라포트에 있는지 여부, 그리고 테트라포트에서 갑자기 사라진 경우와 같은 상황 변화를 능동적으로 감지할 수 있기 때문에 신속한 대응이 가능할 수 있다는 이점이 있다.
즉, 본 발명에서 제안하는 카메라를 이용한 보안 및 안전 감시 방법을 사용하는 경우, 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법을 실시하는 경우 영상 속의 객체와 주변 환경과의 상관 관계를 파악할 수 있기 때문에 위험 예방 또는 사고 발생시 신속한 대체가 가능하기에 이벤트 발생 유무를 보다 정확하게 파악할 수 있다는 이점이 있다.

Claims (1)

  1. 다기능 스마트 가로등에 있어서,
    상기 스마트 가로등은
    상기 스마트 가로등 폴대 상부에 설치되는 지능형 조명부와,
    상기 스마트 가로등 폴대 일측에 부설되어 주위를 촬영하는 카메라와
    상기 스마트 가로등 폴에의 다른 일측에 부설되어 외부 사운드를 수신하는 마이크, 방송을 위한 스피커, 조명부와 연동되는 조도센서, 온도센서, 습도 센서, 미세먼지 감기 센서, 위치 확인을 위한 GPS 모듈, 보행자들이 긴급 상황 발생시 사용하기 위한 비상 버튼부와, 각종 정보를 제공하는 터치형 디스플레이부와,
    상기 스마트 가로등 폴대 하부에 설치되어 전기 차량의 충전을 가능하게 하는 전기 충전기를 구비하되,
    입력 영상을 수신하여 객체를 인식하는 객체 인식기와, 상기 입력 영상을 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 주변 환경 인식기와, 상기 객체 인식기의 출력 정보와 상기 주변 환경 인식기의 정보를 중첩하여 객체와 주변 상황 상호간의 상관 관계를 감지하는 상관 관계 분석기를 구비하는 상기 카메라는 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하기 위하여,
    (a) 상기 입력 영상으로부터 소정의 객체 영역을 검출하는 단계;
    (b) 상기 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계;
    (c) 상기 단계 (a)에서 검출된 상기 객체 영역을 상기 환경 영상 영역을 중첩시켜 상기 환경 영상 영역에 표시하는 단계를 실시하여,
    상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하되, 상기 입력 영상에 대하여 상기 단계 (a)와 단계 (b)는 병렬적으로 수행하는 것을 특징으로 하는 다기능 스마트 가로등.
KR1020200003057A 2020-01-09 2020-01-09 다기능 스마트 가로등 KR20210090318A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200003057A KR20210090318A (ko) 2020-01-09 2020-01-09 다기능 스마트 가로등

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003057A KR20210090318A (ko) 2020-01-09 2020-01-09 다기능 스마트 가로등

Publications (1)

Publication Number Publication Date
KR20210090318A true KR20210090318A (ko) 2021-07-20

Family

ID=77127246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200003057A KR20210090318A (ko) 2020-01-09 2020-01-09 다기능 스마트 가로등

Country Status (1)

Country Link
KR (1) KR20210090318A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220002182A (ko) 2021-12-13 2022-01-06 윤세빈 보행자 경고 신호등 겸 가로등

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190004771A (ko) 2016-08-31 2019-01-14 가부시키가이샤 사무코 반도체 웨이퍼의 래핑 방법 및 반도체 웨이퍼

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190004771A (ko) 2016-08-31 2019-01-14 가부시키가이샤 사무코 반도체 웨이퍼의 래핑 방법 및 반도체 웨이퍼

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220002182A (ko) 2021-12-13 2022-01-06 윤세빈 보행자 경고 신호등 겸 가로등

Similar Documents

Publication Publication Date Title
CN109686109B (zh) 一种基于人工智能的停车场安全监控管理***及方法
KR102189569B1 (ko) 다기능 스마트 객체인식 사고방지 표지 안내판 및 그것을 이용한 사고방지방법
KR101146583B1 (ko) 주차장 내 차량 인식용 스마트 컴퓨터 카메라
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
CN101388145B (zh) 道路交通安全自动警示方法及装置
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN101739809A (zh) 行人闯红灯自动报警监控***
CN201307337Y (zh) 行人闯红灯自动报警监控装置
CN113074714B (zh) 一种基于多数据融合的多态势感知传感器及其处理方法
KR101515166B1 (ko) 객체인식 기반의 주차장 이벤트 검지 시스템
CN107221175B (zh) 一种行人意图检测方法和***
CN114566056A (zh) 一种公路隧道行车安全风险辨识与防控方法及***
KR101780929B1 (ko) 움직이는 물체를 추적하는 영상감시 시스템
KR102499340B1 (ko) 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법
KR20210090318A (ko) 다기능 스마트 가로등
KR20190050113A (ko) 이동 물체 자동 추적 영상 감시 시스템
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
KR20210012282A (ko) 다기능 가로등 장치 및 운용방법
CN113223276B (zh) 一种基于视频识别的行人跨栏行为警报方法及装置
Zheng et al. A method of detect traffic police in complex scenes
KR102321716B1 (ko) 듀얼 카메라를 이용한 보안 및 안전 감시 방법
KR20230052443A (ko) 스마트 반사경 장치
KR102038574B1 (ko) Tod 센서를 구비하고 설치가 용이한 올인원 도로 영상 감시시스템
KR20030051557A (ko) 지능형 차량번호인식 시스템
KR102483250B1 (ko) 해양도시 인프라의 효율적 관제를 위한 영상 ai 기반 안전관리 통합장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application