KR20240057541A - 경량 저전력 객체 인식 장치 및 그 동작 방법 - Google Patents

경량 저전력 객체 인식 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20240057541A
KR20240057541A KR1020220137844A KR20220137844A KR20240057541A KR 20240057541 A KR20240057541 A KR 20240057541A KR 1020220137844 A KR1020220137844 A KR 1020220137844A KR 20220137844 A KR20220137844 A KR 20220137844A KR 20240057541 A KR20240057541 A KR 20240057541A
Authority
KR
South Korea
Prior art keywords
object recognition
npu
recognition device
input image
neural network
Prior art date
Application number
KR1020220137844A
Other languages
English (en)
Inventor
이상설
곽종훈
김경호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to PCT/KR2022/016308 priority Critical patent/WO2024090593A1/ko
Priority to KR1020220137844A priority patent/KR20240057541A/ko
Publication of KR20240057541A publication Critical patent/KR20240057541A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N11/00—Generators or motors not provided for elsewhere; Alleged perpetua mobilia obtained by electric or magnetic means
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N11/00—Generators or motors not provided for elsewhere; Alleged perpetua mobilia obtained by electric or magnetic means
    • H02N11/002—Generators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Control Of Electric Motors In General (AREA)
  • Container Filling Or Packaging Operations (AREA)

Abstract

경량 저전력 객체 인식 장치 및 그 동작 방법이 제공된다. 본 발명의 실시예에 따른 객체 인식 장치는, 입력 영상을 분석하여 객체 인식 필요성을 판단하는 판단기 및 판단기의 판단 결과에 따라 고정확도 뉴럴 네트워크와 저정확도의 뉴럴 네트워크를 선택적으로 이용하여 입력 영상에서 객체를 인식하는 NPU를 포함한다. 이에 의해, 객체 인식 필요성에 따라 CNN과 BNN을 선택적으로 운용하여 객체를 인식하는 NPU를 이용하여 경량의 저전력 객체 인식 장치를 구현함으로써, 전력 공급에 있어 극한의 환경인 격오지에서 타겟 객체 인식을 통한 상황 감시/보고가 가능해진다.

Description

경량 저전력 객체 인식 장치 및 그 동작 방법{Lightweight low-power object recognition device and operation method thereof}
본 발명은 영상 기반 딥러닝 처리 및 시스템 SoC(System on chip) 기술에 관한 것으로, 더욱 상세하게는 전원공급이 제한된 환경에서 경량 저전력으로 딥러닝을 통해 타겟 객체를 인식하기 위한 장치에 관한 것이다.
CPU(Central Processing Unit)/GPU(Graphics Processing Unit) 기반의 딥러닝 객체 인식 시스템은 저전력 운용이 필요하거나, 리소스가 제한되어 있는 환경에서는 부분적으로 작은 코어를 동작시키는 구조의 하드웨어를 사용하고 있다.
하지만 전력이 굉장히 부족한 상태의 시스템에서 높은 정확도의 딥러닝 연산이 필요할 경우에는, 해당 구조로 구현한다 하더라도 전력 수급이 불가능하다는 문제가 있다.
이에 전력 공급이 극한인 상황에서 딥러닝을 활용한 객체 인식을 가능하도록 하기 위한 방안이 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 객체 인식 필요성에 따라 CNN(Convolutional Neural Network)과 BNN(Binarized Neural Network)을 선택적으로 운용하여 객체를 인식하는 NPU(Neural Processing Unit)를 이용하는 경량의 저전력 객체 인식 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 객체 인식 장치는, 입력 영상을 분석하여 객체 인식 필요성을 판단하는 판단기; 및 판단기의 판단 결과에 따라 고정확도 뉴럴 네트워크와 저정확도의 뉴럴 네트워크를 선택적으로 이용하여, 입력 영상에서 객체를 인식하는 NPU;를 포함한다.
판단기는, 입력 영상에서 옵티컬 플로우(Optical Flow)를 계산하고, 계산된 옵티컬 플로우로부터 객체 인식 필요성을 판단할 수 있다.
NPU는, 판단기에 의해 객체 인식 필요성이 있다고 판단되면, CNN을 이용하여 입력 영상에서 객체를 인식하고, 판단기에 의해 객체 인식 필요성이 없다고 판단되면, BNN을 이용하여 입력 영상에서 객체를 인식할 수 있다.
NPU는, PE(Processing Element)들을 모두 이용하여 CNN을 구동하고, PE들 중 일부만을 이용하여 BNN을 구동할 수 있다.
NPU는, BNN에 의해 객체가 인식되면, CNN을 이용하여 입력 영상에서 객체를 인식할 수 있다.
본 발명의 실시예에 따른 객체 인식 장치는, 원격 서버와 통신하는 통신 모듈; 및 CNN에 의해 위험 객체가 인식되면, 통신 모듈을 통해 원격 서버에 알람을 전송하는 MCU;를 더 포함할 수 있다.
본 발명의 실시예에 따른 객체 인식 장치는, 입력 영상을 저장하는 메모리;를 더 포함하고, MCU는, 알람 전송시, 입력 영상과 인식 결과를 메모리에 저장하였다가, 통신 가능한 시점에 통신 모듈을 통해 원격 서버에 전송할 수 있다.
본 발명의 실시예에 따른 객체 인식 장치는, 전원을 공급하는 배터리; 및 에너지를 수집하여 생성한 전기 에너지로 배터리를 충전하는 하베스터;를 더 포함할 수 있다.
객체 인식 장치는, 격오지에 설치된 엣지 디바이스에 적용될 수 있다.
본 발명의 다른 실시예에 따른 객체 인식 방법은, 판단기가, 입력 영상을 분석하여 객체 인식 필요성을 판단하는 단계; 및 NPU가, 판단 결과에 따라 고정확도 뉴럴 네트워크와 저정확도의 뉴럴 네트워크를 선택적으로 이용하여, 입력 영상에서 객체를 인식하는 단계;를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 인식 장치는, 고정확도 뉴럴 네트워크와 저정확도의 뉴럴 네트워크를 선택적으로 이용하여, 입력 영상에서 객체를 인식하는 NPU; 원격 서버와 통신하는 통신 모듈; 및 NPU에 의해 위험 객체가 인식되면, 통신 모듈을 통해 원격 서버에 알람을 전송하는 MCU;를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 인식 방법은, NPU가, 고정확도 뉴럴 네트워크와 저정확도의 뉴럴 네트워크를 선택적으로 이용하여, 입력 영상에서 객체를 인식하는 딘계; NPU에 의해 위험 객체가 인식되면, MCU가 통신 모듈을 통해 원격 서버에 알람을 전송하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 객체 인식 필요성에 따라 CNN과 BNN을 선택적으로 운용하여 객체를 인식하는 NPU를 이용하여 경량의 저전력 객체 인식 장치를 구현함으로써, 전력 공급에 있어 극한의 환경인 격오지에서 타겟 객체 인식을 통한 상황 감시/보고가 가능해진다.
도 1은 본 발명의 일 실시예에 따른 경량의 저전력 객체 인식 장치의 개요를 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 객체 인식 장치의 구조를 도시한 도면,
도 3은 CNN 구동시 NPU의 PE 운용 상태,
도 4는 BNN 구동시 NPU의 PE 운용 상태,
도 5는 본 발명의 다른 실시예에 따른 객체 인식 장치의 구조를 도시한 도면, 그리고,
도 6은 본 발명의 다른 실시예에 따른 객체 인식 방법의 설명에 제공되는 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 경량의 저전력 객체 인식 장치를 제시한다. 딥러닝 연산을 통해 타겟 객체를 인식함에 있어, 상황에 따라 적절한 딥러닝 연산을 사용하여 경량의 장치로 저전력 운용을 가능하게 하는 기술이다.
도 1은 본 발명의 일 실시예에 따른 경량의 저전력 객체 인식 장치의 개요를 나타낸 도면이다.
도시된 바와 같이, 본 발명의 실시예에 따른 경량의 저전력 객체 인식 장치는 영상 센서 또는 센서 네트워크를 통해 획득되는 영상으로부터 타겟 객체를 인식하고, 인식 결과를 원격 관제 센터로 통지하여, 제어장치를 통해 필요한 조치가 취해지도록 한다.
극한의 환경을 갖는 격오지, 예를 들면, 깊은 산속에 구축된 엣지 디바이스에서 배터리 만으로 오랜 기간 동안 운용을 보장하기 위해서는, 통신에 소요되는 전력은 물론 객체 인식에 소요되는 전력도 극소화하여야 한다.
이에 본 발명의 실시예에서는 객체 인식을 담당하는 NPU(Neural Processing Unit)가 High accuracy NPU와 Low Accuracy NPU로 동작할 수 있도록 구현하여, 딥러닝을 통한 객체 인식에 소요되는 전력을 극소화한다.
격오지의 경우 타겟 객체의 출현은 아주 희박한 확률로 발생하기 마련이다. 이 점에 착안하여 본 발명의 실시예에서는 NPU를 거의 대부분의 시간을 Low Accuracy NPU로 동작할 수 있도록 구현하는 것이다.
도 2는 본 발명의 일 실시예에 따른 객체 인식 장치의 구조를 도시한 도면이다. 본 발명의 실시예에 따른 객체 인식 장치는 격오지에 설치된 엣지 디바이스에 적용가능하도록 경량의 초저전력 하드웨어로 구현하기 위해, NPU에 Big-little 구조를 적용하였다.
이와 같은 기능을 수행하기 위한 본 발명의 실시예에 따른 객체 인식 장치는, 도시된 바와 같이, 움직임 판단기(110), NPU(120), 통신 모듈(130), MCU(Micro Controller Unit)(140) 및 메모리(150)를 포함하여 구성된다.
움직임 판단기(110)는 영상 센서들에 의해 생성되는 영상들을 입력받아 분석하여 객체 인식 필요성을 판단한다. 이를 위해, 움직임 판단기(110)는 입력 영상들에 대한 옵티컬 플로우(Optical Flow)를 계산하고, 계산된 옵티컬 플로우를 기초로 입력 영상에 유의미한 움직임이 확인되는 경우에는 객체 인식이 필요하다고 판단한다. 반면 유의미한 움직임이 확인되지 않는 경우, 움직임 판단기(110)는 객체 인식이 필요없다고 판단한다.
NPU(120)는 움직임 판단기(110)의 판단 결과에 따라 CNN(Convolutional Neural Network)과 BNN(Binarized Neural Network)을 선택적으로 이용하여 입력 영상에서 객체를 인식한다.
도 3에 도시된 바와 같이 CNN을 구동하려면, NPU(120)는 PE(Processing Element)들을 모두 이용하여야 하므로 전력 소모가 크지만, 타겟 객체인 위험 객체를 정확히 분류할 수 있다.
반면, 도 4에 도시된 바와 같이 BNN을 구동하려면, PE 하나만을 이용하므로 전력 소모가 작다. 하지만 BNN을 통해서는 객체를 높은 정확도로 분류할 수 없다. 객체의 유무 정도만을 인식할 수 있다고 보아야 한다.
한편 CNN은 고정확도 뉴럴 네트워크를 예시한 것이고, BNN은 저정확도의 뉴럴 네트워크를 예시한 것이므로, 유사한 정확도의 다른 뉴럴 네트워크로 대체될 수 있다.
움직임 판단기(110)에 의해 입력 영상에 유의미한 움직임이 없어 객체 인식 필요성이 없다고 판단되면, NPU(120)는 BNN을 이용하여 입력 영상에서 객체를 인식한다. BNN의 인식 정확도는 CNN 보다 떨어지지만, 이를 통해 전력 소모를 줄이기 위함이다.
반면 움직임 판단기(110)에 의해 입력 영상에 유의미한 움직임이 있어 객체 인식 필요성이 있다고 판단되면, NPU(120)는 CNN을 이용하여 입력 영상에서 객체를 인식한다. CNN은 BNN 보다 전력 소모가 많지만, 보다 정확한 객체 인식이 가능하기 때문이다.
한편 BNN에 의해 객체가 인식된 경우에도, NPU(120)는 CNN을 이용하여 입력 영상에서 객체를 인식한다. 보다 정확한 객체 인식이 필요하기 때문이다.
MCU(140)는 CNN에 의해 위험 객체가 인식되면, 통신 모듈(130)을 통해 원격의 관제 서버에 알람을 전송하여 현재 상황을 통지하고, 메모리(150)에 입력 영상과 인식 결과를 저장한다.
통신 모듈(130)은 통신망을 통해 원격의 관제 서버와 통신하기 위한 수단이고, 메모리(150)는 영상 데이터를 저장하기 위한 저장매체이다. 메모리(150)에 저장된 입력 영상은, MCU(140)에 의해 통신 가능한 시점에 통신 모듈(130)을 통해 원격 서버에 전송된다.
도 5는 본 발명의 다른 실시예에 따른 객체 인식 장치의 구조를 도시한 도면이다. 본 발명의 실시예에 따른 객체 인식 장치는, 도 2에 도시된 객체 인식 장치에 에너지 하베스팅 기능을 부가한 것이다.
즉 본 발명의 실시예에 따른 객체 인식 장치는, 다른 구성들에 전원을 공급하는 배터리(160)가 에너지 하베스터(170)에 의해 충전될 수 있는 구조이다. 에너지 하베스터(170)는 진동, 열, 전자기 등의 에너지를 수집하여 생성한 전기 에너지로 배터리(160)를 충전한다.
도 6은 본 발명의 다른 실시예에 따른 객체 인식 방법의 설명에 제공되는 흐름도이다.
객체 인식을 위해, 먼저 움직임 판단기(110)는 영상 센서들에 의해 생성된 영상들을 입력받아(S210), 옵티컬 플로우를 계산하여 객체 인식 필요성을 판단한다(S220).
S220단계에서 객체 인식 필요성이 있다고 판단되면(S220-Y), NPU(120)는 CNN을 이용하여 입력 영상에서 객체를 인식한다(S230). 반면 S220단계에서 객체 인식 필요성이 없다고 판단되면(S220-N), NPU(120)는 BNN을 이용하여 입력 영상에서 객체를 인식한다(S240).
한편 S220단계에서 BNN에 의해 객체가 인식된 경우(S250-Y), NPU(120)는 CNN을 이용하여 입력 영상에서 객체를 인식한다(S230).
S230단계에서 위험 객체가 인식되면(S260-Y), MCU(140)는 통신 모듈(130)을 통해 원격의 관제 서버에 알람을 전송하여 현재 상황을 통지하여 위험 사실을 통지한다(S270).
또한 MUC140)는 메모리(150)에 입력 영상과 인식 결과를 저장하였다가 통신 가능한 시점에 통신 모듈(130)을 통해 원격 서버에 전송한다(S280).
지금까지 경량 저전력 인식 장치 및 그 동작 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서 객체 추적 기능을 부가하는 것이 가능한데, 전력 소모를 절감하기 위해 CNN에 의해 인식된 객체를 CNN이 아닌 BNN으로 인식하면서 추적하는 것이 가능하다.
본 발명의 실시예에서는 격오지에 설치된 엣지 디바이스에 적용가능한 경량 저전력 인식 장치를 구현하기 위하여, NPU에 Big-little 구조를 새롭게 적용하였다.
이에 의해 객체 인식 장치를 초저전력의 디바이스로 구현과 동시에 높은 검출 성능이 보장되도록 하였다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 움직임 판단기
120 : NPU(Neural Processing Unit)
CNN : Convolutional Neural Network
BNN : Binarized Neural Network
130 : 통신 모듈
140 : MCU(Micro Controller Unit)
150 : 메모리
160 : 배터리
170 : 에너지 하베스터

Claims (12)

  1. 입력 영상을 분석하여 객체 인식 필요성을 판단하는 판단기; 및
    판단기의 판단 결과에 따라 고정확도 뉴럴 네트워크와 저정확도의 뉴럴 네트워크를 선택적으로 이용하여, 입력 영상에서 객체를 인식하는 NPU(Neural Processing Unit);를 포함하는 것을 특징으로 하는 객체 인식 장치.
  2. 청구항 1에 있어서,
    판단기는,
    입력 영상에서 옵티컬 플로우(Optical Flow)를 계산하고, 계산된 옵티컬 플로우로부터 객체 인식 필요성을 판단하는 것을 특징으로 하는 객체 인식 장치.
  3. 청구항 1에 있어서,
    NPU는,
    판단기에 의해 객체 인식 필요성이 있다고 판단되면, CNN(Convolutional Neural Network)을 이용하여 입력 영상에서 객체를 인식하고,
    판단기에 의해 객체 인식 필요성이 없다고 판단되면, BNN(Binarized Neural Network)을 이용하여 입력 영상에서 객체를 인식하는 것을 특징으로 하는 객체 인식 장치.
  4. 청구항 3에 있어서,
    NPU는,
    PE(Processing Element)들을 모두 이용하여 CNN을 구동하고,
    PE들 중 일부만을 이용하여 BNN을 구동하는 것을 특징으로 하는 객체 인식 장치.
  5. 청구항 3에 있어서,
    NPU는,
    BNN에 의해 객체가 인식되면, CNN을 이용하여 입력 영상에서 객체를 인식하는 것을 특징으로 하는 객체 인식 장치.
  6. 청구항 3에 있어서,
    원격 서버와 통신하는 통신 모듈; 및
    CNN에 의해 위험 객체가 인식되면, 통신 모듈을 통해 원격 서버에 알람을 전송하는 MCU(Micro Controller Unit);를 더 포함하는 것을 특징으로 하는 객체 인식 장치.
  7. 청구항 6에 있어서,
    입력 영상을 저장하는 메모리;를 더 포함하고,
    MCU는,
    알람 전송시, 입력 영상과 인식 결과를 메모리에 저장하였다가, 통신 가능한 시점에 통신 모듈을 통해 원격 서버에 전송하는 것을 특징으로 하는 객체 인식 장치.
  8. 청구항 7에 있어서,
    전원을 공급하는 배터리; 및
    에너지를 수집하여 생성한 전기 에너지로 배터리를 충전하는 하베스터;를 더 포함하는 것을 특징으로 하는 객체 인식 장치.
  9. 청구항 1에 있어서,
    객체 인식 장치는,
    격오지에 설치된 엣지 디바이스에 적용되는 것을 특징으로 하는 객체 인식 장치.
  10. 판단기가, 입력 영상을 분석하여 객체 인식 필요성을 판단하는 단계; 및
    NPU(Neural Processing Unit)가, 판단 결과에 따라 고정확도 뉴럴 네트워크와 저정확도의 뉴럴 네트워크를 선택적으로 이용하여, 입력 영상에서 객체를 인식하는 단계;를 포함하는 것을 특징으로 하는 객체 인식 방법.
  11. 고정확도 뉴럴 네트워크와 저정확도의 뉴럴 네트워크를 선택적으로 이용하여, 입력 영상에서 객체를 인식하는 NPU(Neural Processing Unit);
    원격 서버와 통신하는 통신 모듈; 및
    NPU에 의해 위험 객체가 인식되면, 통신 모듈을 통해 원격 서버에 알람을 전송하는 MCU(Micro Controller Unit);를 포함하는 것을 특징으로 하는 객체 인식 장치.
  12. NPU(Neural Processing Unit)가, 고정확도 뉴럴 네트워크와 저정확도의 뉴럴 네트워크를 선택적으로 이용하여, 입력 영상에서 객체를 인식하는 딘계;
    NPU에 의해 위험 객체가 인식되면, MCU(Micro Controller Unit)가 통신 모듈을 통해 원격 서버에 알람을 전송하는 단계;를 포함하는 것을 특징으로 하는 객체 인식 방법.
KR1020220137844A 2022-10-25 2022-10-25 경량 저전력 객체 인식 장치 및 그 동작 방법 KR20240057541A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2022/016308 WO2024090593A1 (ko) 2022-10-25 2022-10-25 경량 저전력 객체 인식 장치 및 그 동작 방법
KR1020220137844A KR20240057541A (ko) 2022-10-25 2022-10-25 경량 저전력 객체 인식 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220137844A KR20240057541A (ko) 2022-10-25 2022-10-25 경량 저전력 객체 인식 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20240057541A true KR20240057541A (ko) 2024-05-03

Family

ID=90830997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220137844A KR20240057541A (ko) 2022-10-25 2022-10-25 경량 저전력 객체 인식 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20240057541A (ko)
WO (1) WO2024090593A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101898144B1 (ko) * 2017-03-20 2018-09-12 한양대학교 산학협력단 에너지 하베스팅으로 구동되는 시스템에서 태스크 스케줄링 방법 및 장치
US11429862B2 (en) * 2018-03-20 2022-08-30 Sri International Dynamic adaptation of deep neural networks
US20200097818A1 (en) * 2018-09-26 2020-03-26 Xinlin LI Method and system for training binary quantized weight and activation function for deep neural networks
KR102149832B1 (ko) * 2018-10-25 2020-08-31 주식회사 유캔스타 딥러닝 기반의 자동 폭력 감지 시스템
US11562205B2 (en) * 2019-09-19 2023-01-24 Qualcomm Incorporated Parallel processing of a convolutional layer of a neural network with compute-in-memory array

Also Published As

Publication number Publication date
WO2024090593A1 (ko) 2024-05-02

Similar Documents

Publication Publication Date Title
US11320810B2 (en) Multimodal sensing in autonomous driving vehicles with self-healing capabilities
US20200380702A1 (en) Face tracking method and apparatus, and storage medium
US10726335B2 (en) Generating compressed representation neural networks having high degree of accuracy
KR102043142B1 (ko) Agv 주행제어를 위한 인공신경망 학습 방법 및 장치
Tsintotas et al. Tracking‐DOSeqSLAM: A dynamic sequence‐based visual place recognition paradigm
CN112684887A (zh) 应用设备及其隔空手势识别方法
KR20230171962A (ko) 로봇 자율성 개발을 위한 시스템, 장치 및 방법
Bian et al. Colibriuav: An ultra-fast, energy-efficient neuromorphic edge processing uav-platform with event-based and frame-based cameras
Omidshafiei et al. Hierarchical bayesian noise inference for robust real-time probabilistic object classification
KR20240057541A (ko) 경량 저전력 객체 인식 장치 및 그 동작 방법
Zhao et al. Approxcaliper: A programmable framework for application-aware neural network optimization
US11710007B2 (en) Tracking a movement status of a radio frequency identification tag
Dawson Jr et al. Metareasoning approaches for thermal management during image processing
KR102193743B1 (ko) 감지 기능을 포함하는 무선 카메라, 이의 동작 방법, 및 이를 이용한 영상 제공 서비스 방법
KR20210012515A (ko) 구동 모드의 자동 전환을 통한 절전형 리딩 제어시스템
US20230114028A1 (en) Method, system and apparatus for monocular depth estimation
US11676370B2 (en) Self-supervised cross-video temporal difference learning for unsupervised domain adaptation
US20240019937A1 (en) System, device and method for real time gesture prediction
CN114152349B (zh) 温度测量方法、装置、存储介质及电子设备
US20200400855A1 (en) Detection system and detection method
Talukder et al. Dynamic control and power management algorithm for continuous wireless monitoring in sensor networks
CN115019118B (zh) 对抗图像生成方法、装置、计算机设备及存储介质
Lindgren Target Recognition and Following in Small Scale UAVs
KR102355816B1 (ko) 인공지능 기반 필름형 센서의 이상상태 식별 시스템 및 그 방법
Serra et al. Monitoring and smart decision architecture for DRONE-FOG integrated environment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal