KR101536863B1 - 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템 - Google Patents

에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템 Download PDF

Info

Publication number
KR101536863B1
KR101536863B1 KR1020140029561A KR20140029561A KR101536863B1 KR 101536863 B1 KR101536863 B1 KR 101536863B1 KR 1020140029561 A KR1020140029561 A KR 1020140029561A KR 20140029561 A KR20140029561 A KR 20140029561A KR 101536863 B1 KR101536863 B1 KR 101536863B1
Authority
KR
South Korea
Prior art keywords
encoder
video signal
sensor
data
energy
Prior art date
Application number
KR1020140029561A
Other languages
English (en)
Inventor
김기원
이강
경종민
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020140029561A priority Critical patent/KR101536863B1/ko
Priority to EP14161126.9A priority patent/EP2782339A3/en
Priority to US14/222,560 priority patent/US9479770B2/en
Application granted granted Critical
Publication of KR101536863B1 publication Critical patent/KR101536863B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템은 적어도 하나의 센서에 의해 감지된 영상 신호를 인코딩하는 인코더; 상기 인코더에서 인코딩된 영상 신호를 저장하는 메모리; 및 상기 영상 신호에 대한 컨텐츠-의존적인 특성을 추출하고, 상기 컨텐츠-의존적인 특성에 기초하여 상기 인코더의 작동에 필요한 제어 파라미터를 조절하는 제어부를 포함한다.

Description

에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템{A VIDEO ENCODING SYSTEM FOR DYNAMICALLY MANAGING ENERGY, RATE AND DISTORTION AND MONITORING SYSTEM USING THE SAME}
본 발명은 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템에 관한 것으로, 구체적으로, 인코딩되는 영상 신호에 대한 컨텐츠-의존적인 특성(Content-Dependent Feature)에 기초하여 인코더에 공급되는 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템을 포함하는 센서 노드 및 이를 이용하여 센서 네트워크의 운용 시간을 극대화한 감시 시스템에 관한 것이다.
최근 감시 시스템 또는 비디오 인코딩 시스템은 블루투스(Bluetooth), 지그비(ZigBee), 와이파이(Wi-Fi) 등 무선 통신 기술의 발전에 힘입어 무선으로 데이터를 전송할 수 있는 거리 및 데이터량이 증가함에 따라, 무선 감시 시스템으로 발전하게 되었다.
이러한 비디오 인코딩 시스템을 포함하는 센서 노드는 배터리 소모를 감소시키기 위하여, 평상시에 적어도 하나의 센서 및 이벤트 감지부만을 온(On) 상태로 유지하다가, 이벤트가 발생되는 경우에만, 인코더, 메모리 및 송수신부를 오프(Off) 상태에서 온(On) 상태로 전환하는 슬립 앤 어웨이크(Sleep ＆ Awake) 방식이 적용되어 동작한다. 예를 들어, 특허문헌 제10-2009-0112979호를 살펴보면, 동작 감시 센서 및 MCU를 제외한 나머지 구성 요소들은 동작하지 않는 상태에서, 동작 감지가 발생되면, 동작 감시 센서가 MCU에 동작 감지 통보를 하고, MCU가 각 구성 요소들에 전원을 인가한다. 그 후, 카메라가 촬영한 데이터가 인코더에서 압축되고, 압축된 데이터는 무선 통신 모듈을 통해 서버로 전송된다.
그러나, 기존의 센서 노드는 인코더에서 인코딩되는 영상 신호에 대한 컨텐츠-의존적인 특성을 고려하지 않고, 인코더에 에너지를 공급하기 때문에, 센서 노드에서 에너지의 동적 배분이 효율적이지 못한 단점이 있다. 또한, 기존의 센서 노드는 센서 노드의 각 구성 요소 별로 정해진 에너지가 공급되기 때문에, 센서 노드의 수명이 최대화되지 못하는 문제점이 있다.
따라서, 본 명세서에서는 인코더에 공급되는 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하며, 특히, 인코딩되는 영상 신호에 대한 컨텐츠-의존적인 특성에 기초하여 인코더에 공급되는 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 기술을 제안한다. 또한, 본 발명은 인코더에 공급되는 에너지에 기초하여 센서 노드의 각 구성 요소 별로 에너지를 공급하는 기술을 제안한다.
본 발명의 실시예들은 인코딩되는 영상 신호에 대한 컨텐츠-의존적인 특성에 기초하여 인코더에 공급되는 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템을 제공한다.
또한, 본 발명의 실시예들은 인코더에 공급되는 에너지에 기초하여 센서 노드에 포함되는 구성 요소들 중 인코더를 제외한 나머지 구성 요소들 각각에 공급되는 에너지를 적응적으로 조절하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템을 제공한다.
또한, 본 발명의 실시예들은 동적으로 에너지를 관리함으로써, 소모되는 에너지를 최소화하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템을 제공한다.
본 발명의 일실시예에 따른 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템은 적어도 하나의 센서에 의해 감지된 영상 신호를 인코딩하는 인코더; 상기 인코더에서 인코딩된 영상 신호를 저장하는 메모리; 및 상기 영상 신호에 대한 컨텐츠-의존적인 특성을 추출하고, 상기 컨텐츠-의존적인 특성에 기초하여 상기 인코더의 작동에 필요한 제어 파라미터를 조절하는 제어부를 포함한다.
상기 제어부는 상기 컨텐츠-의존적인 특성에 기초하여, 상기 인코더에서 소모되는 에너지(Energy), 상기 인코딩된 영상 신호의 데이터량(Rate) 및 상기 인코딩된 영상 신호의 데이터 왜곡률(Distortion) 각각의 가중치의 합이 최소화되도록 상기 제어 파라미터를 조절할 수 있다.
상기 제어부는 상기 컨텐츠-의존적인 특성에 기초하여 상기 인코딩된 영상 신호의 데이터 왜곡률을 추정하고, 상기 추정된 상기 인코딩된 영상 신호의 데이터 왜곡률에 기초하여 상기 인코더에서 소모되는 에너지, 상기 인코딩된 영상 신호의 데이터량 및 상기 인코딩된 영상 신호의 데이터 왜곡률 각각의 가중치의 합이 최소화되도록 상기 제어 파라미터를 조절할 수 있다.
상기 컨텐츠-의존적인 특성은 상기 영상 신호에 포함되는 물체 및 상기 적어도 하나의 센서의 움직임에 대한 정보 또는 상기 영상 신호에 대한 텍스처(texture) 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 물체 및 상기 적어도 하나의 센서의 움직임에 대한 정보 또는 상기 영상 신호에 대한 텍스처 중 적어도 어느 하나는 상기 영상 신호의 DCT 계수(Discrete Cosine Transform Coefficient) 또는 모션 벡터를 이용하여 검출되거나, 상기 영상 신호의 매크로블록(Macroblock)의 예측 모드 간의 비율을 이용하여 검출될 수 있다.
상기 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템은 상기 적어도 하나의 센서에 의해 감지된 영상 신호로부터 이벤트가 발생하였는지 여부를 판단하는 이벤트 감지부를 더 포함할 수 있다.
상기 제어부는 상기 인코더에 공급되는 에너지에 따라, 상기 적어도 하나의 센서, 상기 이벤트 감지부 또는 상기 메모리 각각에 공급되는 에너지를 조절할 수 있다.
상기 제어부는 상기 적어도 하나의 센서, 상기 이벤트 감지부, 상기 인코더 및 상기 메모리의 총 소모 에너지를 최소화할 수 있다.
상기 제어부는 상기 인코더에서 소모되는 에너지 및 상기 메모리에서 소모되는 에너지의 합을 최소화하는 인코딩 비트율에 기초하여, 상기 인코더에 공급되는 에너지 및 상기 메모리에 공급되는 에너지를 조절할 수 있다.
상기 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템은 기지국으로 상기 인코딩된 영상 신호를 전송하거나, 상기 기지국으로부터 상기 인코딩된 영상 신호와 관련된 명령을 수신하는 송수신부를 더 포함할 수 있다.
상기 제어부는 상기 메모리의 잔여 저장 공간이 미리 설정된 기준 저장 공간보다 작은 경우, 상기 적어도 하나의 센서에 공급되는 에너지, 상기 이벤트 감지부에 공급되는 에너지, 상기 인코더에 공급되는 에너지 또는 상기 송수신부에 공급되는 에너지 중 적어도 어느 하나를 조절할 수 있다.
상기 제어부는 상기 인코더가 상기 인코더에서 소모되는 에너지 및 상기 메모리에서 소모되는 에너지의 합을 최소화하는 인코딩 비트율보다 낮은 인코딩 비트율로 상기 적어도 하나의 센서에 의해 감지된 영상 신호를 인코딩하도록 상기 인코더에 공급되는 에너지를 조절할 수 있다.
상기 제어부는 상기 이벤트가 발생하였는지 여부를 판단하는 과정에서 오판단(False Positive)을 방지하기 위하여, 상기 적어도 하나의 센서에 공급되는 에너지 및 상기 이벤트 감지부에 공급되는 에너지를 조절할 수 있다.
상기 제어부는 상기 인코더에서 인코딩된 영상 신호가 상기 메모리에 저장되지 않고, 바로 기지국으로 전송되도록 상기 송수신부에 공급되는 에너지를 조절할 수 있다.
본 발명의 실시예들은 인코딩되는 영상 신호에 대한 컨텐츠-의존적인 특성에 기초하여 인코더에 공급되는 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템을 제공할 수 있다.
또한, 본 발명의 실시예들은 인코더에 공급되는 에너지에 기초하여 센서 노드에 포함되는 구성 요소들 중 인코더를 제외한 나머지 구성 요소들 각각에 공급되는 에너지를 적응적으로 조절하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템을 제공할 수 있다.
또한, 본 발명의 실시예들은 동적으로 에너지를 관리함으로써, 소모되는 에너지를 최소화하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템이 설치된 센서 노드를 포함하는 감시 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 센서 노드를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 인코더 및 제어부를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 인코더를 조절하는 방법을 나타낸 플로우 차트이다.
도 5는 본 발명의 일실시예에 따른 인코더에서 소모되는 에너지 및 메모리에서 소모되는 에너지의 합에 대한 그래프를 나타낸 도면이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템이 설치된 센서 노드를 포함하는 감시 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 감시 시스템은 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 센서 노드(110) 및 기지국(120)을 포함한다.
여기서, 기지국(120)은 센서 노드(110)로부터 이벤트가 감지된 영상 신호를 수신함으로써, 센서 노드(110)가 위치한 구역의 이벤트 발생 여부를 관리할 수 있다. 예를 들어, 기지국(120)은 센서 노드(110)로부터 이벤트가 감지된 영상 신호가 인코딩되어 수신되면, 센서 노드(110)로 인코딩된 영상 신호와 관련된 명령을 전송할 수 있다. 더 구체적인 예를 들면, 센서 노드(110)로부터 이벤트가 감지된 영상 신호가 인코딩되어 수신되면, 기지국(120)은 센서 노드(110)가 이벤트를 감지하는 신뢰도를 더욱 향상시키도록, 센서 노드(110)로 명령을 내릴 수 있다. 도면에는 감시 시스템이 하나의 센서 노드(110)와 하나의 기지국(120)으로 구성되는 것으로 도시하였으나, 감시 시스템은 복수의 센서 노드들 및 복수의 기지국들로 구성될 수 있다.
본 발명의 일실시예에 따른 감시 시스템은 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 센서 노드(110)를 포함하고, 센서 노드(110) 및 기지국(120)이 데이터 송수신에 소모되는 에너지가 최소화되는 통신 경로(131)를 통하여 연결됨으로써, 효율적으로 에너지를 관리할 수 있다. 예를 들어, 센서 노드(110)와 기지국(120) 사이에 복수의 통신 경로들(130)이 존재하는 경우, 센서 노드(110) 및 기지국(120)이 복수의 통신 경로들(130) 중 센서 노드(110)가 센서 노드(110)에 포함되는 인코더에서 인코딩된 영상 신호를 기지국(120)으로 전송하는데 소모되는 에너지가 최소화되는 통신 경로(131)를 통해 연결됨으로써, 데이터 송수신에 소모되는 에너지가 최소화될 수 있다.
또한, 센서 노드(110)의 각 구성 요소들에 공급되는 에너지가 동적으로 관리됨으로써, 센서 노드(110)에서 소모되는 에너지가 최소화될 수 있다. 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 센서 노드(110)에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 2는 본 발명의 일실시예에 따른 센서 노드를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 센서 노드는 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230), 메모리(240), 전원 공급부(250) 및 제어부(260)를 포함할 수 있다. 여기서, 점선은 제어부(260)의 제어 신호를 의미할 수 있고, 실선은 데이터의 흐름을 의미할 수 있다. 특히, 제어부(260)에서 인코더(230)로 향하는 점선은 인코더(230)의 작동을 제어하는 제어 파라미터를 의미할 수 있다.
적어도 하나의 센서(210)는 이벤트 발생 여부를 판단하기 위한 영상 신호를 감지한다. 이 때, 적어도 하나의 센서(210)는 복수의 서로 다른 신호들을 검출하기 위해, 복수의 센서들로 구성될 수 있다. 예를 들어, 적어도 하나의 센서(210)는 영상 신호를 검출하기 위한 CMOS 센서, 음향 신호를 검출하기 위한 음향 센서, 열 신호를 검출하기 위한 적외선 센서, 진동/이동 신호를 검출하기 위한 가속도 센서 및 위치 신호를 검출하기 위한 GPS 센서 중 적어도 어느 하나를 포함할 수 있다.
이와 같은 적어도 하나의 센서(210)는 각각의 센서들을 동시에 구동할 수도 있지만, 소모되는 에너지를 낮추기 위해서 또는 특정 환경에서 빈번하게 나타나는 이벤트를 감지하는데 적합하도록 하기 위해서, 어느 하나의 센서만 구동하고 다른 센서들은 오프 상태에 유지할 수 있다. 이 때, 평상시에 구동되는 센서 및 이벤트가 감지되었을 때 구동되는 센서는 각 센서의 에너지 소모율에 따른 등급에 기초하여 결정될 수 있다. 예를 들어, 적어도 하나의 센서(210)는 적외선 센서 및 CMOS 센서를 포함함으로써, 평상시에는 에너지 소모가 상대적으로 작은 적외선 센서만을 구동시키고, 적외선 센서에 의해 감지된 신호로부터 이벤트가 감지된 경우에만, CMOS 센서를 구동시킬 수 있다.
또한, 적어도 하나의 센서(210)는 동일한 센서를 서로 다른 수준에서 순차적으로 구동함으로써, 소모되는 에너지를 감소시킬 뿐만 아니라, 이벤트가 감지되는 신뢰도를 향상시킬 수 있다. 예를 들어, CMOA 센서의 해상도 및 인식률에 기초하여 등급이 부여되고, 등급에 따라 순차적으로 구동될 수 있다. 더 구체적인 예를 들면, 평상시에는 CMOS 센서가 비트율 1Mbps인 상태로 구동되다가, 이벤트 감지부(220)에서 CMOS 센서에 의해 감지된 영상 신호로부터 이벤트가 발생함을 감지하면, CMOS 센서는 5Mbps 또는 10Mbps 등의 상태로 구동됨으로써, 이벤트가 감지되는 신뢰도가 향상되기 때문에, 이벤트가 발생하는지 여부를 판단하는 과정에서의 오판단(False Positive)가 방지될 수 있다. 이러한 경우, CMOS 센서에 공급되는 에너지가 증가되므로, 센서 노드의 전체적인 에너지 설정이 변동될 수 있다.
또한, 적어도 하나의 센서(210)는 소모되는 에너지를 낮추기 위해서 미리 설정된 시간 간격으로 온 상태 및 오프 상태 사이를 전환할 수 있다. 예를 들어, 특정 구역에 사람이 나타나는지 여부를 감지하기 위하여, 2초나 3초 간격으로 적외선 센서가 온 상태 및 오프 상태를 전환될 수 있다.
이와 같이 구동되는 적어도 하나의 센서(210)의 제어는 제어부(260)에서 적어도 하나의 센서(210)에 공급되는 에너지를 조절함으로써, 수행될 수 있다. 예를 들어, 제어부(260)는 적어도 하나의 센서(210)에서 소모되는 에너지를 제어하는 신호를 송신함으로써, 적어도 하나의 센서(210)에 공급되는 에너지를 조절할 수 있다.
이벤트 감지부(220)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호로부터 이벤트가 발생하였는지 여부를 판단한다. 여기서, 이벤트가 발행하였는지 여부는 적어도 하나의 센서(210)에 의해 감지된 영상 신호가 미리 설정된 한계값(Threshold Value)보다 큰지 또는 작은지 여부에 의해 판단될 수 있다. 예를 들어,
이벤트 감지부(220)는 참조 프레임 및 전송된 프레임의 차이가 미리 설정된 한계값보다 큰지 여부에 따라 영상 신호에서 이벤트가 발생하였는지를 판단할 수 있다. 여기서, 참조 프레임은 1초 전의 프레임이고, 전송된 프레임은 참조 프레임과 연속되는 프레임으로서, CMOS 센서로부터 현재 전송된 프레임일 수 있다. 예를 들어, 참조 프레임에 물체가 없고, 전송된 프레임에 물체가 있다면, 물체의 형상에 해당하는 픽셀들에서 차이가 발생할 수 있다. 이러한 픽셀값의 차이를 합산한 것이 SAD(Sum of Absolute Difference)인데, SAD 값이 미리 설정된 한계값보다 크다면, 이벤트가 발생된 것으로 판단될 수 있다. 이러한 영상 신호의 이벤트 발생 여부의 신뢰도는 영상 신호를 구성하는 데이터량(CMOS 센서로 읽어 들이는 영상의 해상도와 초당 영상의 프레임 수에 비례)과 이벤트 감지부(220)의 연산량(SAD 연산의 횟수에 비례)에 비례하기 때문에, 적어도 하나의 센서(210) 및 이벤트 감지부(220)에 공급되는 에너지가 클수록 높아질 수 있다.
또한, 이벤트 감지부(220)는 적어도 하나의 센서(210)가 복수의 센서들을 포함하는 경우, 복수의 센서들 각각의 미리 설정된 한계값과 복수의 센서들에 의해 감지된 각각의 영상 신호를 비교함으로써, 이벤트가 발행하였는지 여부를 판단할 수 있다. 예를 들어, 이벤트 발생 여부가 3 개 등급의 센서에 의해 이루어지는 경우, 3 개 등급 센서가 전송한 영상 신호가 모두 각각의 미리 설정된 한계값보다 큰 경우에만 이벤트의 발생으로 판단될 수 있다. 따라서, 이벤트 감지부(220)에 공급되는 에너지를 증가되면 이벤트 감지의 신뢰도가 향상되기 때문에, 이벤트를 잘못 판단하여 불필요한 데이터를 인코딩하여 저장하는데 에너지가 소모되는 것을 방지할 수 있다.
또한, 적어도 하나의 센서(210)에 의해 감지된 영상 신호에서 이벤트가 발생하였는지 여부는 기지국이나 다른 센서 노드로부터의 이벤트 발생 신호 또는 사용자에 의한 강제 입력에 의해 결정될 수도 있다. 예를 들어, 기지국이 제1 센서 노드의 감시 영역에 이벤트가 발생한 것을 인지하고 있을 때 또는 제1 센서 노드로부터 적어도 하나의 센서(210)에 의해 감지된 영상 신호를 전송 받을 필요가 있을 때에는 기지국에서 제1 센서 노드에 이벤트 발생 신호를 전송함으로써, 제1 센서 노드에 포함되는 이벤트 감지부(220)가 이벤트 발생 신호에 기초하여 이벤트가 발생하였음을 감지할 수 있다. 이 때, 이벤트 감지부(220)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호에서 실제 이벤트가 발생했는지 여부와는 상관없이, 이벤트가 감지된 것으로 판단함으로써, 기지국에서는 적어도 하나의 센서(210)에 의해 감지된 영상 신호를 전송 받을 수 있다.
이는 제1 센서 노드와 구별되는 다른 센서 노드에서 이벤트 발생 신호를 전송하는 경우에도 마찬가지이다. 예를 들어, 제1 센서 노드와 구별되는 제2 센서 노드에서 감지된 영상 신호에서 이벤트가 발생된 경우, 제2 센서 노드에서 제1 센서 노드로 이벤트 발생 신호를 전송함으로써, 제1 센서 노드에 포함되는 이벤트 감지부(220)는 제1 센서 노드에서 이벤트가 발생하였음을 판단할 수 있다.
또한, 이벤트 감지부(220)는 사용자에 의한 강제 입력에 기초하여, 적어도 하나의 센서(210)에 의해 감지된 영상 신호에서 이벤트가 발생하였음을 감지할 수 있다. 예를 들어, 센서 노드가 사용자가 휴대하고 다니는 단말인 경우, 사용자가 직접 이벤트 발생 신호를 입력함으로써, 적어도 하나의 센서에 의해 감지된 영상 신호를 획득할 수 있다. 이 때, 사용자에 의한 강제 입력은 센서 노드에 푸쉬 버튼 등을 설치함으로써, 용이하게 구현될 수 있다.
이벤트 감지부(220)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호에서 이벤트를 감지하는 정확도가 다른 복수의 단계들을 갖는 이벤트 감지 로직을 구비할 수 있다. 이러한 경우, 일반적으로 소모되는 에너지가 큰 감지 로직이 소모되는 에너지가 작은 감지 로직보다 더 정확한 이벤트 감지를 수행할 수 있다. 예를 들어, 적어도 하나의 센서(210)가 CMOS 센서를 포함하고, 적어도 하나의 센서(210)에 의해 감지된 신호가 영상 신호를 포함하는 경우, 이벤트 감지부(220)에서 영상 신호에 대해 단순히 물체의 움직임이 있는지 여부만 판단하는 로직은 에너지 소비가 적고, 움직이는 물체가 사람인지, 자동차인지 등을 판단하는 로직은 에너지 소비가 높을 수 있다. 만약, 이벤트 감지부(220)가 3 단계의 이벤트 감지 로직을 갖는다면, 이벤트 감지부(220)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호에서 1 단계 이벤트 감지 로직 및 2단계 이벤트 감지 로직에 의해 이벤트가 발생하였음을 판단한 경우에만, 제3 단계 이벤트 감지 로직을 이용하여 이벤트가 발생하였음을 더 상세히 판단할 수 있다.
이와 같이 구동되는 이벤트 감지부(220)의 제어는 제어부(260)에서 이벤트 감지부(210)에 공급되는 에너지를 조절함으로써, 수행될 수 있다. 예를 들어, 제어부(260)는 이벤트 감지부(220)에서 소모되는 에너지를 제어하는 신호를 송신함으로써, 이벤트 감지부(220)에 공급되는 에너지를 조절할 수 있다.
인코더(230)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호를 인코딩한다. 여기서, 인코더(230)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호에서 이벤트가 발생한 경우, 전달된 적어도 하나의 센서(210)에 의해 감지된 영상 신호를 제어부(260)에서 조절하는 제어 파라미터에 기초하여 미리 설정된 인코딩 로직에 따라 인코딩할 수 있다. 따라서, 인코더(230)는 미리 설정된 인코딩 로직을 복수 개로 지원하기 위하여, 복수 개의 인코더로 구성될 수 있다. 예를 들어, 인코더(230)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호의 형태에 따라 복수의 인코더들로 구성될 수 있다. 더 구체적인 예를 들면, 적어도 하나의 센서(210)가 CMOS 센서 및 음향 센서를 포함하는 경우, 인코더(230)는 영상 인코더 및 음향 인코더를 포함함으로써, CMOS 센서에 의해 감지된 영상 신호를 영상 인코더에서 인코딩할 수 있고, 음향 센서에 의해 감지된 음향 신호를 음향 인코더에서 인코딩할 수 있다.
제어부(260)에서 조절하는 제어 파라미터는 인코더(230)에서 소모되는 에너지(Energy), 인코딩된 영상 신호의 데이터량(Rate) 및 인코딩된 영상 신호의 데이터 왜곡률(Distortion) 각각의 가중치의 합이 최소화되도록 설정될 수 있다. 여기서, 인코더(230)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률 사이의 상관 관계는 다음과 같다.
1) 인코더(230)에 공급되는 에너지가 고정된 경우, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률은 음의 상관관계를 가진다. 예를 들어, 인코더(230)에서 소모되는 에너지가 고정인 경우, 인코딩된 영상 신호의 데이터량을 감소시키면, 데이터의 정보를 일부 누락시켜야 하기 때문에, 데이터 품질이 나빠져서 인코딩된 영상 신호의 데이터 왜곡률이 커진다.
2) 인코딩된 영상 신호의 데이터량이 고정된 경우, 인코더(230)에서 소모되는 에너지 및 인코딩된 영상 신호의 데이터 왜곡률은 음의 상관관계를 가진다. 예를 들어, 인코딩되는 데이터량이 고정된 경우, 인코더(230)에서 소모되는 에너지를 늘리면, 원본 데이터의 손실이 줄이는 인코딩 로직을 이용할 수 있으므로, 인코딩된 영상 신호의 데이터 왜곡률이 감소될 수 있다.
3) 인코딩된 영상 신호의 데이터 왜곡률이 고정된 경우, 인코더(230)에서 소모되는 에너지 및 인코딩된 영상 신호의 데이터 왜곡률은 음의 상관관계를 가진다. 예를 들어, 인코딩된 영상 신호의 데이터 왜곡률이 고정된 경우, 인코더(230)에서 소모되는 에너지를 늘리면, 더 높은 압축률을 가지는 인코딩 로직을 채택할 수 있기 때문에, 인코딩된 영상 신호의 데이터량이 감소될 수 있다.
따라서, 본 발명의 일실시예에 따른 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 센서 노드는 인코더(230)에 공급되는 에너지, 인코딩된 영상 신호의 데이터량 또는 인코딩된 영상 신호의 데이터 왜곡률 중 어느 하나가 제약 조건으로 설정되고, 제약 조건을 제외한 나머지 두 가지 요소를 동적으로 조절함으로써, 에너지, 데이터량 및 데이터 왜곡률 각각의 가중치의 합이 최소화되도록 할 수 있다.
구체적으로, 본 발명의 일실시예에 따른 인코더(230)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호에 대한 컨텐츠-의존적인 특성에 기초하여, 인코더(230)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률 각각의 가중치의 합이 최소화하는 인코딩 로직을 이용할 수 있다. 여기서, 인코더(230)의 제어는 제어부(260)에서 인코더(230)의 인코딩 동작에 필요한 제어 파라미터를 조절함으로써, 수행될 수 있다.
예를 들어, 제어부(260)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호에 포함되는 물체 및 적어도 하나의 센서(210)의 움직임에 대한 정보 또는 영상 신호에 대한 텍스처 중 적어도 어느 하나를 포함하는 영상 신호에 대한 컨텐츠-의존적인 특성에 기초하여 인코딩된 영상 신호의 데이터 왜곡률이 추정됨으로써, 인코더에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률이 최소화되도록 인코더(230)의 인코딩 동작을 제어하는 제어 파라미터를 조절할 수 있다. 또한, 이에 응답하여 인코더(230)는 인코딩 동작을 수행할 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
메모리(240)는 인코더(230)에서 인코딩된 영상 신호를 저장한다. 예를 들어, 메모리(240)는 플래시 메모리(Flash Memory)를 포함할 수 있다. 이 때, 메모리(240)의 잔여 저장 공간은 센서 노드에서 에너지를 배분하는데 영향을 주는 요소이다. 예를 들어, 메모리(240)의 잔여 저장 공간이 미리 설정된 기준 저장 공간보다 작은 경우, 센서 노드는 센서 노드에 포함되는 다른 구성 요소들에 공급되는 에너지를 늘림으로써, 센서 노드의 전체적인 수명(Life Time)을 향상시킬 수 있다. 이에 대한 상세한 설명은 도 5를 참조하여 기재하기로 한다.
전원 공급부(250)는 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230) 및 메모리(240)로 에너지를 공급할 수 있다. 여기서, 전원 공급부(250)는 제어부(260)의 제어에 따라, 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230) 및 메모리(240) 각각에 에너지를 공급할 수 있다. 또한, 전원 공급부(250)는 미리 설정된 체크 주기에 따라, 저장된 에너지의 잔량을 체크하고, 체크된 잔량을 제어부(260)로 전송함으로써, 제어부(260)에서 전원 공급부(250)에 저장된 에너지의 잔량에 따라 센서 노드의 각 구성 요소들에 공급되는 에너지를 제어하도록 할 수 있다. 이 때, 전원 공급부(250)는 배터리를 포함할 수 있다.
제어부(260)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호에 대한 컨텐츠-의존적인 특성을 추출하고, 컨텐츠-의존적인 특성에 기초하여 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230) 또는 메모리(240) 각각에 공급되는 에너지를 제어할 수 있다. 이 때, 제어부(260)는 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230) 또는 메모리(240) 각각에 제어 신호를 송신함으로써, 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230) 또는 메모리(240) 각각에서 소모되는 에너지를 조절할 수 있다. 따라서, 제어부(260)는 전원 공급부(250)에 의해 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230) 또는 메모리(240) 각각에 공급되는 에너지를 제어할 수 있다.
특히, 제어부(260)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호에 대한 컨텐츠-의존적인 특성에 기초하여, 인코더(230)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률 각각의 가중치의 합이 최소화되도록 인코더(230)의 작동에 필요한 제어 파라미터를 조절할 수 있다. 이 때, 제어부(260)는 인코더(230)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률 각각의 가중치의 합이 최소화되도록 인코더(230)의 작동에 필요한 제어 파라미터를 조절함으로써, 인코더(230)에 공급되는 에너지를 제어할 수 있다.
또한, 제어부(260)는 인코더(230)에 공급되는 에너지에 따라, 적어도 하나의 센서(210), 이벤트 감지부(220) 또는 메모리(240) 각각에 공급되는 에너지를 조절할 수 있다. 예를 들어, 제어부(260)는 인코더(230)에 공급되는 에너지에 따라, 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230) 및 메모리(240)의 총 소모 에너지를 최소화할 수 있다. 더 구체적인 예를 들면, 제어부(260)는 인코더(230)에서 소모되는 에너지 및 메모리(240)에서 소모되는 에너지의 합을 최소화하는 인코딩 비트율에 기초하여, 인코더(230)에 공급되는 에너지 및 메모리(240)에 공급되는 에너지를 조절할 수 있다.
또한, 제어부(260)는 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230) 또는 메모리(240) 각각으로부터 각각의 상태 신호를 수신함으로써, 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230) 또는 메모리(240) 각각의 상태 신호에 기초하여, 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230) 또는 메모리(240) 각각에 공급되는 에너지를 조절할 수 있다. 예를 들어, 제어부(260)는 이벤트 감지부(220)로부터 적어도 하나의 센서(210)에 의해 감지된 영상 신호에서 이벤트가 발생하였음을 보고받음으로써, 이에 응답하여, 인코더(230)에서 적어도 하나의 센서(210)에 의해 감지된 영상 신호를 인코딩하도록 제어 파라미터를 조절함으로써, 인코더(230)를 제어할 수 있다. 따라서, 제어부(260)에 의해 본 발명의 일실시예에 따른 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 센서 노드의 전체적인 에너지 설정(Energy Configuration)이 이루어진다.
본 발명의 일실시예에 따른 센서 노드는 기지국으로 인코딩된 영상 신호를 전송하거나, 기지국으로부터 인코딩된 영상 신호와 관련된 명령을 수신하는 송수신부(270)를 더 포함할 수 있다. 이 때, 송수신부(270)는 미리 설정된 전송 주기에 기초하여 기지국으로 인코딩된 영상 신호를 전송하거나, 기지국으로부터 데이터 전송 요청에 의해 기지국으로 인코딩된 영상 신호를 전송할 수 있다.
여기서, 송수신부(270)는 메모리(240)에 저장된 인코딩된 영상 신호를 기지국으로 전송할 수 있고, 인코더(230)로부터 인코딩된 영상 신호를 직접 전달받아, 기지국으로 전송할 수도 있다. 이와 같은 송수신부(270)는 제어부(260)로 센서 노드 및 기지국 사이의 통신 경로의 채널의 혼잡도, 잡음 신호의 상대적 세기 또는 대기 상태 등이 고려된 채널 상태 신호를 전송하고, 이에 응답하여 제어부(260)로부터 수신되는 제어 신호에 따라 에너지를 소모하도록 동작할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 제어부(260)는 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230), 메모리(240) 및 송수신부(270) 각각에 공급되는 에너지를 조절함으로써, 센서 노드 전체적으로 소모되는 에너지를 최소화하도록 할 수 있다. 특히, 제어부(260)는 적어도 하나의 센서(210)에 의해 감지된 영상 신호에 대한 컨텐츠-의존적인 특성에 기초하여 적어도 하나의 센서(210), 이벤트 감지부(220), 인코더(230), 메모리(240) 및 송수신부(270) 각각에 공급되는 에너지를 제어할 수 있다.
또한, 제어부(260)는 메모리(240)의 잔여 저장 공간이 충분하여 메모리(240)에 데이터가 모두 저장되기 이전에, 전원 공급부(250)에 저장된 에너지가 소진될 것으로 판단되는 경우 및 메모리(240)의 잔여 저장 공간이 미리 설정된 기준 저장 공간보다 작기 때문에, 전원 공급부(250)에 저장된 에너지가 소진되기 이전에, 메모리(240)의 저장 공간이 꽉 차는 경우의 두 가지 경우에 따라 작동 기준이 설정될 수 있다. 이에 대한 상세한 설명은 도 5를 참조하여 기재하기로 한다.
도 3은 본 발명의 일실시예에 따른 인코더 및 제어부를 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 제어부(310) 및 인코더(320)를 나타낸 도면이다.
본 발명의 일실시예에 따른 제어부(310)는 적어도 하나의 센서에 의해 감지된 영상 신호에 대한 컨텐츠-의존적인 특성에 기초하여, 인코더(320)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률 각각의 가중치의 합이 최소화되도록 인코더(320)를 동작하는 제어 파라미터(311)를 인코더(320)로 송신함으로써, 인코더(320)의 동작을 제어할 수 있다. 따라서, 제어부(310)는 적어도 하나의 센서에 의해 감지된 영상 신호에 대한 컨텐츠-의존적인 특성에 기초하여, 인코더(320)에 공급되는 에너지를 조절할 수 있다.
구체적으로, 제어부(310)는 적어도 하나의 센서에 의해 감지된 영상 신호의 제1 프레임(현재 프레임의 이전 프레임)에 대한 인코더(320)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률에 기초하여, 적어도 하나의 센서에 의해 감지된 영상 신호의 제2 프레임(현재 프레임)에 대한 인코더(320)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률이 최소화되도록 인코더(320)를 동작하는 제어 파라미터(311)를 인코더(320)로 송신함으로써, 인코더(320)의 현재 프레임에 대한 동작을 제어할 수 있다. 따라서, 인코더(320)는 제어 파라미터(311)에 의해 인코딩 동작에 소모되는 에너지를 조절하므로, 제어부(310)는 제어 파라미터(311)를 이용함으로써, 인코더(320)로 공급되는 에너지를 적응적으로 조절할 수 있다.
여기서, 제어부(310)는 인코더(320)로부터 적어도 하나의 센서에 의해 감지된 영상 신호에 대한 컨텐츠-의존적인 특성, 현재 프레임이 아닌 이전 프레임에 대한 인코더(320)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률 등을 포함하는 모니터 신호(321)를 수신함으로써, 이에 기초하여, 인코더(320)의 동작을 제어할 수 있다.
제어부(310)는 인코더(320)에서의 인코딩 동작을 제어함에 있어, 적어도 하나의 센서에 의해 감지된 영상 신호의 제1 프레임에 대한 인코더(320)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률을 이용할 뿐만 아니라, 적어도 하나의 센서에 의해 감지된 영상 신호의 제2 프레임에 대한 인코딩된 영상 신호의 데이터 왜곡률을 추정하여 이용할 수 있다. 여기서, 제2 프레임에 대한 인코딩된 영상 신호의 데이터 왜곡률은 제2 프레임에 대한 인코딩 동작이 아직 수행되지 않았기 때문에, 제1 프레임에 대한 컨텐츠-의존적인 특성에 기초하여 추정될 수 있다. 이 때, 제2 프레임에 대한 컨텐츠-의존적인 특성이 제1 프레임에 대한 컨텐츠-의존적인 특성과 유사하다는 가정하에, 제2 프레임에 대한 컨텐츠-의존적인 특성은 제1 프레임에 대한 컨텐츠-의존적인 특성을 기초로 추정될 수 있다. 따라서, 제어부(310)는 제1 프레임에 대한 컨텐츠-의존적인 특성에 기초하여 인코더(320)를 제어하는 제어 파라미터를 조절함으로써, 인코더(320)가 제2 프레임에 대한 영상 신호를 인코딩하도록 할 수 있다.
예를 들어, 제어부(310)는 제1 프레임에 포함되는 물체 및 적어도 하나의 센서의 움직임에 대한 정보 또는 영상 신호에 대한 텍스처 중 적어도 어느 하나를 포함하는 컨텐츠-의존적인 특성에 기초하여 제2 프레임에 대한 인코딩된 영상 신호의 데이터 왜곡률을 추정할 수 있다. 이 때, 제1 프레임에 대한 물체 및 적어도 하나의 센서의 움직임에 대한 정보 또는 영상 신호에 대한 텍스처 중 적어도 어느 하나는 영상 신호의 DCT 계수(Discrete Cosine Transform Coefficient) 또는 모션 벡터를 이용하여 검출되거나, 영상 신호의 매크로블록(Macroblock)의 예측 모드 간의 비율을 이용하여 검출될 수 있다. 더 구체적인 예를 들면, 인코더(320)의 인코딩 모드가 인트라 모드(Intra Mode)인 경우, 인코더(320)에서 움직임 추정의 동작이 수행되지 않기 때문에, 제2 프레임에 대한 인코딩된 영상 신호의 데이터 왜곡률은 추정되지 않고, 측정되어 이용될 수 있다. 반면에, 인코더(320)의 인코딩 모드가 인터 모드(Inter Mode)인 경우, 인코더(320)에서 움직임 추정의 동작이 지원되기 때문에, 제2 프레임에 대한 인코딩된 영상 신호의 데이터 왜곡률은 제1 프레임에 대한 컨텐츠-의존적인 특성에 기초하여 추정되어 이용될 수 있다. 뿐만 아니라, 인코더(320)에 의해 사용되는 인터 모드, 인트라 모드 또는 스킵 모드의 횟수에 기초하여 움직임이 추정될 수 있다. 예를 들어, 상대적으로 인트라 모드가 많이 사용된다면, 씬 체인지가 많거나 큰 움직임이 있는 것으로 추정될 수 있다.
따라서, 본 발명의 일실시예에 따른 제어부(310)는 제1 프레임에 대한 컨텐츠-의존적인 특성에 기초하여 추정된 제2 프레임에 대한 인코딩된 영상 신호의 데이터 왜곡률 및 제1 프레임에 대한 인코더(320)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률에 기초하여, 제2 프레임에 대한 인코더(320)에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률 각각의 가중치의 합이 최소화되도록 인코더(320)의 작동에 필요한 제어 파라미터를 조절함으로써, 인코더(320)에 공급되는 에너지를 조절할 수 있다.
이와 같이, 제어부(310)는 인코더(320)에 공급되는 에너지를 최적화하여 제어한 이후, 인코더(320)에 공급되는 에너지에 따라, 적어도 하나의 센서, 이벤트 감지부, 메모리 또는 송수신부 각각으로 공급되는 에너지를 조절할 수 있다. 이 때, 제어부(310)는 적어도 하나의 센서, 이벤트 감지부, 인코더(320), 메모리 또는 송수신부의 총 소모 에너지를 최소화하도록 적어도 하나의 센서, 이벤트 감지부, 인코더(320), 메모리 또는 송수신부 각각에 공급되는 에너지를 조절할 수 있다.
도 4는 본 발명의 일실시예에 따른 인코더를 조절하는 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 제어부는 이전 프레임에 대한 인코더에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률을 측정할 수 있다(410).
이어서, 제어부는 이전 프레임에 대한 컨텐츠-의존적인 특성에 기초하여, 현재 프레임에 대한 인코딩된 영상 신호의 데이터 왜곡률을 추정할 수 있다(420). 이 때, 이전 프레임에 대한 컨텐츠-의존적인 특성은 영상 신호의 DCT 계수를 이용하여 검출되는 이전 프레임에서의 물체 및 적어도 하나의 센서의 움직임에 대한 정보 또는 영상 신호에 대한 텍스처 중 적어도 어느 하나를 포함할 수 있다.
여기서, 제어부는 인코더의 모드에 따라, 현재 프레임에 대한 컨텐츠-의존적인 특성에 기초하여, 현재 프레임에 대한 인코딩된 영상 신호의 데이터 왜곡률을 측정할 수도 있다.
그 후, 제어부는 추정된 현재 프레임에 대한 인코딩된 영상 신호의 데이터 왜곡률, 이전 프레임에 대한 인코더에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률에 기초하여 현재 프레임에 대한 인코더에서 소모되는 에너지, 인코딩된 영상 신호의 데이터량 및 인코딩된 영상 신호의 데이터 왜곡률 각각의 가중치의 합이 최소화되도록 인코더의 작동에 필요한 제어 파라미터를 조절할 수 있다. 따라서, 인코더에 공급되는 에너지가 조절될 수 있다(430).
도 5는 본 발명의 일실시예에 따른 인코더에서 소모되는 에너지 및 메모리에서 소모되는 에너지의 합에 대한 그래프를 나타낸 도면이다.
도 5를 참조하면, 인코딩 비트율이 증가할수록 메모리에 저장되는 데이터의 비트 수가 증가하기 때문에, 메모리에서 소모되는 에너지
Figure 112014024299960-pat00001
(510)은 인코딩 비트율에 비례하여 증가한다. 반면에, 적어도 하나의 센서로부터 전송되는 데이터량이 일정한 경우, 인코딩 비트율이 높다는 것은 데이터 압축률이 낮다는 것을 의미하기 때문에, 인코더에서 소모되는 에너지
Figure 112014024299960-pat00002
(520)는 인코딩 비트율에 대하여 단조 감소한다.
센서 노드는 인코더에서 인코딩된 영상 신호를 메모리에 저장하여 이용한다. 특히, 센서 노드에서 소모되는 에너지 중 거의 대부분의 에너지는 적어도 하나의 센서에 의해 감지되는 영상 신호를 인코딩하는 인코더 및 인코딩된 영상 신호를 저장하는 메모리에서 소비된다. 따라서, 본 발명의 일실시예에 따른 센서 노드의 동적 에너지 관리를 위해서는 인코더 및 메모리에서 영상 신호가 인코딩되고 저장되는 레코딩 과정에 대한 에너지 관리가 수행되어야 한다.
레코딩 에너지
Figure 112014024299960-pat00003
(530)는 메모리에서 소모되는 에너지(510) 및 인코더에서 소모되는 에너지(520)에 따라, 아래로 볼록한 곡선 형태가 된다. 이 때, 레코딩 에너지(530)는 인코딩 비트율 r1에서 최소가 된다. 따라서, 메모리의 잔여 저장 공간이 충분하여, 메모리에 데이터가 모두 저장되기 이전에, 전원 공급부에 저장된 에너지가 소진될 것으로 판단되는 경우, 제어부는 인코딩 비트율 r1(540)에 기초하여, 인코더 및 메모리 각각에서 소모되는 에너지를 계산하여, 계산된 각각의 에너지에 대응되도록, 인코더 및 메모리에 공급되는 에너지를 조절할 수 있다.
반면에, 메모리의 잔여 저장 공간이 미리 설정된 기준 저장 공간보다 작은 경우(전원 공급부에 저장된 에너지가 소진되기 이전에, 메모리의 저장 공간이 꽉 차는 경우), 제어부는 적어도 하나의 센서에 공급되는 에너지, 이벤트 감지부에 공급되는 에너지, 인코더에 공급되는 에너지 또는 송수신부에 공급되는 에너지 중 적어도 어느 하나를 적응적으로 조절할 수 있다.
이 때, 제어부는 인코더가 인코더에서 소모되는 에너지 및 메모리에서 소모되는 에너지의 합을 최소화하는 인코딩 비트율보다 낮은 인코딩 비트율 r2(550)로 적어도 하나의 센서에 의해 감지된 영상 신호를 인코딩하도록 인코더의 제어 파라미터를 조절함으로써, 인코더에 공급되는 에너지를 제어할 수 있다. 예를 들어, 제어부는 메모리에 저장되는 데이터량을 줄이기 위하여, 데이터 왜곡률을 유지하면서 압축률만을 높이기 위하여, 인코더에 공급되는 에너지를 증가시킬 수 있다. 더 구체적인 예를 들면, 전원 공급부에 저장된 에너지의 잔량을 메모리 소진 예상 시기로 나누면 인코딩 비트율 r1(540)에서의 에너지(Eopt)보다 큰 값인 평균 에너지(Eave)가 산출되는데, 최악의 경우 평균 에너지(Eave)로 지속적으로 에너지를 공급하더라도 전원 공급부에 의한 센서 노드 수명의 제약은 발생하지 않는다. 따라서 평균 에너지(Eave)에서 비트율 축과 평행하게 가로선을 그었을 때
Figure 112014024299960-pat00004
과 만나는 점(Q)까지는 에너지 공급이 가능하다. 즉,
Figure 112014024299960-pat00005
는 크게,
Figure 112014024299960-pat00006
은 작게 설정함으로써(
Figure 112014024299960-pat00007
이 작다는 것은 메모리에 저장되는 데이터량이 적다는 것과 같음), 센서 노드의 전체적인 수명이 연장된다.
또한, 제어부는 이벤트가 발생하였는지 여부를 판단하는 과정에서 오판단을 방지하고, 이벤트 감지의 신뢰도를 향상시킴으로써, 메모리에 불필요한 데이터가 저장되지 않도록 할 수 있다. 예를 들어, 이벤트 제어부는 적어도 하나의 센서에 공급되는 에너지 및 이벤트 감지부에 공급되는 에너지를 각각 증가시킴으로써, 이벤트 감지 과정에서의 오판단을 방지하고, 이벤트 감지의 신뢰도를 향상시킬 수 있다.
또한, 제어부는 인코더에서 인코딩된 영상 신호를 메모리에 저장하지 않고, 바로 기지국으로 전송되도록 송수신부에 공급되는 에너지를 증가시킬 수 있다.
이와 같은 제어부의 동작은 각각 별개로 수행될 수 있거나, 둘 이상의 조합으로 수행될 수도 있다.
이 밖에도, 제어부는 전송 신호의 신호 대 잡음비(SNR) 등 채널 상태를 고려하여 적어도 하나의 센서, 이벤트 감지부, 인코더, 메모리 및 송수신부 각각에 공급되는 에너지를 제어할 수 있고, 그 제어 방법도 클럭 주파수, 공급되는 전압, 전류의 변경 또는 동작 모드의 전환, 예를 들면 전원을 완전히 차단하는 파워다운(Power-Down) 모드, 외부에서 깨워줄 때까지 전원이 차단되는 슬립(Sleep) 모드, 전원은 공급되나 연산이나 제어 등을 하지 않는 아이들(Idle) 모드, 정상적인 전원 공급이 이루어지고 정상 작동하는 액티브(Active) 모드와 같은 동작 모드의 전환이 있을 수 있다. 이때, 제어부의 제어 대상의 특성에 따라 슬립 모드, 아이들 모드, 액티브 모드가 더 세분화되거나 그 중간적 성격을 띠는 모드로 변경될 수 있음은 물론이다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (6)

  1. 삭제
  2. 적어도 하나의 센서에 의해 감지된 영상 신호를 인코딩하는 인코더;
    상기 인코더에서 인코딩된 영상 신호를 저장하는 메모리; 및
    상기 영상 신호에 대한 컨텐츠-의존적인 특성을 추출하고, 상기 컨텐츠-의존적인 특성에 기초하여 상기 인코더의 작동에 필요한 제어 파라미터를 조절하는 제어부
    를 포함하고,
    상기 제어부는
    상기 컨텐츠-의존적인 특성에 기초하여, 상기 인코더에서 소모되는 에너지(Energy), 상기 인코딩된 영상 신호의 데이터량(Rate) 및 상기 인코딩된 영상 신호의 데이터 왜곡률(Distortion) 각각의 가중치의 합이 최소화되도록 상기 제어 파라미터를 조절하는 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템.
  3. 제2항에 있어서,
    상기 제어부는
    상기 컨텐츠-의존적인 특성에 기초하여 상기 인코딩된 영상 신호의 데이터 왜곡률을 추정하고, 상기 추정된 상기 인코딩된 영상 신호의 데이터 왜곡률에 기초하여 상기 인코더에서 소모되는 에너지, 상기 인코딩된 영상 신호의 데이터량 및 상기 인코딩된 영상 신호의 데이터 왜곡률 각각의 가중치의 합이 최소화되도록 상기 제어 파라미터를 조절하는 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템.
  4. 제2항에 있어서,
    상기 컨텐츠-의존적인 특성은
    상기 영상 신호에 포함되는 물체 및 상기 적어도 하나의 센서의 움직임에 대한 정보 또는 상기 영상 신호에 대한 텍스처(texture) 정보 중 적어도 어느 하나를 포함하는 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템.
  5. 제4항에 있어서,
    상기 물체 및 상기 적어도 하나의 센서의 움직임에 대한 정보 또는 상기 영상 신호에 대한 텍스처 중 적어도 어느 하나는
    상기 영상 신호의 DCT 계수(Discrete Cosine Transform Coefficient) 또는 모션 벡터를 이용하여 검출되거나, 상기 영상 신호의 매크로블록(Macroblock)의 예측 모드 간의 비율을 이용하여 검출되는 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템.
  6. 제2항에 있어서,
    상기 적어도 하나의 센서에 의해 감지된 영상 신호로부터 이벤트가 발생하였는지 여부를 판단하는 이벤트 감지부
    를 더 포함하는 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템.
KR1020140029561A 2013-03-22 2014-03-13 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템 KR101536863B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140029561A KR101536863B1 (ko) 2014-03-13 2014-03-13 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템
EP14161126.9A EP2782339A3 (en) 2013-03-22 2014-03-21 Video encoding system for dynamically managing energy, rate and distortion and surveillance system using the same
US14/222,560 US9479770B2 (en) 2013-03-22 2014-03-21 Video encoding system for dynamically managing energy, rate and distortion and surveillance system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140029561A KR101536863B1 (ko) 2014-03-13 2014-03-13 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템

Publications (1)

Publication Number Publication Date
KR101536863B1 true KR101536863B1 (ko) 2015-07-15

Family

ID=53793832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140029561A KR101536863B1 (ko) 2013-03-22 2014-03-13 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템

Country Status (1)

Country Link
KR (1) KR101536863B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104933A (ko) * 2005-03-28 2006-10-09 가시오 히타치 모바일 커뮤니케이션즈 컴퍼니 리미티드 영상처리장치 및 컴퓨터-판독가능 기록매체
KR20090059291A (ko) * 2007-12-06 2009-06-11 한국전자통신연구원 사건에 따른 센서 네트워크 전원 관리 방법 및 센서네트워크 전원 관리 시스템
KR20100012152A (ko) * 2008-07-28 2010-02-08 (주)레코디아 휴대용 멀티 채널 소형 폐쇄회로 감시 장치
KR20110079939A (ko) * 2010-01-04 2011-07-12 주식회사 에프나인 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060104933A (ko) * 2005-03-28 2006-10-09 가시오 히타치 모바일 커뮤니케이션즈 컴퍼니 리미티드 영상처리장치 및 컴퓨터-판독가능 기록매체
KR20090059291A (ko) * 2007-12-06 2009-06-11 한국전자통신연구원 사건에 따른 센서 네트워크 전원 관리 방법 및 센서네트워크 전원 관리 시스템
KR20100012152A (ko) * 2008-07-28 2010-02-08 (주)레코디아 휴대용 멀티 채널 소형 폐쇄회로 감시 장치
KR20110079939A (ko) * 2010-01-04 2011-07-12 주식회사 에프나인 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템

Similar Documents

Publication Publication Date Title
US9743047B2 (en) Network camera using hierarchical event detection and data determination
US9144014B2 (en) Method for operating portable terminal to reduce power during support of communication service and portable terminal supporting the same
US20110234825A1 (en) Accelerometer / gyro-facilitated video stabilization
JP2021517388A (ja) ビデオ符号化のビットレート制御方法、装置、機器、記憶媒体及びプログラム
CA3086179C (en) Transmission power control for wireless communication devices
JP2003115092A5 (ko)
US20150080047A1 (en) Method and Apparatus for Estimating Transmit Power of a Wireless Device
US20170127445A1 (en) Apparatus and method for controlling connection interval in wireless communication system supporting bluetooth scheme
US10284850B2 (en) Method and system to control bit rate in video encoding
JP2015041820A (ja) 撮像装置及びその制御方法、撮像システム、プログラム
US10362307B2 (en) Quantization parameter determination method and image capture apparatus
Ko et al. An energy-efficient wireless video sensor node for moving object surveillance
KR101600287B1 (ko) 배터리의 에너지 레벨에 따라 동작 모드를 가변하는 저전력 스마트 비디오 디바이스 및 그 제어방법
US9479770B2 (en) Video encoding system for dynamically managing energy, rate and distortion and surveillance system using the same
CN109151395B (zh) 一种基于无线网关的无线视频监控方法和***
KR101536863B1 (ko) 에너지, 데이터량 및 데이터 왜곡률을 동적으로 관리하는 비디오 인코딩 시스템 및 이를 이용한 감시 시스템
Kim et al. Event statistics and criticality-aware bitrate allocation to minimize energy consumption of memory-constrained wireless surveillance system
CN102946533A (zh) 视频编码
US9008681B2 (en) Method and system for controlling station operation mode
KR101798768B1 (ko) 이벤트 감지기반 영상 저장 장치 및 방법
US8624724B2 (en) Position information acquisition apparatus and method of controlling the same
US10129551B2 (en) Image processing apparatus, image processing method, and storage medium
JP5422270B2 (ja) 無線センサネットワークおよびそのデータ検知方法
KR101445162B1 (ko) 동적 에너지 관리가 가능한 센서 노드 및 이를 이용한 감시 시스템
Na et al. Design of energy-aware video codec-based system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180423

Year of fee payment: 4