KR102454921B1 - 영상출력장치 및 이의 영상처리방법 - Google Patents

영상출력장치 및 이의 영상처리방법 Download PDF

Info

Publication number
KR102454921B1
KR102454921B1 KR1020200188063A KR20200188063A KR102454921B1 KR 102454921 B1 KR102454921 B1 KR 102454921B1 KR 1020200188063 A KR1020200188063 A KR 1020200188063A KR 20200188063 A KR20200188063 A KR 20200188063A KR 102454921 B1 KR102454921 B1 KR 102454921B1
Authority
KR
South Korea
Prior art keywords
camera
motion
image
movement
block
Prior art date
Application number
KR1020200188063A
Other languages
English (en)
Other versions
KR20220095991A (ko
Inventor
박현우
백정원
박기범
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020200188063A priority Critical patent/KR102454921B1/ko
Publication of KR20220095991A publication Critical patent/KR20220095991A/ko
Application granted granted Critical
Publication of KR102454921B1 publication Critical patent/KR102454921B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H04N5/23267—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/217—
    • H04N5/23251—
    • H04N5/2353—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예는, 움직임센서로부터의 센서데이터를 기초로 카메라의 흔들림에 대응하는 카메라 움직임을 검출하는 카메라 움직임 검출부; 상기 카메라 움직임이 허용 진동폭 내인 경우 영상을 분할하는 블록 크기를 조절하고, 인접한 영상들의 대응 블록들의 화소값 비교에 의해 움직임블록을 검출하는 움직임영역 검출부; 및 상기 움직임블록 검출 결과에 따라 상기 영상의 노이즈를 제거하는 노이즈 제거부;를 포함하는 영상출력장치를 개시한다.

Description

영상출력장치 및 이의 영상처리방법{Image output apparatus and image processing method thereof}
본 발명의 실시예들은 영상출력장치 및 이의 영상처리방법에 관한 것이다.
시간적 노이즈 제거 및 공간적 노이즈 제거 등의 노이즈 저감 알고리즘을 적용하여 영상의 노이즈를 제거한다. 시간적 노이즈 제거 알고리즘은 노이즈 저감 효과는 우수하나 움직이는 파사체가 존재할 경우 영상 끌림이 수반될 수 있다. 또한 카메라 흔들림이 발생하는 경우 시간적 노이즈 제거 알고리즘이 적용되면 영상 끌림이 발생할 수 있다.
본 발명은 피사체 움직임이 아닌 물리적인 카메라의 흔들림을 구별하고, 카메라 흔들림이 존재하는 경우 노이즈를 제거하는 영상출력장치 및 그의 영상처리방법을 제시한다.
본 발명의 일 실시예에 따른 영상출력장치는, 움직임센서로부터의 센서데이터를 기초로 카메라의 흔들림에 대응하는 카메라 움직임을 검출하는 카메라 움직임 검출부; 상기 카메라 움직임이 허용 진동폭 내인 경우 영상을 분할하는 블록 크기를 조절하고, 인접한 영상들의 대응 블록들의 화소값 비교에 의해 움직임블록을 검출하는 움직임영역 검출부; 및 상기 움직임블록 검출 결과에 따라 상기 영상의 노이즈를 제거하는 노이즈 제거부;를 포함한다.
상기 움직임영역 검출부는 상기 카메라 움직임이 허용 진동폭 내인 경우 상기 블록 크기를 감소시킬 수 있다.
상기 카메라 움직임 검출부는 상기 카메라 움직임의 절반에 대응하는 화소이동량을 산출하고, 상기 움직임영역 검출부는 상기 화소이동량과 상기 허용 진동폭을 비교할 수 있다.
상기 센서데이터를 주파수 신호로 변환하여 신호 주기를 산출하고, 상기 신호 주기에 대응하는 셔터 속도를 설정하는 셔터제어부;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상출력장치의 영상처리방법은, 움직임센서로부터의 센서데이터를 기초로 카메라의 흔들림에 대응하는 카메라 움직임을 검출하는 단계; 상기 카메라 움직임이 허용 진동폭 내인 경우 영상을 분할하는 블록 크기를 조절하고, 인접한 영상들의 대응 블록들의 화소값 비교에 의해 움직임블록을 검출하는 단계; 및 상기 움직임블록 검출 결과에 따라 상기 영상의 노이즈를 제거하는 단계;를 포함한다.
상기 카메라 움직임이 허용 진동폭 내인 경우 상기 블록 크기가 감소될 수 있다.
상기 카메라 움직임 검출 단계는, 상기 카메라 움직임의 절반에 대응하는 화소이동량을 산출하는 단계;를 포함하고, 상기 움직임블록 검출 단계는, 상기 화소이동량과 상기 허용 진동폭을 비교하는 단계;를 포함할 수 있다.
상기 센서데이터를 주파수 신호로 변환하여 신호 주기를 산출하고, 상기 신호 주기에 대응하는 셔터 속도를 설정하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에 따른 영상출력장치 및 그의 영상처리방법은 피사체 움직임이 아닌 물리적인 카메라의 흔들림을 인식하고, 카메라 흔들림이 존재하는 경우 움직임 감지 민감도를 조절함으로써 시간적 노이즈 제거 알고리즘의 적용에 따른 영상 끌림을 최소화할 수 있다.
도 1은 일 실시예에 따른 영상출력장치를 개략적으로 도시한 블록도이다.
도 2a 및 도 2b는 각각 카메라 설치 상태를 나타낸 예시도이다.
도 3은 일 실시예에 따른 프로세서를 개략적으로 나타낸 도면이다.
도 4a 및 도 4b는 각각 카메라의 실제 움직임을 산출하는 방법을 설명하는 도면이다.
도 5는 일 실시예에 따른 노이즈 제거 방법을 설명하는 도면이다.
도 6은 일 실시예에 따른 영상출력장치의 영상처리방법을 개략적으로 설명하는 도면이다.
도 7은 일 실시예에 따른 영상출력장치의 셔터속도 제어방법을 개략적으로 설명하는 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 영상출력장치를 개략적으로 도시한 블록도이다. 도 2a 및 도 2b는 각각 카메라 설치 상태를 나타낸 예시도이다.
도 1을 참조하면, 일 실시예에 따른 영상출력장치(1)는 카메라(10), 센서(20), 프로세서(30), 저장수단(40), 디스플레이(50) 및 입력수단(70)을 포함할 수 있다.
영상출력장치(1)는 카메라(10), 센서(20), 프로세서(30), 저장수단(40), 디스플레이(50) 및 입력수단(70) 중 적어도 하나가 별도로 구현되고, 유선 또는 무선으로 연결되어 데이터를 송수신하는 영상시스템일 수 있다.
카메라(10)는 특정 장소의 고정된 위치에 배치되고, 촬영 범위가 고정된 단일 고정식 카메라 또는 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능을 갖는 PTZ 카메라일 수 있다. 카메라(10)는 비쥬얼 카메라, 열상 카메라, 특수 목적 카메라 등을 포함하는 감시용 카메라일 수 있다. 카메라(10)는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 영상센서를 포함할 수 있다. 카메라(10)는 주시 방향의 장면을 촬영하여 영상 정보를 획득할 수 있다.
카메라(10)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외 또는 공원 등의 야외에 설치되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다. 예를 들어, 카메라(10)는 도 2a에 도시된 바와 같이 야외의 고정된 폴에 설치되거나, 도 2b에 도시된 바와 같이 건물 등의 벽면에 설치될 수 있다.
센서(20)는 카메라(10)의 물리적 흔들림에 대응하는 센서데이터를 생성할 수 있다. 센서(20)는 움직임 센서일 수 있다. 센서(20)는 자이로센서 및/또는 가속도 센서를 포함할 수 있다. 센서(20)는 카메라(10) 주변에 설치되거나 또는 카메라(10) 내부에 내장되어 카메라(10)의 물리적 흔들림을 감지할 수 있다. 센서(20)는 카메라(10)의 물리적 회전량을 감지하여 센서데이터를 생성할 수 있다. 일 실시예에서 센서데이터는 degree 값일 수 있다.
프로세서(30)는 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 프로세서(30)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 프로세서(30)는 카메라(10)에 내장될 수 있다.
프로세서(30)는 영상의 노이즈를 저감(제거)하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 신호 처리를 수행할 수 있다.
프로세서(30)는 영상으로부터 움직임영역을 검출하고, 움직임영역과 비움직임영역에 서로 다른 알고리즘을 적용하여 노이즈를 저감할 수 있다. 프로세서(30)는 센서데이터를 이용하여 카메라의 흔들림을 검출하고, 카메라의 흔들림이 소정 범위 내인 경우 카메라의 흔들림을 반영하여 움직임영역을 검출함으로써, 카메라의 미세한 흔들림에 따른 움직임영역 검출 오류를 최소화할 수 있다. 또한 프로세서(30)는 센서데이터를 이용하여 카메라의 흔들림을 기초로 카메라의 셔터 속도를 제어할 수 있다. 이에 대한 상세한 설명은 후술한다.
프로세서(30)는 노이즈 저감 및 신호 처리된 영상을 카메라(10)와 유선 또는 무선으로 연결된 사용자 단말, DVR(Digital Video Recorder), NVR(Network Video Recorder), 서버 등으로 전송할 수 있다.
저장수단(40)은 프로세서(30)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 프로세서(30)의 입출력 데이터들(예를 들어, 영상, 센서데이터 등)을 저장할 수도 있다. 저장수단(40)은 내부 메모리 및/또는 SD 카드 등 외부 저장매체를 포함할 수 있다. 저장수단(40)은 인터넷 상에서 저장 기능을 수행하는 웹 스토리지(web storage), 클라우드 서버 등을 포함할 수 있다.
디스플레이(50)는 프로세서(30)와 유선 또는 무선으로 연결되어 프로세서(30)로부터 출력되는 영상을 신호 처리하여 사용자에게 제공할 수 있다. 디스플레이(50)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이(50)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.
입력수단(70)은 프로세서(30)와 유선 또는 무선으로 연결되어 프로세서(30)의 제어를 위한 입력 데이터를 발생시킨다. 입력수단(70)은 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 마우스, 리모컨, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 사용자는 입력수단(70)을 사용하여 영상 처리를 위한 파라미터들을 입력할 수 있다.
도 3은 일 실시예에 따른 프로세서를 개략적으로 나타낸 도면이다. 도 4a 및 도 4b는 각각 카메라의 실제 움직임을 산출하는 방법을 설명하는 도면이다. 도 4a는 카메라의 좌우 움직임에 대응하는 도면이고, 도 4b는 카메라의 상하 움직임에 대응하는 도면이다. 도 5는 일 실시예에 따른 노이즈 제거 방법을 설명하는 도면이다.
도 3을 참조하면, 일 실시예에 따른 프로세서(30)는 카메라 움직임 검출부(301), 움직임영역 검출부(303), 노이즈제거부(305) 및 셔터제어부(307)를 포함할 수 있다.
센서(20)로부터 입력되는 센서데이터(SEN)는 저장수단(40)에 저장될 수 있다. 프로세서(30)는 오차범위 내 센서데이터(SEN), 예를 들어, 기 설정된 센서 오차값 미만인 센서데이터(SEN)만을 저장수단(40)에 저장할 수 있다. 프로세서(30)는 카메라의 최대 셔터 속도에 대응하는 속도로 센서데이터(SEN)를 획득하여 저장수단(40)에 저장할 수 있다.
카메라 움직임 검출부(301)는 센서(20)로부터의 센서데이터(SEN)를 이용하여 바람 등으로 인한 카메라(10)의 실제 움직임을 검출할 수 있다. 카메라(10)의 움직임은 좌우 움직임 및/또는 상하 움직임을 포함할 수 있다.
도 2a 및 도 2b와 같은 카메라 설치 환경 특성을 고려하면, 도 4a 및 도 4b에 도시된 바와 같이, 카메라(10)는 한 점의 축에 고정된 상태에서 바람 등에 의해 흔들릴 경우 진자 운동과 같이 호를 그리며 움직이지만 실제 축 기준으로 흔들리는 각도가 매우 작기 때문에 호가 아닌 현으로 근사화할 수 있다.
일 실시예에서 카메라 움직임 검출부(301)는 현의 길이(dh, dv)로부터 하기 식 (1)과 같이 카메라(10)의 좌우 또는 상하 흔들림에 따른 실제 이동거리(Dh, Dv)를 산출할 수 있다. 여기서 rad1, rad2는 카메라(10)가 좌우(x방향) 또는 상하(y방향)로 흔들린 전체 각도를 나타내는 값으로, degree 값을 갖는 센서데이터를 radian 값으로 변환한 값이다. r1 및 r2는 각각 카메라가 설치된 벽면 위치(O)에서 카메라까지의 x 방향의 거리 및 y 방향의 거리이다.
Dh = dh = (2 × r1 sin (rad1 /2))
Dv = dv = (2 × r2 sin (rad2 /2)) ... (1)
카메라의 좌우 흔들리는 각도 또는 상하 흔들리는 각도는 상이할 수 있으므로, 본 발명의 실시예에서는 실제 이동거리(Dh, Dv)의 1/2 값(이하, '단방향 이동거리'라 함)을 이용한다. 즉, 단방향 이동거리는 좌우 방향 중 한 방향으로의 이동거리, 또는 상하 방향 중 한 방향으로의 이동거리일 수 있다.
카메라 움직임 검출부(301)는 카메라(10)의 실제 이동거리와 영상센서의 크기에 대한 비율을 이용하여 단방향 이동거리를 화소 이동량으로 변환할 수 있다.
예를 들어, 카메라의 좌우 움직임에 따른 단방향 이동거리가 0.04cm라고 할때, 1920×1080 해상도를 갖는 영상센서의 화소 피치가 3.75㎛이고, 영상센서의 가로 길이는 0.72cm 이면, 화소 이동량은 0.04/0.72 × 1920 = 116.3553로 계산할 수 있다. 즉, 카메라 움직임 검출부(301)는 0.04cm의 카메라의 단방향 이동거리를 대략 116 화소 이동량으로 변환할 수 있다.
움직임영역 검출부(303)는 현재 영상(IMG(T))과 현재 영상(IMG(T))에 앞선 이전 영상(IMG(T-1)) 간의 차분을 기초로 현재 영상(IMG(T))으로부터 움직임영역을 검출할 수 있다. 이전 영상(IMG(T-1))은 현재 영상(IMG(T))의 바로 직전에 획득된 영상일 수 있다.
움직임영역 검출부(303)는 도 5에 도시된 바와 같이 현재 영상(IMG(T))을 소정 크기(n×n)의 블록들로 분할하고, 각 블록에 대해 SAD(Sum of Absolute difference) 값을 산출할 수 있다. SAD 값은 현재 영상(IMG(T))의 블록(BL1)과 이전 영상(IMG(T-1))에서 동일한 위치의 대응 블록(BL2) 간의 화소값의 차분의 평균 값이다. 움직임영역 검출부(303)는 현재 영상(IMG(T))에서 SAD 값이 임계값 이상인 블록을 움직임블록으로 검출할 수 있다.
움직임영역 검출부(303)는 카메라 흔들림이 허용 진동폭 범위 내인 경우 영상을 분할하는 블록 크기를 조절하여 움직임 감지 민감도를 조절할 수 있다. 일 실시예에서, 움직임영역 검출부(303)는 카메라 움직임 검출부(301)로부터 출력되는 단방향 이동거리에 대응하는 화소 이동량이 허용 진동폭 범위 내인 경우 블록 크기를 줄여 움직임 감지 민감도를 증가시킬 수 있다.
허용 진동폭은 카메라의 설치 환경 및 영상센서의 규격에 따라 결정될 수 있다. 예를 들어, 허용 진동폭의 최소값은 1화소의 크기(화소 피치)이고, 최대값은 영상센서의 크기일 수 있다. 카메라의 좌우 움직임에 대한 허용 진동폭의 최소값 및 최대값은 각각 1화소의 가로 길이(가로 방향의 화소 피치) 및 영상센서의 가로 길이일 수 있다. 카메라의 상하 움직임에 대한 허용 진동폭의 최소값 및 최대값은 각각 1화소의 세로 길이(세로 방향의 화소 피치) 및 영상센서의 세로 길이일 수 있다. 화소 이동량에 대한 블록 크기 감소량은 미리 결정될 수 있고, 사용자에 의해 조절될 수 있다.
움직임영역 검출부(303)는 단방향 이동거리에 대응하는 화소 이동량이 허용 진동폭의 최대값을 벗어나는 경우 블록 크기 변경 없이 움직임블록을 검출할 수 있다. 즉 카메라가 매우 심하게 흔들림으로써 흔들림이 허용 진동폭을 넘는 경우, 즉 전후 영상들 간의 차이가 일정 수준 이상으로 클 경우에는 움직임 인식 오류가 적기 때문에, 움직임영역 검출부(303)는 움직임 감지 민감도 조절 없이 기존의 알고리즘으로 피사체의 움직임을 검출할 수 있다.
노이즈제거부(305)는 영상에 제1 노이즈제거 알고리즘 및 제2 노이즈제거 알고리즘을 적용하여 노이즈를 제거할 수 있다. 제1 노이즈제거 알고리즘은 현재 영상에서 현재 화소와 주변 화소들의 화소값들을 평균함으로써 노이즈를 저감하는 공간적 노이즈 제거 방법일 수 있다. 제2 노이즈제거 알고리즘은 영상을 시간축으로 누적시켜 같은 위치의 화소값들을 평균함으로써 노이즈를 저감하는 시간적 노이즈 제거 방법일 수 있다.
일 실시예에서, 노이즈제거부(305)는 움직임블록에 대해서는 제1 노이즈제거 알고리즘을 적용하여 노이즈를 제거하고, 움직임블록이 아닌 블록에 대해서는 제2 노이즈제거 알고리즘을 적용하여 노이즈를 제거할 수 있다. 다른 실시예에서 노이즈제거부(305)는 각 블록에 제1 노이즈제거 알고리즘 및 제2 노이즈제거 알고리즘을 적용하되, 가중치를 이용하여 움직임블록에 대해서는 제1 노이즈제거 알고리즘의 적용 강도를 제2 노이즈제거 알고리즘의 적용 강도보다 높이고, 움직임블록이 아닌 블록에 대해서는 제2 노이즈제거 알고리즘의 적용 강도를 제1 노이즈제거 알고리즘의 적용 강도보다 높여 노이즈를 제거할 수 있다.
영상에 시간적 노이즈 제거 방법을 적용할 경우 노이즈 저감 효과는 좋으나 움직이는 피사체가 존재하는 영역에서 영상 끌림이 발생할 수 있다. 카메라의 흔들림에 의해 영상이 움직임인 경우에 시간적 노이즈 제거 방법을 적용하면 영상 전체에서 영상 끌림이 발생할 수 있다. 영상에 공간적 노이즈 제거 방법을 적용할 경우 영상 끌림은 없으나 영상 전체가 블러링될 수 있다.
카메라가 미세하게 흔들리는 경우 전후 영상들 간의 차이 또한 미세하여 임계값을 넘지 못함으로써 피사체의 움직임을 인식하지 못할 수 있다. 이에 따라 움직임영역을 비움직임영역으로 오인식하여 시간적 노이즈 제거 방법이 적용되면 영상 끌림이 발생할 수 있다. 움직임영역의 오인식을 줄이고자 임계값을 낮게 설정하는 경우 영상 내 노이즈 차이가 움직임으로 인식될 수 있고, 또한 임계값을 과하게 낮게 설정할 경우 카메라가 정지 상태인 경우에도 움직임으로 인식되는 오류가 발생할 수 있다. 이에 따라 비움직임영역을 움직임영역으로 오인식하여 공간적 노이즈 제거 방법이 적용되면 노이즈 저감 효과가 적을 수 있다.
본 발명의 실시예는 임계값을 조절하여 움직임 감지 민감도를 조절하지 않고, 블록 크기 조절에 의해 움직임 감지 민감도를 조절함으로써 움직임 인식 오류를 최소화할 수 있다.
셔터제어부(307)는 카메라(10)의 최대 셔터 속도와 동일한 속도로 센서데이터를 획득할 수 있다. 예를 들어, 최대 셔터 속도가 1/10000s이면 셔터제어부(307)는 0.0001s 간격으로 센서데이터를 수집하여 분석할 수 있다.
셔터제어부(307)는 카메라의 흔들림 속도에 따라 셔터 속도를 제어할 수 있다. 카메라가 흔들리는 속도가 셔터 속도보다 빠를 경우 셔터 속도에 의한 블러링이 발생할 수 있다. 셔터제어부(307)는 센서데이터의 변화량을 기초로 카메라의 흔들림 속도를 추정하고, 카메라의 흔들림 속도에 따라 셔터 속도를 제어할 수 있다.
셔터제어부(307)는 센서데이터를 주파수 신호로 변환할 수 있다. 셔터제어부(307)는 FFT(Fast Fourier Transform)를 이용하여 시간 도메인의 센서데이터를 주파수 도메인의 신호로 변환할 수 있다. FFT(Fast Fourier Transform)를 이용한 신호 변환은 공지이므로 상세한 설명은 생략한다. 셔터제어부(307)는 주파수 신호의 역수에 대응하는 신호 주기를 산출하고, 신호 주기에 대응하는 셔터 속도를 설정할 수 있다. 신호 주기에 대한 셔터 속도의 관계는 미리 설정되어 저장수단(40)에 저장될 수 있다.
셔터제어부(307)는 센서데이터의 신호 주기에 따라 셔터 속도를 변경할 수 있다. 셔터제어부(307)는 기 설정된 전이시간(transition time) 동안 셔터 속도를 점진적으로 변경하여 셔터 속도의 급격한 변화 없이 셔터 속도를 변화시킬 수 있다. 셔터제어부(307)는 센서데이터가 기 설정된 대기시간(wating time) 이상 허용 진동폭의 최소값 이하로 유지되면, 변경되었던 셔터 속도를 원복할 수 있다. 이때 셔터제어부(307)는 전이시간 동안 셔터 속도를 이전 셔터 속도로 점진적으로 변경하여 셔터 속도의 급격한 변화 없이 셔터 속도를 변화시킬 수 있다.
도 6은 일 실시예에 따른 영상출력장치의 영상처리방법을 개략적으로 설명하는 도면이다. 이하 도 1 내지 도 5를 참조하여 설명한 내용과 중복하는 내용의 상세한 설명은 생략한다.
도 6을 참조하면, 영상출력장치의 프로세서는 움직임센서로부터 카메라의 흔들림에 대응하는 센서데이터를 획득할 수 있다(S61). 프로세서는 센서데이터가 오차범위 내에 포함되는지를 판단하고(S62), 오차범위 내의 센서데이터만을 획득할 수 있다. 이때 프로세서는 카메라의 최대 셔터 속도에 대응하는 속도로 센서데이터를 획득하여 저장수단에 저장할 수 있다.
프로세서는 획득한 센서데이터로부터 카메라의 실제 움직임을 산출할 수 있다(S63). 프로세서는 카메라의 실제 움직임에 대응하는 화소 이동량을 산출할 수 있다. 프로세서는 카메라의 실제 움직임으로서 단방향 이동거리를 산출하고, 단방향 이동거리에 대응하는 화소 이동량을 산출할 수 있다.
프로세서는 화소 이동량이 허용 진동폭 범위 내인지를 판단하고(S64), 화소 이동량이 허용 진동폭 범위 내이면 움직임 검출을 위한 영상 분할 블록의 크기를 조절할 수 있다(S65). 프로세서는 화소 이동량이 허용 진동폭 범위 내인 경우 블록 크기를 줄여 움직임 감지 민감도를 증가시킬 수 있다.
프로세서는 변경된 블록 크기로 영상을 분할하고, 각 블록별로 움직임을 검출할 수 있다(S66). 프로세서는 현재 영상과 이전 영상의 대응 블록들 간의 SAD 값을 산출하고, SAD 값이 임계값 이상인 블록을 현재 영상의 움직임블록으로 검출할 수 있다.
프로세서는 블록별 움직임 검출 결과를 기초로 블록별로 노이즈를 제거할 수 있다(S67). 일 실시예에서, 프로세서는 움직임블록에 대해서는 공간적 노이즈제거 방법의 적용 강도를 높이고, 움직임블록이 아닌 블록에 대해서는 시간적 노이즈제거 방법의 적용 강도를 높여 노이즈를 제거할 수 있다.
도 7은 일 실시예에 따른 영상출력장치의 셔터속도 제어방법을 개략적으로 설명하는 도면이다. 이하 도 1 내지 도 5를 참조하여 설명한 내용과 중복하는 내용의 상세한 설명은 생략한다.
도 7을 참조하면, 프로세서는 움직임센서로부터 최대 셔터 속도와 동일한 속도로 센서데이터를 획득할 수 있다(S71).
프로세서는 센서데이터의 변화량을 기초로 카메라의 흔들림 속도를 추정하고(S73), 카메라의 흔들림 속도에 따라 셔터 속도를 제어할 수 있다(S75). 프로세서는 센서데이터를 주파수 신호로 변환하고, 주파수 신호로부터 신호 주기를 산출하고, 신호 주기에 대응하는 셔터 속도를 추정할 수 있다. 신호 주기에 대한 셔터 속도의 관계는 미리 설정되어 저장수단에 저장될 수 있다. 프로세서는 기 설정된 전이시간 동안 셔터 속도를 점진적으로 변경할 수 있다. 프로세서는 센서데이터가 기 설정된 대기시간 이상 허용 진동폭의 최소값 이하로 유지되면, 셔터 속도를 원복할 수 있다. 이때에도 프로세서는 전이시간 동안 셔터 속도를 이전 셔터 속도로 점진적으로 변경할 수 있다.
본 발명의 실시예에 따른 영상출력장치의 영상처리방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.

Claims (8)

  1. 움직임센서로부터의 센서데이터를 기초로 카메라의 흔들림에 대응하는 카메라 움직임을 검출하는 카메라 움직임 검출부;
    영상을 복수의 블록들로 분할하고, 인접한 영상들의 대응 블록들의 화소값 비교에 의해 상기 복수의 블록들 중 움직임블록을 검출하는 움직임영역 검출부; 및
    상기 움직임블록 검출 결과에 따라 상기 영상의 노이즈를 제거하는 노이즈 제거부;를 포함하고,
    상기 움직임영역 검출부는 상기 카메라 움직임이 허용 진동폭 내인 경우 상기 영상을 분할하는 블록의 크기를 감소시켜 움직임 감지 민감도를 증가시키는, 영상출력장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 카메라 움직임 검출부는 상기 카메라 움직임의 절반에 대응하는 화소이동량을 산출하고,
    상기 움직임영역 검출부는 상기 화소이동량과 상기 허용 진동폭을 비교하는, 영상출력장치.
  4. 제1항에 있어서,
    상기 센서데이터를 주파수 신호로 변환하여 신호 주기를 산출하고, 상기 신호 주기에 대응하는 셔터 속도를 설정하는 셔터제어부;를 더 포함하는 영상출력장치.
  5. 움직임센서로부터의 센서데이터를 기초로 카메라의 흔들림에 대응하는 카메라 움직임을 검출하는 단계;
    영상을 복수의 블록들로 분할하고, 인접한 영상들의 대응 블록들의 화소값 비교에 의해 상기 복수의 블록들 중 움직임블록을 검출하는 단계; 및
    상기 움직임블록 검출 결과에 따라 상기 영상의 노이즈를 제거하는 단계;를 포함하고,
    상기 움직임블록 검출 단계는 상기 카메라 움직임이 허용 진동폭 내인 경우 상기 영상을 분할하는 블록의 크기를 감소시켜 움직임 감지 민감도를 증가시키는 단계;를 포함하는, 영상출력장치의 영상처리방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 카메라 움직임 검출 단계는, 상기 카메라 움직임의 절반에 대응하는 화소이동량을 산출하는 단계;를 포함하고,
    상기 움직임블록 검출 단계는, 상기 화소이동량과 상기 허용 진동폭을 비교하는 단계;를 포함하는 영상출력장치의 영상처리방법.
  8. 제5항에 있어서,
    상기 센서데이터를 주파수 신호로 변환하여 신호 주기를 산출하고, 상기 신호 주기에 대응하는 셔터 속도를 설정하는 단계;를 더 포함하는 영상출력장치의 영상처리방법.

KR1020200188063A 2020-12-30 2020-12-30 영상출력장치 및 이의 영상처리방법 KR102454921B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200188063A KR102454921B1 (ko) 2020-12-30 2020-12-30 영상출력장치 및 이의 영상처리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200188063A KR102454921B1 (ko) 2020-12-30 2020-12-30 영상출력장치 및 이의 영상처리방법

Publications (2)

Publication Number Publication Date
KR20220095991A KR20220095991A (ko) 2022-07-07
KR102454921B1 true KR102454921B1 (ko) 2022-10-14

Family

ID=82398533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200188063A KR102454921B1 (ko) 2020-12-30 2020-12-30 영상출력장치 및 이의 영상처리방법

Country Status (1)

Country Link
KR (1) KR102454921B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229628A (ja) * 2005-02-17 2006-08-31 Victor Co Of Japan Ltd 動き検出装置
WO2009060626A1 (ja) * 2007-11-09 2009-05-14 Panasonic Corporation カメラ
JP2016219974A (ja) * 2015-05-19 2016-12-22 リコーイメージング株式会社 撮影装置及び撮影方法、画像処理装置及び画像処理方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100761817B1 (ko) * 2001-03-07 2007-09-28 삼성테크윈 주식회사 움직이는 물체를 효율적으로 추적하는 감시용 카메라시스템 및 그 제어 방법
KR20150078275A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 움직이는 피사체 촬영 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229628A (ja) * 2005-02-17 2006-08-31 Victor Co Of Japan Ltd 動き検出装置
WO2009060626A1 (ja) * 2007-11-09 2009-05-14 Panasonic Corporation カメラ
JP2016219974A (ja) * 2015-05-19 2016-12-22 リコーイメージング株式会社 撮影装置及び撮影方法、画像処理装置及び画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
KR20220095991A (ko) 2022-07-07

Similar Documents

Publication Publication Date Title
JP6629454B2 (ja) 画像フュージョン方法と装置、および端末装置
TWI554099B (zh) 用於決定一影像調整參數之方法及攝影機
US10334150B2 (en) Camera system and method of tracking object using the same
US8928778B2 (en) Camera device, image processing system, image processing method and image processing program
KR102132248B1 (ko) 촬상 장치를 제어하는 제어 장치, 제어 방법, 및 컴퓨터 판독가능 기억 매체
WO2007050171A1 (en) Systems and methods of exposure restart for cameras
US20190230269A1 (en) Monitoring camera, method of controlling monitoring camera, and non-transitory computer-readable storage medium
WO2015029588A1 (ja) 画像処理システム、画像処理方法及びプログラム
KR102282470B1 (ko) 카메라 장치 및 이를 이용한 객체 추적 방법
US10055852B2 (en) Image processing system and method for detection of objects in motion
CN110991550B (zh) 一种视频监控方法、装置、电子设备及存储介质
JP5693147B2 (ja) 撮影妨害検知方法、妨害検知装置及び監視カメラシステム
JP6325615B2 (ja) カメラのフォーカスを設定する方法及び装置。
KR102454921B1 (ko) 영상출력장치 및 이의 영상처리방법
KR102268970B1 (ko) 안개 제거 방법 및 이를 적용한 안개 제거 시스템
JP2010074315A (ja) 被写体追尾方法及び撮像装置
US20170287143A1 (en) Image processing system and method for detection of objects in motion
JP2007336431A (ja) 映像監視装置及び方法
JP7250433B2 (ja) 撮像装置、制御方法及びプログラム
JP2013085201A (ja) 動体検出装置及びその制御方法、プログラム
JP2017038243A (ja) 撮像装置
JP6833337B2 (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP3492239B2 (ja) 画像監視装置
KR20150087708A (ko) 영상 처리 장치 및 방법
JP2021022783A (ja) 制御装置、追尾システム、制御方法、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant