KR102669938B1

KR102669938B1 - 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법

Info

Publication number: KR102669938B1
Application number: KR1020190002570A
Authority: KR
Inventors: 이주현; 김일도; 송성욱
Original assignee: 삼성전자주식회사
Priority date: 2019-01-09
Filing date: 2019-01-09
Publication date: 2024-05-27
Also published as: US11140320B2; US11558552B2; KR20200086429A; US20220070373A1; CN111432191A; US20200221027A1

Abstract

이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법이 제공된다. 이미지 처리 프로세서는 입력 이미지 데이터를 처리하는 공유 회로; 제1 촬영 환경에서 상기 공유 회로가 제1 동작 모드로 상기 입력 이미지 데이터를 처리하기 위해 사용하는 제1 알고리즘 회로; 및 상기 제1 촬영 환경과 다른 제2 촬영 환경에서 상기 공유 회로가 상기 제1 동작 모드와 다른 제2 동작 모드로 상기 입력 이미지 데이터를 처리하기 위해 사용하는 제2 알고리즘 회로를 포함한다.

Description

이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법{IMAGE SIGNAL PROCESSOR, IMAGE PROCESSING SYSTEM, AND OPERATING METHOD OF IMAGE SIGNAL PROCESSOR}

본 발명은 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법에 관한 것이다.

이미지 센서(image sensor)는 피사체를 촬영하여 특정 포맷에 따르는 이미지 데이터를 이미지 처리 프로세서(image signal processor)에 전달할 수 있다. 예를 들어, 이미지 센서는 촬영 결과물을 베이어(bayer) 포맷 이미지 데이터로서 이미지 처리 프로세서에 전달하거나, 테트라(tetra)(또는 쿼드(quad)) 포맷 이미지 데이터로서 이미지 처리 프로세서에 전달할 수 있다. 일반적으로는 베이어 포맷이 널리 사용되나, 광량이 부족한 저조도(low light) 환경에서는 노이즈(noise)에 강인한 테트라 포맷이 사용될 수도 있다.

이미지 처리 프로세서가 베이어 포맷만을 지원하는 경우, 이미치 처리 프로세서가 테트라 포맷의 이미지 데이터를 처리하기 위해서는, 테트라 포맷의 이미지 데이터를 베이어 포맷으로 변환하기 위한 리모자익(remosiac) 연산이 필요하다. 왜냐하면 베이어 포맷와 테트라 포맷의 픽셀 배치가 서로 다르기 때문이다. 그런데 리모자익 연산은 테트라 포맷의 픽셀 배치를 베이어 포맷의 픽셀 배치로 바꾸기 위해 픽셀들을 다른 위치로 이동하는 작업을 수행하므로, 이로 인해 정보의 손실이 발생할뿐 아니라 해상도 저하(resolution degradation)이 발생하는 문제점이 있다.

본 발명이 해결하고자 하는 기술적 과제는, 서로 다른 포맷의 이미지 데이터를 처리하되, 각각의 포맷에 대한 하드웨어를 별도 구성하지 않으면서도 하나의 포맷을 다른 포맷으로 변환할 필요 없이 직접 처리할 수 있는 이미지 처리 프로세서를 제공하는 것이다.

본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 이미지 처리 프로세서는, 입력 이미지 데이터를 처리하는 공유 회로; 제1 촬영 환경에서 공유 회로가 제1 동작 모드로 입력 이미지 데이터를 처리하기 위해 사용하는 제1 알고리즘 회로; 및 제1 촬영 환경과 다른 제2 촬영 환경에서 공유 회로가 제1 동작 모드와 다른 제2 동작 모드로 입력 이미지 데이터를 처리하기 위해 사용하는 제2 알고리즘 회로를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 이미지 처리 시스템은, 입력 이미지 데이터를 처리하는 공유 회로와, 촬영 환경에 따라 서로 다른 동작 모드로 입력 이미지 데이터를 처리하기 위해 사용되는 알고리즘을 제공하는 복수의 알고리즘 회로를 포함하는 이미지 처리 프로세서; 및 이미지 센서 또는 조도 센서로부터 제공되는 정보에 기초하여 촬영 환경을 검출하고, 이미지 처리 프로세서의 동작 모드를 결정하는 모드 결정 모듈을 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 이미지 처리 프로세서의 동작 방법은, 입력 이미지 데이터를 처리하기 위한 동작 모드를 설정하고, 동작 모드가 제1 동작 모드인 경우 이미지 센서로부터 제공되는 제1 포맷 이미지 데이터를 입력 이미지 데이터로 선택하고, 동작 모드가 제1 동작 모드와 다른 제2 동작 모드인 경우 이미지 센서로부터 제공되는 제2 포맷 이미지 데이터를 입력 이미지 데이터로 선택하고, 동작 모드가 제1 동작 모드인 경우 제1 알고리즘 회로를 이용하여 입력 이미지 데이터를 처리하고, 동작 모드가 제2 동작 모드인 경우 제2 알고리즘 회로를 이용하여 입력 이미지 데이터를 처리하는 것을 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 이미지 처리 시스템의 동작례를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 이미지 처리 프로세서의 동작 방법을 설명하기 위한 순서도이다.
도 12는 본 발명의 일 실시예에 따른 이미지 처리 프로세서의 동작 방법을 설명하기 위한 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(1)은 이미지 센서(10), 멀티플렉싱 회로(15), SoC(System-on-Chip)(20) 및 모드 선택 모듈(30)을 포함한다. 여기서 SoC(20)는 AP(Application Processor)로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

이미지 센서(10)는 SoC(20)의 제어 하에 동작할 수 있다. 예를 들어, 이미지 센서(10)는 SoC(20)로부터 제어 데이터(CTL_DATA)를 수신하고, 이에 따라 촬영을 개시하거나 종료할 수 있다.

이미지 센서(10)는 렌즈를 이용하여 피사체를 촬영하고, 이미지 데이터(B_DATA, T_DATA)를 생성한다. 그리고 이미지 센서(10)는 촬영 결과로 생성한 이미지 데이터(B_DATA, T_DATA) 중 하나를 입력 이미지 데이터(I_DATA)로서 SoC(20)에 전송할 수 있다.

이미지 센서(10)는 다양한 촬영 환경에서 다양한 방식으로 피사체를 캡처(capture)하여 이미지 데이터(B_DATA, T_DATA)를 생성할 수 있다. 구체적으로, 이미지 센서(10)는 제1 촬영 환경에서 피사체를 캡처하여 제1 포맷 이미지 데이터(B_DATA)를 생성할 수 있고, 제1 촬영 환경과 다른 제2 촬영 환경에서 피사체를 캡처하여 제2 포맷 이미지 데이터(T_DATA)를 생성할 수 있다.

본 실시예에서, 제1 촬영 환경은 일반 환경이고, 제1 포맷 이미지 데이터(B_DATA)는 베이어 포맷 이미지 데이터일 수 있다. 여기서 일반 환경은 후술하는 저조도 환경과 대비되는 개념으로서, 광량이 비교적 충분한 촬영 환경을 말한다.

한편, 본 실시예에서, 제2 촬영 환경은 저조도 환경이고, 제2 포맷 이미지 데이터(T_DATA)는 테트라 포맷 이미지 데이터일 수 있다. 여기서 저조도 환경은 야간 촬영 환경, 실내 촬영 환경과 같이, 광량이 비교적 불충분하여, 일반 환경보다 노이즈 발생 정도가 비교적 높은 촬영 환경을 말한다.

이미 잘 알려진 바와 같이, 베이어 포맷와 테트라 포맷의 픽셀 구성은 서로 다르다. 구체적으로 베이어 포맷의 경우 픽셀 배치는 G(green), R(red), B(blue)가 서로 인접하지 않도록 이루어지며, 특히 2 x 2의 픽셀 영역 내에서는 밝기 정보를 더 많이 포함하는 G가 2 픽셀을 차지하고 R, B가 각각 1 픽셀을 차지하도록 픽셀 배치가 이루어질 수 있다. 이와 달리 테트라 포맷의 경우에는 4 개의 동일 색상의 픽셀이 서로 인접하도록 픽셀 배치가 이루어지고, 4 개의 픽셀 영역을 하나의 단위 영역으로 하여, 단위 영역들이 베이어 포맷과 유사한 배치를 갖도록 픽셀 배치가 이루어질 수 있다. 테트라 포맷은 이와 같은 픽셀 배치를 가짐에 따라 노이즈에 강인한 특성을 갖기 때문에, 저조도 환경에 유용하게 사용될 수 있다.

멀티플렉싱 회로(15)는 이미지 센서(10)가 생성한 이미지 데이터(B_DATA, T_DATA) 중 하나를 선택하여 입력 이미지 데이터(I_DATA)로 출력하고, 이를 SoC(20)에 전달한다. 멀티플렉싱 회로(15)는 상기 선택을 위해 후술할 모드 선택 모듈(30)로부터 선택 신호(SEL)을 입력 받을 수 있다.

이미지 센서(10)는, 멀티플렉싱 회로(15)를 통해 선택한 입력 이미지 데이터(I_DATA)를 다양한 방식으로 SoC(20)에 전송할 수 있다. 예를 들어, 이미지 센서(10)는 입력 이미지 데이터(I_DATA)를 카메라 인터페이스(200)에 전송할 수 있으며, 이를 위해 입력 이미지 데이터(I_DATA)는 임의의 다양한 정책(policy)에 따라 다양한 형태로 직렬화될 수 있다. 직렬화된 입력 이미지 데이터(I_DATA)는 카메라 인터페이스(200)를 통해 SoC(20)의 이미지 처리 프로세서(200)에 전달될 수 있다.

SoC(20)는 앞서 설명한 이미지 처리 프로세서(200), 카메라 인터페이스(210), 프로세서(220), 버퍼(230) 등을 포함할 수 있다.

이미지 처리 프로세서(200)는 이미지 센서(10)로부터 멀티플렉싱 회로(15)를 통해 제공받은 입력 이미지 데이터(I_DATA)를 처리한다. 예를 들어, 이미지 처리 프로세서(200)는 입력 이미지 데이터(I_DATA)에 대해 적어도 하나의 연산을 수행하여 입력 이미지 데이터(I_DATA)를, 예컨대 RGB 채널을 갖는 이미지로 변환할 수 있다. 여기서 적어도 하나의 연산은 크로스 토크 보상(cross-talk compensation), 불량 픽셀 수정(bad pixel correction), 다중 노출 픽셀(multiple exposure pixel)의 병합(merging) 또는 재구성(reconstruction), 디모자익(demosaicing), 노이즈 제거(noise reduction), 이미지 샤프닝(image sharpening), 이미지 안정화(image stabilization), 컬러 공간 변환(color space conversion), 압축(compression) 등을 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

카메라 인터페이스(210)는 이미지 센서(10)와 이미지 처리 프로세서(200) 사이의 데이터 이동을 지원한다. 특히 카메라 인터페이스(200)는 이미지 센서(10)와 이미지 처리 프로세서(200)가 하나의 단일 칩으로 구현되지 않고 별개로 구현되는 경우, 이들 사이에 배치되어 데이터의 전달을 지원한다.

프로세서(220)는 SoC(20)를 전반적으로 제어할 수 있다. 구체적으로, 프로세서(220)는 이미지 처리 프로세서(200)뿐 아니라 SoC(20)의 여러 요소들을 동작시키기 위한 인스트럭션을 포함하는 프로그램을 실행할 수 있다. 프로세서(220)는 예를 들어 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 등으로 구현될 수도 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

버퍼(230)는 데이터를 임시로 저장할 수 있는 공간을 제공한다. 예를 들어, 이미지 처리 프로세서(200)는 필요에 따라 이미지 데이터를 버퍼(230)에 임시로 저장해 놓을 수 있다. 또한 버퍼(230)에는 프로세서(220)가 실행하는 프로그램이 적재될 수도 있고, 프로그램이 사용하는 데이터가 저장될 수도 있다. 버퍼(230)는 예를 들어 SRAM(Static Random Access Memory), DRAM(Dynamic Random Access Memory) 등으로 구현될 수도 있으나, 본 발명의 범위가 이에 한정되는 것은 아니고, 필요에 따라 비휘발성 메모리로 구현될 수도 있다.

내부 버스(290)는 SoC(20) 내의 요소들, 즉 이미지 처리 프로세서(200), 카메라 인터페이스(210), 프로세서(220), 버퍼(230) 등이 데이터를 서로 주고 받을 수 있도록 하는 통로 역할을 한다. 여기서 내부 버스(290)는 AMBA(Advanced Microcontroller Bus Architecture)를 따르는, 예컨대 AXI(Advanced eXtensible Interface)로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

이와 같은 SoC(20)의 구성은 오로지 예시적인 일 구현례에 불과하고 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, SoC(20)는 SoC(20) 외부에 배치되는 외부 장치들과의 데이터 교환을 제공하는 I/O 인터페이스, 데이터 저장할 수 있는 공간을 제공하는 레지스터 등 추가적인 요소들을 더 포함할 수도 있고, 도 1에 도시된 요소들 중 일부를 생략할 수도 있다.

모드 선택 모듈(30)은 제1 동작 모드에서 이미지 센서(10)로부터 제공되는 제1 포맷 이미지 데이터(B_DATA)를 입력 이미지 데이터(I_DATA)로 선택하고, 제2 동작 모드에서 이미지 센서(10)로부터 제공되는 제2 포맷 이미지 데이터(T_DATA)를 입력 이미지 데이터(I_DATA)로 선택한다.

구체적으로, 모드 선택 모듈(30)은 동작 모드 신호(MODE)를 수신하고, 동작 모드 신호(MODE)에 따라 멀티플렉싱 회로(15)에 선택 신호(SEL)를 제공한다. 예를 들어, 동작 모드 신호(MODE)의 값이 제1 동작 모드를 의미하는 경우에 모드 선택 모듈(30)은 제1 값을 갖는 선택 신호(SEL)를 멀티플렉싱 회로(15)에 제공하여, 멀티플렉싱 회로(15)로 하여금 이미지 센서(10)가 생성한 이미지 데이터(B_DATA, T_DATA) 중 제1 포맷 이미지 데이터(B_DATA)를 선택하도록 할 수 있다. 이와 달리, 동작 모드 신호(MODE)의 값이 제1 동작 모드와 다른 제2 동작 모드를 의미하는 경우에 모드 선택 모듈(30)은 제1 값과 다른 제2 값을 갖는 선택 신호(SEL)를 멀티플렉싱 회로(15)에 제공하여, 멀티플렉싱 회로(15)로 하여금 이미지 센서(10)가 생성한 이미지 데이터(B_DATA, T_DATA) 중 제2 포맷 이미지 데이터(T_DATA)를 선택하도록 할 수 있다.

본 실시예에서, 제1 동작 모드는 베이어 포맷 처리 모드일 수 있다. 한편, 본 실시예에서, 제2 동작 모드는 테트라 포맷 처리 모드일 수 있다.

동작 모드 신호(MODE)는 모드 선택 모듈(30)뿐 아니라 이미지 처리 프로세서(200)에도 제공된다. 이미지 처리 프로세서(200)는 동작 모드 신호(MODE)의 값이 제1 동작 모드를 의미하는 경우 제1 포맷을 인식하여 입력 이미지 데이터(I_DATA)를 처리하고, 동작 모드 신호(MODE)의 값이 제2 동작 모드를 의미하는 경우, 제2 포맷을 인식하여 입력 이미지 데이터(I_DATA)를 처리한다.

특히 주목할 점은, 이미지 처리 프로세서(200)가 각각의 동작 모드에서 입력 이미지 데이터(I_DATA)를 처리하기 위해, 포맷 변환을 수행하지 않는다는 점이다. 예를 들어, 이미지 처리 프로세서(200)가 베이어 포맷 처리 모드에서 동작하는 경우에는 베이어 포맷의 입력 이미지 데이터(I_DATA)를 포맷 변환 없이 그대로 사용하고, 이미지 처리 프로세서(200)가 테트라 포맷 처리 모드에서 동작하는 경우에는 테트라 포맷의 입력 이미지 데이터(I_DATA)를 포맷 변환 없이 그대로 사용한다.

이에 따라, 본 발명의 이미지 처리 시스템(1)은 테트라 포맷의 픽셀 배치를 베이어 포맷의 픽셀 배치로 바꾸기 위해 픽셀들을 다른 위치로 이동하는 리모자익 연산을 수행하지 않기 때문에, 정보의 손실 및 해상도 저하 현상을 방지할 수 있다.

도 2는 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(2)은 이미지 센서(10), 멀티플렉싱 회로(15), 모드 선택 모듈(30) 및 이미지 처리 프로세서(200)를 포함한다. 여기서 이미지 센서(10), 멀티플렉싱 회로(15), 모드 선택 모듈(30)은 도 1에서 설명한 내용과 실질적으로 동일하므로 중복되는 설명은 생략하도록 한다.

본 실시예에서, 이미지 처리 프로세서(200)는 공유 회로(2000), 제1 알고리즘 회로(2010) 및 제2 알고리즘 회로(2020)를 포함한다.

공유 회로(2000)는 이미지 센서(10)로부터 멀티플렉싱 회로(15)를 통해 제공받은 입력 이미지 데이터(I_DATA)를 처리하는 회로이다. 즉, 공유 회로(2000)는 입력 이미지 데이터(I_DATA)에 대해, 도 1과 관련하여 앞서 설명한 적어도 하나의 연산을 수행하여, 예컨대 RGB 채널을 갖는 이미지로 변환하는 회로이다. 공유 회로(2000)는 제1 동작 모드 및 제2 동작 모드 모두의 경우에 사용된다.

제1 알고리즘 회로(2010)는, 제1 촬영 환경에서 공유 회로(2000)가 제1 동작 모드로 입력 이미지 데이터(I_DATA)를 처리하기 위해 사용하는 회로이다. 다시 말해서, 제1 동작 모드에서 이미지 처리 프로세서(200)는, 제1 알고리즘 회로(2010)에서 제공되는 알고리즘에 기초하여, 공유 회로(2000)를 이용하여 입력 이미지 데이터(I_DATA)를 처리할 수 있다.

예를 들어, 베이어 포맷 처리 모드에서 이미지 처리 프로세서(200)는, 제1 알고리즘 회로(2010)에서 제공되는 베이어 포맷용 알고리즘에 기초하여, 공유 회로(2000)를 이용하여 베이어 포맷의 입력 이미지 데이터(I_DATA)를 처리할 수 있다.

제2 알고리즘 회로(2020)는, 제2 촬영 환경에서 공유 회로(2000)가 제2 동작 모드로 입력 이미지 데이터(I_DATA)를 처리하기 위해 사용하는 회로이다. 다시 말해서, 제2 동작 모드에서 이미지 처리 프로세서(200)는, 제2 알고리즘 회로(2020)에서 제공되는 알고리즘에 기초하여, 공유 회로(2000)를 이용하여 입력 이미지 데이터(I_DATA)를 처리할 수 있다.

예를 들어, 테트라 포맷 처리 모드에서 이미지 처리 프로세서(200)는, 제2 알고리즘 회로(2020)에서 제공되는 테트라 포맷용 알고리즘에 기초하여, 공유 회로(2000)를 이용하여 테트라 포맷의 입력 이미지 데이터(I_DATA)를 처리할 수 있다.

즉, 공유 회로(2000)는 크로스 토크 보상, 불량 픽셀 수정, 다중 노출 픽셀의 병합 또는 재구성, 디모자익, 노이즈 제거, 이미지 샤프닝, 이미지 안정화, 컬러 공간 변환, 압축 등의 연산 자체는 제1 동작 모드와 제2 동작 모드에서 동일하게 수행하되, 각각의 동작 모드에 따라 입력 이미지 데이터(I_DATA)의 포맷을 지원하기 위한 알고리즘만을 알고리즘 회로(2010, 2020)로부터 제공받을 수 있다.

이에 따라, 본 실시예에 따른 이미지 처리 프로세서(200)는, 포맷 변환을 수행하지 않고 각각의 동작 모드에서 입력 이미지 데이터(I_DATA)를 직접 처리할 수 있어 정보의 손실 및 화질 저하를 회피할 수 있으면서도, 포맷 별로 별도의 이미지 처리 회로를 구성하지 않고 공유 회로를 사용함으로써 그 구현에 있어서 칩 사이즈가 작다는 장점을 갖는다.

도 3은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(3)은 이미지 센서(10), 멀티플렉싱 회로(15), 모드 선택 모듈(30) 및 이미지 처리 프로세서(200)를 포함한다. 여기서 이미지 센서(10), 멀티플렉싱 회로(15), 모드 선택 모듈(30)은 도 1에서 설명한 내용과 실질적으로 동일하므로 중복되는 설명은 생략하도록 한다.

본 실시예에서, 이미지 처리 프로세서(200)는 전처리 모듈(200A) 및 코어 처리 모듈(200B)을 포함한다.

전처리 모듈(200A)은 전처리 공유 로직(2000A), 제1 전처리 알고리즘 로직(2010A) 및 제2 전처리 알고리즘 로직(2020A)을 포함한다. 그리고 코어 처리 모듈(200B)은 코어 공유 로직(2000B), 제1 코어 알고리즘 로직(2010B) 및 제2 코어 알고리즘 로직(2020B)을 포함한다.

한편, 공유 회로(2000)는 전처리 공유 로직(2000A) 및 코어 공유 로직(2000B)을 포함한다. 그리고 제1 알고리즘 회로(2010)는 제1 전처리 알고리즘 로직(2010A) 및 제1 코어 알고리즘 로직(2010B)을 포함하고, 제2 알고리즘 회로(2020)는 제2 전처리 알고리즘 로직(2020A) 및 제2 코어 알고리즘 로직(2020B)을 포함한다.

전처리 공유 로직(2000A)은 제1 동작 모드에서 제1 전처리 알고리즘 로직(2010A)을 이용하고, 제2 동작 모드에서 제2 전처리 알고리즘 로직(2020A)을 이용하여 입력 이미지 데이터(I_DATA)에 대한 전처리를 수행한다. 여기서 전처리는 예를 들어 크로스 토크 보상, 불량 픽셀 수정, 다중 노출 픽셀의 병합 또는 재구성 등의 처리를 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

예를 들어, 이미지 처리 프로세서(200)는, 베이어 포맷 처리 모드에서, 제1 전처리 알고리즘 로직(2010A)에서 제공되는 베이어 포맷용 알고리즘에 기초하여, 전처리 공유 로직(2000A)을 이용하여 베이어 포맷의 입력 이미지 데이터(I_DATA)를 처리하고, 테트라 포맷 처리 모드에서, 제2 전처리 알고리즘 로직(2020A)에서 제공되는 테트라 포맷용 알고리즘에 기초하여, 전처리 공유 로직(2000A)을 이용하여 베이어 포맷의 입력 이미지 데이터(I_DATA)를 처리할 수 있다.

코어 공유 로직(2000B)은 제1 동작 모드에서 제1 코어 알고리즘 로직(2010B)을 이용하고, 제2 동작 모드에서 제2 코어 알고리즘 로직(2020B)을 이용하여 입력 이미지 데이터(I_DATA)에 대한 코어 처리를 수행한다. 여기서 코어 처리는 예를 들어 디모자익 처리를 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

예를 들어, 이미지 처리 프로세서(200)는, 베이어 포맷 처리 모드에서, 제1 코어 알고리즘 로직(2010B)에서 제공되는 베이어 포맷용 알고리즘에 기초하여, 코어 공유 로직(2000B)을 이용하여 베이어 포맷의 입력 이미지 데이터(I_DATA)를 처리하고, 테트라 포맷 처리 모드에서, 제2 코어 알고리즘 로직(2020B)에서 제공되는 테트라 포맷용 알고리즘에 기초하여, 코어 공유 로직(2000B)을 이용하여 베이어 포맷의 입력 이미지 데이터(I_DATA)를 처리할 수 있다.

도 4는 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이고, 도 5 및 도 6은 본 발명의 일 실시예에 따른 이미지 처리 시스템의 동작례를 설명하기 위한 도면이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(4)의 이미지 처리 프로세서(200)는 제1 전처리 서브 모듈(200C), 제2 전처리 서브 모듈(200D), 제3 전처리 서브 모듈(200E) 및 코어 처리 모듈(200B)을 포함할 수 있다. 본 실시예에서는 설명의 편의를 위해 전처리 서브 모듈(200C, 200D, 200E)이 3 개로 도시되었으나, 본 발명이 이에 한정되는 것은 아니다.

제1 전처리 서브 모듈(200C)은 제1 전처리 공유 서브 로직(2000C), 제1 전처리 알고리즘 서브 로직(2010C) 및 제2 전처리 알고리즘 서브 로직(2020C)을 포함한다.

제2 전처리 서브 모듈(200D)은 제2 전처리 공유 서브 로직(2000D), 제3 전처리 알고리즘 서브 로직(2010D) 및 제4 전처리 알고리즘 서브 로직(2020D)을 포함한다.

제3 전처리 서브 모듈(200E)은 제3 전처리 공유 서브 로직(2000E), 제5 전처리 알고리즘 서브 로직(2010E) 및 제6 전처리 알고리즘 서브 로직(2020E)을 포함한다.

그리고 코어 처리 모듈(200B)은 코어 공유 로직(2000B), 제1 코어 알고리즘 로직(2010B) 및 제2 코어 알고리즘 로직(2020B)을 포함한다.

한편, 공유 회로(2000)는 전처리 공유 서브 로직(2000C, 2000D, 2000E) 및 코어 공유 로직(2000B)을 포함한다. 그리고 제1 알고리즘 회로(2010)는 전처리 알고리즘 서브 로직(2010C, 2010D, 2010E) 및 제1 코어 알고리즘 로직(2010B)을 포함하고, 제2 알고리즘 회로(2020)는 전처리 알고리즘 서브 로직(2020C, 2020D, 2020E) 및 제2 코어 알고리즘 로직(2020B)을 포함한다.

제1 전처리 공유 서브 로직(2000C)은 제1 동작 모드에서 제1 전처리 알고리즘 서브 로직(2010C)을 이용하고, 제2 동작 모드에서 제2 전처리 알고리즘 서브 로직(2020C)을 이용하여 입력 이미지 데이터(I_DATA)에 대한 제1 전처리를 수행한다. 여기서 제1 전처리는 예를 들어 크로스 토크 보상의 처리를 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

제2 전처리 공유 서브 로직(2000D)은 제1 동작 모드에서 제3 전처리 알고리즘 서브 로직(2010D)을 이용하고, 제2 동작 모드에서 제4 전처리 알고리즘 서브 로직(2020D)을 이용하여 입력 이미지 데이터(I_DATA)에 대한 제2 전처리를 수행한다. 여기서 제2 전처리는 예를 들어 불량 픽셀 수정의 처리를 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

제3 전처리 공유 서브 로직(2000E)은 제1 동작 모드에서 제5 전처리 알고리즘 서브 로직(2010E)을 이용하고, 제2 동작 모드에서 제6 전처리 알고리즘 서브 로직(2020E)을 이용하여 입력 이미지 데이터(I_DATA)에 대한 제3 전처리를 수행한다. 여기서 제3 전처리는 예를 들어 다중 노출 픽셀의 병합 또는 재구성의 처리를 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.

이어서 도 5를 참조하면, 베이어 포맷 처리 모드에서, 이미지 처리 프로세서(200)는, 제1 전처리 알고리즘 서브 로직(2010C)에서 제공되는 베이어 포맷용 알고리즘에 기초하여, 제1 전처리 공유 서브 로직(2000C)을 이용하여 베이어 포맷의 입력 이미지 데이터(I_DATA)에 대해 크로스 토크 보상의 제1 전처리를 수행할 수 있다. 그 결과 이미지 데이터(R1)가 생성될 수 있다.

그리고 이미지 처리 프로세서(200)는, 제3 전처리 알고리즘 서브 로직(2010D)에서 제공되는 베이어 포맷용 알고리즘에 기초하여, 제2 전처리 공유 서브 로직(2000D)을 이용하여, 제1 전처리가 완료된 베이어 포맷의 입력 이미지 데이터(I_DATA)에 대해 불량 픽셀 수정의 제2 전처리를 수행할 수 있다. 그 결과 이미지 데이터(R2)가 생성될 수 있다.

그리고 이미지 처리 프로세서(200)는, 제5 전처리 알고리즘 서브 로직(2010E)에서 제공되는 베이어 포맷용 알고리즘에 기초하여, 제3 전처리 공유 서브 로직(2000E)을 이용하여, 제2 전처리가 완료된 베이어 포맷의 입력 이미지 데이터(I_DATA)에 대해 다중 노출 픽셀의 병합 또는 재구성의 제3 전처리를 수행할 수 있다. 그 결과 이미지 데이터(R3)가 생성될 수 있다.

그리고 이미지 처리 프로세서(200)는, 제1 코어 알고리즘 로직(2010B)에서 제공되는 베이어 포맷용 알고리즘에 기초하여, 코어 공유 로직(2000B)을 이용하여 제1 내지 제3 전처리가 완료된 베이어 포맷의 입력 이미지 데이터(I_DATA)에 대해 디모자익의 코어 처리를 수행할 수 있다. 그 결과 이미지 데이터(R4)가 생성될 수 있다.

이어서 도 6을 참조하면, 테트라 포맷 처리 모드에서, 이미지 처리 프로세서(200)는, 제2 전처리 알고리즘 서브 로직(2020C)에서 제공되는 테트라 포맷용 알고리즘에 기초하여, 제1 전처리 공유 서브 로직(2000C)을 이용하여 테트라 포맷의 입력 이미지 데이터(I_DATA)에 대해 크로스 토크 보상의 제1 전처리를 수행할 수 있다. 그 결과 이미지 데이터(R1)가 생성될 수 있다.

그리고 이미지 처리 프로세서(200)는, 제4 전처리 알고리즘 서브 로직(2020D)에서 제공되는 테트라 포맷용 알고리즘에 기초하여, 제2 전처리 공유 서브 로직(2000D)을 이용하여, 제1 전처리가 완료된 테트라 포맷의 입력 이미지 데이터(I_DATA)에 대해 불량 픽셀 수정의 제2 전처리를 수행할 수 있다. 그 결과 이미지 데이터(R2)가 생성될 수 있다.

그리고 이미지 처리 프로세서(200)는, 제6 전처리 알고리즘 서브 로직(2020E)에서 제공되는 테트라 포맷용 알고리즘에 기초하여, 제3 전처리 공유 서브 로직(2000E)을 이용하여, 제2 전처리가 완료된 테트라 포맷의 입력 이미지 데이터(I_DATA)에 대해 다중 노출 픽셀의 병합 또는 재구성의 제3 전처리를 수행할 수 있다. 그 결과 이미지 데이터(R3)가 생성될 수 있다.

그리고 이미지 처리 프로세서(200)는, 제2 코어 알고리즘 로직(2020B)에서 제공되는 테트라 포맷용 알고리즘에 기초하여, 코어 공유 로직(2000B)을 이용하여 제1 내지 제3 전처리가 완료된 테트라 포맷의 입력 이미지 데이터(I_DATA)에 대해 디모자익의 코어 처리를 수행할 수 있다. 그 결과 이미지 데이터(R4)가 생성될 수 있다.

도 7은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(5)은 도 1의 실시예에 따른 이미지 처리 시스템(1)과 달리 멀티플렉싱 회로(15) 및 모드 선택 모듈(30)이 SoC(20) 내에 구현되어 있다.

즉, SoC(20)는 이미지 처리 프로세서(200), 카메라 인터페이스(210), 프로세서(220), 버퍼(230) 외에 멀티플렉싱 회로(15) 및 모드 선택 모듈(30)을 더 포함하며, SoC(20)는 이미지 처리 프로세서(200), 카메라 인터페이스(210), 프로세서(220), 버퍼(230), 멀티플렉싱 회로(15) 및 모드 선택 모듈(30)은 내부 버스(290)를 통해 서로 데이터를 주고 받을 수 있다.

특히, 모드 선택 모듈(30)이 멀티플렉싱 회로(15)를 제어하기 위해 출력하는 선택 신호(SEL)는 SoC(20)의 내부 버스(290)를 통해 멀티플렉싱 회로(15)에 전달될 수 있다.

그러나 본 실시예는 오로지 본 발명의 다양한 실시예의 일 구현례에 불과하며, 멀티플렉싱 회로(15) 및 모드 선택 모듈(30)은 도 1에서와 같이 SoC(20) 외부에 구현될 수도 있고, 도 7의 본 실시예에서와 같이 SoC(20) 내부에 구현될 수도 있고, 이와 달리 멀티플렉싱 회로(15) 및 모드 선택 모듈(30) 중 어느 하나만 SoC(20) 내부에 구현되고 다른 하나는 SoC(20) 외부에 구현될 수도 있다.

도 8은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(6)은 도 1의 실시예에 따른 이미지 처리 시스템(1)과 달리 모드 결정 모듈(40)을 더 포함한다. 설명의 편의를 위해 본 실시예에서는 모드 결정 모듈(40)이 SoC(20) 외부에 구현된 것으로 도시하였으나, 본 발명의 범위가 이에 제한되지 않고, 모드 결정 모듈(40)은 SoC(20) 내부에 구현될 수도 있다.

모드 결정 모듈(40)은 이미지 센서(10)로부터 제공되는 정보에 기초하여 촬영 환경을 검출하고, 이미지 처리 프로세서(200)의 동작 모드를 제1 동작 모드 및 제2 동작 모드 중 하나로 결정할 수 있다.

구체적으로, 이미지 센서(10)는 촬영 환경에 대한 정보를 수집할 수 있다. 예를 들어, 이미지 센서(10)는 촬영 환경의 광량을 센싱한 데이터를 수집할 수 있다.

이 경우, 모드 결정 모듈(40)은 이미지 센서(10)가 수집한 광량 정보에 기초하여, 광량이 충분한 경우 동작 모드를 베이어 포맷 처리 모드로 결정할 수 있고, 이와 다르게 광량이 불충분한 경우 동작 모드를 테트라 포맷 처리 모드로 결정할 수 있다. 일 구현례로, 모드 결정 모듈(40)은 미리 결정된 문턱값(threshold)과 이미지 센서(10)로부터 제공받은 광량 정보의 데이터 값을 비교하여 광량이 충분한지 불충분한지 여부를 결정할 수 있고, 이에 따라 동작 모드를 결정할 수 있다.

본 실시예에서는 이미지 센서(10)로부터 제공되는 정보를 광량 정보로 설명하였으나, 본 발명의 범위는 이에 제한되지 않고, 이미지 센서(10)로부터 제공되는 정보는 촬영 환경을 인지할 수 있도록 하는 임의의 종류의 센싱 데이터를 포함할 수 있다.

모드 결정 모듈(40)은 이미지 처리 시스템(6)의 동작 중, 그 동작 모드를 제1 동작 모드와 제2 동작 모드 사이에서 변경할 수도 있다. 예를 들어, 촬영 환경이 주간 실외에서 야간 실내로 전환된 경우, 모드 결정 모듈(40)은 이미지 처리 시스템(6)의 동작 중에 그 동작 모드를 제1 동작 모드에서 제2 동작 모드로 동적으로 변경할 수도 있다.

이에 따라, 본 실시예에 따른 이미지 처리 프로세서(200)는, 포맷 변환을 수행하지 않고 각각의 동작 모드에서 입력 이미지 데이터(I_DATA)를 직접 처리할 수 있어 정보의 손실 및 화질 저하를 회피할 수 있으면서도, 포맷 별로 별도의 이미지 처리 회로를 구성하지 않고 공유 회로를 사용함으로써 그 구현에 있어서 칩 사이즈가 작다는 장점을 갖는다. 나아가 동작 모드가 변경되는 경우에 발생할 수 있는 딜레이(delay)도 최소화할 수 있다.

도 9는 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.

도 9을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(7)은 도 1의 실시예에 따른 이미지 처리 시스템(1)과 달리 모드 결정 모듈(40) 및 조도 센서(50)를 더 포함한다. 설명의 편의를 위해 본 실시예에서는 모드 결정 모듈(40)이 SoC(20) 외부에 구현된 것으로 도시하였으나, 본 발명의 범위가 이에 제한되지 않고, 모드 결정 모듈(40)은 SoC(20) 내부에 구현될 수도 있다.

모드 결정 모듈(40)은 조도 센서(50)로부터 제공되는 정보에 기초하여 촬영 환경을 검출하고, 이미지 처리 프로세서(200)의 동작 모드를 제1 동작 모드 및 제2 동작 모드 중 하나로 결정할 수 있다.

구체적으로, 조도 센서(50)는 촬영 환경의 광량을 센싱한 데이터를 수집할 수 있다.

이 경우, 모드 결정 모듈(40)은 조도 센서(50)가 수집한 광량 정보에 기초하여, 광량이 충분한 경우 동작 모드를 베이어 포맷 처리 모드로 결정할 수 있고, 이와 다르게 광량이 불충분한 경우 동작 모드를 테트라 포맷 처리 모드로 결정할 수 있다. 일 구현례로, 모드 결정 모듈(40)은 미리 결정된 문턱값과 조도 센서(50)로부터 제공받은 광량 정보의 데이터 값을 비교하여 광량이 충분한지 불충분한지 여부를 결정할 수 있고, 이에 따라 동작 모드를 결정할 수 있다.

모드 결정 모듈(40)은 이미지 처리 시스템(7)의 동작 중, 그 동작 모드를 제1 동작 모드와 제2 동작 모드 사이에서 변경할 수도 있다. 예를 들어, 촬영 환경이 주간 실외에서 야간 실내로 전환된 경우, 모드 결정 모듈(40)은 이미지 처리 시스템(6)의 동작 중에 그 동작 모드를 제1 동작 모드에서 제2 동작 모드로 동적으로 변경할 수도 있다.

이에 따라, 본 실시예에 따른 이미지 처리 프로세서(200)는, 포맷 변환을 수행하지 않고 각각의 동작 모드에서 입력 이미지 데이터(I_DATA)를 직접 처리할 수 있어 정보의 손실 및 화질 저하를 회피할 수 있으면서도, 포맷 별로 별도의 이미지 처리 회로를 구성하지 않고 공유 회로를 사용함으로써 그 구현에 있어서 칩 사이즈가 작다는 장점을 갖는다. 나아가 동작 모드가 변경되는 경우에 발생할 수 있는 딜레이도 최소화할 수 있다.

도 10은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 설명하기 위한 도면이다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(8)은 이제까지 설명한 이미지 센서(10), SoC(20), 모드 선택 모듈(30), 모드 결정 모듈(40), 조도 센서(50), 메모리(60), 스토리지(70) 및 디스플레이(80)를 포함하는 컴퓨팅 장치로 구현될 수 있다. 이미지 센서(10), SoC(20), 모드 선택 모듈(30), 모드 결정 모듈(40), 조도 센서(50), 메모리(60), 스토리지(70) 및 디스플레이(80)는 버스(90)를 통해 데이터를 서로 주고 받을 수 있다.

도 11은 본 발명의 일 실시예에 따른 이미지 처리 프로세서의 동작 방법을 설명하기 위한 순서도이다.

도 11을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 프로세서의 동작 방법은, 미리 정해진 동작 모드 신호(MODE)를 리드(read)하여 입력 이미지 데이터(I_DATA)를 처리하기 위한 동작 모드를 설정(S1101)하는 것을 포함한다.

그리고 상기 방법은, 동작 모드가 제2 동작 모드(저조도 모드)인지 여부를 판단(S1103)하는 것을 포함한다.

동작 모드가 제2 동작 모드(저조도 모드)가 아닌 경우, 즉 동작 모드가 제1 동작 모드(일반 모드)인 경우(S1103, N), 상기 방법은 이미지 센서(10)로부터 제공되는 제1 포맷 이미지 데이터(B_DATA)를 입력 이미지 데이터(I_DATA)로 선택(S1105)하는 것을 포함한다.

또한 상기 방법은, 제1 전처리 알고리즘 로직(2010A)에서 제공되는 제1 포맷(베이어 포맷)용 알고리즘에 기초하여, 전처리 공유 로직(2000A)을 이용하여 제1 포맷의 입력 이미지 데이터(I_DATA)를 전처리(S1107)하는 것을 포함한다.

또한 상기 방법은, 제1 코어 알고리즘 로직(2010B)에서 제공되는 제1 포맷용 알고리즘에 기초하여, 코어 공유 로직(2000B)을 이용하여, 전처리가 완료된 제1 포맷의 입력 이미지 데이터(I_DATA)를 코어 처리(S1109)하는 것을 포함한다.

동작 모드가 제2 동작 모드(저조도 모드)인 경우(S1103, Y), 상기 방법은 이미지 센서(10)로부터 제공되는 제2 포맷 이미지 데이터(T_DATA)를 입력 이미지 데이터(I_DATA)로 선택(S1113)하는 것을 포함한다.

또한 상기 방법은, 제2 전처리 알고리즘 로직(2020A)에서 제공되는 제2 포맷(테트라 포맷)용 알고리즘에 기초하여, 전처리 공유 로직(2000A)을 이용하여 제2 포맷의 입력 이미지 데이터(I_DATA)를 전처리(S1115)하는 것을 포함한다.

또한 상기 방법은, 제2 코어 알고리즘 로직(2020B)에서 제공되는 제2 포맷용 알고리즘에 기초하여, 코어 공유 로직(2000B)을 이용하여, 전처리가 완료된 제2 포맷의 입력 이미지 데이터(I_DATA)를 코어 처리(S1117)하는 것을 포함한다.

또한 상기 방법은, 코어 처리까지 완료된 이미지를 출력(S1111)하는 것을 포함한다.

도 12는 본 발명의 일 실시예에 따른 이미지 처리 프로세서의 동작 방법을 설명하기 위한 순서도이다.

도 12를 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 프로세서의 동작 방법은, 이미지 센서(10) 또는 조도 센서(50)로부터 제공되는 정보에 기초하여 입력 이미지 데이터(I_DATA)를 처리하기 위한 동작 모드를 결정(S1201)하는 것을 포함한다.

그리고 상기 방법은, 동작 모드가 제2 동작 모드(저조도 모드)인지 여부를 판단(S1203)하는 것을 포함한다.

동작 모드가 제2 동작 모드(저조도 모드)가 아닌 경우, 즉 동작 모드가 제1 동작 모드(일반 모드)인 경우(S1203, N), 상기 방법은 이미지 센서(10)로부터 제공되는 제1 포맷 이미지 데이터(B_DATA)를 입력 이미지 데이터(I_DATA)로 선택(S1205)하는 것을 포함한다.

또한 상기 방법은, 제1 전처리 알고리즘 로직(2010A)에서 제공되는 제1 포맷(베이어 포맷)용 알고리즘에 기초하여, 전처리 공유 로직(2000A)을 이용하여 제1 포맷의 입력 이미지 데이터(I_DATA)를 전처리(S1207)하는 것을 포함한다.

또한 상기 방법은, 제1 코어 알고리즘 로직(2010B)에서 제공되는 제1 포맷용 알고리즘에 기초하여, 코어 공유 로직(2000B)을 이용하여, 전처리가 완료된 제1 포맷의 입력 이미지 데이터(I_DATA)를 코어 처리(S1209)하는 것을 포함한다.

동작 모드가 제2 동작 모드(저조도 모드)인 경우(S1203, Y), 상기 방법은 이미지 센서(10)로부터 제공되는 제2 포맷 이미지 데이터(T_DATA)를 입력 이미지 데이터(I_DATA)로 선택(S1213)하는 것을 포함한다.

또한 상기 방법은, 제2 전처리 알고리즘 로직(2020A)에서 제공되는 제2 포맷(테트라 포맷)용 알고리즘에 기초하여, 전처리 공유 로직(2000A)을 이용하여 제2 포맷의 입력 이미지 데이터(I_DATA)를 전처리(S1215)하는 것을 포함한다.

또한 상기 방법은, 제2 코어 알고리즘 로직(2020B)에서 제공되는 제2 포맷용 알고리즘에 기초하여, 코어 공유 로직(2000B)을 이용하여, 전처리가 완료된 제2 포맷의 입력 이미지 데이터(I_DATA)를 코어 처리(S1217)하는 것을 포함한다.

또한 상기 방법은, 코어 처리까지 완료된 이미지를 출력(S1211)하는 것을 포함한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

1, 2, 3, 4, 5, 6, 7, 8: 이미지 처리 시스템
10: 이미지 센서 15: 멀티플렉싱 회로
20: SoC 200: 이미지 처리 프로세서
200A: 전처리 모듈 200B: 코어 처리 모듈
200C, 200D, 200E: 전처리 서브 모듈
2000: 공유 회로 2000A: 전처리 공유 로직
2000B: 코어 공유 로직 2000C, 2000D, 2000E: 전처리 공유 서브 로직
2010, 2020: 알고리즘 회로 2010A, 2020A: 전처리 알고리즘 로직
2010B, 2020B: 코어 알고리즘 로직
2010C, 2020C, 2010D, 2020D, 2010E, 2020E: 전처리 알고리즘 서브 로직
210: 카메라 인터페이스 220: 프로세서
230: 버퍼 290: 내부 버스
30: 모드 선택 모듈 40: 모드 결정 모듈
50: 조도 센서 60: 메모리
70: 스토리지 80: 디스플레이
90: 버스

Claims

입력 이미지 데이터를 처리하고, 코어 공유 로직을 포함하는 공유 회로;
제1 촬영 환경에서 상기 공유 회로가 제1 동작 모드로 상기 입력 이미지 데이터를 처리하기 위해 사용하는 제1 알고리즘 회로; 및
상기 제1 촬영 환경과 다른 제2 촬영 환경에서 상기 공유 회로가 상기 제1 동작 모드와 다른 제2 동작 모드로 상기 입력 이미지 데이터를 처리하기 위해 사용하고, 상기 제1 알고리즘 회로와 다른 제2 알고리즘 회로를 포함하고,
상기 코어 공유 로직은, 상기 제1 동작 모드에서 제1 코어 알고리즘 로직을 이용하여 상기 입력 이미지 데이터에 대한 코어 처리를 수행하고, 상기 제2 동작 모드에서 제2 코어 알고리즘 로직을 이용하여 상기 입력 이미지 데이터에 대한 코어 처리를 수행하고,
상기 입력 이미지 데이터는 상기 제1 동작 모드와 상기 제2 동작 모드에서 서로 다른 포맷을 갖는 이미지 처리 프로세서.
제1항에 있어서,
상기 제1 촬영 환경은 일반 환경이고, 상기 제1 동작 모드는 베이어 포맷 처리 모드인 이미지 처리 프로세서.
제1항에 있어서,
상기 제2 촬영 환경은 저조도 환경이고, 상기 제1 동작 모드는 테트라 포맷 처리 모드인 이미지 처리 프로세서.
제1항에 있어서,
상기 제1 동작 모드에서 이미지 센서로부터 제공되는 제1 포맷 이미지 데이터를 상기 입력 이미지 데이터로 선택하고,
상기 제2 동작 모드에서 상기 이미지 센서로부터 제공되는 제2 포맷 이미지 데이터를 상기 입력 이미지 데이터로 선택하는 모드 선택 모듈을 더 포함하는 이미지 처리 프로세서.
제4항에 있어서,
상기 제1 포맷 이미지 데이터는 베이어 포맷 이미지 데이터인 이미지 처리 프로세서.
제4항에 있어서,
상기 제2 포맷 이미지 데이터는 테트라 포맷 이미지 데이터인 이미지 처리 프로세서.
제1항에 있어서,
상기 공유 회로는 전처리 공유 로직을 더 포함하고,
상기 전처리 공유 로직은 상기 제1 동작 모드에서 제1 전처리 알고리즘 로직을 이용하고, 상기 제2 동작 모드에서 제2 전처리 알고리즘 로직을 이용하여 상기 입력 이미지 데이터에 대한 전처리를 수행하는 이미지 처리 프로세서.
제7항에 있어서,
상기 전처리 공유 로직, 상기 제1 전처리 알고리즘 로직 및 상기 제2 전처리 알고리즘 로직은 전처리 모듈에 포함되고,
상기 코어 공유 로직, 상기 제1 코어 알고리즘 로직 및 상기 제2 코어 알고리즘 로직은 코어 처리 모듈에 포함되는 이미지 처리 프로세서.
입력 이미지 데이터를 처리하고, 코어 공유 로직을 포함하는 공유 회로와,
촬영 환경에 따라 서로 다른 동작 모드로 상기 입력 이미지 데이터를 처리하기 위해 사용되는 알고리즘을 제공하는 복수의 알고리즘 회로를 포함하는 이미지 처리 프로세서; 및
이미지 센서 또는 조도 센서로부터 제공되는 정보에 기초하여 상기 촬영 환경을 검출하고, 상기 이미지 처리 프로세서의 상기 동작 모드를 결정하는 모드 결정 모듈을 포함하고,
상기 복수의 알고리즘 회로는, 제1 촬영 환경에서 상기 공유 회로가 제1 동작 모드로 상기 입력 이미지 데이터를 처리하기 위해 사용하는 제1 알고리즘 회로, 및 상기 제1 촬영 환경과 다른 제2 촬영 환경에서 상기 공유 회로가 상기 제1 동작 모드와 다른 제2 동작 모드로 상기 입력 이미지 데이터를 처리하기 위해 사용하고, 상기 제1 알고리즘 회로와 다른 제2 알고리즘 회로를 포함하고,
상기 코어 공유 로직은, 제1 동작 모드에서 제1 코어 알고리즘 로직을 이용하여 상기 입력 이미지 데이터에 대한 코어 처리를 수행하고, 제2 동작 모드에서 제2 코어 알고리즘 로직을 이용하여 상기 입력 이미지 데이터에 대한 코어 처리를 수행하고,
상기 입력 이미지 데이터는 상기 제1 동작 모드와 상기 제2 동작 모드에서 서로 다른 포맷을 갖는 이미지 처리 시스템.
제9항에 있어서,
상기 결정된 동작 모드에 따라, 상기 이미지 센서로부터 제공되는 제1 포맷 이미지 데이터 및 제2 포맷 이미지 데이터 중 어느 하나를 상기 입력 이미지 데이터로 선택하는 모드 선택 모듈을 더 포함하는 이미지 처리 시스템.
제10항에 있어서,
상기 제1 포맷 이미지 데이터는 베이어 포맷 이미지 데이터인 이미지 처리 시스템.
제10항에 있어서,
상기 제2 포맷 이미지 데이터는 테트라 포맷 이미지 데이터인 이미지 처리 시스템.
삭제
제9항에 있어서,
상기 제1 촬영 환경은 일반 환경이고, 상기 제1 동작 모드는 베이어 포맷 처리 모드인 이미지 처리 시스템.
제9항에 있어서,
상기 제2 촬영 환경은 저조도 환경이고, 상기 제1 동작 모드는 테트라 포맷 처리 모드인 이미지 처리 시스템.
제9항에 있어서,
상기 공유 회로는 전처리 공유 로직을 더 포함하고,
상기 전처리 공유 로직은 상기 제1 동작 모드에서 제1 전처리 알고리즘 로직을 이용하고, 상기 제2 동작 모드에서 제2 전처리 알고리즘 로직을 이용하여 상기 입력 이미지 데이터에 대한 전처리를 수행하는 이미지 처리 시스템.
제16항에 있어서,
상기 전처리 공유 로직, 상기 제1 전처리 알고리즘 로직 및 상기 제2 전처리 알고리즘 로직은 전처리 모듈에 포함되고,
상기 코어 공유 로직, 상기 제1 코어 알고리즘 로직 및 상기 제2 코어 알고리즘 로직은 코어 처리 모듈에 포함되는 이미지 처리 시스템.
입력 이미지 데이터를 처리하기 위한 동작 모드를 설정하고,
상기 동작 모드가 제1 동작 모드인 경우 이미지 센서로부터 제공되는 제1 포맷 이미지 데이터를 상기 입력 이미지 데이터로 선택하고,
상기 동작 모드가 상기 제1 동작 모드와 다른 제2 동작 모드인 경우 상기 이미지 센서로부터 제공되는 상기 제1 포맷 이미지 데이터와 다른 제2 포맷 이미지 데이터를 상기 입력 이미지 데이터로 선택하고,
상기 동작 모드가 상기 제1 동작 모드인 경우 제1 알고리즘 회로를 이용하여 상기 입력 이미지 데이터를 처리하고,
상기 동작 모드가 상기 제2 동작 모드인 경우 상기 제1 알고리즘 회로와 다른 제2 알고리즘 회로를 이용하여 상기 입력 이미지 데이터를 처리하는 것을 포함하고,
상기 동작 모드가 상기 제1 동작 모드인 경우 제1 알고리즘 회로를 이용하여 상기 입력 이미지 데이터를 처리하는 것은, 제1 코어 알고리즘 로직을 이용하여 상기 입력 이미지 데이터에 대한 코어 처리를 수행하는 것을 포함하고,
상기 동작 모드가 상기 제2 동작 모드인 경우 제2 알고리즘 회로를 이용하여 상기 입력 이미지 데이터를 처리하는 것은, 제2 코어 알고리즘 로직을 이용하여 상기 입력 이미지 데이터에 대한 코어 처리를 수행하는 것을 포함하는 이미지 처리 프로세서의 동작 방법.
제18항에 있어서,
상기 제1 동작 모드인 경우 제1 알고리즘 회로를 이용하여 상기 입력 이미지 데이터를 처리하는 것은,
제1 전처리 알고리즘 로직을 이용하여 상기 입력 이미지 데이터에 대한 전처리를 수행하는 것을 더 포함하는 이미지 처리 프로세서의 동작 방법.
제19항에 있어서,
상기 제1 전처리 알고리즘 로직은 제1 전처리 알고리즘 서브 로직 및 제2 전처리 알고리즘 서브 로직을 포함하고,
상기 제1 전처리 알고리즘 로직을 이용하여 상기 입력 이미지 데이터에 대한 전처리를 수행하는 것은,
상기 제1 전처리 알고리즘 서브 로직을 이용하여 상기 입력 이미지 데이터에 대한 전처리를 1차로 수행하고,
상기 제2 전처리 알고리즘 서브 로직을 이용하여 상기 입력 이미지 데이터에 대한 전처리를 2차로 수행하는 것을 포함하는 이미지 처리 프로세서의 동작 방법.