KR102632568B1 - Npu를 이용한 이미지 처리장치 - Google Patents
Npu를 이용한 이미지 처리장치 Download PDFInfo
- Publication number
- KR102632568B1 KR102632568B1 KR1020230111456A KR20230111456A KR102632568B1 KR 102632568 B1 KR102632568 B1 KR 102632568B1 KR 1020230111456 A KR1020230111456 A KR 1020230111456A KR 20230111456 A KR20230111456 A KR 20230111456A KR 102632568 B1 KR102632568 B1 KR 102632568B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- deep learning
- unit
- color
- npu
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 113
- 230000001537 neural effect Effects 0.000 title claims description 3
- 238000013135 deep learning Methods 0.000 claims abstract description 92
- 238000012937 correction Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000013136 deep learning model Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 75
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000003705 background correction Methods 0.000 claims description 22
- 238000013473 artificial intelligence Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000003252 repetitive effect Effects 0.000 claims description 9
- 241000023320 Luma <angiosperm> Species 0.000 claims description 5
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 2
- 230000010485 coping Effects 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 55
- 238000010586 diagram Methods 0.000 description 14
- 210000002569 neuron Anatomy 0.000 description 11
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Neurology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
본 발명은 NPU를 이용한 이미지 처리장치에 관한 것으로서, 본 발명에 따른 NPU를 이용한 이미지 처리장치는, 이미지 센서; 및 상기 이미지 센서를 통하여 획득한 원시 이미지에 대한 화질 보정을 하드웨어 프로세싱 블록과 딥러닝을 이용해 수행하는 이미지 화질 보정 AI모듈;을 구비하고, 상기 이미지 화질 보정 AI모듈은, 상기 이미지센서를 통하여 획득한 원시 이미지를 구성하는 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성하기 위한 복수의 하드웨어 프로세싱 블록으로 이루어진 전처리 프로세서; 및 상기 전처리 프로세서에서 생성된 RGB 포맷의 이미지 데이터가 입력되면 딥러닝 모델을 이용해 화질 보정을 구현하는 이미지 처리용 NPU 프로세서 모듈;을 포함할 수 있다.
따라서, 본 발명은, 이미지 센서에서 획득한 아날로그 신호를 처리하여 디지털 데이터로 변환시키는 ISP 알고리즘의 특정 파이프 라인을 딥러닝 학습모델로 대처함으로써 이미지 신호 처리에 필요한 하드웨어 자원을 감소시킴과 동시에 ISP 알고리즘의 특정 파이프 라인에 필요한 실시간 성능을 만족시킬 수 있는 NPU를 이용한 이미지 처리 장치 및 이미지 처리 방법을 제공하는 효과가 있다.
따라서, 본 발명은, 이미지 센서에서 획득한 아날로그 신호를 처리하여 디지털 데이터로 변환시키는 ISP 알고리즘의 특정 파이프 라인을 딥러닝 학습모델로 대처함으로써 이미지 신호 처리에 필요한 하드웨어 자원을 감소시킴과 동시에 ISP 알고리즘의 특정 파이프 라인에 필요한 실시간 성능을 만족시킬 수 있는 NPU를 이용한 이미지 처리 장치 및 이미지 처리 방법을 제공하는 효과가 있다.
Description
본 발명은 이미지 신호를 처리하는 장치에 관한 것으로서, 더욱 상세하게는, 이미지 센서에서 획득한 아날로그 신호를 처리하여 디지털 데이터로 변환시키는 ISP 알고리즘의 특정 파이프 라인을 딥러닝 학습모델로 대처함으로써 이미지 신호 처리에 필요한 하드웨어 자원을 감소시킴과 동시에 ISP 알고리즘의 특정 파이프 라인에 필요한 실시간 성능을 만족시킬 수 있는 NPU를 이용한 이미지 처리 장치에 관한 것이다.
IT기술이 고도로 발전하면서 일상에서 널리 사용되는 카메라는 전통적인 필름 방식의 카메라가 아닌 화상을 촬영하여 전기적 신호로 변환하는 이미지 센서를 필요로 하는 디지털 카메라가 대세를 이루고 있다.
이러한 디지털 카메라는 휴대전화용 카메라와 휴대용 캠코더와 같은 일반 소비자들이 사용하는 가정용 전자제품 뿐만 아니라 자동차, 보안장치, 및 로봇등과 같이 산업용 전자기기에도 널리 사용되고 있다.
상술한 바와 같이, 상기 디지털 카메라는 이미지 센서를 이용하여 빛을 전기적 신호로 전환하여 이미지(데이터)를 생성하고, 이후 다양한 보정 기능을 가진 다수의 하드웨어 프로세싱 블럭으로 파이프 라인을 구축한 이미지 처리 장치(Image Signal Processor; ISP)가 생성된 이미지를 보정할 수 있다.
도 1은 종래기술에 따른 이미지 처리장치를 개략적으로 나타내기 위한 블럭도이고, 도 2는 종래기술에 따른 이미지 처리장치의 파이프 라인을 구성하는 하드웨어 프로세싱 블럭을 개략적으로 나타내는 블럭도이다.
도면에 도시된 상기 이미지 처리 장치를 통해 보정된 이미지는 최초 이미지 센서를 통해 생성된 원시이미지에서 인간이 실제로 인식할 수 있는 이미지로 보정 될 수 있다.
그러나, 기존의 이미지 처리 장치는, 다양한 형태로 사용되는 디지털 카메라가 동일한 이미지 센서를 사용하더라도 특징에 따라 다수의 하드웨어 프로세싱 블럭이 기능별로 다르게 튜닝되야 하기 때문에 추가적인 기능을 구현할 경우에 수많은 하드웨어 개발 리소스가 요구되는 문제점이 있었다.
뿐만 아니라, 종래기술에 따른 이미지 처리 장치는, 이미지 처리 장치를 구성하는 파이프 라인 중 특정 부분의 실시간 성능을 만족시키기 위하여 추가로 개발할 경우에 하드웨어를 기반으로 구현되기 때문에 추가 기능 구현 및 성능향상을 위해 높은 하드웨어 개발 리소스를 추가로 요구하는 문제점이 있었다.
게다가, 하드웨어 개발 이후에도 이미치 처리 장치와 대응되는 이미지 센서의 특성에 따라 튜닝이 필요할 경우에 일일이 수동으로 직접 실행하여 확인함으로써 개발 인력 외에 추가 튜닝 인력을 필요로 하는 문제점이 있었다.
한편, 최근 들어 인공지능(Artificial Intelligence: AI)에 관한 기술이 발전하면서 이를 이용하고자 하는 노력이 증가하고 있다.
인간은 인식(Recognition), 분류(Classification), 추론(Inference), 예측(Predict), 조작/의사결정(Control/Decision making) 등을 할 수 있는 지능을 갖추고 있다. 앞서 상술한 인공지능은 이와 같이 인간의 지능을 인공적으로 모방하는 것을 의미한다.
인간의 뇌는 뉴런(Neuron)이라는 수많은 신경세포로 이루어져 있다. 각각의 뉴런은 시냅스(Synapse)라고 불리는 연결부위를 통해 수백에서 수천 개의 다른 뉴런들과 연결되어 있다. 인간의 지능을 모방하기 위하여, 생물학적 뉴런의 동작원리와 뉴런 간의 연결 관계를 모델링한 것을, 인공신경망(Artificial Neural Network, ANN) 모델이 라고 한다. 즉, 인공 신경망은 뉴런들을 모방한 노드들을 레이어(Layer: 계층) 구조로 연결시킨 시스템이다.
이러한 인공신경망 모델은 레이어 수에 따라 '단층 신경망'과 '다층 신경망'으로 구분한다. 일반적인 다층신경망은 입력 레이어와 은닉 레이어, 출력 레이어로 구성된다. (1)입력 레이어(input layer)는 외부의 자료들을 받아들이는 레이어로서, 입력 레이어의 뉴런 수는 입력되는 변수의 수와 동일하다. (2)은닉 레이어(hiddenlayer)은 입력 레이어와 출력 레이어 사이에 위치하며 입력 레이어로부터 신호를 받아 특성을 추출하여 출력층으로 전달한다. (3)출력 레이어(output layer)는 은닉 레이어로부터 신호를 받아 외부로 출력한다. 뉴런 간의 입력신호는 0에서 1 사이의 값을 갖는 각각의 연결강도와 곱해진 후 합산되며 이 합이 뉴런의 임계치보다 크면 뉴런이 활성화되어 활성화 함수를 통하여 출력 값으로 구현된다.
이때, 보다 높은 인공 지능을 구현하기 위하여, 인공 신경망의 은닉 레이어의 개수를 늘린 것을 심층 신경망(Deep Neural Network, DNN)이라고 하며, 이를 학습하는 방법을 딥러닝(Deep Learning)이라고 한다.
따라서, 이미지 처리 장치에 딥러닝과 같은 인공지능 기술을 결합하여 하드웨어 리소스 개발을 추가로 하지 않더라도 성능을 개선시킬 수 있는 현실적이고도 적용이 가능한 기술이 절실한 실정이다.
본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은, 이미지 센서에서 획득한 아날로그 신호를 처리하여 디지털 데이터로 변환시키는 ISP 알고리즘의 특정 파이프 라인을 딥러닝 학습모델로 대처함으로써 이미지 신호 처리에 필요한 하드웨어 자원을 감소시킴과 동시에 ISP 알고리즘의 특정 파이프 라인에 필요한 실시간 성능을 만족시킬 수 있는 NPU를 이용한 이미지 처리 장치를 제공하는데 목적이 있다.
본 발명의 실시예에 따른 NPU를 이용한 이미지 처리장치는, 이미지 센서; 및상기 이미지 센서를 통하여 획득한 원시 이미지에 대한 화질 보정을 하드웨어 프로세싱 블록과 딥러닝을 이용해 수행하는 이미지 화질 보정 AI모듈;을 구비하고, 상기 이미지 화질 보정 AI모듈은, 상기 이미지센서를 통하여 획득한 원시 이미지를 구성하는 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성하기 위한 복수의 하드웨어 프로세싱 블록으로 이루어진 전처리 프로세서; 및 상기 전처리 프로세서에서 생성된 RGB 포맷의 이미지 데이터가 입력되면 딥러닝 모델을 이용해 화질 보정을 구현하는 이미지 처리용 NPU 프로세서 모듈;을 포함할 수 있다.
또한, 상기 이미지 처리용 NPU프로세서 모듈은, 상기 전처리 프로세서에서 생성된 RGB 포맷의 이미지 데이터를 YUV 포맷의 이미지 데이터로 변환하여 출력할 수 있다.
또한, 상기 이미지 처리용 NPU프로세서 모듈은, RGB 포맷의 이미지 데이터에 대한 화질 보정을 딥러닝으로 구현하는 제 1 딥러닝 처리유닛; 상기 RGB 포맷의 이미지 데이터를 YUV 포맷의 이미지 데이터로 변환하는 컬러 공간 변환부; 및 상기 YUV 포맷의 이미지 데이터에 대한 화질 보정을 딥러닝으로 구현하는 제 2 딥러닝 처리유닛;을 구비할 수 있다.
또한, 상기 제 1 딥러닝 처리유닛 및 제 2 딥러닝 처리유닛은 각각, 이미지 데이터가 입력되면 딥러닝 추론 연산을 수행하는 추론연산부; 및 상기 추론연산부에 필요한 학습파라미터를 공급하는 파라미터 설정부;를 포함할 수 있다.
또한, 상기 파라미터 설정부의 학습파라미터를 수정하여 성능향상 및 추가기능구현이 가능할 수 있다.
또한, 상기 파라미터 설정부는, 상기 추론연산부의 딥러닝 추론 연산에 필요한 학습파라미터를 로딩하는 파라미터 로딩부; 및 상기 파라미터 로딩부와 연동되어 상기 추론연산부의 딥러닝 추론 연산에 필요한 전체 학습파라미터를 저장하는 파라미터 저장부;를 포함할 수 있다.
또한, 상기 추론연산부는, 상기 추론연산부의 딥러닝 추론 연산에 필요한 학습파라미터가 임시 저장되는 파라미터 버퍼부; 상기 파라미터 저장부에 저장된 전체 학습파라미터 중 상기 추론연산부의 딥러닝 추론 연산에 필요한 해당 레이어의 학습 파라미터를 선별하여 상기 파라미터 버퍼부에 송신하도록 제어하는 파라미터 제어부; 딥러닝 추론 연산을 하기위한 이미지 데이터가 입력되는 입력버퍼; 딥러닝 학습모델로 추론연산이 구현되는 연산코어부; 및 추론연산이 완료되어 화질보정된 이미지데이터가 출력되는 출력버퍼;를 포함할 수 있다.
상기 연산코어부는, 컨볼루션 레이어, 배치노말라이제이션 레이어, 액티베이션 레이어의 반복 구조를 가진 입력층, 은닉층, 출력층으로 구성되는 CNN연산을 수행할 수 있다.
상기 제 1 딥러닝 처리유닛은, 감마 보정 기능 및 컬러 보정 기능을 수행하기 위하여 컨벌루션 레이어, 배치노말라이제이션 레이어, 및 액티베이션 레이어의 반복구조를 가진 입력층, 은닉층, 출력층으로 구성되는 CNN 연산으로 딥러닝 학습모델을 구현하여 RGB 포맷의 이미지 데이터에 대한 화질 보정을 처리할 수 있다.
상기 제 2 딥러닝 처리유닛은, 컨벌루션 레이어, 배치노말라이제이션 레이어, 및 액티베이션 레이어의 반복구조를 가진 입력층, 은닉층, 출력층으로 구성되는 CNN 연산으로 딥러닝 학습모델을 구현하여 크로마 노이즈 제거 기능, 색조 포화 조정 기능, 루마 노이즈 제거 기능, 가장자리 강조 기능, 명암 및 밝기 조정 기능을 수행함으로써 상기 YUV 포맷의 이미지 데이터에 대한 화질 보정을 처리할 수 있다.
상기 전처리 프로세서는, 데드 픽셀 숨김 기능, 블랙 레벨 보상 기능, 렌즈 세이딩 보정 기능, 안티 앨리어싱 기능, 화이트 밸런스 자동 조정 기능, 및 CFA 보간 기능을 순차적으로 수행하는 복수의 하드웨어 프로세싱 블록으로 구성 될 수 있다.
이상에서 설명한 바와 같이, 본 발명은, 이미지 센서에서 획득한 아날로그 신호를 처리하여 디지털 데이터로 변환시키는 ISP 알고리즘의 특정 파이프 라인을 딥러닝 학습모델로 대처함으로써 이미지 신호 처리에 필요한 하드웨어 자원을 감소시킴과 동시에 ISP 알고리즘의 특정 파이프 라인에 필요한 실시간 성능을 만족시킬 수 있는 NPU를 이용한 이미지 처리 장치 및 이미지 처리 방법을 제공하는 효과가 있다.
또한, 본 발명은, 딥러닝을 사용하여 이미지 보정 및 개선 단계에서 자동으로 이미지 품질을 향상시킬 수 있으며, 딥러닝 기반의 이미지 복원기술을 사용하여 노이즈 제거, 해상도 향상, 및 색상 보정등을 수행할 수 있는 효과가 있다.
또한, 본 발명은, 딥러닝을 사용하여 이미지의 색상 보정과 스타일 변환을 수행할 수 있으며, 딥러닝 기반의 컬러 그레이딩 기술을 사용하여 이미지에 특정한 색조나 분위기를 부여하거나 스타일 변환을 통해 이미지에 예술적 효과를 적용할 수 있다.
또한, 본 발명은, 딥러닝을 사용하여 이미지에서 특정 객체나 영역을 분할하고 분류할 수 있어, 딥러닝 기반의 시멘택 세그멘테이션 기술을 사용하여 이미지에서 픽셀 단위로 객체를 분류하거나 이미지내의 특정 물체를 식별할 수 있다.
또한, 본 발명은, ISP파이프라인에 딥러닝을 통합하여 객체 탐지와 추적을 수행할 수 있으며, 이를 통해 카메라에서 캡쳐된 이미지에서 특정 객체를 식별하고 추적하는 작업을 자동화함으로써, 보안시스템, 자율주행차, 인식기반의 카메라 애플리케이션 등 다양한 분야에 활용될 수 있다.
도 1은 종래기술에 따른 이미지 처리장치를 개략적으로 나타내기 위한 흐름이다.
도 2는 종래기술에 따른 이미지 처리장치의 파이프 라인을 구성하는 하드웨어 프로세싱 블럭을 개략적으로 나타내는 블럭도이다.
도 3은 본 발명의 실시예에 따른 이미지 처리장치를 개략적으로 설명하기 위한 블록도이다.
도 4는 도 3에 도시된 전처리 프로세서를 구성하는 다수의 하드웨어 프로세싱 블럭을 나타내기 위한 블록도이다.
도 5는 도 3에 도시된 NPU프로세서 모듈의 구성을 개략적으로 나타내기 위한 블록도이다.
도 6은 도 5에 도시된 NPU프로세서 모듈을 구성하는 제 1 내지 제 2 딥러닝 처리 유닛을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 이미지 화질 보정AI모듈의 구성별 기능을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 이미지 처리 장치를 구성하는 AI모듈에 전원이 인가되어 동작하는 과정을 개략적으로 나타내는 흐름도이다.
도 2는 종래기술에 따른 이미지 처리장치의 파이프 라인을 구성하는 하드웨어 프로세싱 블럭을 개략적으로 나타내는 블럭도이다.
도 3은 본 발명의 실시예에 따른 이미지 처리장치를 개략적으로 설명하기 위한 블록도이다.
도 4는 도 3에 도시된 전처리 프로세서를 구성하는 다수의 하드웨어 프로세싱 블럭을 나타내기 위한 블록도이다.
도 5는 도 3에 도시된 NPU프로세서 모듈의 구성을 개략적으로 나타내기 위한 블록도이다.
도 6은 도 5에 도시된 NPU프로세서 모듈을 구성하는 제 1 내지 제 2 딥러닝 처리 유닛을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 이미지 화질 보정AI모듈의 구성별 기능을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 이미지 처리 장치를 구성하는 AI모듈에 전원이 인가되어 동작하는 과정을 개략적으로 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.
본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하. 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명하도록 한다.
도 3은 본 발명의 실시예에 따른 이미지 처리장치를 개략적으로 설명하기 위한 블록도이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 이미지 처리장치는, 이미지 센서(10) 및 이미지 화질 보정 AI 모듈(100)을 포함할 수 있다.
보다 상세하게는, 상기 이미지 센서(10)는, CMOS 기반의 이미지 센서로 사람이 유관으로 인지할 수 없는 원시 이미지 데이터에 해당하는 베이어 이미지를 생성하는 역할을 수행할 수 있다.
또한, 상기 이미지 화질 보정 AI 모듈(100)은, 상기 이미지 센서(10)를 통해 입력되는 이미지 데이터의 처리기능을 신경망 처리 장치(Neural processing unit; NPU)로 구현하여 하드웨어 개발리소스를 절약함과 동시에 딥러닝 학습을 통한 학습파라미터를 조정하여 이미지 처리장치의 성능개선을 용이하게 할 수 있다.
보다 상세하게는, 상기 이미지 화질 보정 AI 모듈(100)은, 상기 이미지 센서(1)를 통하여 획득한 원시 이미지에 대한 화질 보정을 하드웨어 프로세싱 블록과 딥러닝을 이용해 수행할 수 있다.
여기서, 상기 이미지 화질 보정 AI모듈(100)은, 도면에 도시된 바와 같이, 전처리 프로세서(110) 및 이미지 처리용 NPU 프로세서 모듈(120)을 포함할 수 있다.
더욱 상세하게는, 상기 전처리 프로세서(110)는, 상기 이미지센서(10)를 통하여 획득한 원시 이미지를 구성하는 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성하기 위한 복수의 하드웨어 프로세싱 블록으로 이루어질 수 있으며, 이에 대한 상세한 설명은 후술하는 도 4를 참고하여 설명하기로 한다.
또한, 상기 이미지 처리용 NPU 프로세서 모듈(120)은, 상기 전처리 프로세서(110)에서 생성된 RGB 포맷의 이미지 데이터가 입력되면 딥러닝 모델을 이용해 화질 보정을 구현할 수 있다.
도 4는 도 3에 도시된 전처리 프로세서를 구성하는 다수의 하드웨어 프로세싱 블럭을 나타내기 위한 블록도이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 이미지 처리장치를 구성하는 전처리 프로세서(110)는, 데드 픽셀 숨김부(111), 블랙레벨 보상부(112), 렌즈셰이딩 보정부(113), 안티 앨리어싱부(114), 화이트 밸런스 자동 조정부(115), 및 CFA 보간부(116)를 포함하여 이루어진다.
보다 상세하게는, 상기 데드 픽셀 숨김부(111)는, 데드 픽셀을 숨기거나 보정하는 기능을 수행한다. 여기서, 상기 데드 픽셀 (dead pixel)은 디스플레이 장치에서 작동하지 않는, 즉 항상 꺼져 있는 픽셀을 의미하는 것으로, 이러한 데드 픽셀은 화면에 작은 검은 점 또는 색상 이상으로 나타날 수 있으며, 사용자에게 불편을 줄 수 있다. 본 발명의 실시예에서는, 상기 데드 픽셀 숨김부(111)에서 이미지 프로세싱 알고리즘을 사용하여 데드 픽셀을 감지하고 주변 픽셀의 값을 조정함으로써 데드 픽셀을 숨길 수 있다. 예를 들어, 데드 픽셀 주변의 픽셀 값을 보정하여 해당 픽셀의 색상과 밝기를 조절하거나, 주변 픽셀의 값을 중앙 픽셀에 적용하여 데드 픽셀을 더 자연스럽게 보이지 않도록 할 수 있다.
또한, 상기 블랙 레벨 보상부(112)는, 블랙 레벨을 보정하여 올바른 검은색을 표현하는 기능을 수행할 수 있다. 즉, 픽셀이 어두운 영역에서 표현되는 밝기를 조정하여 영상의 명암 비율을 보정할 수 있다.
여기서, 상기 블랙 레벨은 디스플레이 장치에서 픽셀이 꺼질 때에도 약간의 밝기를 가진것을 가리키는 것으로, 올바른 검은색을 표현하기 위해서는 검은색 픽셀이 완전히 꺼져야 하며 다른 색상과의 명암 비율을 유지해야 하기 때문에 블랙 레벨 보상을 수행함으로써 이러한 문제점을 해결할 수 있다.
일반적으로 블랙레벨 보상은 블랙 레벨 보정과 밝기 보정과 같이 두가지 보정을 수행할 수 있는데, 블랙 레벨 보정은 검은색을 나타내는 영역의 픽셀값에 보정을 가해 검은색이 올바르게 표현되도록 조정하며 이를 통해 영상의 명암 비율을 올바르게 조정할 수 있으며, 다음으로 밝기 보정은 검은색 영역 이외의 픽셀들에 대해서도 명암 비율을 보정하는 작업을 수행하는 것으로 전체적인 밝기 조정이나 픽셀 값의 스케일링을 통해 이루어질 수 있다.
또한, 상기 렌즈셰이딩 보정부(113)는, 렌즈 셰이딩(또는 빛 강도 감소) 현상을 보정하는 기능을 수행할 수 있다. 여기서, 렌즈 셰이딩은 렌즈의 광학 특성으로 인해 이미지의 주변부분이 중앙에 비해 어두워지는 현상을 의미하는 것으로 렌즈의 광학적인 특성과 조명조건에 따라 발생할 수 있다.
본 발명의 실시예에서, 렌즈셰이딩 보정은 렌즈 셰이딩 보정 매핑 생성 단계와 렌즈 셰이딩 보정 적용 단계로 나누어 수행될 수 있다.
이때, 상기 렌즈 셰이딩 보정 매핑 생성단계는, 렌즈 셰이딩이 어떤 패턴으로 나타나는지를 파악하기 위해 캘리브레이션 과정을 거칠 수 있으며, 이를 통해 렌즈 셰이딩 보정 매핑을 생성할 수 있다. 일반적으로 카메라 센서의 각 픽셀 위치에 대해 해당위치에서 예상되는 광량을 나타내는 매핑을 생성할 수 있다.
또한, 상기 렌즈 셰이딩 보정 적용 단계는, 생성된 렌즈 셰이딩 보정 매핑을 사용하여 영상에 렌즈 셰이딩 보정을 적용할 수 있다. 즉, 각 픽셀의 위치에서 예상되는 광량을 매핑값으로 조정하여 영상의 밝기를 보정할 수 있다. 이를 통해 렌즈 셰이딩이 보정된 균일한 밝기 분포를 가진 영상을 얻을 수 있다.
이와 같은 렌즈 셰이딩 보정기술은 이미지 센서에서 발생하는 광학적인 현상을 보상하여 영상의 일관성과 품질을 향상시킬 수 있다.
또한, 상기 안티 앨리어싱부(114)는, 디지털 이미지 처리에 사용되는 필터링 기능을 수행하는 것으로서 이미지에 발생할 수 있는 앨리어싱 현상과 노이즈를 줄임으로써 이미지의 시각적인 품질을 향상시킬 수 있다.
여기서, 상기 앨리어싱은 디지털 이미지에서 발생하는 현상으로서 고해상도의 신호를 낮은 해상도로 샘플링할 때 발생하는 것을 가리키며 이미지에 계단 모양의 경계나 규칙적인 패턴이 생기는 데 이를 줄이는 것이 안티 앨리어싱 기능이다.
본 발명의 실시예에서, 상기 안티 앨리어싱부(114)는, 앨리어싱 현상을 완화하고 이미지의 부드러운 경계를 복원하기 위해 사용될 수 있으며, 샘플링 및 보간방법, 필터링 방법, 및 블러링 방법으로 작동할 수 있다.
이때, 상기 샘플링 및 보간 방법은, 이미지를 더 높은 해상도로 샘플링하고 보간하여 경계부근의 픽셀값을 부드럽게 만들 수 있으며, 이를 통해 계단 현상을 감소시키고 부드러운 경계를 재구성할 수 있다.
또한, 상기 필터링 방법은, 이미지에 적용되는 필터링을 통해 고주파수 성분을 감소시키고 노이즈를 제거할 수 있다, 이때, 주로 로우패스 필터링이 사용될 수 있으며 주파수 도메인에서 고주파 성분을 억제하여 앨리어싱 현상을 완화할 수 있다.
또한,상기 블러링 방법은, 이미지를 약간 블러 처리하여 앨리어싱을 완화시킬 수 있으며, 블러 처리는 픽셀 주변의 정보를 평균화하여 경계를 흐리게 만들 수 있다.
또한, 상기 화이트 밸런스 자동 조정부(115)는, 색온도 조정을 통해 올바른 화이트 밸런스를 유지하도록 조절하는 기능을 수행할 수 있다.
여기서, 상기 화이트 밸런스는, 주변 조명 조건에 따라 이미지의 색상을 올바르게 표현하기 위해 조정되는 요소를 가리킬 수 있다. 이때, 다양한 조명상황에서 촬영된 이미지는 다른 색 온도와 색조를 가질 수 있으며, 이로 인해 이미지의 색상을 왜곡시킬 수 있다. 따라서, 화이트 밸런스 자동 조정기능을 통해 자동으로 색 온도를 조정하여 올바른 화이트 밸런스를 유지할 수 있다.
보다 상세하게는,상기 화이트 밸런스 자동 조정기능은 백열등과 같은 따뜻한 색상 온도 조명에서는 색상온도를 더 높은 값으로 조정하여 냉색을 보정하고, 백색 혹은 햇빛과 같은 더욱 밝고 쿨한 색상 온도에서는 색상 온도를 낮은 값으로 조정하여 따뜻한 색상을 보정할 수 있다.
따라서, 상기 화이트 밸런스 자동 조정기능을 통해 색상 정확성을 향상시킬 수 있으며, 다양한 조명상황에서 올바른 색상 표현을 유지하고 이미지의 자연스러운 색감을 보존할 수 있다.
또한, 상기 CFA 보간부(116)는, 컬러 필터 배열에 의해 인터폴레이션된 컬러 정보를 보정하는 기능을 수행할 수 있다.
여기서, 상기 CFA(Color Filter Array)는 이미지 센서위에 컬러 필터 배열이 배치되어 있고, 이때, 컬러 필터 배열은 본 발명의 실시예에서 베이어 패턴으로 구성되어 있으며, 각각의 픽셀은 빨간색(R), 초록색(G), 파란색(B)중 하나의 색상정보만을 가질 수 있다. 따라서, 인접한 픽셀들은 서로 다른 컬러 정보를 가질 수 있다. 즉, CFA 보간 기술은 부족한 컬러정보를 보정하여 고해상도의 컬러 이미지를 생성하는 것을 가리키는 것으로, 컬러 인터폴레이션 단계와 컬러 보정 단계를 포함할 수 있다.
상기 컬러 인터폴레이션 단계는, 인접한 픽셀들의 컬러정보를 기반으로 보간을 수행하여 각 픽셀의 빨간색, 초록색, 파란색 값을 예측할 수 있다.
또한, 상기 컬러보정 단계는, 인터폴레이션된 컬러 정보를 보정하여 색상 정확성을 향상시킬 수 있으며, 색상 잡음을 줄이고 밝기와 채도를 조정하여 자연스럽고 정확한 컬러 표현을 얻을 수 있어 고해상도의 컬러이미지를 생성함으로써 이미지의 색상 성능을 향상시킬 수 있다.
이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 전처리 프로세서(110)는, 데드 픽셀 숨김 기능, 블랙 레벨 보상 기능, 렌즈 세이딩 보정 기능, 안티 앨리어싱 기능, 화이트 밸런스 자동 조정 기능, 및 CFA 보간 기능을 순차적으로 수행하는 복수의 하드웨어 프로세싱 블록으로 구성 될 수 있다.
도 5는 도 3에 도시된 NPU프로세서 모듈의 구성을 개략적으로 나타내기 위한 블록도이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 이미지 처리용 NPU프로세서 모듈(120)은, 상기 전처리 프로세서(110)에서 생성된 RGB 포맷의 이미지 데이터를 YUV 포맷의 이미지 데이터로 변환하여 출력할 수 있다.
보다 상세하게는, 도면에 나타난 바와 같이, 상기 이미지 처리용 NPU프로세서 모듈(120)은, 제 1 딥러닝 처리유닛(121), 컬러 공간 변환부(200), 및 제 2 딥러닝 처리유닛(122)을 포함할 수 있다.
여기서, 상기 제 1 딥러닝 처리유닛(121)은, RGB 포맷의 이미지 데이터에 대한 화질 보정을 인공 지능기술에 해당하는 인공 신경망의 학습방법인 딥러닝으로 구현할 수 있다.
또한, 상기 컬러 공간 변환부(200)는, 상기 제 1 딥러닝 처리유닛(121)을 통해 화질 보정 된 RGB 포맷의 이미지 데이터를 YUV 포맷의 이미지 데이터로 변환함으로써 색공간을 변환하는 기능을 수행할 수 있다.
또한, 상기 제 2 딥러닝 처리유닛(122)은, 상기 컬러 공간 변환부(200)를 통해 변환된 상기 YUV 포맷의 이미지 데이터에 대한 화질 보정을 딥러닝으로 구현할 수 있다.
도 6은 도 5에 도시된 NPU프로세서 모듈을 구성하는 제 1 내지 제 2 딥러닝 처리 유닛을 설명하기 위한 도면이다.
도면을 참조하여 본 발명의 실시예에 대란 NPU프로세서 모듈을 더욱 상세하게 설명하면 다음과 같다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 제 1 딥러닝 처리유닛(121) 및 제 2 딥러닝 처리유닛(122)은 각각, 추론연산부(310) 및 파라미터 설정부(320)을 구비할 수 있다.
보다 상세하게는, 상기 추론연산부(310)는, 이미지 데이터가 입력되면 딥러닝 추론 연산을 수행할 수 있으며, 상기 파라미터 설정부(320)는 상기 추론연산부(310)에 필요한 학습파라미터를 공급할 수 있다.
이때, 본 발명의 실시예에 따른 이미지 처리 장치는, 상기 파라미터 설정부(320)의 학습파라미터를 수정하여 성능향상 및 추가기능 구현이 가능할 수 있다.
여기서, 상기 파라미터 설정부(320)는, 도면에 도시된 바와 같이, 파라미터 로딩부(321) 및 파라미터 저장부(322)를 포함할 수 있다.
본 발명의 실시예에서, 상기 파라미터 로딩부(321)는, 상기 추론연산부(310)의 딥러닝 추론 연산에 필요한 학습파라미터를 로딩할 수 있다.
또한, 상기 파라미터 저장부(322)는, 상기 파라미터 로딩부(321)와 연동되어 상기 추론연산부(310)의 딥러닝 추론 연산에 필요한 전체 학습파라미터를 저장할 수 있다.
또한, 상기 추론연산부(310)는, 파라미터 버퍼부(311), 파라미터 제어부(312), 입력버퍼(313), 연산코어부(314), 및 출력버퍼(315)를 포함할 수 있다.
여기서, 상기 파라미터 버퍼부(311)는, 딥러닝 추론 연산에 필요한 학습파라미터가 임시 저장될 수 있다.
또한, 상기 파라미터 제어부(312)는, 상기 파라미터 저장부(322)에 저장된 전체 학습파라미터 중 상기 추론연산부(310)의 딥러닝 추론 연산에 필요한 해당 레이어의 학습 파라미터를 선별하여 상기 파라미터 버퍼부(311)에 송신하도록 제어할 수 있다.
또한, 상기 입력버퍼(313)는, 딥러닝 추론 연산을 수행 하기위한 이미지 데이터가 입력될 수 있다.
또한, 상기 연산코어부(314)는, 딥러닝 학습모델로 추론연산이 구현될 수 있으며, 본 발명의 실시예에서는, 컨볼루션 레이어, 배치노말라이제이션 레이어, 액티베이션 레이어의 반복 구조를 가진 입력층, 은닉층, 출력층으로 구성되는 CNN연산을 수행할 수 있다.
또한, 상기 출력버퍼(315)는, 상기 연산코어부(314)에서 추론연산이 완료되어 화질보정된 이미지데이터가 출력될 수 있다.
이와 같이, 본 발명의 실시예에 따른 이미지 처리 장치는, NPU 내부에 입력버퍼(313) 및 출력버퍼(315)와 같은 메모리 수단을 구비하고 있어서, 이미지 데이터를 실시간으로 처리할 수 있는 효과가 있다.
도 7은 본 발명의 실시예에 따른 이미지 화질 보정AI모듈의 구성별 기능을 설명하기 위한 도면이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 이미지 화질 보정 AI모듈은, 앞서 상술한 바와 같이, 전처리 프로세서에서 생성된 RGB 포맷의 이미지 데이터를 YUV 포맷의 이미지 데이터로 변환하여 출력하게 되며, 제 1 딥러닝 처리 유닛(121)을 통해 RGB 포맷의 이미지 데이터에 대한 화질이 보정되면, 컬러공간 변환부(200)를 통해 RGB 포맷의 이미지 데이터가 YUV 포맷의 이미지 데이터로 색 공간이 변환되고, 제 2 딥러닝 처리 유닛(122)을 통해 YUV 포맷의 이미지 데이터에 대한 화질이 보정될 수 있다.
더욱 상세하게는, 상기 제 1 딥러닝 처리 유닛(121)은, 감마 보정 기능 및 컬러 보정 기능을 수행하기 위하여 컨벌루션 레이어, 배치노말라이제이션 레이어, 및 액티베이션 레이어의 반복구조를 가진 입력층, 은닉층, 출력층으로 구성되는 CNN 연산으로 딥러닝 학습모델을 구현하여 RGB 포맷의 이미지 데이터에 대한 화질 보정을 처리할 수 있다.
여기서, 상기 감마 보정기능은, 이미지의 밝기 값을 변환하여 감마 값을 보정함으로써 이미지를 더욱 자연스럽고 균일할 밝기로 표현하는 기능을 가리킨다.
또한, 상기 컬러 보정 기능은, 이미지나 영상의 색감, 명도, 대비, 채도 등을 조정하여 원하는 시각적인 효과를 도출하는 기능을 가리키는 것으로서, 이미지의 색상 정확성과 일관성을 향상시킬 수 있다.
또한, 상기 제 2 딥러닝 처리유닛은, 컨벌루션 레이어, 배치노말라이제이션 레이어, 및 액티베이션 레이어의 반복구조를 가진 입력층, 은닉층, 출력층으로 구성되는 CNN 연산으로 딥러닝 학습모델을 구현하여 크로마 노이즈 제거 기능, 색조 포화 조정 기능, 루마 노이즈 제거 기능, 가장자리 강조 기능, 명암 및 밝기 조정 기능을 수행함으로써 상기 YUV 포맷의 이미지 데이터에 대한 화질 보정을 처리할 수 있다.
여기서, 상기 크로마 노이즈 제거기능은, 크로마 채널에서 발생하는 이미지 센서의 특성, 약한 조명조건, 고 ISO설정 등으로 발생하는 크로마 노이즈를 제거하고 생성 정보를 정확하게 보존할 수 있다.
또한, 상기 색조 포화 조정 기능은, 디지털 이미지나 영상에서 색상과 채도를 조정하는 것으로서 이미지의 색조와 채도를 원하는 대로 변경하여 시각적인 효과를 조절할 수 있다.
또한, 상기 루마 노이즈 제거 기능은, 흑백 또는 명도 정보인 루마 채널에서 발생하는 잡음을 제거하는 기능으로서 시각적인 품질을 향상시킬 수 있다.
또한, 상기 가장자리(Edge) 강조 기능은, 영상의 선명도외 시각적인 감각을 향상시키는 기능으로서, 엣지 검출, 엣지 강화, 엣지 표시 단계를 수행하여 영상의 세부정보를 강조함으로써 품질을 향상 시킬 수 있다.
또한, 상기 명암 및 밝기 조정 기능은, 디지털 이미지의 명암과 밝기를 조절하는 기능을 수행하는 것으로서,디지털 이미지의 명암비율과 밝기를 조절하여 시각적인 품질을 향상시킬 수 있다.
도 8은 본 발명의 실시예에 따른 이미지 처리 장치를 구성하는 AI모듈에 전원이 인가되어 동작하는 과정을 개략적으로 나타내는 흐름도이다.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 이미지 처리 장치는 파워인가를 함으로써 전원이 인가되면 AI모듈이 딥러닝 학습과정을 수행하는데 필요한 학습파라미터를 업로드 하는 파라미터 설정과정을 수행할 수 있다.
이후, AI모듈이 사전에 학습된 딥러닝 학습모델을 이용하여 추론을 시작하고 종료하는 과정을 수행할 수 있다.
상기와 같이, 본 발명은, 이미지 센서에서 획득한 아날로그 신호를 처리하여 디지털 데이터로 변환시키는 ISP 알고리즘의 특정 파이프 라인을 딥러닝 학습모델로 대처함으로써 이미지 신호 처리에 필요한 하드웨어 개발 자원을 감소시킴과 동시에 ISP 알고리즘의 특정 파이프 라인에 필요한 실시간 성능을 만족시킬 수 있는 NPU를 이용한 이미지 처리 장치를 제공하는 효과가 있다.
또한, 본 발명은, 딥러닝을 사용하여 이미지 보정 및 개선 단계에서 자동으로 이미지 품질을 향상시킬 수 있으며, 딥러닝 기반의 이미지 복원기술을 사용하여 노이즈 제거, 해상도 향상, 및 색상 보정등을 수행할 수 있는 효과가 있다.
또한, 본 발명은, 딥러닝을 사용하여 이미지의 색상 보정과 스타일 변환을 수행할 수 있으며, 딥러닝 기반의 컬러 그레이딩 기술을 사용하여 이미지에 특정한 색조나 분위기를 부여하거나 스타일 변환을 통해 이미지에 예술적 효과를 적용할 수 있다.
또한, 본 발명은, 딥러닝을 사용하여 이미지에서 특정 객체나 영역을 분할하고 분류할 수 있어, 딥러닝 기반의 시멘택 세그멘테이션 기술을 사용하여 이미지에서 픽셀 단위로 객체를 분류하거나 이미지내의 특정 물체를 식별할 수 있다.
또한, 본 발명은, ISP파이프라인에 딥러닝을 통합하여 객체 탐지와 추적을 수행할 수 있으며, 이를 통해 카메라에서 캡쳐된 이미지에서 특정 객체를 식별하고 추적하는 작업을 자동화함으로써, 보안시스템, 자율주행차, 인식기반의 카메라 애플리케이션 등 다양한 분야에 활용될 수 있다.
지금까지 본 발명에 대해서 상세히 설명하였으나, 그 과정에서 언급한 실시예는 예시적인 것일 뿐이며, 한정적인 것이 아님을 분명히 하고, 본 발명은 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상이나 분야를 벗어나지 않는 범위내에서, 균등하게 대처될 수 있는 정도의 구성요소 변경은 본 발명의 범위에 속한다 할 것이다.
1,10 : 이미지 센서
2 : 이미지 처리 장치(Image Signal Processor; ISP)
100 : 이미지 화질 보정 AI모듈
110 : 전처리 프로세서
111 : 데드픽셀 숨김부
112 : 블랙레벨 보상부
113 : 렌즈셰이딩 보정부
114 : 안티 앨리어싱부
115 : 화이트 밸런스 자동 조정부
116 : CFA 보간부
120 : 이미지 처리용 NPU 프로세서 모듈
121 : 제 1 딥러닝 처리 유닛
122 : 제 2 딥러닝 처리 유닛
200 : 컬러 공간 변환부
310 : 추론연산부
311 : 파라미터 버퍼부
312 : 파라미터 제어부
313 : 입력버퍼
314 : 연산코어부
315 : 출력버퍼
320 : 파라미터 설정부
321 : 파라미터 로딩부
322 : 파라미터 저장부
2 : 이미지 처리 장치(Image Signal Processor; ISP)
100 : 이미지 화질 보정 AI모듈
110 : 전처리 프로세서
111 : 데드픽셀 숨김부
112 : 블랙레벨 보상부
113 : 렌즈셰이딩 보정부
114 : 안티 앨리어싱부
115 : 화이트 밸런스 자동 조정부
116 : CFA 보간부
120 : 이미지 처리용 NPU 프로세서 모듈
121 : 제 1 딥러닝 처리 유닛
122 : 제 2 딥러닝 처리 유닛
200 : 컬러 공간 변환부
310 : 추론연산부
311 : 파라미터 버퍼부
312 : 파라미터 제어부
313 : 입력버퍼
314 : 연산코어부
315 : 출력버퍼
320 : 파라미터 설정부
321 : 파라미터 로딩부
322 : 파라미터 저장부
Claims (11)
- 이미지 센서(10); 및
상기 이미지 센서(10)를 통하여 획득한 원시 이미지에 대한 화질 보정을 하드웨어 프로세싱 블록과 딥러닝을 이용해 수행하는 이미지 화질 보정 AI모듈(100);을 구비하고,
상기 이미지 센서(10)를 통해 입력되는 이미지 데이터의 처리기능을 신경망 처리 장치(Neural processing unit; NPU)로 구현함과 동시에 딥러닝 학습을 통한 학습파라미터를 조정하는 이미지 화질 보정 AI모듈(100); 을 구비하며,
상기 이미지 화질 보정 AI모듈(100)은,
상기 이미지센서(10)를 통하여 획득한 원시 이미지를 구성하는 베이어 이미지 신호로부터 RGB 포맷의 이미지 데이터를 생성하기 위한 복수의 하드웨어 프로세싱 블록으로 이루어진 전처리 프로세서(110); 및
상기 전처리 프로세서(110)에서 생성된 RGB 포맷의 이미지 데이터가 입력되면 딥러닝 모델을 이용해 화질 보정을 구현하는 이미지 처리용 NPU 프로세서 모듈(120); 을 포함하며,
상기 전처리 프로세서(110)는,
데드 픽셀 (dead pixel)을 숨기거나 보정하는 기능을 수행하되, 이미지 프로세싱 알고리즘을 사용하여 데드 픽셀을 감지하고 주변 픽셀의 값을 조정하여 데드 픽셀을 숨키며, 데드 픽셀 주변의 픽셀 값을 보정하여 해당 픽셀의 색상과 밝기를 조절하거나, 주변 픽셀의 값을 중앙 픽셀에 적용하는 데드 픽셀 숨김부(111);
블랙 레벨을 보정하여 검은색을 표현하는 기능을 수행하되, 픽셀이 미리 설정된 밝기 미만의 어두운 영역에서 표현되는 밝기를 조정하여 영상의 명암 비율을 보정하는 블랙 레벨 보상부(112);
렌즈 셰이딩(또는 빛 강도 감소) 현상을 보정하는 기능을 수행하되, 렌즈 셰이딩 보정 매핑 생성 단계와 렌즈 셰이딩 보정 적용 단계로 나누어 수행하며, 상기 렌즈 셰이딩 보정 매핑 생성단계 수행시, 렌즈 셰이딩의 패턴을 파악하기 위해 캘리브레이션 과정을 거쳐서 렌즈 셰이딩 보정 매핑을 생성하며, 상기 렌즈 셰이딩 보정 적용 단계 수행시, 생성된 렌즈 셰이딩 보정 매핑을 사용하여 영상에 렌즈 셰이딩 보정을 적용하는 렌즈셰이딩 보정부(113);
디지털 이미지 처리에 사용되는 필터링 기능을 수행하되, 이미지에 발생하는 앨리어싱 현상과 노이즈를 줄이며, 앨리어싱 현상을 완화하고 이미지의 부드러운 경계를 복원하기 위해 샘플링 및 보간방법, 필터링 방법, 및 블러링 방법으로 작동하며, 상기 샘플링 및 보간 방법 수행시, 이미지를 미리 설정된 이상의 해상도로 샘플링하고 보간하여 경계부근의 픽셀값을 부드럽게 만들며, 상기 필터링 방법 수행시, 이미지에 적용되는 필터링을 통해 고주파수 성분을 감소시키고 노이즈를 제거하는 로우패스 필터링을 사용하며, 상기 블러링 방법 수행시, 이미지를 블러 처리하여 앨리어싱을 완화시키는 안티 앨리어싱부(114);
색온도 조정을 통해 화이트 밸런스를 유지하도록 조절하는 기능을 수행하는 화이트 밸런스 자동 조정부(115); 및
컬러 필터 배열에 의해 인터폴레이션된 컬러 정보를 보정하는 기능을 수행하되, CFA(Color Filter Array)가 이미지 센서위에 컬러 필터 배열이 배치되어 있고 컬러 필터 배열이 베이어 패턴으로 구성되어 있는 상태에서, 각각의 픽셀은 빨간색(R), 초록색(G), 파란색(B) 중 하나의 색상정보만을 가지므로 인접한 픽셀들은 서로 다른 컬러 정보를 가지므로, 인접한 픽셀 간의 컬러정보를 보정하여 고해상도의 컬러 이미지를 생성하기 위해, 컬러 인터폴레이션 단계와 컬러 보정 단계를 수행하며, 상기 컬러 인터폴레이션 단계 수행시는, 인접한 픽셀들의 컬러정보를 기반으로 보간을 수행하여 각 픽셀의 빨간색, 초록색, 파란색 값을 예측하며, 상기 컬러보정 단계 수행시는, 인터폴레이션된 컬러 정보를 보정하여 색상 정확성을 향상시키며, 색상 잡음을 줄이고 밝기와 채도를 조정하여 컬러 표현을 얻어 고해상도의 컬러이미지를 생성하는 방식의 이미지의 색상 성능을 향상시키는 CFA 보간부(116); 를 포함하며,
상기 이미지 처리용 NPU프로세서 모듈(120)은,
RGB 포맷의 이미지 데이터에 대한 화질 보정을 인공 지능기술에 해당하는 인공 신경망의 학습방법인 딥러닝으로 구현하는 제 1 딥러닝 처리유닛(121);
상기 제 1 딥러닝 처리유닛(121)을 통해 화질 보정 된 RGB 포맷의 이미지 데이터를 YUV 포맷의 이미지 데이터로 변환함으로써 색공간을 변환하는 기능을 수행하는 컬러 공간 변환부(200);
상기 컬러 공간 변환부(200)를 통해 변환된 상기 YUV 포맷의 이미지 데이터에 대한 화질 보정을 딥러닝으로 구현하는 제 2 딥러닝 처리유닛(122); 을 포함하며,
NPU를 이용한 이미지 처리장치를 구성하는 이미지 화질 보정 AI 모듈(100)에 전원이 인가되어 동작시 이미지 화질 보정 AI 모듈(100)이 ISP 알고리즘의 파이프 라인을 딥러닝 학습모델로 대처하며,
딥러닝을 사용하여 이미지의 색상 보정과 스타일 변환을 수행하되, 딥러닝 기반의 컬러 그레이딩 기술을 사용하여 이미지에 미리 설정된 색조나 분위기를 부여하거나 스타일 변환을 통해 이미지에 효과를 적용하는 것을 특징으로 하는 NPU를 이용한 이미지 처리장치.
- 삭제
- 삭제
- 제1항에 있어서, 상기 제 1 딥러닝 처리유닛(121) 및 제 2 딥러닝 처리유닛(122)은 각각,
이미지 데이터가 입력되면 딥러닝 추론 연산을 수행하는 추론연산부(310);
상기 추론연산부에 필요한 학습파라미터를 공급하는 파라미터 설정부(320);를 포함하는 것을 특징으로 하는 NPU를 이용한 이미지 처리장치.
- 제4항에 있어서,
상기 파라미터 설정부의 학습파라미터를 수정하여 성능향상 및 추가기능구현이 가능한 것을 특징으로 하는 NPU를 이용한 이미지 처리장치.
- 제4항에 있어서, 상기 파라미터 설정부(320)는,
상기 추론연산부(310)의 딥러닝 추론 연산에 필요한 학습파라미터를 로딩하는 파라미터 로딩부(321); 및
상기 파라미터 로딩부(321)와 연동되어 상기 추론연산부(310)의 딥러닝 추론 연산에 필요한 전체 학습파라미터를 저장하는 파라미터 저장부(322);를 포함하는 것을 특징으로 하는 NPU를 이용한 이미지 처리장치.
- 제6항에 있어서, 상기 추론연산부(310)는,
딥러닝 추론 연산에 필요한 학습파라미터가 임시 저장되는 파라미터 버퍼부(311);
상기 파라미터 저장부(322)에 저장된 전체 학습파라미터 중 상기 추론연산부(310)의 딥러닝 추론 연산에 필요한 해당 레이어의 학습 파라미터를 선별하여 상기 파라미터 버퍼부(311)에 송신하도록 제어하는 파라미터 제어부(312);
딥러닝 추론 연산을 하기위한 이미지 데이터가 입력되는 입력버퍼(313);
딥러닝 학습모델로 추론연산이 구현되는 연산코어부(314); 및
추론연산이 완료되어 화질보정된 이미지데이터가 출력되는 출력버퍼(315);를 포함하는 것을 특징으로 하는 NPU를 이용한 이미지 처리장치.
- 제7항에 있어서, 상기 연산코어부는,
컨볼루션 레이어, 배치노말라이제이션 레이어, 액티베이션 레이어의 반복 구조를 가진 입력층, 은닉층, 출력층으로 구성되는 CNN연산을 수행하는 것을 특징으로 하는 NPU를 이용한 이미지 처리장치.
- 제1항에 있어서, 상기 제 1 딥러닝 처리유닛은,
감마 보정 기능 및 컬러 보정 기능을 수행하기 위하여 컨벌루션 레이어, 배치노말라이제이션 레이어, 및 액티베이션 레이어의 반복구조를 가진 입력층, 은닉층, 출력층으로 구성되는 CNN 연산으로 딥러닝 학습모델을 구현하여 RGB 포맷의 이미지 데이터에 대한 화질 보정을 처리하는 것을 특징으로 NPU를 이용한 이미지 처리장치.
- 제1항에 있어서, 상기 제 2 딥러닝 처리유닛은,
컨벌루션 레이어, 배치노말라이제이션 레이어, 및 액티베이션 레이어의 반복구조를 가진 입력층, 은닉층, 출력층으로 구성되는 CNN 연산으로 딥러닝 학습모델을 구현하여 크로마 노이즈 제거 기능, 색조 포화 조정 기능, 루마 노이즈 제거 기능, 가장자리 강조 기능, 명암 및 밝기 조정 기능을 수행함으로써 상기 YUV 포맷의 이미지 데이터에 대한 화질 보정을 처리하는 것을 특징으로 하는 NPU를 이용한 이미지 처리장치.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230111456A KR102632568B1 (ko) | 2023-08-24 | 2023-08-24 | Npu를 이용한 이미지 처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230111456A KR102632568B1 (ko) | 2023-08-24 | 2023-08-24 | Npu를 이용한 이미지 처리장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102632568B1 true KR102632568B1 (ko) | 2024-02-01 |
Family
ID=89859172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230111456A KR102632568B1 (ko) | 2023-08-24 | 2023-08-24 | Npu를 이용한 이미지 처리장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102632568B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102069533B1 (ko) | 2013-05-03 | 2020-01-28 | 삼성전자주식회사 | 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템 |
| KR20220078283A (ko) * | 2020-12-03 | 2022-06-10 | 삼성전자주식회사 | 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법 |
| KR20220082547A (ko) * | 2020-12-10 | 2022-06-17 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
| KR20220132301A (ko) * | 2021-03-23 | 2022-09-30 | 삼성전자주식회사 | 신경망 처리 장치를 포함하는 애플리케이션 프로세서, 및 이의 동작 방법 |
-
2023
- 2023-08-24 KR KR1020230111456A patent/KR102632568B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102069533B1 (ko) | 2013-05-03 | 2020-01-28 | 삼성전자주식회사 | 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템 |
| KR20220078283A (ko) * | 2020-12-03 | 2022-06-10 | 삼성전자주식회사 | 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법 |
| KR20220082547A (ko) * | 2020-12-10 | 2022-06-17 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
| KR20220132301A (ko) * | 2021-03-23 | 2022-09-30 | 삼성전자주식회사 | 신경망 처리 장치를 포함하는 애플리케이션 프로세서, 및 이의 동작 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220036523A1 (en) | Image processor | |
| CN110232661B (zh) | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 | |
| KR100771158B1 (ko) | 칼라 영상의 화질 향상을 위한 방법 및 시스템 | |
| CN104700371B (zh) | 一种蒙版的生成方法和*** | |
| CN113793275A (zh) | 一种Swin Unet低照度图像增强方法 | |
| CN113095470B (zh) | 神经网络的训练方法、图像处理方法及装置、存储介质 | |
| CN111476732A (zh) | 一种图像融合及去噪的方法及*** | |
| Yu et al. | Adaptive inverse hyperbolic tangent algorithm for dynamic contrast adjustment in displaying scenes | |
| CN115526803A (zh) | 非均匀光照图像增强方法、***、存储介质及设备 | |
| CN116188339A (zh) | 一种基于Retinex及图像融合的暗视觉图像增强方法 | |
| KR20230146974A (ko) | 영상의 밝기 개선 방법 및 장치 | |
| Lei et al. | A novel intelligent underwater image enhancement method via color correction and contrast stretching✰ | |
| WO2023005115A1 (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| CN107358592B (zh) | 一种迭代式全局自适应图像增强方法 | |
| CN117391987A (zh) | 基于多阶段联合增强机制的暗光图像处理方法 | |
| KR102632568B1 (ko) | Npu를 이용한 이미지 처리장치 | |
| WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
| Zhao et al. | Learning tone curves for local image enhancement | |
| Marsi et al. | Image contrast enhancement using a recursive rational filter | |
| CN115511755A (zh) | 一种视频流图像自适应增强方法和*** | |
| CN114663300A (zh) | 基于dce的低照度图像增强方法、***及相关设备 | |
| Liu et al. | A Fusion-based Enhancement Method for Low-light UAV Images | |
| US20230186612A1 (en) | Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models | |
| CN117218043B (zh) | 基于监控图像质量的摄像头调控方法 | |
| CN117651222A (zh) | 一种图像数据信号转换图像的方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |