KR100990293B1 - 휴대용 단말기의 이미지 처리 장치 및 이미지 처리 방법 - Google Patents

휴대용 단말기의 이미지 처리 장치 및 이미지 처리 방법 Download PDF

Info

Publication number
KR100990293B1
KR100990293B1 KR1020080137277A KR20080137277A KR100990293B1 KR 100990293 B1 KR100990293 B1 KR 100990293B1 KR 1020080137277 A KR1020080137277 A KR 1020080137277A KR 20080137277 A KR20080137277 A KR 20080137277A KR 100990293 B1 KR100990293 B1 KR 100990293B1
Authority
KR
South Korea
Prior art keywords
image
data
mode
color space
image processing
Prior art date
Application number
KR1020080137277A
Other languages
English (en)
Other versions
KR20100078896A (ko
Inventor
정종식
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020080137277A priority Critical patent/KR100990293B1/ko
Publication of KR20100078896A publication Critical patent/KR20100078896A/ko
Application granted granted Critical
Publication of KR100990293B1 publication Critical patent/KR100990293B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

휴대용 단말기의 이미지 처리 장치는 이미지 센서로부터 출력된 로우 데이터에 대해 소정의 전처리(pre-processing)을 수행하는 이미지 전처리부와, 상기 동영상 모드인 경우 상기 전처리 이후의 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 제1 이미지 처리부와, 정지 영상 모드인 경우 상기 전처리된 이미지 데이터에 대해 상기 보간(interpolation) 처리 및 상기 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 보조 프로세서를 포함한다. 휴대용 단말기의 이미지 센서의 픽셀 개수가 증가하는 경우 RGB 보간 처리 및 칼라 영역 변환을 수행하는 하드웨어 로직 회로의 크기가 커져 휴대용 단말기 제조 비용이 상승하는 것을 방지할 수 있다.
동영상, 정지 영상, 이미지, 병렬 처리

Description

휴대용 단말기의 이미지 처리 장치 및 이미지 처리 방법{Image Processing Apparatuses And Image Processing Methods In Portable Device}
본 발명은 휴대용 단말기의 이미지 처리 장치 및 이미지 처리 방법에 관한 것이다.
최근 들어 이동통신 단말 및 PDA(Personal Digital Assistant) 등과 같은 휴대용 단말기는 음성통화와 같은 무선 통신 기능 이외에도 이미지 및 동영상 촬영, 영상 통화, 휴대 인터넷 및 멀티미디어 데이터 재생 등과 같은 다양한 부가 응용 서비스를 구비하고 있고, 이를 위해 무선 통신 및 휴대용 단말기의 전반적인 제어를 수행하는 프로세서 이외에 별도의 프로세서를 포함하고 있다.
즉, 최근의 휴대용 단말기는 상기와 같은 이동 통신 본래의 기능을 수행하기 위한 베이스밴드 프로세서(baseband processor)와 다양한 부가 어플리케이션을 수행하는 어플리케이션 프로세서(application processor)를 포함하고 있다.
기존의 카메라 모듈을 구비한 휴대용 단말기에서는 카메라 모듈의 이미지 센서로부터 촬영된 동영상에 대해 소정의 전처리후 별도의 하드웨어 로직 회로를 구비하여 보간(interpolation) 처리, RGB 감마 보정(gamma correction), RGB 영역의 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 변환하는 칼라 영역 변환(Color space conversion)등의 이미지 프로세싱을 수행한다.
또한, 기존의 카메라 모듈을 구비한 휴대용 단말기에서는 카메라 모듈의 이미지 센서로부터 촬영된 정지영상에 대해서도 소정의 전처리후 별도의 하드웨어 로직 회로를 구비하여 보간(interpolation) 처리, RGB 감마 보정(gamma correction), RGB 영역의 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 변환하는 칼라 영역 변환(Color space conversion)등의 이미지 프로세싱을 수행한다.
최근의 카메라 모듈을 구비한 휴대용 단말기의 경우, 카메라 모듈의 이미지 센서의 해상도가 증가하고 있다. 이미지 센서의 해상도가 증가함에 따라 이미지 센서의 픽셀들의 개수가 증가하며, 그에 따라 상기 동영상 및 정지 영상에 대해 보간 처리, RGB 감마 보정, 칼라 영역 변환(Color space conversion)을 수행하는 하드웨어 로직 회로의 크기가 커져 그 만큼 휴대용 단말기의 제조 비용도 상승하는 문제점이 있다.
따라서, 본 발명의 제1 목적은 이미지 센서의 해상도가 증가하는 경우에도 하드웨어 로직 회로의 크기 증가 없이 동영상 및 정지 영상을 실시간 처리할 수 있는 휴대용 단말기의 이미지 처리 장치를 제공하는 것이다.
또한, 본 발명의 제2 목적은 상기 휴대용 단말기의 이미지 처리 장치를 이용한 이미지 처리 방법을 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 휴대용 단말기의 이미지 처리 장치는 이미지 센서로부터 출력된 로우 데이터에 대해 소정의 전처리(pre-processing)을 수행하는 이미지 전처리부와, 상기 동영상 모드인 경우 상기 전처리 이후의 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 제1 이미지 처리부와, 정지 영상 모드인 경우 상기 전처리된 이미지 데이터에 대해 상기 보간(interpolation) 처리 및 상기 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 보조 프로세서를 포함한다. 상기 동영상 모드인 경우 상기 제1 이미지 처리부가 동작하고, 상기 정지 영상 모드인 경우 상기 보조 프로세서에서 상기 제1 이미지 처리부의 동작을 소프트웨어적으로 수행할 수 있다. 상기 보조 프로세서는 상기 정지 영상 모드인 경우 상기 보간(interpolation) 처리 및 상기 칼라 영역 변환(Color space conversion)을 소프트웨어적으로 수행할 수 있다. 상기 휴대용 단말기의 이미지 처리 장치는 상기 동영상 모드인 경우 상기 제1 이미지 처리부에서 출력된 데이터를 저장하며, 상기 정지 영상 모드인 경우 상기 이미지 전처리부에서 전처리된 이미지 데이터를 전달받아 저장하는 내부 메모리를 더 포함할 수 있다. 상기 제1 이미지 처리부는 상기 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 더 수행하고, 상기 칼라 영역 변환(Color space conversion)된 휘도(Y)-색차(Chroma) 영역의 데이터에 대해 잡음을 줄이기 위한 필터링을 더 수행할 수 있다. 상기 보조 프로세 서는 상기 동영상 모드인 경우 상기 제1 이미지 처리부의 출력 데이터에 대한 칼라 보정(Color Correction), 얼굴 검출 및 표정 검출 중의 적어도 하나를 포함하는 후처리(post processing)을 수행할 수 있다. 상기 보조 프로세서는 상기 정지 영상 모드인 경우 상기 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 더 수행하고, 상기 칼라 영역 변환(Color space conversion)된 휘도(Y)-색차(Chroma) 영역의 데이터에 대해 잡음을 줄이기 위한 필터링을 더 수행할 수 있다. 상기 이미지 전처리부 또는 상기 제1 이미지 처리부로부터 소정의 이미지 특성을 나타내는 파라미터를 추출하여 오토 포커싱(Auto Focusing; AF), 자동 노출(Auto Exposure; AE) 및 오토 화이트 밸런싱(Auto White Balancing; AWB) 중 적어도 하나의 처리를 수행하는 제2 이미지 처리부를 더 포함할 수 있다. 동영상 모드인 경우 상기 전처리된 이미지 데이터에 대해 다운 사이징 처리를 수행하는 다운사이즈 처리부를 더 포함하되, 상기 다운 사이즈 처리부를 더 포함하는 경우 제1 이미지 처리부는 상기 동영상 모드에서 상기 다운 사이즈 처리된 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행할 수 있다. 상기 전처리(pre-processing)는 상기 로우 데이터의 각 픽셀의 결함(Defect)을 보정하기 위한 처리 및 상기 이미지 센서의 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading) 처리 중의 적어도 하나를 포함할 수 있다.
또한, 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 휴대용 단말기의 이미지 처리 장치에서의 이미지 처리 방법은 이미지 센서로부 터 출력된 로우 데이터에 대해 소정의 전처리(pre-processing)을 수행하는 단계와, 동작 모드가 동영상 모드인지 정지 영상 모드인지 여부를 판단하는 단계와, 상기 판단 결과, 상기 동영상 모드인 경우 상기 전처리 이후의 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 단계와, 정지 영상 모드인 경우 상기 전처리된 이미지 데이터에 대해 상기 보간(interpolation) 처리 및 상기 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 단계를 포함하되, 상기 동영상 모드인 경우 상기 보간(interpolation) 처리 및 칼라 영역 변환(Color space conversion)은 하드웨어 로직 회로에서 처리하고, 상기 정지 영상 모드인 경우 상기 보간(interpolation) 처리 및 칼라 영역 변환(Color space conversion)은 상기 이미지 처리 장치의 보조 프로세서에서 소프트웨어적으로 수행한다.
본 발명의 일실시예에 따른 휴대용 단말기의 이미지 처리 장치 및 방법은 동영상 모드에서는 다운사이징된 크기의 픽셀들을 처리하기 위한 별도의 하드웨어 로직을 이용하여 RGB 보간 처리 및 RGB 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 변환하는 칼라 영역 변환(Color space conversion)을 수행하고, 정지 영상 모드에서는 별도의 하드웨어 로직을 사용하지 않고 보조 프로세서에서 소프트웨어적으로 상기 RGB 보간 처리 및 칼라 영역 변환(Color space conversion)을 수행한다.
따라서, 다운사이징된 크기의 픽셀들을 처리하기 위한 간단한 하드웨어 로직 회로만을 구비하면 되므로 이미지 센서의 픽셀 개수가 증가하는 경우 상기 RGB 보간 처리 및 칼라 영역 변환(Color space conversion)을 수행하는 하드웨어 로직 회로의 크기가 커져 휴대용 단말기 제조 비용이 상승하는 단점을 보완할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이 다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 일실시예에 따른 이미지 처리 장치는 카메라 모듈을 가지는 휴대용 단말기에서 카메라 촬영 모드에 따라서 동영상 모드 또는 정지영상 모드로 동작하여 이미지 센서로부터 출력된 로우 데이터(raw data)를 입력받아 동영상 이미지 프로세싱 또는 정지 영상 이미지 프로세싱을 수행한다.
도 1은 본 발명의 일실시예에 따른 동영상 모드로 동작하는 이미지 처리 장치를 나타낸 블록도이다.
도 1을 참조하면, 상기 이미지 처리 장치는 이미지 전처리부(20), 다운사이즈 처리부(22), 제1 이미지 처리부(30), 제2 이미지 처리부(40), 메인 프로세서(50), 보조 프로세서(60) 및 복수의 메모리(72, 74, 76)를 포함한다.
도 1의 이미지 처리 장치는 카메라로부터 촬영된 이미지가 동영상인 경우 이미지 센서(10)로부터 로우 데이터를 입력받아 동영상 이미지를 실시간으로 처리한다.
먼저, 이미지 전처리부(20)는 이미지 센서(10)로부터 출력된 로우 데이터를 입력받아 소정의 전처리(pre-processing)를 수행한다. 상기 전처리는 예를 들어 로우 데이터의 각 픽셀의 결함(Defect)을 보정하기 위한 처리와 이미지 센서의 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading) 처리를 포함 할 수 있다. 이미지 전처리부(20)의 출력은 각 픽셀당 R(Red), G(Green), B(Blue) 값 중 하나만을 가진다.
다운사이즈 처리부(22)는 이미지 전처리부(20)를 거친 RGB 이미지 데이터를 소정 비율로 이미지 크기를 줄이는 다운 사이징 처리를 수행한다. 이미지 전처리 부(20)는 전처리를 거친 RGB 이미지 데이터를 홀수 라인 또는 짝수 라인만을 선택하여 1/2 사이즈로 다운사이징할수도 있고, 10라인마다 한개 라인만을 선택하여 1/10로 다운사이징할 수도 있다. 예를 들어 이미지 전처리부(20)는 전처리를 거친 12 메가픽셀(Mpixel)의 이미지 데이터를 1.3 메가픽셀로 다운사이징할 수 있다.
여기서, 동영상 모드인 경우 상기 다운사이징 처리는 반드시 수행되어야하는 것은 아니며, 이미지 센서로부터 출력되는 이미지의 크기 여하에 따라서 상기 다운사이징 처리는 생략될 수도 있다.
제1 이미지 처리부(30)는 보간부(32), RGB 감마 보정부(34), YC 변환부(36) 및 잡음 필터부(38)를 포함할 수 있다.
보간부(32)는 상기 다운사이징 처리된 베이어(Bayer) 포맷의 RGB 데이터의 각 픽셀을 주변 픽셀값을 이용하여 보간(interpolation) 처리한다. 여기서, 상기 RGB 보간(interpolation) 처리에 의하여 각 픽셀당 R(Red), G(Green), B(Blue) 값 중 하나만을 가지는 이미지 전처리부(20)의 출력 데이터는 각 픽셀당 R(Red), G(Green) 및 B(Blue) 값을 모두 포함하게 된다.
RGB 감마 보정부(34)는 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 수행한다.
YC 변환부(36)는 RGB 영역의 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행한다. YC 변환부(36)는 제2 이미지 처리부(40)로부터의 밝기 정보등의 이미지 특성 정보를 이용하여 화질을 개선할 수 있다.
잡음 필터부(38)는 상기 YC 영역 데이터의 잡음을 줄이기 위한 필터링을 수행한다. 잡음 필터부(38)를 거친 YC 데이터는 메인 프로세서(50) 또는 보조 프로세서(60)로 제공된다.
제1 이미지 처리부(30)는 RGB 보간, RGB 감마 보정, YC 변환 및 잡음 필터링 처리를 반드시 모두 수행해야하는 것은 아니며 상기 RGB 보간, RGB 감마 보정, YC 변환 및 잡음 필터링 처리들 중 선택적으로 일부만을 처리할 수 있다.
제2 이미지 처리부(40)는 이미지 전처리부(20) 또는 제1 이미지 처리부(30)으로부터 소정의 이미지 특성을 나타내는 파라미터를 추출하여 오토 포커싱(Auto Focusing; AF)(42), 자동 노출(Auto Exposure; AE)(44), 오토 화이트 밸런싱(Auto White Balancing; AWB)(46) 처리를 수행한다. 여기서 상기 파라미터는 예를 들어, 전처리부(20)의 출력으로부터 추출되는 이미지 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 상기 밝기값은 평균값이 될 수 있다. 또는 상기 파라미터는 보간부(32)의 보간 처리된 이미지의 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 또는, 상기 파라미터는 RGB 감마 보정부(34) 또는 YC 변환부(36)의 출력 이미지의 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 또는 상기 파라미터는 밝기값외의 색차 성분(Cb, Cr)의 평균값등과 같은 다른 이미지 특성 정보를 더 포함할 수 있다. 상기 파라미터는 제2 이미지 처리부(40) 또는 메인 프로세서(50)에서 어느 파라미터를 사용할 것인지를 결정할 수 있다.
보조 프로세서(60)는 제1 이미지 처리부(30)에서 출력된 YC 데이터를 제공받아 후처리(post processing)부(65)에서 후처리 동작을 수행하고 동영상 인코딩을 수행하여 동영상 파일을 생성한다. 상기 후처리는 예를 들어 YC 데이터에 대한 칼라 보정(Color Correction)(62), 얼굴 검출(64), 표정 검출(66) 동작을 포함할 수 있다.
프로그램 메모리(74)는 보조 프로세서(60)를 구동하기 위한 프로그램을 저장하며 예를 들어 플래시 메모리 또는 에스램(SRAM)으로 구현될 수 있다.
데이터 메모리(76)는 보조 프로세서(60) 동작시 일시적으로 발생하는 임시 데이터를 저장하며 에스램(SRAM)으로 구현될 수 있다.
내부 메모리(72)는 제1 이미지 처리부(30)에서 출력된 YC 데이터를 저장하거나 상기 후처리된 이미지 데이터를 저장한다. 또는, 내부 메모리(72)는 상기 인코딩된 동영상 파일을 저장할 수도 있다.
메인 프로세서(50)는 이미지 처리 장치의 전체적인 동작을 제어한다. 구체적으로, 메인 프로세서(50)는 동영상 모드인지 정지 영상 모드인지 여부를 판단하고, 동영상 모드인 경우 제1 이미지 처리부(30)가 동작되도록 제어하고 정지 영상 모드인 경우 제1 이미지 처리부(30)가 동작되지 않도록 제어한다. 메인 프로세서(50)는 처리되는 이미지 데이터를 영역 분할할 경우 영역 분할 개수-예를 들어 4분할 또는 16분할-를 결정할 수 있다.
도 2는 본 발명의 일실시예에 따른 정지영상 모드로 동작하는 이미지 처리 장치를 나타낸 블록도이다.
도 2를 참조하면, 상기 이미지 처리 장치는 이미지 전처리부(20), 제2 이미지 처리부(40), 메인 프로세서(50), 보조 프로세서(260) 및 복수의 메모리(72, 74, 76)를 포함한다. 정지영상 모드로 동작하는 이미지 처리 장치는 제1 이미지 처리부(30)가 동작하지 않고, 보조 프로세서(260)에서 제1 이미지 처리부(30)에서 수행하는 처리 과정을 수행한다. 정지영상 모드의 경우 제1 이미지 처리부(30)는 이미지 특성을 나타내는 파라미터를 추출하기 위한 목적으로 활성화될 수는 있다.
정지 영상 모드로 동작하는 도 2의 이미지 처리 장치는 카메라로부터 촬영된 이미지가 정지 영상인 경우 이미지 센서(10)로부터 로우 데이터를 입력받아 정지영상 이미지를 처리한다.
먼저, 이미지 전처리부(20)는 이미지 센서(10)로부터 출력된 로우 데이터를 입력받아 소정의 전처리(pre-processing)를 수행한다. 상기 전처리는 예를 들어 로우 데이터의 각 픽셀의 결함(Defect)을 보정하기 위한 처리와 이미지 센서의 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading) 처리를 포함 할 수 있다. 이미지 전처리부(20)의 출력은 각 픽셀당 R(Red), G(Green), B(Blue) 값 중 하나만을 가진다. 이미지 전처리부(20)에서 전처리된 이미지 데이터는 내부 메모리(72)로 전달되어 저장된다.
제2 이미지 처리부(40)는 이미지 전처리부(20) 또는 제1 이미지 처리부(30)으로부터 소정의 이미지 특성을 나타내는 파라미터를 추출하여 오토 포커싱(Auto Focusing; AF)(42), 자동 노출(Auto Exposure; AE)(44), 오토 화이트 밸런싱(Auto White Balancing; AWB)(46) 처리를 수행한다. 여기서 상기 파라미터는 예를 들어, 전처리부(20)의 출력으로부터 추출되는 이미지 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 상기 밝기값은 평균값이 될 수 있다. 또는 상기 파라미터는 제1 이미지 처리부(30)의 보간부(32)의 보간 처리된 이미지의 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 또는, 상기 파라미터는 제1 이미지 처리부(30)의 RGB 감마 보정부(34) 또는 YC 변환부(36)의 출력 이미지의 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 또는 상기 파라미터는 밝기값외의 색차 성분(Cb, Cr)의 평균값등과 같은 다른 이미지 특성 정보를 더 포함할 수 있다. 상기 파라미터는 제2 이미지 처리부(40) 또는 메인 프로세서(50)에서 어느 파라미터를 사용할 것인지를 결정할 수 있다.
보조 프로세서(60)는 내부 메모리(72)로부터 전처리된 이미지 데이터를 읽어들여 소프트웨어적으로 RGB 보간, RGB 감마 보정, YC 변환 및 잡음 필터링을 수행하여 YC 데이터를 생성한다. 구체적으로, 보조 프로세서(60)는 보간부(262)를 통하여 상기 전처리된 베이어(Bayer) 포맷의 RGB 데이터의 각 픽셀을 주변 픽셀값을 이용하여 보간(interpolation) 처리한다. 여기서, 상기 RGB 보간(interpolation) 처리에 의하여 각 픽셀당 R(Red), G(Green), B(Blue) 값 중 하나만을 가지는 이미지 전처리부(20)의 출력 데이터는 각 픽셀당 R(Red), G(Green) 및 B(Blue) 값을 모두 포함하게 된다.
보조 프로세서(60)는 RGB 감마 보정부(264)를 통하여 상기 보간 처리된 데이 터에 대해서 RGB 감마 보정(gamma correction)을 수행한다.
보조 프로세서(60)는 YC 변환부(266)를 통하여 RGB 영역의 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행한다. YC 변환부(266)는 제2 이미지 처리부(40)로부터의 밝기 정보등의 이미지 특성 정보를 이용하여 화질을 개선할 수 있다.
보조 프로세서(60)는 잡음 필터부(268)를 통하여 상기 YC 영역 데이터의 잡음을 줄이기 위한 필터링을 수행한다.
프로그램 메모리(74)는 보조 프로세서(60)를 구동하기 위한 프로그램을 저장하며 예를 들어 플래시 메모리 또는 에스램(SRAM)으로 구현될 수 있다.
데이터 메모리(76)는 보조 프로세서(60) 동작시 일시적으로 발생하는 임시 데이터를 저장하며 에스램(SRAM)으로 구현될 수 있다.
메인 프로세서(50)는 이미지 처리 장치의 전체적인 동작을 제어한다. 구체적으로, 메인 프로세서(50)는 동영상 모드인지 정지 영상 모드인지 여부를 판단하고, 동영상 모드인 경우 제1 이미지 처리부(30)가 동작되도록 제어하고 정지 영상 모드인 경우 제1 이미지 처리부(30)가 동작되지 않도록 제어한다. 메인 프로세서(50)는 처리되는 이미지 데이터를 영역 분할할 경우 영역 분할 개수-예를 들어 4분할 또는 16분할-를 결정할 수 있다.
본 발명의 일실시예에 따른 이미지 처리 장치는 동영상 모드로 동작시 다운사이즈 처리부(22)를 거쳐서 줄어든 사이즈의 이미지를 처리하기 위하여 하드웨어 회로 로직으로 구현된 제1 이미지 처리부(30)을 구비한다. 본 발명의 일실시예에 따른 이미지 처리 장치는 정지 영상 모드로 동작시 다운사이즈 처리 과정을 거치지 않은 사이즈의 이미지를 직접 처리하기 위한 하드웨어 회로 로직으로 구현된 제1 이미지 처리부(30)를 동작시키지 않고 보조 프로세서(260)에서 소프트웨어적으로 처리한다. 따라서, 동영상 모드 또는 정지 영상 모드 모두에 대해서 본 발명의 일실시예에 따른 이미지 처리 장치는 상기 다운사이징된 크기의 픽셀들을 처리하기 위한 간단한 하드웨어 로직 회로로 구현된 제1 이미지 처리부(30)만을 구비하면 되므로 이미지 센서의 픽셀 개수가 증가하는 경우 하드웨어 로직 회로의 크기가 커져 휴대용 단말기 제조 비용이 상승하는 단점을 보완할 수 있다.
도 1 및 도 2의 이미지 처리 장치는 추가적으로 이미지 데이터를 저장하는 외부 메모리(78), JPEG과 같은 정지 영상 압축을 수행하는 정지영상 압축기(80), MPEG4와 같은 동영상 압축을 수행하는 동영상 압축기(82)를 더 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 이미지 처리 장치의 동영상 모드 및 정지 영상 모드 동작을 설명하는 흐름도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 이미지 처리 장치는 이미지 센서(10)로부터 제공된 로우 데이터에 대해 전처리(pre-processing)를 수행한다(단계 301). 상기 전처리는 예를 들어, 상기 로우 데이터의 각 픽셀의 결함(Defect)을 보정하기 위한 처리와 이미지 센서(10)의 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading) 처리를 포함 할 수 있다.
단계 303에서, 본 발명의 일실시예에 따른 이미지 처리 장치는 동작 모드가 동영상 모드인지 정지 영상 모드인지 여부를 판단한다.
상기 판단 결과 동영상 모드인 경우, 단계 311에서 상기 전처리된 RGB 이미지 데이터를 소정 비율로 크기를 줄이는 다운 사이징 처리를 수행한다. 상기 다운 사이징 처리된 이미지로부터 소정의 이미지 특성을 나타내는 파라미터를 추출하여 오토 포커싱(Auto Focusing; AF), 자동 노출(Auto Exposure; AE), 오토 화이트 밸런싱(Auto White Balancing; AWB) 처리를 수행할 수 있다.
단계 313에서, 상기 다운사이징 처리된 베이어(Bayer) 포맷의 RGB 데이터의 각 픽셀을 주변 픽셀값을 이용하여 보간(interpolation) 처리한다.
단계 315에서, 상기 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 수행하고, 단계 317에서 상기 감마 보정된 RGB 영역의 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행한다.
단계 319에서, 상기 YC 영역 데이터의 잡음을 줄이기 위한 필터링을 수행한다.
단계 319에서, 상기 필터링된 YC 데이터를 제공받아 후처리(post processing) 동작을 수행하고, 단계 323에서 상기 후처리된 이미지에 대해 동영상 인코딩을 수행하여 동영상 파일을 생성한다. 상기 후처리는 예를 들어 YC 데이터에 대한 칼라 보정(Color Correction), 얼굴 검출, 표정 검출 처리를 포함할 수 있다.
상기 판단 결과 정지 영상 모드인 경우, 단계 331에서 상기 전처리된 이미지 데이터를 내부 메모리(72)로 전달하여 내부 메모리(72)에 저장하여 보조 프로세서(260)에서 상기 전처리된 이미지 데이터를 읽어들여 RGB 보간 처리, RGB 감마 보 정, YC 변환, YC 필터링등의 처리를 수행하도록 한다.
상기 전처리된 이미지로부터 소정의 이미지 특성을 나타내는 파라미터를 추출하여 오토 포커싱(Auto Focusing; AF), 자동 노출(Auto Exposure; AE), 오토 화이트 밸런싱(Auto White Balancing; AWB) 처리를 수행할 수 있다.
단계 333에서, 보조 프로세서(260)는 내부 메모리(72)로부터 상기 전처리된 베이어(Bayer) 포맷의 RGB 데이터를 읽어들여 상기 RGB 데이터의 각 픽셀을 주변 픽셀값을 이용하여 보간(interpolation) 처리한다.
단계 335에서, 보조 프로세서(260)는 상기 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 수행하고, 단계 337에서 보조 프로세서(260)는 상기 감마 보정된 RGB 영역의 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행한다.
단계 339에서, 보조 프로세서(260)는 상기 YC 영역 데이터의 잡음을 줄이기 위한 필터링을 수행한다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 동영상 모드로 동작하는 이미지 처리 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 정지영상 모드로 동작하는 이미지 처리 장치를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 이미지 처리 장치의 동영상 모드 및 정지 영상 모드 동작을 설명하는 흐름도이다.

Claims (17)

  1. 휴대용 단말기의 이미지 처리 장치에 있어서,
    이미지 센서로부터 출력된 로우 데이터에 대해 소정의 전처리(pre-processing)를 수행하는 이미지 전처리부;
    동영상 모드인 경우 상기 전처리 이후의 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 제1 이미지 처리부; 및
    정지 영상 모드인 경우 상기 전처리된 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 보조 프로세서를 포함하는 휴대용 단말기의 이미지 처리 장치.
  2. 제1항에 있어서, 상기 동영상 모드인 경우 상기 제1 이미지 처리부가 동작하고, 상기 정지 영상 모드인 경우 상기 보조 프로세서에서 상기 제1 이미지 처리부의 동작을 소프트웨어적으로 수행하는 것을 특징으로 하는 휴대용 단말기의 이미지 처리 장치.
  3. 제1항에 있어서, 상기 보조 프로세서는 상기 정지 영상 모드인 경우 상기 보간(interpolation) 처리 및 상기 칼라 영역 변환(Color space conversion)을 소프 트웨어적으로 수행하는 것을 특징으로 하는 휴대용 단말기의 이미지 처리 장치.
  4. 제1항에 있어서, 상기 동영상 모드인 경우 상기 제1 이미지 처리부에서 출력된 데이터를 저장하며, 상기 정지 영상 모드인 경우 상기 이미지 전처리부에서 전처리된 이미지 데이터를 전달받아 저장하는 내부 메모리를 더 포함하는 것을 특징으로 하는 휴대용 단말기의 이미지 처리 장치.
  5. 제1항에 있어서, 상기 제1 이미지 처리부는 상기 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 더 수행하고, 상기 칼라 영역 변환(Color space conversion)된 휘도(Y)-색차(Chroma) 영역의 데이터에 대해 잡음을 줄이기 위한 필터링을 더 수행하는 것을 특징으로 하는 휴대용 단말기의 이미지 처리 장치.
  6. 제5항에 있어서, 상기 보조 프로세서는 상기 동영상 모드인 경우 상기 제1 이미지 처리부의 출력 데이터에 대한 칼라 보정(Color Correction), 얼굴 검출 및 표정 검출 중의 적어도 하나를 포함하는 후처리(post processing)를 수행하는 것을 특징으로 하는 휴대용 단말기의 이미지 처리 장치.
  7. 제6항에 있어서, 상기 보조 프로세서는 상기 정지 영상 모드인 경우 상기 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 더 수행하고, 상기 칼라 영역 변환(Color space conversion)된 휘도(Y)-색차(Chroma) 영역의 데이터에 대해 잡음을 줄이기 위한 필터링을 더 수행하는 것을 특징으로 하는 휴대용 단말기의 이미지 처리 장치.
  8. 제1항에 있어서, 상기 이미지 전처리부 또는 상기 제1 이미지 처리부로부터 소정의 이미지 특성을 나타내는 파라미터를 추출하여 오토 포커싱(Auto Focusing; AF), 자동 노출(Auto Exposure; AE) 및 오토 화이트 밸런싱(Auto White Balancing; AWB) 중 적어도 하나의 처리를 수행하는 제2 이미지 처리부를 더 포함하는 것을 특징으로 하는 휴대용 단말기의 이미지 처리 장치.
  9. 제1항에 있어서, 동영상 모드인 경우 상기 전처리된 이미지 데이터에 대해 다운 사이징 처리를 수행하는 다운사이즈 처리부를 더 포함하되, 상기 다운 사이즈 처리부를 더 포함하는 경우 제1 이미지 처리부는 상기 동영상 모드에서 상기 다운 사이즈 처리된 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 것을 특징으로 하는 휴대용 단말기의 이미지 처리 장치.
  10. 제1항에 있어서, 상기 전처리(pre-processing)는 상기 로우 데이터의 각 픽셀의 결함(Defect)을 보정하기 위한 처리 및 상기 이미지 센서의 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading) 처리 중의 적어도 하나를 포함하는 것을 특징으로 하는 휴대용 단말기의 이미지 처리 장치.
  11. 휴대용 단말기의 이미지 처리 장치에서의 이미지 처리 방법에 있어서,
    이미지 센서로부터 출력된 로우 데이터에 대해 소정의 전처리(pre-processing)를 수행하는 단계;
    동작 모드가 동영상 모드인지 정지 영상 모드인지 여부를 판단하는 단계;
    상기 판단 결과, 상기 동영상 모드인 경우 상기 전처리 이후의 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 단계;
    정지 영상 모드인 경우 상기 전처리된 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 단계를 포함하되,
    상기 동영상 모드인 경우 상기 동영상 모드의 보간(interpolation) 처리 및 칼라 영역 변환(Color space conversion)은 하드웨어 로직 회로에서 처리하고,
    상기 정지 영상 모드인 경우 상기 정지 영상 모드의 보간(interpolation) 처리 및 칼라 영역 변환(Color space conversion)은 상기 이미지 처리 장치의 보조 프로세서에서 소프트웨어적으로 수행하는 것을 특징으로 하는 이미지 처리 방법.
  12. 제11항에 있어서, 상기 동영상 모드인 경우 상기 칼라 영역 변환(Color space conversion)된 휘도(Y)-색차(Chroma) 영역의 데이터를 내부 메모리에 저장하 고, 상기 정지 영상 모드인 경우 상기 전처리된 이미지 데이터를 전달받아 내부 메모리에 저장하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  13. 제11항에 있어서,
    상기 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 수행하는 단계; 및
    상기 칼라 영역 변환(Color space conversion)된 휘도(Y)-색차(Chroma) 영역의 데이터에 대해 잡음을 줄이기 위한 필터링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  14. 제13항에 있어서, 상기 보조 프로세서는 상기 동영상 모드인 경우 상기 제1 이미지 처리부의 출력 데이터에 대한 칼라 보정(Color Correction), 얼굴 검출 및 표정 검출 중의 적어도 하나를 포함하는 후처리(post processing)를 수행하는 것을 특징으로 하는 이미지 처리 방법.
  15. 제14항에 있어서, 상기 보조 프로세서는 상기 정지 영상 모드인 경우 상기 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 더 수행하고, 상기 칼라 영역 변환(Color space conversion)된 휘도(Y)-색차(Chroma) 영역의 데이터에 대해 잡음을 줄이기 위한 필터링을 더 수행하는 것을 특징으로 하는 이미지 처리 방법.
  16. 제11항에 있어서, 상기 동영상 모드인 경우 상기 전처리 이후의 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 단계는
    상기 동영상 모드인 경우 상기 전처리된 이미지 데이터에 대해 다운 사이징 처리를 수행하는 단계; 및
    상기 동영상 모드에서 상기 다운 사이즈 처리된 이미지 데이터에 대해 보간(interpolation) 처리 및 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  17. 제11항에 있어서, 상기 전처리(pre-processing)는 상기 로우 데이터의 각 픽셀의 결함(Defect)을 보정하기 위한 처리 및 상기 이미지 센서의 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading) 처리 중의 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
KR1020080137277A 2008-12-30 2008-12-30 휴대용 단말기의 이미지 처리 장치 및 이미지 처리 방법 KR100990293B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080137277A KR100990293B1 (ko) 2008-12-30 2008-12-30 휴대용 단말기의 이미지 처리 장치 및 이미지 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080137277A KR100990293B1 (ko) 2008-12-30 2008-12-30 휴대용 단말기의 이미지 처리 장치 및 이미지 처리 방법

Publications (2)

Publication Number Publication Date
KR20100078896A KR20100078896A (ko) 2010-07-08
KR100990293B1 true KR100990293B1 (ko) 2010-10-26

Family

ID=42640062

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080137277A KR100990293B1 (ko) 2008-12-30 2008-12-30 휴대용 단말기의 이미지 처리 장치 및 이미지 처리 방법

Country Status (1)

Country Link
KR (1) KR100990293B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102200634B1 (ko) * 2020-03-24 2021-01-11 김유성 재실인원에 기반한 건물설비 운영 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950022799A (ko) * 1993-12-24 1995-07-28 미타라이 하지메 촬상장치
KR0125108B1 (ko) * 1992-12-11 1997-12-01 가나이 쯔또무 정지화상기록 디지탈 카메라
JP2006352630A (ja) 2005-06-17 2006-12-28 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2007135057A (ja) 2005-11-11 2007-05-31 Sony Corp 撮像装置、画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0125108B1 (ko) * 1992-12-11 1997-12-01 가나이 쯔또무 정지화상기록 디지탈 카메라
KR950022799A (ko) * 1993-12-24 1995-07-28 미타라이 하지메 촬상장치
JP2006352630A (ja) 2005-06-17 2006-12-28 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2007135057A (ja) 2005-11-11 2007-05-31 Sony Corp 撮像装置、画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
KR20100078896A (ko) 2010-07-08

Similar Documents

Publication Publication Date Title
KR101352730B1 (ko) 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법
US9767544B2 (en) Scene adaptive brightness/contrast enhancement
US8797421B2 (en) System and method to selectively combine images
US7733389B2 (en) Image capturing apparatus having electronic zoom function
US8311355B2 (en) Skin tone aware color boost for cameras
US7860334B2 (en) Adaptive image filter for filtering image information
JP5574615B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP5254466B2 (ja) ハイダイナミックレンジイメージ合成
US8542278B2 (en) Shaking detection device, shaking correction device, imaging device, and shaking detection method
US8717460B2 (en) Methods and systems for automatic white balance
US20120224766A1 (en) Image processing apparatus, image processing method, and program
JP2012525072A (ja) 画像選択および結合の方法およびデバイス
JP5291788B2 (ja) 撮像装置
US20030122937A1 (en) Method for processing digital CFA images, particularly for motion and still imaging
US20130322755A1 (en) Image processing method and apparatus
KR100990293B1 (ko) 휴대용 단말기의 이미지 처리 장치 및 이미지 처리 방법
US20240114251A1 (en) Server device and program
JP2008079301A (ja) 撮像装置
JP2009123119A (ja) デジタル信号処理装置及びデジタル信号処理方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130926

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 9