KR102362447B1 - 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치 - Google Patents

듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치 Download PDF

Info

Publication number
KR102362447B1
KR102362447B1 KR1020170063330A KR20170063330A KR102362447B1 KR 102362447 B1 KR102362447 B1 KR 102362447B1 KR 1020170063330 A KR1020170063330 A KR 1020170063330A KR 20170063330 A KR20170063330 A KR 20170063330A KR 102362447 B1 KR102362447 B1 KR 102362447B1
Authority
KR
South Korea
Prior art keywords
sensor
data
sensed
wavelength region
light
Prior art date
Application number
KR1020170063330A
Other languages
English (en)
Other versions
KR20180128168A (ko
Inventor
조정환
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020170063330A priority Critical patent/KR102362447B1/ko
Priority to EP18805605.5A priority patent/EP3614664B1/en
Priority to PCT/KR2018/005497 priority patent/WO2018216937A1/ko
Priority to US16/614,620 priority patent/US11277572B2/en
Priority to CN201880033047.4A priority patent/CN110663252B/zh
Publication of KR20180128168A publication Critical patent/KR20180128168A/ko
Application granted granted Critical
Publication of KR102362447B1 publication Critical patent/KR102362447B1/ko

Links

Images

Classifications

    • H04N9/09—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H04N5/2258—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 4G 시스템 이후 보다 높은 데이터 전송률을 지원하기 위한 5G 통신 시스템을 IoT 기술과 융합하는 통신 기법 및 그 시스템에 관한 것이다. 본 개시는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스 (예를 들어, 스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에 적용될 수 있다. 또한, 본 발명은 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치를 제공하며, 보다 구체적으로는 광량이 서로 다른 이미지 센서를 이용한 이미지 처리 방법 및 장치를 제공한다.

Description

듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치{METHOD AND APPARATUS FOR IMAGE PROCESSING BY USING DUAL IMAGE SENSOR}
본 발명은 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치를 제공하며, 보다 구체적으로는 광량이 서로 다른 이미지 센서를 이용한 이미지 처리 방법 및 장치를 제공한다.
4G 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 4G 네트워크 이후 (Beyond 4G Network) 통신 시스템 또는 LTE 시스템 이후 (Post LTE) 이후의 시스템이라 불리어지고 있다. 높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파(mmWave) 대역 (예를 들어, 60기가(60GHz) 대역과 같은)에서의 구현이 고려되고 있다. 초고주파 대역에서의 전파의 경로손실 완화 및 전파의 전달 거리를 증가시키기 위해, 5G 통신 시스템에서는 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO), 전차원 다중입출력(Full Dimensional MIMO: FD-MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 및 대규모 안테나 (large scale antenna) 기술들이 논의되고 있다. 또한 시스템의 네트워크 개선을 위해, 5G 통신 시스템에서는 진화된 소형 셀, 개선된 소형 셀 (advanced small cell), 클라우드 무선 액세스 네트워크 (cloud radio access network: cloud RAN), 초고밀도 네트워크 (ultra-dense network), 기기 간 통신 (Device to Device communication: D2D), 무선 백홀 (wireless backhaul), 이동 네트워크 (moving network), 협력 통신 (cooperative communication), CoMP (Coordinated Multi-Points), 및 수신 간섭제거 (interference cancellation) 등의 기술 개발이 이루어지고 있다. 이 밖에도, 5G 시스템에서는 진보된 코딩 변조(Advanced Coding Modulation: ACM) 방식인 FQAM (Hybrid FSK and QAM Modulation) 및 SWSC (Sliding Window Superposition Coding)과, 진보된 접속 기술인 FBMC(Filter Bank Multi Carrier), NOMA(non orthogonal multiple access), 및SCMA(sparse code multiple access) 등이 개발되고 있다.
한편, 인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망으로 진화하고 있다. 클라우드 서버 등과의 연결을 통한 빅데이터(Big data) 처리 기술 등이 IoT 기술에 결합된 IoE (Internet of Everything) 기술도 대두되고 있다. IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 연구되고 있다. IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT(information technology)기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
이에, 5G 통신 시스템을 IoT 망에 적용하기 위한 다양한 시도들이 이루어지고 있다. 예를 들어, 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 5G 통신 기술인 빔 포밍, MIMO, 및 어레이 안테나 등의 기법에 의해 구현되고 있는 것이다. 앞서 설명한 빅데이터 처리 기술로써 클라우드 무선 액세스 네트워크(cloud RAN)가 적용되는 것도 5G 기술과 IoT 기술 융합의 일 예라고 할 수 있을 것이다.
한편, 일반적으로 상기 5G 기술 또는 IoT 기술이 적용되는 단말 및 카메라 장치에 활용되는 이미지 센서는 베이어 패턴(bayer pattern)을 적용한 RGB 센서를 이용하여 이미지를 취득하는 방식을 활용할 수 있다. 이 때 사용되는 RGB 센서는 그 특성상 각 화소에 수광되는 빛의 Red/Green/Blue 중 필요한 색 영역만을 통과시켜 포토 다이오드에서 전기신호로 변환 후 저장할 수 있다.
상기 RGB 센서를 통과하는 빛은 각 색상 영역마다 적용되는 필터를 통과하며, 이로 인해 RGB 센서는 수광되는 광량의 1/3 정도만 취득할 수 있다.
따라서, 저조도 환경에서 이미지를 취득하고자 할 때 RGB 센서의 SN 특성이 나빠져 고품질의 이미지를 만드는데 어려움이 있다.
본 발명은 듀얼(dual) 이미지 센서 시스템을 지원하는 전자장치의 이미지 처리 방법에 있어서, 상기 전자장치에 배치되는 제1 센서와 제2 센서를 통해 데이터를 감지하는 단계 및 상기 제1 센서를 통해 감지된 데이터와 상기 제2 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 단계를 포함하고, 상기 제1 센서와 상기 제2 센서는 컬러 센서이며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량보다 큰 것을 특징으로 하는, 전자장치의 이미지 처리 방법을 제공한다.
상기 제1 센서와 상기 제2 센서는 복수개의 단위 셀로 구성되고, 상기 제1 센서와 상기 제2 센서의 각 단위 셀에서 감지하는 파장영역은 서로 중첩되지 않는 것을 특징으로 한다.
상기 제1 센서는 대역 통과 필터를 통해 데이터를 감지하고, 상기 제2 센서는 대역 소거 필터를 통해 데이터를 감지하는 것을 특징으로 한다.
상기 제1 센서는 기설정된 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역에 대한 데이터를 감지하고, 상기 제2 센서는 기설정된 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역에 대한 데이터를 감지하며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량의 두 배인 것을 특징으로 한다.
상기 이미지 합성 단계는, 상기 제2 센서를 통해 감지된 데이터의 도메인을 상기 제1 센서를 통해 감지된 데이터의 도메인으로 변환하는 단계 및 도메인 변환된 상기 제2 센서 데이터와 상기 제1 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 단계를 포함하는 것을 특징으로 한다.
상기 이미지 합성 단계는, 도메인 변환된 상기 제2 센서 데이터를 시차 수정(parallax correction)하고, 시차 수정된 상기 제2 센서 데이터와 상기 제1 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 것을 특징으로 한다.
본 발명은 듀얼(dual) 이미지 센서 시스템을 지원하는 전자장치에 있어서, 상기 전자장치에 배치되는 제1 센서, 상기 전자장치에 배치되는 제2 센서 및 상기 제1 센서를 통해 감지된 데이터와 상기 제2 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 제어부를 포함하고, 상기 제1 센서와 상기 제2 센서는 컬러 센서이며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량보다 큰 것을 특징으로 하는 전자장치를 제공한다.
상기 제1 센서와 상기 제2 센서는 복수개의 단위 셀로 구성되고, 상기 제1 센서와 상기 제2 센서의 각 단위 셀에서 감지하는 파장영역은 서로 중첩되지 않는 것을 특징으로 한다.
상기 제1 센서는 대역 통과 필터를 포함하며, 상기 제2 센서는 대역 소거 필터를 포함하는 것을 특징으로 한다.
상기 제1 센서는 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역에 대한 데이터를 감지하고, 상기 제2 센서는 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역에 대한 데이터를 감지하며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량의 두 배인 것을 특징으로 한다.
상기 제어부는 상기 제2 센서를 통해 감지된 데이터의 도메인을 상기 제1 센서를 통해 감지된 데이터의 도메인으로 변환하고, 도메인 변환된 상기 제2 센서의 데이터와 상기 제1 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 것을 특징으로 한다.
상기 제어부는 도메인 변환된 상기 제2 센서 데이터를 시차 수정(parallax correction)하고, 시차 수정된 상기 제2 센서의 데이터와 상기 제1 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 것을 특징으로 한다.
본 발명은 듀얼 렌즈(lens) 시스템을 지원하는 단말에 있어서, 제1 센서를 포함하는 제1 렌즈, 제2 센서를 포함하는 제2 렌즈 및 상기 제1 렌즈를 통해 감지된 데이터와 상기 제2 렌즈를 통해 감지된 데이터에 기반하여 이미지를 합성하는 제어부를 포함하고, 상기 제1 센서와 상기 제2 센서는 컬러 센서이며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량보다 큰 것을 특징으로 하는 단말을 제공한다.
상기 제1 센서와 상기 제2 센서는 복수개의 단위 셀로 구성되고, 상기 제1 센서와 상기 제2 센서의 각 단위 셀에서 감지하는 파장영역은 서로 중첩되지 않는 것을 특징으로 한다.
상기 제1 센서는 대역 통과 필터를 포함하며, 상기 제2 센서는 대역 소거 필터를 포함하는 것을 특징으로 한다.
상기 제1 센서는 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역에 대한 데이터를 감지하고, 상기 제2 센서는 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역에 대한 데이터를 감지하며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량의 두 배인 것을 특징으로 한다.
상기 제어부는 상기 제2 렌즈를 통해 감지된 데이터의 도메인을 상기 제1 렌즈를 통해 감지된 데이터의 도메인으로 변환하고, 도메인 변환된 상기 제2 렌즈의 데이터와 상기 제1 렌즈를 통해 감지된 데이터에 기반하여 이미지를 합성하는 것을 특징으로 한다.
상기 제어부는 도메인 변환된 상기 제2 렌즈 데이터를 시차 수정(parallax correction)하고, 시차 수정된 상기 제2 렌즈의 데이터와 상기 제1 렌즈를 통해 감지된 데이터에 기반하여 이미지를 합성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 이미지 센서를 통해 취득되는 광량이 종래의 RGB 센서에 비해 증가함으로써, 저조도 환경에서 이미지의 SN 특성이 좋아진다.
또한, 두 개의 컬러 이미지 센서를 통해 이미지를 취득함으로써, 이미지 depth 정보의 정밀성을 향상시킬 수 있다.
도 1은 RGB 센서의 파장 특성 그래프이다.
도 2a는 RGB 센서를 통해 감지되는 이미지를 나타내는 도면이다.
도 2b는 흑백 센서를 통해 감지되는 이미지를 나타내는 도면이다.
도 2c는 RGB 센서에서 감지되는 휘도 정보를 나타낸 도면이다.
도 2d는 흑백 센서에서 감지되는 휘도 정보를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 제1 센서와 제2 센서가 취득하는 광원을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 이미지 처리 방법의 순서를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 전자장치의 구성도이다.
도 6은 본 발명의 일실시예에 따른 단말의 구성도이다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다. 또한 실시 예에서 '~부'는 하나 이상의 프로세서를 포함할 수 있다.
이미지 센서는 외부로부터 입력받은 빛을 전기적 신호로 변환시켜, 이미지 처리를 하는 장치이다. 즉, 이미지 센서는 광학 영상의 강약과 색채를 감지하여 디지털 영상 데이터로 변환해 주는 장치이다.
상기 이미지 센서는 휴대전화 카메라 및 디지털 카메라 등의 핵심 부품으로 사용되며, 그 방식에 따라 크게 CCD(Charge Coupled Device)와 CMOS 이미지 센서로 구분할 수 있다.
CCD 이미지 센서는 많은 수의 광다이오드 소자가 집적되어 있다. 상기 광다이오드 소자에 빛이 조사되면 빛의 양에 따라 전자가 발생하고, 상기 발생된 전자의 양에 따라 이미지가 생성된다. 즉, CCD 이미지 센서는 빛에 의한 전자를 그대로 출력하기 때문에 노이즈가 적고 이미지 품질이 우수하다.
반면에, CMOS 이미지 센서는 발생된 전자를 전압으로 변환하여 출력하는 방식으로, 처리 속도가 빠르고 소비 전력이 낮다. 또한, 생산 단가가 낮고 온칩(on-chip)화 하여 통합하기 쉬워 소형화에 유리하므로, 휴대전화 카메라 및 디지털 카메라와 같은 휴대용 전자장치에 활용되기에 적합한 장점을 가진다.
다만, CMOS 이미지 센서는 저조도 상황에서 소자 자체가 불안정하며, 촬영한 화상에 노이즈가 증가할 수 있다.
그러나, 이러한 단점에도 불구하고, 가격경쟁력과 소형화에 유리한 CMOS 이미지 센서의 활용율이 점점 높아지고 있으며, 이로 인해 상기 CMOS 이미지 센서의 단점을 보완하는 방법의 필요성이 대두되고 있다.
대표적으로 베이어 패턴(bayer pattern)을 활용하는 RGB 센서가 상기 CMOS 이미지 센서의 일례가 될 수 있다.
베이어 패턴이 적용된 RGB 센서의 하나의 센서 셀(cell)에는 R(Red), G(Green), B(Blue) 필터 중 하나만 결합된다. RGB 센서는 격자무늬의 형태로 배열이 되며, 구체적으로 상기 RGB 센서는 G가 전체 셀면적의 50%, R과 B는 전체 셀 면적의 25%의 비율이 되도록 격자무늬 형태로 배열된다.
본 발명은 상기 개시한 CMOS 이미지 센서 즉, RGB 센서의 단점을 보완하기 위한 방법으로 두 개의 이미지 센서를 활용해 이미지를 처리 하는 방법을 제공한다.
도 1은 RGB 센서의 파장 특성 그래프이다.
앞서 개시한 바와 같이 RGB 센서에는 각 센서 셀마다 대역 통과 필터가 포함될 수 있다. 구체적으로는 도 1의 그래프에서 개시하고 있는 바와 같이 파장이 약 470nm, 530nm, 600nm 인 구간을 중심 대역으로 하는 대역 통과 필터가 적용될 수 있다.
470nm를 중심 대역으로 하는 대역 통과 필터를 통해서는 Blue 데이터를 감지할 수 있으며, 530nm를 중심 대역으로 하는 대역 통과 필터를 통해서는 Green 데이터를 감지할 수 있고, 600nm를 중심 대역으로 하는 대역 통과 필터를 통해서는 Red 데이터를 감지할 수 있다.
즉, RGB 센서는 Red, Green, Blue 데이터 중 하나만을 통과시키는 대역 통과 필터를 포함하고 있으므로, RGB 센서를 통해 감지되는 광량은 조사되는 광량의 약 1/3이 될 수 밖에 없다.
이로 인해 앞서 개시한 바와 같이 RGB 센서는 저조도 환경에서 이미지 처리를 위한 충분한 광량을 감지하지 못하므로 합성한 이미지에 많은 노이즈가 발생할 수 있다.
이를 극복하기 위한 방안으로 두 개의 RGB 센서를 활용한 듀얼 이미지 센서 시스템을 고려해 볼 수 있으나, RGB 센서가 두 개 마련된다고 하더라도, 저조도 환경에서 이미지의 노이즈가 크게 개선이 되지 않는바, 새로운 해결책이 요구된다.
저조도 환경에서 노이즈가 발생하는 원인은 앞서 개시한 바와 같이 센서를 통해 감지되는 광량이 이미지를 합성하기에 충분하지 않기 때문이다. 따라서, 감지할 수 있는 광량이 큰 센서를 활용하는 것이 상기 문제점을 해결할 수 있는 방안이 될 수 있다.
이에 따라 센서를 통해 조사되는 빛을 모두 감지할 수 있는 흑백 센서(monochrome sensor)를 RGB 센서와 함께 듀얼 이미지 센서로 활용하는 방안을 고려해 볼 수 있다. 이에 대한 자세한 설명은 도 2a 내지 도 2d에 대한 설명을 통해 후술하도록 하겠다.
도 2a는 RGB 센서를 통해 감지되는 이미지를 나타내는 도면이며, 도 2b는 흑백 센서를 통해 감지되는 이미지를 나타내는 도면이다.
보다 구체적으로 상기 도 2a와 도 2b는 RGB 센서와 흑백 센서에서 취득한 멕베스 차트(Macbeth chart) 데이터를 나타낸 도면이며, 멕베스 차트는 색상 측정 비교를 위해 사용되는 컬러 차트를 의미한다.
여기서 흑백 센서는 대역 통과 필터를 포함하지 않은 센서로, 이로 인해 넓은 범위 파장의 빛(400nm ~ 700nm)을 감지할 수 있어, 저조도 환경에서도 노이즈 없는 이미지 처리를 할 수 있다.
다만, 흑백 센서는 이미지의 배율 및 색수차도 휘도 정보로 감지하므로, 컬러 이미지의 선명도가 감소할 수 있으며, 일반적으로 배율 및 색수차의 보정도 불가능하다.
따라서, 흑백 센서를 사용하는 경우, 저조도 환경에서 센서의 SN 성능이 향상됨은 별론, 흑백 센서에서 색 구분을 명확하게 하지 못함으로 인해 컬러 이미지에서 선명도가 감소할 수 있다.
RGB 센서에 대한 멕베스 차트인 도 2a에서 박스로 표시된 부분에는 총 세 영역의 셀이 존재하며, 각각의 셀 영역은 다른 색을 가지는 것을 도 2a를 통해 확인할 수 있다.
반면에 흑백 센서는 RGB 센서에 대한 멕베스 차트와 동일한 영역(박스로 표시된 부분)에서 모두 동일한 셀 이미지를 가지는 것을 확인할 수 있다.
즉, RGB 센서에 의할 경우, 박스친 부분을 파란색 영역, 빨간색 영역, 검은색 영역으로 구분할 수 있는 반면에, 흑백 센서에 의할 경우 세 영역을 모두 동일한 이미지 영역으로 감지하게 된다.
이는 앞서 개시한 바와 같이 흑백 센서는 이미지의 색수차 역시 휘도 정보로 감지하기 때문인데, 구체적으로 이에 대한 설명은 도 2c와 도 2d에 대한 설명을 통해 후술하도록 하겠다.
도 2c는 RGB 센서에서 감지되는 휘도 정보를 나타낸 도면이며, 도 2d는 흑백 센서에서 감지되는 휘도 정보를 나타낸 도면이다.
도 2c와 도 2d에서 박스로 표시된 부분은 도 2a와 도 2b에서 박스로 표시된 부분과 동일한 영역이며, 박스로 표시된 부분을 구성하는 세 영역은 도 2a에서 확인한 바와 같이 본래 모두 다른 색을 가진다.
RGB 센서를 통해 감지되는 휘도 정보는 도 2c에서 도시하고 있는 바와 같이 세 영역이 모두 다른 값을 가진다. 따라서 RGB 센서에 따르면 휘도 정보만으로 세 영역을 구분할 수 있으며, 상기 휘도 정보와 색수차 정보를 합성하여 도 2a에서 도시하고 있는 이미지를 합성할 수 있다.
반면에, 흑백 센서를 통해 감지되는 휘도 정보는 도 2d에서 도시하고 있는 바와 같이 박스로 표시된 세 영역에서 모두 동일한 값을 가진다. 이에 따라 도 2d의 박스로 표시된 세 영역은 모두 동일한 밝기로 보이며, 이에 따라 휘도 정보만으로 이미지를 합성하는 흑백 센서는 도 2b에서 도시하고 있는 바와 같이 박스로 표시된 세 영역을 모두 동일한 이미지 영역으로 감지하는 것이다.
결국 도 2a 내지 도 2d에서 살펴본 RGB 센서와 흑백 센서의 특성 차이를 고려해볼 때, RGB 센서와 흑백 센서를 듀얼 이미지 센서로 활용하는 방안은 흑백 센서가 색상 판별이 불가능하다는 단점으로 인해 적합하지 않다.
그러므로 RGB 센서와 함께 듀얼 이미지 센서로 활용되기 위해서는 색상 판별은 가능하면서도, RGB 센서 보다 더 많은 광량을 감지하여, 저조도 환경에서도 SN 특성이 우수한 센서가 필요하다.
따라서 본 발명에서는 대역 소거 필터를 포함하는 보색 센서(complementary sensor)를 RGB 센서와 함께 활용하는 듀얼 이미지 센서 시스템을 개시하고자 한다.
구체적으로 본 발명에 따를 경우 듀얼 이미지 센서 시스템을 구성하는 제1 센서는 기설정된 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역에 대한 데이터를 감지할 수 있고, 제2 센서는 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역에 대한 데이터를 감지할 수 있다.
여기서 제1 파장 영역, 제2 파장 영역, 제3 파장 영역은 RGB 센서의 Red, Greeen, Blue에 대응되는 파장 영역이다. 일례로 앞서 개시한 바와 같이 제1 파장 영역은 파장 600nm를 중심으로 하는 파장 영역이 될 수 있으며, 제2 파장 영역은 530nm를 중심으로 하는 파장 영역이 될 수 있고, 제3 파장 영역은 470nm를 중심으로 하는 파장 영역이 될 수 있다.
동일한 원리로 제4 파장 영역은, 제5 파장 영역, 제6 파장 영역은 보색 센서의 Magenta, Yellow, Cyan에 대응되는 파장 영역이 될 수 있으며, 이에 따라 본 발명에서 개시하고 있는 제1 센서는 RGB 센서를 포함할 수 있으며, 제2 센서는 보색 센서를 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 제1 센서와 제2 센서가 감지하는 광원을 나타내는 도면이다.
본 발명에 따를 경우, 제1 센서는 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역에 대한 데이터를 감지할 수 있다. 즉, 빛의 3원색(Red 또는 Green 또는 Blue)에 대한 데이터를 감지할 수 있다. 제1 센서가 빛의 3원색에 대한 데이터를 감지할 수 있는 이유는 앞선 도 1에 대한 설명에서 개시한 바와 같이 제1 센서가 대역 통과 필터를 포함하고 있기 때문이며, 대역 통과 필터가 통과시키는 파장 영역에 따라 감지되는 데이터의 색상 정보가 결정된다.
동일한 원리로 제2 센서는 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역에 대한 데이터를 감지할 수 있다. 즉, 색의 3원색(Magenta 또는 Yellow 또는 Cyan)에 대한 데이터를 감지할 수 있다. 여기서 색의 3원색은 물체로부터 반사되어 돌아오는 색을 의미한다.
특정한 색을 가지는 물체는 다른 색에 대한 빛(파장)은 흡수하고, 특정한 색에 대한 빛(파장)은 반사한다. 일례로 Green의 색을 띠는 물체는 빛으로부터 Red와 Blue에 대한 빛(파장)은 흡수하고, Green에 대한 빛(파장)은 반사시킨다.
이에 따라 물체는 도 3 에서 도시하고 있는 바와 같이 Red와 Blue가 합성된 Magenta에 대한 빛을 흡수하게 된다. 동일한 원리로 Red와 Green이 합성되어 Yellow를 형성할 수 있으며, Green과 Blue가 합성되어 Cyan을 형성할 수 있다.
따라서 도 3에서 개시하고 있는 빛의 3원색인 Red, Green, Blue와 색의 3원색인 Magenta, Yellow, Cyan의 관계를 고려할 때, 특정 파장의 빛을 소거하는 대역 소거 필터를 통해 색의 3원색을 감지하는 제2 센서를 구현할 수 있음을 확인할 수 있다.
일례로써, Red에 대한 파장 영역인 600nm 파장 영역을 소거하는 대역 소거 필터를 통해 Magenta에 대한 데이터를 감지하는 제2 센서를 구현할 수 있다.
또한, 제1 센서와 제2 센서는 복수개의 단위 셀로 구성될 수 있는데, 이 경우 상기 제1 센서와 상기 제2 센서의 각 단위 셀에서 감지하는 파장영역은 서로 중첩되지 않을 수 있다.
예를 들어, 제1 센서의 첫 번째 셀이 470nm를 중심으로 하는 제1 파장 영역만을 감지하여, Blue에 대한 데이터를 감지할 수 있다면, 제2 센서의 첫 번째 셀은 470nm를 중심으로 하는 파장을 제외한 제4 파장 영역을 감지하여, Yellow에 대한 데이터를 감지할 수 있을 것이다.
도 4는 본 발명의 일실시예에 따른 이미지 처리 방법의 순서를 나타내는 도면이다.
S410 단계에서는, 제1 센서와 제2 센서를 통해 데이터를 감지할 수 있다. 앞서 개시한 바와 같이 제1 센서는 빛의 3원색인 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역(Red 또는 Green 또는 Blue)에 대한 데이터를 감지할 수 있으며, RGB 센서가 이에 포함될 수 있다.
동일하게 제2 센서는 색의 3원색인 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역(Yellow 또는 Matenta 또는 Cyan)에 대한 데이터를 감지할 수 있으며, 보색 센서가 이에 포함될 수 있다.
또한, 상기 제1 센서는 특정 파장 영역만을 통과시키는 대역 통과 필터를 통해 데이터를 감지할 수 있고, 제2 센서는 특정 파장 영역만을 소거시키는 대역 소거 필터를 통해 데이터를 감지할 수 있다.
이에 따라 제2 센서는 제1 센서에 비해 더 큰 광량을 감지할 수 있으며, 이로 인해 제1 센서와 제2 센서를 포함하는 전자장치 SN성능이 향상될 수 있다.
일례로, 제1 센서는 Red에 대한 파장 영역만을 통과시키고, Green과 Blue에 대한 파장 영역은 소거시키며, 제2 센서는 Red 파장 영역만을 소거시키고, Green과 Blue에 대한 파장 역역을 통과시킨다면, 제2 센서가 감지하는 광량은 제1 센서가 감지하는 광량의 두 배가 될 것이며, 이로 인해 상기 제1 센서와 제2 센서를 포함하는 전자장치의 SN 성능이
Figure 112017049007080-pat00001
Figure 112017049007080-pat00002
배 까지 향상될 수 있다.
S420 단계에서는, 제어부에서 제2 센서를 통해 감지된 데이터 도메인을 제1 센서를 통해 감지된 데이터 도메인으로 변환한다.
제2 센서를 통해 감지되는 데이터 도메인은 앞서 개시한 바와 같이 Magenta, Yellow, Cyan 에 대한 것이므로 제1 센서를 통해 감지되는 데이터 도메인과 상이하다.
따라서, 제1 센서와 제2 센서를 통해 감지한 데이터를 합성하기 위한 선결단계로 제2 센서를 통해 감지된 데이터 도메인을 제1 센서 데이터의 도메인으로 변환하는 것이다.
구체적으로 S420 단계는 하기의 수학식 1에 기반하여 제2 센서를 통해 감지된 데이터의 도메인을 제1 센서를 통해 감지된 데이터의 도메인으로 변환할 수 있다.
[수학식 1]
R = (Y+M-C)/2, G = (Y-M+C)/2, B = (-Y+M+C)/2
R: 제1 센서의 제1 파장 영역 광량, G: 제1 센서의 제2 파장 영역 광량, B: 제1 센서의 제3 파장 영역 광량, Y: 제2 센서의 제4 파장 영역 광량, M: 제2 센서의 제5 파장 영역 광량, C: 제2 센서의 제6 파장 영역 광량
상기 수학식 1에 따라서 제2 센서를 통해 감지된 Magenta, Yellow, Cyan에 대한 데이터는 Red, Green, Blue에 대한 데이터로 변환될 수 있다.
이후, S430 단계에서는, 제어부에서 도메인 변환된 제2 센서의 데이터를 시차 수정(parallax correction)할 수 있다.
일반적으로 전자장치에 배치되는 제1 센서와 제2 센서는 동일한 위치에 중첩되서 배치될 수 없다. 따라서 동일한 이미지를 감지한다고 하더라도 제1 센서를 통해 감지되는 이미지에 대한 데이터 정보와 제2 센서를 통해 감지되는 이미지에 대한 데이터 정보는 상이할 수 있다.
이로 인해 제1 센서를 통한 데이터와 제2 센서를 통한 데이터를 합성하는 경우 오류가 발생할 수 있다. 그러므로 본 발명에서는 이와 같은 오류를 방지하고자, 제2 센서를 통해 감지되는 데이터를 시차 수정하는 것이다.
상기 시차 수정은 제1 센서와 제2 센서가 전자장치에 배치되는 위치에 따라 그 방법이 결정될 수 있으며, 제1 센서와 제2 센서의 종류에 따라 그 방법이 결정될 수도 있다.
이후 S440 단계에서는 시차 수정된 제2 센서 데이터와 제1 센서를 통해 감지된 데이터에 기반하여 이미지를 합성할 수 있다.
따라서, 본 발명에 따를 경우 두 개의 컬러 이미지 센서를 통해 대상 물체의 컬러 성분 정보를 이미지의 depth 정보로 활용할 수 있는바, 이미지 depth 정보의 정밀성을 향상 시킬 수 있다.
본 발명에서는 듀얼 이미지 센서 시스템을 지원하는 전자장치의 이미지 처리 방법만을 개시하고 있으나, 본 발명의 권리 범위는 이에 국한되지 않으며, 둘 이상의 이미지 센서를 지원하는 전자장치의 이미지 처리 방법에 미칠 수 있다. 특히, 감지되는 광량이 상이한 복수개의 이미지 센서를 지원하는 전자장치의 이미지 처리 방법에 본 발명의 권리범위가 미칠 수 있을 것이다.
도 5는 본 발명의 일실시예에 따른 전자장치의 구성도이다.
본 발명에 따른 전자장치(500)는 상기 전자장치(500)에 배치되는 제1 센서(510), 상기 전자장치(500)에 배치되는 제2 센서(520)와 상기 제1 센서(510)를 통해 감지된 데이터와 상기 제2 센서(520)를 통해 감지된 데이터에 기반하여 이미지를 합성하는 제어부(530)를 포함할 수 있으며, 상기 제1 센서(510)와 상기 제2 센서(520)는 컬러 센서이며, 상기 제2 센서(520)를 통해 감지되는 광량은 상기 제1 센서(510)를 통해 감지되는 광량보다 클 수 있다.
상기 제1 센서(510)와 제2 센서(520)는 복수개의 단위 셀로 구성되고, 상기 제1 센서(510)와 상기 제2 센서(520)의 각 단위 셀에서 감지하는 파장영역은 서로 중첩되지 않을 수 있다.
상기 제1 센서(510)는 대역 통과 필터(530)를 포함할 수 있으며, 상기 제2 센서(520)는 대역 소거 필터(540)를 포함할 수 있다.
뿐만 아니라, 상기 제1 센서(510)는 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역에 대한 데이터를 감지하고, 상기 제2 센서(520)는 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역에 대한 데이터를 감지하며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량의 두 배일 수 있다.
상기 제1 센서(510)는 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역(Red 또는 Green 또는 Blue)에 대한 데이터를 감지할 수 있고, 상기 제2 센서(520)는 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역(Yellow 또는 Magenta 또는 Cyan)에 대한 데이터를 감지할 수 있는바, RGB 센서가 상기 제1 센서(510)에 포함될 수 있으며, 보색 센서가 상기 제2 센서(520)에 포함될 수 있다.
상기 제어부(530)는 상기 제2 센서(520)를 통해 감지된 데이터의 도메인을 상기 제1 센서(510)를 통해 감지된 데이터의 도메인으로 변환하고, 도메인 변환된 상기 제2 센서(520)의 데이터를 시차 수정(parallax correction)하며, 시차 수정된 상기 제2 센서(520)의 데이터와 상기 제1 센서(510)를 통해 감지된 데이터에 기반하여 이미지를 합성할 수 있다.
구체적으로 상기 제어부(530)는 하기의 수학식 2에 기반하여 상기 제2 센서를 통해 감지된 데이터의 도메인을 상기 제1 센서를 통해 감지된 데이터의 도메인으로 변환할 수 있다.
[수학식 2]
R = (Y+M-C)/2, G = (Y-M+C)/2, B = (-Y+M+C)/2
R: 제1 센서의 제1 파장 영역 광량, G: 제1 센서의 제2 파장 영역 광량, B: 제1 센서의 제3 파장 영역 광량, Y: 제2 센서의 제4 파장 영역 광량, M: 제2 센서의 제5 파장 영역 광량, C: 제2 센서의 제6 파장 영역 광량
도 6은 본 발명의 일실시예에 따른 단말의 구성도이다.
본 발명에 따른 단말(600)은 제1 센서(615)를 포함하는 제1 렌즈(610), 제2 센서(625)를 포함하는 제2 렌즈(620), 상기 제1 렌즈(610)를 통해 감지된 데이터와 상기 제2 렌즈(620)를 통해 감지된 데이터에 기반하여 이미지를 합성하는 제어부(630)와 합성된 이미지를 디스플레이하는 디스플레이부(640)를 포함할 수 있다.
상기 제1 렌즈(610)와 제2 렌즈(620)는 도 6에서 도시하는 바와 같이 서로 다른 위치에 배치될 수 있다. 일례로, 도 6에서는 디스플레이부(640)가 배치되는 단말의 전면에 제1 렌즈(610)와 제2 렌즈(620)가 배치되는 경우를 도시한 것이며, 이와 다르게 제1 렌즈(610) 또는 제2 렌즈(620)가 단말의 배면에 배치될 수도 있다.
또한 상기 제1 센서(615)와 상기 제2 센서(625)는 컬러 센서이며, 상기 제2 센서(625)를 통해 김자되는 광량은 상기 제1 센서(615)를 통해 감지되는 광량보다 클 수 있다.
상기 제1 센서(615)와 제2 센서(625)는 복수개의 단위 셀로 구성되고, 상기 제1 센서(615)와 상기 제2 센서(625)의 각 단위 셀에서 감지하는 파장영역은 서로 중첩되지 않을 수 있다.
상기 제1 센서(615)는 대역 통과 필터(미도시)를 포함할 수 있으며, 상기 제2 센서(625)는 대역 소거 필터(미도시)를 포함할 수 있다.
뿐만 아니라, 상기 제1 센서(615)는 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역(Red 또는 Green 또는 Blue)에 대한 데이터를 감지할 수 있고, 상기 제2 센서(625)는 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역(Yellow 또는 Magenta 또는 Cyan)에 대한 데이터를 감지할 수 있는바, RGB 센서가 상기 제1 센서(615)에 포함될 수 있으며, 보색 센서가 상기 제2 센서(625)에 포함될 수 있다. 또한, 상기 제2 선세(625)를 통해 감지되는 광량을 상기 제1 센서(615)를 통해 감지되는 광량의 두 배가 될 수 있다.
상기 제어부(630)는 상기 제2 렌즈(620)를 통해 감지된 데이터의 도메인을 상기 제1 렌즈(610)를 통해 감지된 데이터의 도메인으로 변환하고, 도메인 변환된 상기 제2 렌즈(620)의 데이터를 시차 수정(parallax correction)하며, 시차 수정된 상기 제2 렌즈(620)의 데이터와 상기 제1 렌즈(610)를 통해 감지된 데이터에 기반하여 이미지를 합성할 수 있다.
구체적으로 상기 제어부(630)는 하기의 수학식 3에 기반하여 상기 제2 렌즈(620)를 통해 감지된 데이터의 도메인을 상기 제1 렌즈(610)를 통해 감지된 데이터의 도메인으로 변환할 수 있다.
[수학식 3]
R = (Y+M-C)/2, G = (Y-M+C)/2, B = (-Y+M+C)/2
R: 제1 센서의 제1 파장 영역 광량, G: 제1 센서의 제2 파장 영역 광량, B: 제1 센서의 제3 파장 영역 광량, Y: 제2 센서의 제4 파장 영역 광량, M: 제2 센서의 제5 파장 영역 광량, C: 제2 센서의 제6 파장 영역 광량
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명의 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한 상기 각각의 실시 예는 필요에 따라 서로 조합되어 운용할 수 있다. 예컨대, 본 발명의 실시예 1와 실시예 2, 그리고 실시예3의 일부분들이 서로 조합되어 기지국과 단말이 운용될 수 있다. 또한 상기 실시예들은 LTE 시스템을 기준으로 제시되었지만, 5G 혹은 NR 시스템 등 다른 시스템에도 상기 실시예의 기술적 사상에 바탕을 둔 다른 변형예들이실시 가능할 것이다.

Claims (21)

  1. 듀얼(dual) 이미지 센서 시스템을 지원하는 전자장치의 이미지 처리 방법에 있어서,
    상기 전자장치에 배치되는 제1 센서와 제2 센서를 통해 데이터를 감지하는 단계; 및
    상기 제1 센서를 통해 감지된 데이터와 상기 제2 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 단계를 포함하고,
    상기 제1 센서와 상기 제2 센서는 컬러 센서이며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량보다 큰 것을 특징으로 하고,
    상기 제1 센서와 상기 제2 센서는 복수개의 단위 셀로 구성되고, 상기 제1 센서와 상기 제2 센서의 각 단위 셀에서 감지하는 파장영역은 서로 중첩되지 않고,
    상기 제1 센서는 대역 통과 필터를 통해 데이터를 감지하고, 상기 제2 센서는 대역 소거 필터를 통해 데이터를 감지하고,
    상기 제1 센서는 기설정된 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역에 대한 데이터를 감지하고, 상기 제2 센서는 기설정된 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역에 대한 데이터를 감지하며,
    상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량의 두 배이고,
    상기 이미지 합성 단계는,
    상기 제2 센서를 통해 감지된 데이터의 도메인을 상기 제1 센서를 통해 감지된 데이터의 도메인으로 변환하는 단계; 및
    도메인 변환된 상기 제2 센서 데이터와 상기 제1 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 단계를 포함하는 것을 특징으로 하는,
    전자장치의 이미지 처리 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 도메인 변환 단계는,
    하기의 수학식 4에 기반하여 상기 제2 센서를 통해 감지된 데이터의 도메인을 상기 제1 센서를 통해 감지된 데이터의 도메인으로 변환하는 것을 특징으로 하는,
    전자장치의 이미지 처리 방법.
    [수학식 4]
    R = (Y+M-C)/2, G = (Y-M+C)/2, B = (-Y+M+C)/2
    R: 제1 센서의 제1 파장 영역 광량, G: 제1 센서의 제2 파장 영역 광량, B: 제1 센서의 제3 파장 영역 광량, Y: 제2 센서의 제4 파장 영역 광량, M: 제2 센서의 제5 파장 영역 광량, C: 제2 센서의 제6 파장 영역 광량
  7. 제1항에 있어서,
    상기 이미지 합성 단계는,
    도메인 변환된 상기 제2 센서 데이터를 시차 수정(parallax correction)하고, 시차 수정된 상기 제2 센서 데이터와 상기 제1 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 것을 특징으로 하는,
    전자장치의 이미지 처리 방법.
  8. 듀얼(dual) 이미지 센서 시스템을 지원하는 전자장치에 있어서,
    상기 전자장치에 배치되는 제1 센서;
    상기 전자장치에 배치되는 제2 센서; 및
    상기 제1 센서를 통해 감지된 데이터와 상기 제2 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 제어부;를 포함하고,
    상기 제1 센서와 상기 제2 센서는 컬러 센서이며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량보다 크고,
    상기 제1 센서와 상기 제2 센서는 복수개의 단위 셀로 구성되고, 상기 제1 센서와 상기 제2 센서의 각 단위 셀에서 감지하는 파장영역은 서로 중첩되지 않고,
    상기 제1 센서는 대역 통과 필터를 통해 데이터를 감지하고, 상기 제2 센서는 대역 소거 필터를 통해 데이터를 감지하고,
    상기 제1 센서는 기설정된 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역에 대한 데이터를 감지하고, 상기 제2 센서는 기설정된 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역에 대한 데이터를 감지하며,
    상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량의 두 배이고,
    상기 제어부는 상기 제2 센서를 통해 감지된 데이터의 도메인을 상기 제1 센서를 통해 감지된 데이터의 도메인으로 변환하고, 도메인 변환된 상기 제2 센서의 데이터와 상기 제1 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 것을 특징으로 하는,
    전자장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제8항에 있어서,
    상기 제어부는 하기의 수학식 5에 기반하여 상기 제2 센서를 통해 감지된 데이터의 도메인을 상기 제1 센서를 통해 감지된 데이터의 도메인으로 변환하는 것을 특징으로 하는,
    전자장치.
    [수학식 5]
    R = (Y+M-C)/2, G = (Y-M+C)/2, B = (-Y+M+C)/2
    R: 제1 센서의 제1 파장 영역 광량, G: 제1 센서의 제2 파장 영역 광량, B: 제1 센서의 제3 파장 영역 광량, Y: 제2 센서의 제4 파장 영역 광량, M: 제2 센서의 제5 파장 영역 광량, C: 제2 센서의 제6 파장 영역 광량
  14. 제8항에 있어서,
    상기 제어부는 도메인 변환된 상기 제2 센서 데이터를 시차 수정(parallax correction)하고, 시차 수정된 상기 제2 센서의 데이터와 상기 제1 센서를 통해 감지된 데이터에 기반하여 이미지를 합성하는 것을 특징으로 하는,
    전자장치.
  15. 듀얼 렌즈(lens) 시스템을 지원하는 단말에 있어서,
    제1 센서를 포함하는 제1 렌즈;
    제2 센서를 포함하는 제2 렌즈; 및
    상기 제1 렌즈를 통해 감지된 데이터와 상기 제2 렌즈를 통해 감지된 데이터에 기반하여 이미지를 합성하는 제어부;를 포함하고,
    상기 제1 센서와 상기 제2 센서는 컬러 센서이며, 상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량보다 크고,
    상기 제1 센서와 상기 제2 센서는 복수개의 단위 셀로 구성되고, 상기 제1 센서와 상기 제2 센서의 각 단위 셀에서 감지하는 파장영역은 서로 중첩되지 않고,
    상기 제1 센서는 대역 통과 필터를 통해 데이터를 감지하고, 상기 제2 센서는 대역 소거 필터를 통해 데이터를 감지하고,
    상기 제1 센서는 기설정된 제1 파장 영역 또는 제2 파장 영역 또는 제3 파장 영역에 대한 데이터를 감지하고, 상기 제2 센서는 기설정된 제4 파장 영역 또는 제5 파장 영역 또는 제6 파장 영역에 대한 데이터를 감지하며,
    상기 제2 센서를 통해 감지되는 광량은 상기 제1 센서를 통해 감지되는 광량의 두 배이고,
    상기 제어부는 상기 제2 렌즈를 통해 감지된 데이터의 도메인을 상기 제1 렌즈를 통해 감지된 데이터의 도메인으로 변환하고, 도메인 변환된 상기 제2 렌즈의 데이터와 상기 제1 렌즈를 통해 감지된 데이터에 기반하여 이미지를 합성하는 것을 특징으로 하는,
    단말.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제15항에 있어서,
    상기 제어부는 하기의 수학식 6에 기반하여 상기 제2 렌즈를 통해 감지된 데이터의 도메인을 상기 제1 렌즈를 통해 감지된 데이터의 도메인으로 변환하는 것을 특징으로 하는,
    단말.
    [수학식 6]
    R = (Y+M-C)/2, G = (Y-M+C)/2, B = (-Y+M+C)/2
    R: 제1 센서의 제1 파장 영역 광량, G: 제1 센서의 제2 파장 영역 광량, B: 제1 센서의 제3 파장 영역 광량, Y: 제2 센서의 제4 파장 영역 광량, M: 제2 센서의 제5 파장 영역 광량, C: 제2 센서의 제6 파장 영역 광량
  21. 제15항에 있어서,
    상기 제어부는 도메인 변환된 상기 제2 렌즈 데이터를 시차 수정(parallax correction)하고, 시차 수정된 상기 제2 렌즈의 데이터와 상기 제1 렌즈를 통해 감지된 데이터에 기반하여 이미지를 합성하는 것을 특징으로 하는,
    단말.
KR1020170063330A 2017-05-23 2017-05-23 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치 KR102362447B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170063330A KR102362447B1 (ko) 2017-05-23 2017-05-23 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치
EP18805605.5A EP3614664B1 (en) 2017-05-23 2018-05-14 Method and device for image processing using a dual image sensor
PCT/KR2018/005497 WO2018216937A1 (ko) 2017-05-23 2018-05-14 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치
US16/614,620 US11277572B2 (en) 2017-05-23 2018-05-14 Method and device for composing an image based on data detected by first and second image sensor
CN201880033047.4A CN110663252B (zh) 2017-05-23 2018-05-14 使用双图像传感器进行图像处理的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170063330A KR102362447B1 (ko) 2017-05-23 2017-05-23 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180128168A KR20180128168A (ko) 2018-12-03
KR102362447B1 true KR102362447B1 (ko) 2022-02-14

Family

ID=64396785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170063330A KR102362447B1 (ko) 2017-05-23 2017-05-23 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US11277572B2 (ko)
EP (1) EP3614664B1 (ko)
KR (1) KR102362447B1 (ko)
CN (1) CN110663252B (ko)
WO (1) WO2018216937A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102584573B1 (ko) 2021-11-24 2023-10-04 주식회사 유엑스팩토리 복합 센서 정보를 이용하여 영상 화질을 개선하는 통합 영상 처리 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160269715A1 (en) * 2015-03-13 2016-09-15 Sensors Unlimited, Inc. Parallax correction of imaging system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0169376B1 (ko) 1995-10-10 1999-03-20 김광호 멀티미디어 대응 가능한 씨씨디 카메라 시스템
EP1686810A4 (en) 2003-11-11 2009-06-03 Olympus Corp DEVICE FOR ENTERING MULTISPECTRAL IMAGES
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
KR101531709B1 (ko) * 2008-10-17 2015-07-06 삼성전자 주식회사 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
US8704881B2 (en) * 2009-06-01 2014-04-22 Panasonic Corporation Stereoscopic image display apparatus
JP2011239259A (ja) 2010-05-12 2011-11-24 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8493482B2 (en) * 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
JP5816015B2 (ja) * 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
KR20150029897A (ko) 2013-09-11 2015-03-19 엘지전자 주식회사 촬영 장치 및 그의 동작 방법
US9699393B2 (en) * 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
KR102219784B1 (ko) 2014-12-15 2021-02-24 에스케이하이닉스 주식회사 컬러 필터 어레이 및 이를 구비한 이미지 센서
KR102480600B1 (ko) * 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160269715A1 (en) * 2015-03-13 2016-09-15 Sensors Unlimited, Inc. Parallax correction of imaging system

Also Published As

Publication number Publication date
WO2018216937A1 (ko) 2018-11-29
US20200186725A1 (en) 2020-06-11
EP3614664A1 (en) 2020-02-26
EP3614664A4 (en) 2020-05-06
CN110663252A (zh) 2020-01-07
EP3614664B1 (en) 2022-12-07
CN110663252B (zh) 2022-06-03
US11277572B2 (en) 2022-03-15
KR20180128168A (ko) 2018-12-03

Similar Documents

Publication Publication Date Title
CN104010183B (zh) 包括至少一个拜耳型摄像机的阵列***及关联的方法
CN102687502B (zh) 减少彩色图像中的噪声
US20120287286A1 (en) Image processing device, image processing method, and program
JP6394338B2 (ja) 画像処理装置、画像処理方法、及び撮像システム
CN104247409A (zh) 图像处理装置、图像处理方法以及程序
US10516860B2 (en) Image processing method, storage medium, and terminal
CN105210369A (zh) 用于获取双模态图像的设备
CN104170377B (zh) 图像处理装置、摄像装置
JP2015119456A (ja) 撮像モジュール及び撮像装置
CN105580360B (zh) 摄像装置
JP7010209B2 (ja) 画像処理装置および方法
CN102194218A (zh) 降低图像色彩噪声的方法和装置
US9185375B2 (en) Color imaging element and imaging device
CN111861964B (zh) 图像处理方法、装置和存储介质
KR20150063010A (ko) 플렌옵틱 카메라로 취득된 장면의 뷰와 연관된 시차를 추정하기 위한 방법 및 디바이스
KR102362447B1 (ko) 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치
CN115835034A (zh) 白平衡处理方法与电子设备
CN104365090A (zh) 图像处理***、发送侧装置及接收侧装置
EP4156675A1 (en) Image acquisition apparatus providing white balance function and electronic apparatus including the same
EP4207099A1 (en) Image acquisition apparatus and electronic apparatus including the same
US10593717B2 (en) Image processing apparatus, image processing method, and imaging apparatus
US11895401B2 (en) Camera module for high resolution auto focusing and electronic device including same
CN115205159A (zh) 图像处理方法及装置、电子设备、存储介质
KR20210158201A (ko) 이미지 센서를 포함하는 전자 장치 및 이에 대한 제어 방법
CN115955611B (zh) 图像处理方法与电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant