KR20190010322A - 전자 장치 및 전자 장치의 이미지 압축 방법 - Google Patents

전자 장치 및 전자 장치의 이미지 압축 방법 Download PDF

Info

Publication number
KR20190010322A
KR20190010322A KR1020170092949A KR20170092949A KR20190010322A KR 20190010322 A KR20190010322 A KR 20190010322A KR 1020170092949 A KR1020170092949 A KR 1020170092949A KR 20170092949 A KR20170092949 A KR 20170092949A KR 20190010322 A KR20190010322 A KR 20190010322A
Authority
KR
South Korea
Prior art keywords
image
raw image
processor
area
line
Prior art date
Application number
KR1020170092949A
Other languages
English (en)
Other versions
KR102386385B1 (ko
Inventor
김도한
방진민
이창우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170092949A priority Critical patent/KR102386385B1/ko
Priority to PCT/KR2018/007862 priority patent/WO2019017641A1/ko
Priority to US16/631,347 priority patent/US11516482B2/en
Publication of KR20190010322A publication Critical patent/KR20190010322A/ko
Application granted granted Critical
Publication of KR102386385B1 publication Critical patent/KR102386385B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23212—
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

본 발명의 일 실시예에 따르면, 전자 장치는, 프로세서 및 이미지 센싱 모듈을 포함하고, 상기 이미지 센싱 모듈은 이미지 센서 및 상기 이미지 센서에 전기적으로 연결되고 상기 프로세서와 인터페이스로 연결된 제어 회로를 포함하고, 상기 제어 회로는, 상기 이미지 센서를 이용하여 적어도 하나의 원시 이미지를 획득하고, 상기 적어도 하나의 원시 이미지 내 제1 영역과 관련된 정보에 기반하여, 상기 적어도 하나의 원시 이미지를 상기 제1 영역에 대응되는 제1 데이터 및 상기 제1 영역에 대응되지 않는 제2 데이터로 지정하고, 상기 제 2 데이터 중 적어도 일부를 지정된 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환하고, 상기 변환된 적어도 하나의 원시 이미지를 압축하여 상기 프로세서로 전송하도록 설정될 수 있다.

Description

전자 장치 및 전자 장치의 이미지 압축 방법 {ELECTRONIC DEVICE AND METHOD FOR COMPRESSING IMAGE THEREOF}
본 개시의 다양한 실시예들은 전자 장치의 이미지 센싱 모듈에서 획득된 이미지를 압축하는 방법 및 장치에 관한 것이다.
디지털 카메라의 대중적 보급에 힘입어 이제 디지털 카메라는 일반인들이 일상적으로 사용하고 있는 전자 장치로 인식되고 있다. 또한, 상기 디지털 카메라뿐만 아니라 휴대폰 또는 스마트폰 등을 비롯하여 많은 전자 장치들이 카메라를 내장하고 있으며, 전문가는 물론 일반인들의 카메라 사용의 빈도도 나날이 증가하고 있다.
이에 따라 최근의 전자 장치는 음성 통신의 기능 외에 고속으로 화상 및 데이터 통신 기능을 수행할 수 있는 기능이 필수적으로 구현되고 있으며, 특히 이미징 모듈을 사용하여 디지털 카메라의 기능을 가지도록 구현되고 있다.
상기와 같이 전자 장치에 사용되는 디지털 카메라 기능은 초기에 기본적인 촬영, 저장 및 전송에 요구되는 기능만이 사용되었으나, 사용자의 다양한 욕구를 충족시키기 위해 성능, 품질 및 기능 향상을 위한 기술개발이 이루어져 오고 있다. 특히, 최근에는 카메라 시스템에서 출력 프레임 속도(frame rate)를 높인 시스템들이 등장하고 있으며, 이를 통해 고속 출력 이미지 판독 기능을 이용한 다양한 이미지 처리 및 카메라 동작을 사용자에게 제공할 수 있게 되었다.
이러한 고속 출력 이미지 시스템에서는 인터페이스 속도 또는 전송 전력(power)에 대한 이슈(issue)로 인해 이미지를 압축하여 전송하는 방식이 사용되고 있다.
고속 출력 이미지 시스템에서 디스플레이나 캡쳐(capture)에 적어도 하나의 원시 이미지(예: 출력 프레임(output frame)) 또는 디스플레이나 캡쳐에 사용되지 않지만, 고속 출력 이미지 판독 또는 AF(auto focus) 시 시스템 내부적으로 사용하기 위한 적어도 하나의 원시 이미지(예: 히든 프레임(hidden frame))가 필요할 수 있다. 이러한 적어도 하나의 출력 프레임 또는 적어도 하나의 히든 프레임을 포함하는 적어도 하나의 원시 이미지의 사용은 이미지 센싱 모듈에서 상기 출력 프레임 이외에도 상기 히든 프레임들을 추가적으로 획득 및 전송해야 하므로 전자 장치 전체의 전력 및 리소스가 상승될 수 있다.
본 발명의 다양한 실시예에 따르면, 이미징 센싱 모듈에서 출력 프레임 또는 히든 프레임을 포함하는 적어도 하나의 원시 이미지 내 제1 영역(예: ROI(region of interest))을 제외한 제2 영역(예: non-ROI)의 데이터를 지정된 값으로 변경하여 압축하여 프로세서로 전송함으로써, 전자 장치의 전력소모 및 이에 필요한 리소스를 감소시킬 수 있는 전자 장치 및 전자 장치의 이미지 압축 방법을 제공할 수 있다.
다양한 실시예에 따르면, 전자 장치는, 프로세서 및 이미지 센싱 모듈을 포함하고, 상기 이미지 센싱 모듈은 이미지 센서 및 상기 이미지 센서에 전기적으로 연결되고 상기 프로세서와 인터페이스로 연결된 제어 회로를 포함하고, 상기 제어 회로는, 상기 이미지 센서를 이용하여 적어도 하나의 원시 이미지를 획득하고, 상기 적어도 하나의 원시 이미지 내 제1 영역과 관련된 정보에 기반하여, 상기 적어도 하나의 원시 이미지를 상기 제1 영역에 대응되는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역에 대응되는 제2 데이터로 지정하고, 상기 제 2 데이터 중 적어도 일부를 지정된 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환하고, 상기 변환된 적어도 하나의 원시 이미지를 압축하여 상기 프로세서로 전송하도록 설정될 수 있다.
다양한 실시예에 따르면, 전자 장치의 이미지 압축 방법은, 상기 전자 장치의 이미지 센서를 이용하여 적어도 하나의 원시 이미지를 획득하는 동작, 상기 적어도 하나의 원시 이미지 내 제1 영역과 관련된 정보에 기반하여, 상기 적어도 하나의 원시 이미지를 상기 제1 영역에 대응되는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역에 대응되는 제2 데이터로 지정하는 동작, 상기 제 2 데이터 중 적어도 일부를 지정된 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환하는 동작 및 상기 변환된 적어도 하나의 원시 이미지를 압축하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치에 있어서, 프로세서, 및 이미지 센싱 모듈을 포함하고, 상기 이미지 센싱 모듈은 이미지 센서 및 상기 이미지 센서에 전기적으로 연결되고 상기 프로세서와 인터페이스로 연결된 제어 회로를 포함하고, 상기 프로세서는, 상기 이미지 센싱 모듈로부터 압축된 적어도 하나의 원시 이미지를 수신하고, 상기 수신된 압축된 적어도 하나의 원시 이미지를 압축 해제하고, 상기 압축 해제된 적어도 하나의 원시 이미지를 이미지 처리하고, 상기 이미지 처리된 적어도 하나의 원시 이미지를 상기 전자 장치의 표시 장치에 표시하도록 설정될 수 있다.
다양한 실시예에 따르면, 이미징 센싱 모듈에서 획득된 원시 이미지 내 제1 영역(예: ROI) 이외의 제2 영역(예: non-ROI)의 데이터를 지정된 값으로 변경함으로써, 상기 원시 이미지 압축 시 압축될 데이터 양이 감소되고, 이로 인해 전자 장치의 전력 소모 및 압축에 필요한 리소스들을 감소시킬 수 있다.
다양한 실시예에 따르면, 상기 원시 이미지는 상기 제1 영역에 대응하는 제1 데이터와 상기 제2 영역에 대응되는 제2 데이터 중 상기 제2 데이터는 상기 지정된 값으로 변경된 후 압축된다. 이에 따라, 압축 해제 후의 원시 이미지의 전체 좌표가 압축 전의 원시 이미지의 전체 좌표와 동일하게 유지되므로, 상기 프로세서는 상기 압축된 원시 이미지의 압축 해제 시 상기 원시 이미지 내에서 상기 제1 영역에 대한 위치를 판단하기 위한 별도의 위치 정보가 필요하지 않다. 또한, 압축 해제 후의 원시 이미지의 전체 좌표가 압축 전의 원시 이미지와 동일하게 유지되므로 상기 제2 영역에 대응되는 제2 데이터가 지정된 값으로 변환된 원시 이미지와 변환되지 않은 원시 이미지 간 동일한 압축 방법을 이용하여 압축하거나 압축 해제할 수 있다.
다양한 실시예에 따르면, 상기 원시 이미지는 복수의 라인들을 포함하는 (이미지) 프레임일 수 있으며, 상기 원시 이미지 압축 시 상기 라인 별로 설정된 압축률을 제어하여 압축할 수 있다. 이에 따라, 목표 압축률에 기반하여 상기 라인 별로 상기 원시 이미지의 프레임 중 데이터 변화량이 적은 라인은 압축률을 높이고 데이터 변화량이 많은 라인은 압축률을 낮추어 압축함으로써, 이미지의 품질(quality)을 유지하면서 이와 함께 상기 목표 압축률도 달성할 수 있다.
다양한 실시예에 따르면, 상기 이미징 센싱 모듈의 인터페이스 속도 또는 상기 프로세서의 인터페이스 속도에 기반하여 상리 라인 별로 상기 원시 이미지의 압축을 제어할 수 있다. 이에 따라, 상기 이미징 센싱 모듈에서 압축된 원시 이미지를 상기 프로세서로 전송 시 전송 실패 가능성을 감소시키고 데이터 소실을 방지할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 이미지를 압축하기 위한 전자 장치의 블럭도이다.
도 2는 다양한 실시예들에 따른 이미지를 압축하기 위한 카메라 모듈의 블럭도이다.
도 3a는 다양한 실시예에 따른 이미지를 압축하기 위한 전자 장치의 블럭도이고, 도 3b는 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작을 설명하기 위한 개념도를 도시한다.
도 4a 내지 4d는 다양한 실시예에 따른 히든 프레임 또는 출력 프레임을 이용하여 다양한 부가 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 5a 내지 5d는 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 설명하기 위한 도면이다.
도 6은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 7은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 8은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 9는 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 10은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 11은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 12는 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 13은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 14는 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 15는 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 16은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 17은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 이미지를 압축하기 위한 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일 실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일 실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 2는, 다양한 실시예들에 따른, 이미지를 압축하기 위한 카메라 모듈(280)의 블럭도(200)이다. 도 2를 참조하면, 카메라 모듈(280)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(280)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(280)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 복수의 렌즈 어셈블리(210)들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 렌즈 어셈블리와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 플래쉬(220)는 피사체로부터 방출되는 빛을 강화하기 위하여 사용되는 광원을 방출할 수 있다. 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(230)는 피사체로부터 렌즈 어셈블리(210)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서로 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(280) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일 실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있으며, 카메라 모듈(280)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
메모리(250)는 이미지 센서(230)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일 실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(280)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(280)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 전달될 수 있다. 일 실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 이미지들은 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 둘 이상의 카메라 모듈(280)들을 포함할 수 있다. 이런 경우, 예를 들면, 적어도 하나의 카메라 모듈(280)은 광각 카메라 또는 전면 카메라이고, 적어도 하나의 다른 카메라 모듈은 망원 카메라 또는 후면 카메라일 수 있다.
도 3a는 다양한 실시예에 따른 이미지를 압축하기 위한 전자 장치(301)의 블록도이다.
도 3a를 참조하면, 전자 장치(301)는 이미징 센싱 모듈(310), 프로세서(320), 메모리(330), AF 컨트롤러(340), 코덱(350), 표시 장치(360) 또는 통신 모듈(370) 중 적어도 하나를 포함할 수 있다. 도 3a에서는 본 발명의 실시예와 관련된 구성부들만 도시하였으며, 상기 구성부들 이외에 다른 구성 요소들도 구비할 수 있음은 물론이다. 예를 들어, 도 3a은 도 1에 도시된 전자 장치(101)의 일부 또는 전체를 포함할 수 있다.
이미지 센싱 모듈(310)(예: 카메라 모듈(180) 또는 카메라 모듈(280))은 적어도 하나의 원시 이미지를 획득하고, 획득된 원시 이미지를 압축하여 프로세서(320)(예: 프로세서(120))로 전송하는 것으로, 예를 들어, 렌즈 어셈블리(311), 이미지 센서(313), 압축기(compressor, 315), 인터페이스(interface; I/F)(317) 또는 제어 회로(319) 중 적어도 하나를 포함할 수 있다.
렌즈 어셈블리(311)(예: 렌즈 어셈블리(210))는 이미지 센서(313)(예: 이미지 센서(230))와의 간격이 조절되도록 이동될 수 있다. 예를 들어, 상기 렌즈 어셈블리(311)는 촬영 대상인 피사체(예: 사람, 건물, 물체 또는 배경 등과 같은 오브젝트)와의 거리에 따라 상기 렌즈 어셈블리(311)와 상기 이미지 센서(313) 간 초점(focus point)이 조절되도록 이동될 수 있다.
이미지 센서(313)(예: 이미지 센서(230))는 제어 회로(319)(예: 이미지 시그널 프로세서(260))의 제어에 따라 적어도 하나의 원시 이미지를 획득할 수 있다. 일 실시예에 따르면, 이미지 센서(313)는 복수의 픽셀 어레이(예: nⅹm의 픽셀 어레이, 여기서 n, m은 자연수 임)를 포함할 수 있으며, 상기 이미지 센서(313)를 이용하여 획득된 적어도 하나의 원시 이미지는 상기 복수의 픽셀 어레이에 각각에 대응되는 데이터(예: 픽셀값)를 포함할 수 있다.
일 실시예에 따르면, 이미지 센서(313)는 예를 들어, CMOS(Complimentary Metal Oxide Semiconductor) 센서, CCD(Charge Coupled Device) 센서, 포비언(Foveon) 센서 또는 보색(Complementary) 이미지 센서 중 적어도 하나를 포함할 수 있다.
압축기(315)는 제어 회로(319)의 제어에 따라 상기 적어도 하나의 원시 이미지를 압축할 수 있다. 상기 압축기(315)는 프레임 단위로 설정된 프레임 압축률 또는 프레임의 라인 단위로 설정된 라인 압축률 중 적어도 하나에 기반하여 상기 적어도 하나의 원시 이미지를 프레임 별로 또는 각 프레임의 라인 별로 압축할 수 있다.
인터페이스(I/F)(317)는 제어 회로(319)의 제어에 따라 상기 I/F(317)의 인터페이스 속도에 기반하여 상기 압축된 적어도 하나의 원시 이미지를 프로세서(320)(예: 프로세스(120))로 전송할 수 있다. 예를 들어, 상기 I/F(317)는 상기 I/F(317)의 인터페이스 속도에 기반하여, 상기 압축된 적어도 하나의 원시 이미지를 프레임 별로 또는 각 원시 이미지 프레임의 라인 별로 상기 프로세서(320)로 전송될 수 있다.
제어 회로(319)는 상기 이미지 센싱 모듈(310)의 구성요소들(예: 렌즈 어셈블리(311), 이미지 센서(313), 압축기(315) 또는 I/F(317)) 중 적어도 하나를 제어할 수 있다. 제어 회로(319)는 적어도 하나의 프로세서를 포함할 수 있다. 예를 들어, 제어 회로(319)는 도 2에 도시된 이미지 시그널 프로세서(260)를 포함할 수 있다.
제어 회로(319)는 이미지 센서(313)를 이용하여 상기 적어도 하나의 원시 이미지를 획득할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 제1 원시 이미지 또는 제2 원시 이미지를 포함할 수 있다. 상기 제1 원시 이미지 데이터는 히든 프레임(hidden frame)일 수 있으며, 상기 제2 원시 이미지는 출력 프레임(output frame)일 수 있다. 예를 들어, 상기 히든 프레임은 디스플레이나 캡쳐(capture)에 사용되지 않지만 고속 출력 이미지 판독 또는 AF와 같은 시스템 내부적으로 사용하기 위한 프레임을 의미하는 것으로, 이는 사용자에게 제공되거나 출력되지 않는 프레임이다. 상기 출력 프레임은 디스플레이나 캡쳐에 사용되어 디스플레이 상에 출력될 수 있는 프레임이다. 예를 들어, 제어 회로(319)는 상기 제1 원시 이미지는 표시 장치(360)를 통해 출력하지 않고, 상기 제2 원시 이미지는 표시 장치(360)를 통해 출력할 수 있다.
일 실시예에 따르면, 각 원시 이미지(예: 히든 프레임 또는 출력 프레임)는 복수의 (데이터) 라인을 포함할 수 있으며, 상기 각 원시 이미지의 각 라인은 상기 이미지 센서(313)의 상기 복수의 픽셀 어레이 중 각 행(row)(예: n행)에 대응되는 m열(column)로 배열된 복수의 픽셀들에 대응되는 데이터를 포함할 수 있다. 예를 들어, 상기 이미지 센서(313)가 nⅹm 개의 픽셀 어레이(여기서, n 및 m은 자연수 임)를 포함할 경우, 상기 각 원시 이미지의 상기 복수의 라인들은 n행에 대응되는 n개의 (데이터) 라인들을 포함할 수 있으며, 상기 각 라인은 m열로 배열된 m개의 픽셀들에 대응되는 데이터를 포함할 수 있다.
제어 회로(319)는 상기 적어도 하나의 원시 이미지 내 제1 영역을 획득할 수 있다. 일 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 하나 이상의 오브젝트들을 포함할 수 있다.
일 실시예에 따르면, 상기 제1 영역은 ROI(region of interest) 영역일 수 있다. 일 실시예에 따르면, 상기 제1 영역은 적어도 하나의 ROI 영역을 포함할 수 있다. 일 실시예에 따르면, 상기 제1 원시 이미지 및 상기 적어도 하나의 제2 원시 이미지는 하나 이상의 오브젝트들을 포함할 수 있다.
일 실시예에 따르면, 제어 회로(319)는 상기 이미지 센싱 모듈(310)을 이용하여 수행된 다양한 AF 동작(예: 콘트라스트 AF, DFD AF 또는 continuous AF 등)에 의해 포커싱된 영역을 획득하고, 상기 획득된 포커싱된 영역을 상기 제1 영역(예: ROI 영역)으로 지정할 수 있다. 상기 제어 회로(319)는 상기 포커싱된 영역에 대한 정보를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
일 실시예에 따르면, 제어 회로(319)는 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 적어도 하나의 오브젝트 영역을 획득하고, 상기 획득된 적어도 하나의 오브젝트 영역을 상기 제1 영역으로 지정할 수 있다. 예를 들어, 상기 오브젝트 인식 동작은 공지된 다양한 안면 또는 오브젝트 인식 기술을 이용하여 수행될 수 있다. 상기 제어 회로(319)는 상기 인식된 안면 또는 오브젝트 영역에 대한 정보를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
일 실시예에 따르면, 제어 회로(319)는 상기 프로세서(320)로부터 지정된 영역에 대한 정보를 수신할 수 있다. 상기 제어 회로(319)는 상기 적어도 하나의 원시 이미지 내에서 상기 지정된 영역 정보에 대응되는 영역을 획득하고, 상기 획득된 영역을 상기 제1 영역으로 지정할 수 있다. 예를 들어, 상기 지정된 영역에 대한 정보는 위치 정보(예: 표시 장치(360) 상에서의 위치 좌표) 또는 영역 크기 정보를 포함할 수 있다. 일 실시예에 따르면, 상기 위치 정보 및 상기 영역 크기 정보는 사용자에 의해 지정된 값이 입력되거나 시스템 내부적으로 미리 설정되거나 사용자의 터치에 의해 입력될 수 있다. 예를 들어, 상기 지정된 영역에 대한 정보는 상기 프로세서(320)에서 다음 제1 영역에 대해 추정된 정보일 수 있다. 상기 제어 회로(319)는 상기 지정된 영역에 대한 정보에 대응하여 획득된 영역에 대한 정보를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
일 실시예에 따르면, 제어 회로(319)는 상기 프로세서(320)로부터 지정된 위치에 대한 정보를 수신할 수 있다. 제어 회로(319)는 상기 적어도 하나의 원시 이미지 내에서 상기 지정된 위치에 대한 정보에 대응되는 영역을 획득하고, 상기 획득된 영역을 상기 제1 영역으로 지정할 수 있다. 예를 들어, 상기 제1 영역에 대한 크기가 미리 지정되어 있는 경우, 제어 회로(319)는 상기 적어도 하나의 원시 이미지 내에서 상기 지정된 위치에 대한 정보(예: 표시 장치(360) 상에서의 위치 좌표 또는 중심 좌표)에 기반하여 상기 지정된 크기에 대응하는 영역을 획득하고, 상기 획득된 영역을 상기 제1 영역으로 지정할 수 있다. 상기 제어 회로(319)는 상기 지정된 위치에 대한 정보에 대응하여 획득된 영역에 대한 정보를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
일 실시예에 따르면, 제어 회로(319)는 상기 프로세서(320)로부터 디지털 줌 동작 시 수행된 상기 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)를 수신할 수 있다. 상기 제어 회로(319)는 상기 적어도 하나의 원시 이미지 내에서 상기 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)에 대응되는 영역을 획득하고, 상기 획득된 영역을 상기 제1 영역으로 지정할 수 있다. 예를 들어, 상기 디지털 줌 정보는 디지털 줌에 의해 확대될 중심 위치 정보(예: 표시 장치(360) 상에서의 위치 좌표) 또는 배율 정보를 포함할 수 있다. 일 실시예에 따르면, 디지털 줌에 의해 확대될 상기 중심 위치 정보 또는 상기 배율 정보는 사용자에 의해 지정된 값이 입력되거나 시스템 내부적으로 미리 설정(예: 해당 원시 이미지의 중심)되거나 사용자의 터치에 의해 입력될 수 있다. 상기 제어 회로(319)는 상기 적어도 하나의 원시 이미지 내에서 상기 디지털 줌에 의해 확대될 상기 중심 위치 정보를 기준으로 상기 배율 정보 대응되는 크기의 영역을 상기 제1 영역과 관련된 정보로 획득할 수 있다. 예를 들어, 상기 중심 위치 정보가 상기 적어도 하나의 원시 이미지의 중심이고, 상기 배율 정보가 200%일 경우, 상기 제어 회로(319)는 상기 적어도 하나의 원시 이미지 내에서 상기 적어도 하나의 원시 이미지의 중심을 기준으로 상기 적어도 하나의 원시 이미지의 가로 길이 및 세로 길이 각각의 1/2 크기에 대응되는 영역을 획득하고, 상기 획득된 영역에 대한 정보를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
제어 회로(319)는 상기 제1 영역과 관련된 정보에 기반하여 상기 적어도 하나의 원시 이미지를 상기 제1 영역에 대응되는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역(예: non-ROI 영역)에 대응되는 제2 데이터로 지정할 수 있다. 일 실시예에 따르면, 상기 제1 데이터 및 상기 제2 데이터는 상기 적어도 하나의 원시 이미지 내 각 픽셀에 대응되는 픽셀값(예: 휘도)일 수 있다.
제어 회로(319)는 상기 제2 데이터에 대한 지정된 값을 결정할 수 있다.
일 실시예에 따르면, 제어 회로(319)는 시스템 내부적으로 미리 설정된 디폴트 값을 상기 제2 데이터에 대한 상기 지정된 값으로 결정할 수 있다. 상기 디폴트 값은 메모리(330) 또는 상기 제어 회로(319)와 전기적으로 연결된 이미지 센싱 모듈(310) 내 메모리(예: 메모리(250))에 저장될 수 있다.
일 실시예에 따르면, 제어 회로(319)는 상기 제1 데이터의 적어도 일부에 기반하여 상기 제2 데이터에 대한 상기 지정된 값을 결정할 수 있다. 예를 들어, 제어 회로(319)는 상기 제1 데이터의 평균값을 산출하고, 산출된 평균값을 상기 제2 데이터에 대한 상기 지정된 값으로 결정할 수 있다. 예를 들어, 상기 산출된 평균값이 0~255 픽셀값 범위 중 100이고, 지정된 픽셀값 범위가 ±10으로 지정된 경우, 상기 제2 데이터에 대한 상기 지정된 값(x)은 90<x<100 또는 100<x<110 사이의 값 중 하나로 결정될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 복수의 라인들을 포함하는 (이미지) 프레임이며, 제어 회로(319)는 상기 적어도 하나의 원시 이미지 내 라인 별로 각 라인에 포함된 제1 데이터의 적어도 일부에 기반하여 상기 각 라인에 포함된 제2 데이터에 대한 상기 지정된 값을 결정할 수 있다. 예를 들어, 제어 회로(319)는 상기 적어도 하나의 원시 이미지의 상기 복수의 라인 중 제1 라인에 대응되는 제1 데이터의 적어도 일부(예: 상기 제1 라인에 포함된 상기 제1 데이터의 평균값)에 기반하여, 상기 제1 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제1 값으로 결정하고, 상기 적어도 하나의 원시 이미지의 상기 복수의 라인들 중 제2 라인에 대응되는 상기 제1 데이터의 적어도 일부(예: 상기 제2 라인에 포함된 상기 제1 데이터의 평균값)에 기반하여 상기 제2 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제2 값으로 결정할 수 있다.
제어 회로(319)는 상기 적어도 하나의 원시 이미지 내 상기 제2 데이터를 상기 결정된 지정된 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환할 수 있다. 일 실시예에 따르면, 상기 제어 회로(319)는 상기 적어도 하나의 원시 이미지의 상기 복수의 라인들 중 상기 제1 라인에 대응되는 상기 제2 데이터에 대해 지정된 값을 상기 결정된 제1 값으로 변경하고, 상기 복수의 라인들 중 상기 제2 라인에 대응되는 상기 제2 데이터에 대해 지정된 값을 상기 결정된 제2 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환할 수 있다. 제어 회로(319)는 상기 제1 데이터와, 상기 제1 값 및 상기 제2 값으로 변경된 제2 데이터를 포함하는, 상기 변환된 적어도 하나의 원시 이미지를 생성할 수 있다. 제어 회로(319)는 상기 변환된 적어도 하나의 원시 이미지를 압축하여 프로세서(320)로 전송할 수 있다.
일 실시예에 따르면, 상기 제어 회로(319)는 프레임 단위로 또는 프레임의 각 라인 단위로 상기 변환된 적어도 하나의 원시 이미지를 압축하여 상기 프로세서(320)로 전송할 수 있다.
일 실시예에 따르면, 상기 제어 회로(319)는 프레임 압축률을 설정하고, 상기 설정된 프레임 압축률에 기반하여 상기 변환된 적어도 하나의 원시 이미지를 압축할 수 있다. 상기 제어 회로(319)는 상기 압축된 적어도 하나의 원시 이미지를 프레임 단위로 상기 프로세서로 전송할 수 있다.
일 실시예에 따르면, 상기 제어 회로(319)는 프레임 압축률을 설정하고, 상기 제어 회로(319)는 상기 설정된 프레임 압축률, 상기 이미지 센싱 모듈(310)의 I/F(317)의 인터페이스 속도 또는 상기 프로세서(320)의 I/F(327)의 인터페이스 속도 중 적어도 하나에 기반하여 상기 변환된 적어도 하나의 원시 이미지의 각 라인에 대한 라인 압축률을 설정할 수 있다. 상기 제어 회로(319)는 상기 설정된 라인 압축률에 기반하여 상기 라인 별로 상기 변환된 적어도 하나의 원시 이미지를 압축할 수 있다. 상기 제어 회로(319)는 상기 라인 별로 압축된 상기 적어도 하나의 원시 이미지를 상기 라인 별로 상기 프로세서(320)로 전송할 수 있다.
프로세서(320)는 전자 장치(301)를 전반적으로 제어할 수 있다. 일 실시예에 따르면, 프로세서(320)는 상기 이미지 센싱 모듈(310)로부터 압축된 적어도 하나의 원시 이미지를 압축 해제하여 이미지 처리를 수행하는 것으로, 상기 프로세서(320)는 예를 들어, 메인 프로세서(321), 보조 프로세서(323), 압축 해제기(325) 또는 인터페이스(interface, I/F)(327) 중 적어도 하나를 포함할 수 있다. 상기 프로세서(320)는 도 1에 도시된 프로세서(120)의 일부 또는 전체를 포함할 수 있다.
메인 프로세서(321)(예: 메인 프로세서(121))는 상기 I/F(327)를 통해 상기 이미지 센싱 모듈(310)로부터 상기 압축된 적어도 하나의 원시 이미지를 수신할 수 있다. 일 실시예에 따르면, 메인 프로세서(321)는 상기 I/F(327)의 인터페이스 속도에 기반하여 상기 압축된 적어도 하나의 원시 이미지를 프레임 별로 또는 상기 프레임의 라인 별로 수신할 수 있다.
메인 프로세서(321)는 압축 해제기(325)를 이용하여 상기 압축된 상기 압축된 적어도 하나의 원시 이미지를 압축 해제할 수 있다. 메인 프로세서(321)는 압축 해제기(325)를 이용하여 프레임 별로 또는 상기 프레임의 라인 별로 상기 압축된 적어도 하나의 원시 이미지를 압축 해제하여 상기 적어도 하나의 원시 이미지를 생성할 수 있다. 상기 압축 해제된 적어도 하나의 원시 이미지는 상기 제1 영역(예: ROI 영역)을 제외한 제2 영역(예: non-ROI 영역)이 지정된 값으로 변환된 적어도 하나의 원시 이미지를 포함할 수 있다.
상기 메인 프로세서(321)는 상기 압축 해제된 적어도 하나의 원시 이미지 각각에 대해 상기 제1 영역(예: ROI 영역)을 제외한 제2 영역(예: non-ROI 영역)이 지정된 값으로 변환된 적어도 하나의 원시 이미지인지 여부를 판단할 수 있다.
상기 메인 프로세서(321)는 상기 판단 결과, 상기 변환된 적어도 하나의 원시 이미지인 경우, 상기 변환된 적어도 하나의 원시 이미지로부터 상기 제1 영역(예: ROI 영역)을 획득할 수 있다. 예를 들어, 상기 메인 프로세서(321)는 상기 변환된 적어도 하나의 원시 이미지 내에서 상기 제1 데이터에 대응되는 상기 제1 영역을 획득할 수 있다. 상기 메인 프로세서(321)는 상기 획득된 제1 영역에 기반하여 상기 이미지 센싱 모듈(310)을 통해 획득될 적어도 하나의 원시 이미지 내 제1 영역(예: next-ROI 영역)을 추정할 수 있다. 상기 메인 프로세서(321)는 상기 추정된 제1 영역에 대한 정보를 상기 이미지 센싱 모듈(310)로 전송할 수 있다.
메인 프로세서(321)는 상기 이미지 센싱 모듈(310)에서 획득될 적어도 하나의 원시 이미지 내 상기 제1 영역(예: ROI 영역)과 관련된 정보를 상기 이미지 센싱 모듈(310)로 전송할 수 있다. 일 실시예에 따르면, 상기 제1 영역과 관련된 정보는 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 오브젝트에 대한 정보, 지정된 영역에 대한 정보, 지정된 위치에 대한 정보, 또는 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)에 중 적어도 일부를 포함할 수 있다.
일 실시예에 따르면, 상기 메인 프로세서(321)는 어플리케이션 프로세서일 수 있다.
메인 프로세서(321)는 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임을 이용하여 이미지 센싱 모듈(310)을 포함한 상기 전자 장치(301) 내 구성요소들에 부가적으로 제공하기 위한 부가 정보를 획득할 수 있다.
다양한 실시예에 따르면, 상기 부가 정보는 이미지 센싱 모듈(310)과 관련된 동작이나 어플리케이션의 실행에 따라 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임의 다양한 조합을 이용하여 획득될 수 있다.
일 실시예에 따르면, 상기 부가 정보는 렌즈 위치 정보, 모션 정보 또는 픽셀 제어 정보를 포함할 수 있다. 예를 들어, 상기 렌즈 위치 정보는 AF(예: 콘트라스 AF(contrast AF) 또는 DFD(depth from defocus) AF)에 의해 포커싱된 렌즈 어셈블리(311)의 위치 또는 모션 검출에 의해 검출된 적어도 하나의 오브젝트에 대한 AF(예: continuous AF)에 의해 포커싱된 렌즈 어셈블리(311)의 위치를 포함할 수 있다. 상기 모션 정보는 적어도 하나의 오브젝트 중 움직임이 발생된 오브젝트에 대한 오브젝트 영역, 움직임 방향 또는 위치 정보 등을 포함할 수 있다. 상기 픽셀 제어 정보는 이미지 센서(313)의 각 픽셀에 대한 노출량을 제어하기 위한 노출 시간, 노출 감도 또는 조명 환경 정보를 포함하는 노출 제어 정보, 또는 해상도를 제어하기 위한 해상도 제어 정보와 관련된 정보를 포함할 수 있다.
다양한 실시예에 따르면, 상기 렌즈 위치 정보는 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임의 다양한 조합에 의해 획득될 수 있다.
일 실시예에 따르면, 메인 프로세서(321)은 콘트라스트 AF 동작 시, 이미지 센싱 모듈(310)의 제어 회로(319)를 이용하여, 렌즈 어셈블리(311)의 위치를 이동시키면서 획득된 복수의 원시 이미지들을 이용하여 적어도 하나의 오브젝트 또는 적어도 일부 영역(예: 제1 영역)에 포커싱된 렌즈 위치 정보(예: 렌즈 어셈블리(311)의 위치)를 획득할 수 있다. 예를 들어, 상기 메인 프로세서(321)는, 이미지 센싱 모듈(310)의 제어 회로(319)를 이용하여, 상기 렌즈 어셈블리(311)의 위치를 이동시키면서 획득된 상기 복수의 원시 이미지들의 콘트라스트를 비교하여 가장 큰 콘트라스트를 갖는 원시 이미지에 대응되는 렌즈 어셈블리(311)의 위치를 상기 렌즈 위치 정보로 획득할 수 있다. 상기 콘트라스트 AF에 사용된 상기 복수의 원시 이미지들은 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임을 포함할 수 있다.
일 실시예에 따르면, 상기 메인 프로세서(321)은 DFD AF 동작 시, 이미지 센싱 모듈(310)의 제어 회로(319)를 이용하여, 렌즈 어셈블리(311)의 위치가 서로 다른 두 장 이상의 원시 이미지들을 이용하여 적어도 하나의 오브젝트 또는 적어도 일부 영역(예: 제1 영역)에 포커싱된 렌즈 위치 정보(예: 렌즈 어셈블리(311)의 위치)를 획득할 수 있다. 예를 들어, 상기 DFD AF는 디포커스, 즉 렌즈 어셈블리(311)가 초점이 맞지 않은 위치에 있을 경우 획득된 원시 이미지는 보케(bokeh)가 발생될 수 있으며, 상기 보케는 렌즈 어셈블리(311)와 이미지 센서(313) 간 거리에 따라 서로 다른 정도의 보케를 가질 수 있음에 기반하여 AF 를 수행하는 방식이다. 그러므로, 제어 회로(319)는 상기 DFD AF 동작 시 서로 다른 렌즈 어셈블리(311)의 위치에서 획득된 최소 2장 이상의 원시 이미지들에 기반하여 포커싱된 지점(focused point)을 계산할 수 있다. 예를 들어, 상기 이미지 센싱 모듈(310)의 성능에 따른 상기 렌즈 어셈블리(311)와 이미지 센서(313) 간 거리에 따른 보케 정보가 미리 설정될 수 있다. 상기 미리 설정된 보케 정보는 메모리(330)에 미리 저장될 수 있으며, DFD AF 시 기준값으로서 사용될 수 있다. 예를 들어, 제어 회로(319)는 DFD AF 동작 시 서로 다른 렌즈 어셈블리(311)의 위치에서 획득된 상기 최소 2장 이상의 원시 이미지들의 보케와 상기 미리 설정된 보케 정보를 비교하여 적어도 하나의 오브젝트 또는 적어도 일부 영역(예: 제1 영역)에 포커싱된 렌즈 어셈블리(311)의 위치를 계산할 수 있다. 제어 회로(319)는 상기 계산된 렌즈 어셈블리(311)의 위치를 상기 렌즈 위치 정보로 획득할 수 있다. 상기 DFD AF에 사용된 상기 최소 2장 이상의 원시 이미지들은 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임을 포함할 수 있다.
일 실시예에 따르면, 상기 메인 프로세서(321)는 모션 검출에 의해 검출된 적어도 하나의 오브젝트에 대한 AF(예: continuous AF) 동작 시, 이미지 센싱 모듈(310)의 제어 회로(319)를 이용하여, 서로 다른 프레임 레이트(frame rate)에서 획득된 복수의 원시 이미지들을 이용하여 상기 검출된 적어도 하나의 오브젝트에 대응하는 영역(예: 제1 영역)에 포커싱된 렌즈 위치 정보(예: 렌즈 어셈블리(311)의 위치)를 획득할 수 있다. 예를 들어, 제어 회로(319)는 비디오 촬영과 같은 연속적인 프레임들 또는 고속 출력 이미지 촬영 시 이미지 센서(313)를 통해 서로 상이한 프레임 레이트에서 획득된 복수의 원시 이미지들을 획득할 수 있다. 프레임가 서로 다른 최소 2장 이상의 원시 이미지들에 기반하여 상기 적어도 하나의 오브젝트에 대한 모션(움직임)을 검출할 수 있다. 예를 들어, 메인 프로세서(321)는 이미지 센싱 모듈(310)의 제어 회로(319)를 이용하여, 제1 프레임 레이트(예: 30fps)에서 획득된 원시 이미지들 간의 비교, 제2 프레임 레이트(예: 60fps)에서 획득된 원시 이미지들 간의 비교, 또는 상기 제1 프레임 레이트에서 획득된 원시 이미지와 상기 제2 프레임 레이트에서 획득된 원시 이미지를 비교를 통해 움직임이 발생된 적어도 하나의 오브젝트에 대응되는 영역 또는 모션 방향 등을 포함하는 모션 정보를 검출할 수 있다. 제어 회로(319)는 상기 검출된 모션 정보에 기반하여 상기 적어도 하나의 오브젝트에 대해 지속적으로 포커싱된 렌즈 어셈블리(311)의 위치들을 상기 렌즈 위치 정보로 획득할 수 있다. AF(예: continuous AF)에 사용된 상기 복수의 원시 이미지들은 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임을 포함할 수 있다.
다양한 실시예에 따르면, 상기 픽셀 제어 정보는 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임의 다양한 조합에 의해 획득될 수 있다.
일 실시예에 따르면, 메인 프로세서(321)는 고 다이내믹 레인지(high dynamic rage; HDR) 이미지 생성 시 이미지 센서(313)의 각 픽셀에 대한 노출량이 상이한 복수의 원시 이미지를 획득하기 위한 노출 시간 또는 노출 감도를 포함하는 노출 제어 정보를 획득할 수 있다. 예를 들어, 메인 프로세서(321)는 이미지 센싱 모듈(310)의 제어 회로(319)를 이용하여, HDR 이미지 생성 시 이미지 센서(313)를 통해 획득된 단노출 원시 이미지 또는 장노출 원시 이미지 중 적어도 하나의 원시 이미지의 적어도 일부에 대한 노출량을 다시 조절하기 위해 이미지 센서(313)의 상기 해당 원시 이미지의 상기 적어도 일부에 해당하는 픽셀에 대한 노출 시간 또는 노출 감도를 결정할 수 있다. 상기 메인 프로세서(321)는 상기 노출량을 다시 조절하기 조명 환경 정보에 기반하여 상기 노출 시간 또는 노출 감도를 결정할 수도 있다. 상기 조명 정보는 상기 적어도 하나의 원시 이미지가 획득된 조명 환경에 대응되는 정보(예: 조도값) 등을 포함할 수 있다. 메인 프로세서(321)는 상기 결정된 노출 시간 또는 노출 감도를 상기 노출 제어 정보로 획득할 수 있다. 상기 HDR 이미지를 생성 시 획득된 상기 단노출 원시 이미지 또는 상기 장노출 원시 이미지 중 적어도 하나의 원시 이미지 내 적어도 일부 영역에 대한 노출량을 다시 조절하기 위해 상기 이미지 센싱 모듈(310)을 통해 획득된 상기 복수의 원시 이미지들은 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임을 포함할 수 있다.
일 실시예에 따르면, 메인 프로세서(321)는 디지털 줌(digital zoom) 동작 시 디지털 주밍된 원시 이미지의 해상도를 조절하기 위해 상기 디지털 주밍된 원시 이미지의 해상도와 상이한 해상도 적어도 하나의 원시 이미지를 획득하기 위한 해상도 제어 정보를 획득할 수 있다. 예를 들어, 메인 프로세서(321)는 이미지 센싱 모듈(310)의 제어 회로(319)를 이용하여, 상기 디지털 주밍된 원시 이미지의 해상도를 높이기 위해 이미지 센서(313)를 통해 획득될 적어도 하나의 원시 이미지의 해상도를 상기 디지컬 주밍된 원시 이미지의 해상도보다 높은 해상도로 결정할 수 있다. 메인 프로세서(321) 상기 결정된 해상도를 상기 해상도 제어 정보로 획득할 수 있다. 상기 디지털 줌 동작 시 디지털 주밍된 원시 이미지의 해상도롤 조절하기 위해 상기 이미지 센싱 모듈(310)을 통해 획득된 상기 적어도 하나의 이미지들은 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임을 포함할 수 있다.
상기 다양한 AF 동작, 모션 검출, HDR 이미지 생성 또는 디지털 줌 동작 시 상기 부가 정보에 기반하여 획득된 적어도 하나의 원시 이미지는 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임을 포함할 수 있으며, 상기 적어도 하나의 히든 프레임은 표시 장치(360)에 디스플레이하거나 캡쳐에 사용할 경우 와블링(wobbling)이 발생될 수 있다. 이러한 와블링의 발생을 방지하기 위해, 상기 프로세서(320)는 상기 적어도 하나의 히든 프레임을 상기 전자 장치(301) 내부적으로 사용하기 위한 동작, 예를 들어, 다양한 AF 방식에 따라 AF 지점을 계산하거나, 적어도 하나의 오브젝트의 모션(움직임)을 검출하거나, 디지털 줌 동작 시 해상도를 조절하거나, 또는 고 다이내믹 레인지 이미지 생성 시 노출량을 조절하는데 사용할 수 있으며, 상기 표시 장치(360)에 디스플레이하거나 캡쳐에는 사용하지 않을 수 있다.
일 실시예에 따르면, 상기 메인 프로세서(321)는 상기 획득된 부가 정보를 이미지 센싱 모듈(310)에 제공할 수 있다. 예를 들어, 메인 프로세서(321)는 상기 부가 정보 중 렌즈 위치 정보, 모션 정보 또는 픽셀 제어 정보를 상기 이미지 센싱 모듈(310)의 제어 회로(319)에 제공할 수 있다. 상기 제어 회로(319)는 상기 부가 정보에 기반하여 적어도 하나의 원시 이미지를 획득할 수 있다. 예를 들어, 상기 제어 회로(319)는 상기 획득된 부가 정보에 기반하여 상기 이미지 센싱 모듈(310) 내 렌즈 어셈블리(311) 또는 이미지 센서(313)를 제어하고, 상기 제어된 렌즈 어셈블리(311) 또는 이미지 센서(313)를 이용하여 적어도 하나의 새로운 원시 이미지를 획득할 수 있다. 일 실시예에 따르면, 상기 메인 프로세서(321)는 상기 부가 정보를 이용하여 다양한 어플리케이션에 제공할 수 있다. 예를 들어, 메인 프로세서(321)는 상기 부가 정보 중 모션 정보를 이용하여 모션이 검출된 오브젝트와 관련된 다양한 어플리케이션을 수행할 수 있다.
상기 부가 정보를 획득하기 위해 적어도 하나의 출력 프레임 또는 적어도 하나의 히든 프레임의 다양한 조합 방법은 도 4a 내지 4d를 참조하여 설명하기로 한다.
보조 프로세서(323)(예: 보조 프로세서(123))는 상기 변환된 적어도 하나의 원시 이미지 내 상기 제1 영역(예: ROI 영역)을 이미지 처리할 수 있다. 보조 프로세서(323)은 상기 압축 해제된 적어도 하나의 원시 이미지를 이미지 처리할 수 있다. 일 실시예에 따르면, 상기 이미지 처리는 감마교정, 인터폴레이션, 공간적 변화, 이미지 효과, 이미지 스케일, 자동 화이트 밸런스(Auto White Balance: AWB), 자동 노출(Auto Exposure: AE), 자동 초점(Auto Focus: AF) 등과 같은 이미지 처리를 포함할 수 있다.
일 실시예에 따르면, 상기 보조 프로세서(323)은 이미지 시그널 프로세서(image signal processor; ISP)(323a)를 포함할 수 있다.
상기 메인 프로세서(321) 또는 상기 보조 프로세서(323)는 상기 보조 프로세서(323)(예: ISP(323a))에서 이미지 처리된 상기 변환된 적어도 하나의 원시 이미지 또는 (상기 제1 영역을 제외한 제2 영역(예: non-ROI 영역)이 변환되지 않은) 상기 적어도 하나의 원시 이미지를 상기 표시 장치(360)에 표시할 수 있다.
상기 메인 프로세서(321) 또는 상기 보조 프로세서(323)는 상기 보조 프로세서(323)(예: ISP(323a))에서 이미지 처리된 상기 변환된 적어도 하나의 원시 이미지의 상기 제1 영역 또는 상기 이미지 처리된 (상기 제1 영역을 제외한 제2 영역(예: non-ROI 영역)이 변환되지 않은) 적어도 하나의 원시 이미지에 기반하여 상기 표시 장치(360)에 표시될 적어도 하나의 디스플레이 이미지를 생성할 수 있다. 일 실시예에 따르면, 상기 메인 프로세서(321) 또는 상기 보조 프로세서(323)는 디지털 줌 동작 시 디지털 줌의 배율에 따라 상기 이미지 처리된 제1 영역(예: 해당 원시 이미지 내에서 디지털 줌의 배율 정보에 대응되는 영역(예: 도 5d의 ROI D))을 확대하여 디스플레이 이미지를 생성할 수 있다. 일 실시예에 따르면, 상기 메인 프로세서(321) 또는 상기 보조 프로세서(323)는 상기 압축 해제된 적어도 하나의 원시 이미지 중 HDR 이미지를 생성하기 위해 획득된 단노출 원시 이미지 또는 장노출 원시 이미지를 이용하여 디스플레이 이미지(예: HDR 이미지)를 생성할 수 있다. 상기 메인 프로세서(321)는 상기 생성된 적어도 하나의 디스플레이 이미지를 상기 표시 장치(360)에 표시할 수 있다.
메모리(330)는 도 1에 도시된 메모리(130) 또는 도 2에 도시된 메모리(250)의 일부 또는 전체를 포함할 수 있다. 메모리(330)는 이미지 센싱 모듈(310)로부터 획득된 적어도 하나의 원시 이미지를 프레임 별로 저장하는 이미지 버퍼 등을 포함할 수 있다. 메모리(330)는 이미지 센싱 모듈(310)을 통해 획득된 적어도 하나의 원시 이미지에 대한 제1 영역(예: 포커싱된 영역, 오브젝트 영역, 지정된 영역에 대응되는 영역, 지정된 위치에 대응되는 영역 또는 디지털 줌의 배율에 대응되는 영역)에 대한 정보를 저장할 수 있다.
일 실시예에 따르면, 메모리(330)는 상기 적어도 하나의 원시 이미지 내 제1 영역에 대응되는 상기 제1 데이터 및 상기 제1 영역에 대응되지 않는 제2 데이터를 저장할 수 있다. 메모리(330)는 상기 제2 데이터에 대한 지정된 값을 저장할 수 있다. 메모리(330)는 상기 적어도 하나의 원시 이미지 내 상기 제2 데이터가 상기 지정된 값으로 변경됨으로써 변환된 적어도 하나의 원시 이미지를 저장할 수 있다.
일 실시에에 따르면, 메모리(330)는 상기 적어도 하나의 원시 이미지 내 상기 제2 데이터에 대한 상기 지정된 값을 결정하는 과정에서 발생되는 일시적인 연산값, 및 상기 적어도 하나의 원시 이미지 내 상기 제2 데이터를 상기 지정된 값으로 변경하는 과정에서 발생되는 일시적인 연산값 등을 저장할 수 있다.
AF 컨트롤러(340)는 프로세서(320)로부터 이미지 센싱 모듈(310)을 이용하여 획득된 적어도 하나의 원시 이미지에 대한 AF 동작이 요청되면, 해당 피사체(예: 적어도 하나의 오브젝트)에 대해 초점이 맞는 AF 영역을 자동으로 검출할 수 있다. 일 실시예에 따르면, AF 동작은 터치에 의한 터치 AF(touch AF) 또는 움직이는 피사체에 지속적으로 초점을 맞추는 지속적인 AF(continuous AF)를 포함할 수 있다. 일 실시예에 따르면, 다양한 실시예에 따른 상기 AF 방식은 콘트라스트 AF 방식, DFD AF 방식 또는 그 조합을 포함할 수 있다.
코덱(350)은 비디오 코덱을 포함할 수 있다. 코덱(350)은 이미지 센싱 모듈(310)로부터 획득된 비디오 데이터를 인코딩하여 외부 전자 장치(예: 전자 장치(102), 전자 장치(104) 또는 서버(108))로 전송하거나 외부 전자 장치(예: 전자 장치(102), 전자 장치(104) 또는 서버(108))로부터 수신된 비디오 데이터를 디코딩할 수 있다.
표시 장치(360)는 도 1에 도시된 표시 장치(160)의 일부 또는 전체를 포함할 수 있다. 표시 장치(360)는 상기 이미지 센싱 모듈(310)로부터 획득된 적어도 하나의 제2 원시 이미지를 표시할 수 있다. 표시 장치(360)는 상기 적어도 하나의 제2 원시 이미지의 적어도 일부에 소정의 영상 효과를 처리하여 표시할 수 있다. 표시 장치(360)는 코덱(350)을 통해 인코딩 또는 디코딩된 상기 비디오 데이터를 표시 장치(360)에 표시할 수 있다.
통신 모듈(370)은 도 1에 도시된 통신 모듈(190)의 일부 또는 전체를 포함할 수 있다. 통신 모듈(370)은 이미지 센싱 모듈(310)로부터 획득된 적어도 하나의 원시 이미지(raw image) 또는 스몰 원시 이미지(small raw image)를 외부 전자 장치(예: 전자 장치(102 또는 104) 또는 서버(108))로 전송하거나 외부 전자 장치(예: 전자 장치(102 또는 104) 또는 서버(108))로부터 수신할 수 있다.
도 3b는 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 동작을 설명하기 위한 개념도를 도시한다. 도 3b에서, 상기 전자 장치는 도 3a에 도시된 전자 장치(301)의 일부 또는 전체를 포함할 수 있으며, 상기 외부 전자 장치(300)는 도 1에 도시된 외부 전자 장치(예: 전자 장치(102 또는 104) 또는 서버(108))의 일부 또는 전체를 포함할 수 있다.
전자 장치(301)는, 이미지 센서 모듈(310), 프로세서(320)(예: ISP(323a)), 메모리(330) 또는 통신 모듈(370) 중 적어도 하나를 포함할 수 있다. 전자 장치(301)는 통신 모듈(370)을 통해 외부 전자 장치(300)와 데이터(예: 원시 이미지 (312) 또는 스몰 원시 이미지(314))를 송수신할 수 있다.
외부 전자 장치(300)는, 통신 모듈(302), 인식 모듈(304), 이미지 처리 모듈(image processing module)(306) 또는 저장소(308) 중 적어도 하나를 포함할 수 있다. 통신 모듈(320)는 전자 장치(301)와 데이터(예: 원시 이미지(312) 또는 스몰 원시 이미지(314))를 송수신할 수 있다. 인식 모듈(304)은 논리 모듈일 수도 있으며, 외부 전자 장치(300)의 프로세서로 구현될 수도 있다. 이미지 처리 모듈(306) 또한 외부 전자 장치(300)의 프로세서로 구현될 수 있으며, 예를 들어 외부 전자 장치(300)의 프로세서가 인식과 이미지 처리를 모두 수행할 수도 있다.
이미지 센싱 모듈(310)(예: 제어 회로(319)는, 적어도 하나의 외부 객체에 대한 이미지를 획득할 수 있으며, 이에 대응하는 원시 이미지(raw image)(312)를 생성할 수 있다. 이미지 센싱 모듈(310)은, 원시 이미지(312)를 프로세서(320)(예: ISP(323a)로 전달할 수 있다. 본 발명의 다양한 실시예에서, 이미지 센싱 모듈(310)은 스몰 원시 이미지(small raw image)(314)를 생성하여 이를 프로세서(320)(예: ISP(323a))로 송신하거나 또는 통신 모듈(370)을 통하여 외부 전자 장치(300)로 송신할 수 있다.
다양한 실시예에 따르면, 상기 스몰 원시 이미지(314)는 원시 이미지(312)의 데이터 크기보다 작은 크기를 갖는 원시 이미지를 의미하며, 특정 포맷이나 특정 방법에 의해 생성된 이미지로 제한 해석되는 것은 아니다. 예컨대, 상기 스몰 원시 이미지(314)는 상기 원시 이미지(312)의 용량을 감소시킴으로써 생성될 수 있으며, 경량 이미지로 지칭될 수도 있다. 예컨대, 전자 장치(301)는 상기 원시 이미지(312) 로부터 다양한 다운-스케일(down-scale) 방식 또는 다운-샘플링(down-sampling) 방식을 이용하여 스몰 원시 이미지(314)를 생성할 수 있다. 전자 장치(301)는, 예를 들어 원시 이미지(312)의 해상도의 조정, 복수 개의 주파수 대역 중 적어도 일부를 선택, 또는 복수 개의 비트 플레인 레벨 중 적어도 하나의 선택 중 적어도 하나를 수행함으로써, 상기 원시 이미지(312)의 데이터의 크기보다 작은 크기를 갖는 스몰 원시 이미지(314)를 생성할 수 있다. 전자 장치(301)는, 예를 들어 상기 원시 이미지(312)로부터 저주파수 대역을 추출함으로써 스몰 원시 이미지(314)를 생성할 수 있다. 전자 장치(301)는, 예를 들어 상기 원시 이미지(312)의 복수 개의 비트 플레인 레벨 중 일부의 비트 플레인 레벨들을 선택함으로써 스몰 원시 이미지(314)를 생성할 수도 있다. 상기 스몰 원시 이미지(314)는, 상기 원시 이미지(312)의 정보를 적어도 일부 포함하되 원시 이미지(312)보다 용량이 작은 이미지일 수 있다. 상기 원시 이미지(312) 대신 상기 스몰 원시 이미지(314)를 외부 전자 장치(300)에 전송하는 경우, 보다 작은 용량의 데이터를 전송하게 되므로, 외부 전자 장치(300)로 이미지를 보다 빠르게 전송할 수 있다.
또 다른 실시예에서는, 이미지 센싱 모듈(310)이 아닌 전자 장치(301)의 프로세서(320)가 스몰 원시 이미지(314)를 생성할 수도 있으며, 생성된 스몰 원시 이미지(314)를 통신 모듈(370)을 통하여 외부 전자 장치(300)로 송신할 수 있다. 이미지 센싱 모듈(310)은, 원시 이미지(312)의 적어도 일부에 대한 처리 또는 외부(예: 프로세서(320)(예: ISP(323a)) 또는 외부 전자 장치(300))로의 송신을 위해 압축할 수 있다. 이미지 센싱 모듈(310)은, 압축된 원시 이미지(312)를 프로세서(320)(예: ISP(323a)) 또는 외부 전자 장치(300)(예: 이미지 처리 모듈(306))로 송신할 수 있다. 다른 실시 예로, 프로세서(320)(예: ISP(323a))는, 이미지 센싱 모듈(310)로부터 수신된 압축된 원시 이미지 또는 스몰 원시 이미지를 상기 외부 전자 장치(300)로 송신할 수 있다. 이미지 센싱 모듈(310)은, 원시 이미지(312)의 일부 처리를 위해 압축하여 상기 이미지 센싱 모듈(310) 내부의 메모리(예: 메모리(250))에 임시로 저장할 수 있다. 외부 전자 장치(300)의 인식 모듈(304)은 통신 모듈(302)을 통하여 스몰 원시 이미지(314)를 획득할 수 있으며, 스몰 원시 이미지(314)로부터 적어도 하나의 이미지 영역을 세그먼테이션(segmentation)할 수 있다. 인식 모듈(304)은 세그먼테이션 결과로 구분된 적어도 하나의 이미지 영역 각각을 인식할 수 있다. 인식 모듈(304)로부터 생성된 복수의 이미지 영역과 연관된 정보, 예를 들어 이미지 영역의 좌표 정보 또는 인식 결과 중 적어도 하나를 포함하는 이미지 보정 정보(305)가 생성될 수 있다. 이미지 보정 정보(305)는 전자 장치(301)로 송신될 수 있다. 프로세서(320)(예: ISP(323a))는 이미지 보정 정보(305)를 이용하여 원시 이미지(312)를 보정할 수 있으며, 이에 따라 보정된 이미지(enhanced image)(316)가 생성될 수 있다. 보정된 이미지(316)는, 예를 들어 YUV의 포맷을 가질 수 있다. 보정된 이미지(316)는 메모리(330)에 저장될 수 있다. 또는, 보정된 이미지(316)는 예를 들어 JPEG 방식에 따라 압축될 수 있으며, 압축된 이미지가 메모리(330)에 저장될 수도 있다.
본 발명의 다양한 실시예에서, 이미지 센싱 모듈(310)로부터 제공되는 원시 이미지(312)는 스몰 원시 이미지(314)와 별도로 외부 전자 장치(300)로 송신될 수 있다. 원시 이미지(312)는, 스몰 원시 이미지(314)에 비하여 용량이 크므로, 스몰 원시 이미지(314)가 우선 외부 전자 장치(300)로 송신되며, 이후 원시 이미지(312)가 외부 전자 장치(300)로 송신될 수 있다. 예를 들어, 프로세서(320)(예: ISP(323a))가 원시 이미지(312)에 대한 보정을 수행하는 동안에 원시 이미지(312)가 외부 전자 장치(300)로 송신될 수도 있다. 원시 이미지(312)는, 이미지 센싱 모듈(310)에 의하여 생성된 그대로 외부 전자 장치(300)로 업로드될 수도 있으며, 또는 렌즈 왜곡 보상 또는 노이즈 제거가 수행된 전처리 영상이 업로드될 수도 있다. 상술한 전처리는 외부 전자 장치(300)에서 수행될 수도 있다. 외부 전자 장치(300)는, 디모자이크(demosaic) 처리 또는 이미지 포맷 변형, 또는 영상 인식률을 높이기 위한 전처리를 수행할 수도 있다. 외부 전자 장치(300)의 이미지 처리 모듈(306)은, 수신된 원시 이미지(312)를 보정할 수 있다. 외부 전자 장치(300)는 기존에 생성하였던 이미지 보정 정보(305)를 이용하여 원시 이미지(312)를 보정할 수도 있으며, 또는 확장된 이미지 보정 정보를 이용하여 원시 이미지(312)를 보정할 수도 있다. 원시 이미지(312)는, 스몰 원시 이미지(314)에 비하여 해상도가 높을 수도 있으며, 이에 따라 외부 전자 장치(300)의 이미지 처리 모듈(306)은 고해상도 이미지로부터 보다 상세한 확장된 이미지 보정 정보를 획득할 수 있다. 이미지 처리 모듈(306)은, 기존에 생성된 이미지 보정 정보와 원시 이미지(312)를 함께 이용하여 확장된 이미지 보정 정보를 생성할 수도 있다. 이미지 처리 모듈(306)은 확장된 이미지 보정 정보를 이용하여 원시 이미지(312)를 보정함으로써, 고품질 이미지(high quality image)(307)를 획득할 수 있다. 고해상도 이미지(307)는 외부 전자 장치(300)의 저장소(308)에 저장될 수 있으며, 전자 장치(301)로 다운로드될 수도 있다.
도 4a 내지 4d는 다양한 실시예에 따른 히든 프레임 또는 출력 프레임을 이용하여 다양한 부가 정보를 획득하는 방법을 설명하기 위한 도면들이다.
도 4a 내지 4d를 참조하면, 다양한 실시예에 따른 전자 장치(예: 전자 장치(301))는 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))을 통해 적어도 하나의 원시 이미지를 획득할 수 있으며, 상기 획득된 적어도 하나의 원시 이미지는 수행하고자 하는 어플리케이션에 따라 히든 프레임 또는 출력 프레임으로 사용될 수 있다. 상기 전자 장치(301)는 적어도 하나의 히든 프레임 또는 적어도 하나의 출력 프레임의 다양한 조합을 이용하여 다양한 부가 정보를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(301)는 히든 프레임과 출력 프레임을 일대일, 일대다, 다대일 또는 다대다로 대응시켜 다양한 부가 정보를 획득할 수 있다. 전자 장치(301)는 상기 획득된 부가 정보에 기반하여 적어도 하나의 새로운 원시 이미지를 획득할 수 있다.
도 4a를 참조하면, 상기 전자 장치(301)(예: 제어 회로(319))는 히든 프레임과 출력 프레임을 일대일로 대응시켜 각각의 부가 정보를 획득할 수 있다. 예를 들어, 상기 전자 장치(301)(예: 제어 회로(319))는 히든 프레임 1과 출력 프레임 1을 이용하여 부가 정보 1을 획득하고, 히든 프레임 2와 출력 프레임 2를 이용하여 부가 정보 2를 획득할 수 있다. 상기 전자 장치(301)(예: 제어 회로(319))는 상기 부가 정보 1 또는 상기 부가 정보 2 중 적어도 일부에 기반하여 적어도 하나의 새로운 원시 이미지를 획득할 수 있다.
도 4b를 참조하면, 상기 전자 장치(301)(예: 제어 회로(319))는 히든 프레임과 출력 프레임을 일대다로 대응시켜 각각의 부가 정보를 획득할 수 있다. 예를 들어, 상기 전자 장치(301)(예: 제어 회로(319))는 히든 프레임 1과 출력 프레임 1을 이용하여 부가 정보 1을 획득하고, 히든 프레임 1과 출력 프레임 2를 이용하여 부가 정보 2를 획득하고, 히든 프레임 1과 출력 프레임 3을 이용하여 부가 정보 3을 획득하고, 히든 프레임 1과 출력 프레임 4를 이용하여 부가 정보 4를 획득할 수 있다. 상기 전자 장치(301)(예: 제어 회로(319))는 상기 부가 정보 1, 상기 부가 정보 2, 상기 부가 정보 3 또는 상기 부가 정보 4 중 적어도 일부에 기반하여 적어도 하나의 새로운 원시 이미지를 획득할 수 있다.
도 4c를 참조하면, 상기 전자 장치(301)(예: 제어 회로(319))는 히든 프레임과 출력 프레임을 다대일로 대응시켜 각각의 부가 정보를 획득할 수 있다. 예를 들어, 상기 전자 장치(301)(예: 제어 회로(319))는 히든 프레임 1과 출력 프레임 1을 이용하여 부가 정보 1을 획득하고, 히든 프레임 2와 출력 프레임 1을 이용하여 부가 정보 2를 획득하고, 히든 프레임 3과 출력 프레임 1을 이용하여 부가 정보 3을 획득하고, 히든 프레임 4와 출력 프레임 1을 이용하여 부가 정보 4를 획득할 수 있다. 상기 전자 장치(301)(예: 제어 회로(319))는 상기 부가 정보 1, 상기 부가 정보 2, 상기 부가 정보 3 또는 상기 부가 정보 4 중 적어도 일부에 기반하여 적어도 하나의 새로운 원시 이미지를 획득할 수 있다.
도 4d를 참조하면, 상기 전자 장치(301)(예: 제어 회로(319))는 히든 프레임들 다양하게 조합하여 부가 정보를 획득하거나 출력 프레임들을 다양하게 조합하여 부가 정보를 획득할 수 있다. 예를 들어, 상기 전자 장치(301)(예: 제어 회로(319))는 히든 프레임 1과 히든 프레임2를 이용하여 부가 정보 1을 획득하거나, 출력 프레임 1과 출력 프레임 2를 이용하여 부가 정보 2를 획득할 수 있다. 상기 전자 장치(301)(예: 제어 회로(319))는 상기 부가 정보 1 또는 상기 부가 정보 2 중 적어도 일부에 기반하여 적어도 하나의 새로운 원시 이미지(예: 출력 프레임 3)을 획득할 수 있다.
도 5a 내지 5d는 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 설명하기 위한 도면이다.
도 5a를 참조하면, 다양한 실시예에 따른 정상적인(normal) 원시 이미지(예: 제1 영역(예: ROI 영역)을 제외한 제2 영역(non-ROI 영역)에 대한 데이터(예: 제2 데이터)가 지정된 값으로 변환되지 않는 원시 이미지)의 압축 방법을 도시하는 것으로, 제어 회로(319)는 압축기(315)를 이용하여 지정된 프레임 압축률에 따라 상기 정상적인 원시 이미지를 압축할 수 있다. 이 경우, 상기 지정된 프레임 압축률에 따라 상기 정상적인 원시 이미지는 균일하게 압축될 수 있다.
도 5b를 참조하면, 다양한 실시예에 따른 변환된 원시 이미지(예: ROI 영역)을 제외한 제2 영역(예: non-ROI 영역)에 대한 데이터(예: 제2 데이터)가 지정된 값으로 변환된 원시 이미지)의 압축 방법을 도시하는 것으로, 제어 회로(319)는 적어도 하나의 원시 이미지 중 변환 예정 원시 이미지 내 제1 영역(예: ROI A, ROI B, ROI C)을 제외한 제2 영역(예: non-ROI)에 대응되는 데이터(예: 제2 데이터)를 지정된 값으로 변경하여 상기 변환 예정 원시 이미지를 변환할 수 있다. 제어 회로(319)는 압축기(315)를 이용하여 지정된 프레임 압축률에 따라 상기 변환된 원시 이미지를 압축할 수 있다. 이 경우, 상기 변환된 원시 이미지의 라인 별로 제1 영역(예: ROI A, ROI B, ROI C) 또는 상기 제1 영역을 제외한 제2 영역(예: non-ROI)이 상이할 수 있으며, 이에 따라 라인 별로 상기 제1 영역에 대응하는 제1 데이터 또는 상기 제2 영역에 대응되는 제2 데이터의 양이 상이하므로 상기 변환된 원시 이미지는 상기 라인 별로 상이하게 압축될 수 있다. 상기 변환된 원시 이미지를 상기 지정된 프레임 압축률로 압축할 경우, 상기 변환된 원시 이미지 내 적어도 하나의 라인 중 상기 제1 영역(예: ROI A, ROI B, ROI C)이 많이 포함된 라인(예: Line 5 및 Line 6)은 목표 압축률을 초과할 수 있다. 이 경우, 도 5c에 도시된 바와 같이 초과된 라인의 압축률을 조절할 수 있다.
도 5c를 참조하면, 다양한 실시예에 따른 변환된 원시 이미지(예: 제1 영역(예: ROI 영역)을 제외한 영역(non-ROI 영역)에 대한 데이터(예: 제2 데이터)가 지정된 값으로 변환된 원시 이미지)의 압축 방법을 도시하는 것으로, 제어 회로(319)는 적어도 하나의 원시 이미지 중 변환 예정 원시 이미지 내 제1 영역(예: ROI A, ROI B, ROI C)을 제외한 제2 영역(예: non-ROI)에 대응되는 데이터(예: 제2 데이터)를 지정된 값으로 변경하여 상기 변환 예정 원시 이미지를 변환할 수 있다. 제어 회로(319)는 압축기(315)를 이용하여 상기 변환된 원시 이미지를 압축할 수 있다. 이 경우, 상기 지정된 프레임 압축률, 이미지 센싱 모듈(310)의 I/F(317)의 속도 또는 프로세서(320)의 I/F(327) 속도 중 적어도 하나에 기반하여 상기 변환된 원시 이미지의 각 라인에 대한 라인 압축률을 설정할 수 있다. 제어 회로(319)는 설정된 라인 압축률에 따라 상기 변환된 원시 이미지를 라인 별로 압축할 수 있다. 예를 들어, 상기 제어 회로(319)는 상기 변환된 원시 이미지에 대해 상기 라인 별로 압축률을 제어할 수 있으므로 목표 압축률을 초과하는 라인(예: Line 5 및 Line 6)이 발생되지 않도록 데이터 양이 많은 라인은 압축률을 낮추고 대신 데이터 양이 적은 라인의 압축률을 높여 전체 프레임 압축률에 기반하여 각 라인의 압축률을 조절할 수 있다.
도 5d를 참조하면, 다양한 실시예에 따른 변환된 원시 이미지(예: 제1 영역(예: ROI D))을 제외한 제2 영역(예: non-ROI 영역)에 대한 데이터(예: 제2 데이터)가 지정된 값으로 변환된 원시 이미지)의 압축 방법을 도시하는 것으로, 제어 회로(319)는 적어도 하나의 원시 이미지 중 변환 예정 원시 이미지 내 제1 영역(예: ROI D)을 제외한 제2 영역(예: non-ROI)에 대응되는 데이터(예: 제2 데이터)를 지정된 값으로 변경하여 상기 변환 예정 원시 이미지를 변환할 수 있다. 도 5d에서 상기 제1 영역(예: ROI D)은 프로세서(320)로부터 수신된 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)에 대응하는 영역인 것을 제외하면, 도 5b의 압축 방법과 동일하므로 압축 방법에 대한 상세한 설명은 생략하기로 한다.
일 실시예에 따르면, 제어 회로(319)는 상기 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)에 기반하여 상기 변환 예정 원시 이미지 내에서 상기 디지털 줌에 의해 확대될 중심 위치 정보를 기준으로 배율 정보에 대응되는 크기의 영역을 상기 제1 영역(예: ROI D)과 관련된 정보로 획득할 수 있다. 예를 들어, 상기 중심 위치 정보가 상기 변환 예정 원시 이미지의 중심이고, 상기 배율 정보가 200%일 경우, 상기 제어 회로(319)는 상기 변환 예정 원시 이미지 내에서 상기 변환 예정 원시 이미지의 중심을 기준으로 상기 변환 예정 원시 이미지의 가로 길이 및 세로 길이 각각의 1/2 크기에 대응되는 영역(예: ROI D)을 획득할 수 있다. 제어 회로(319)는 상기 제1 영역(예: ROI D)을 제외한 제2 영역(예: non-ROI)에 대응되는 데이터(예: 제2 데이터)를 지정된 값으로 변경하여 상기 변환 예정 원시 이미지를 변환할 수 있다.
다양한 실시예에 따르면, 전자 장치(예: 전자 장치(301))는, 프로세서(예: 프로세서(320)), 및 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))을 포함하고, 상기 이미지 센싱 모듈(310)은 이미지 센서(예: 이미지 센서(313)) 및 상기 이미지 센서(313)에 전기적으로 연결되고 상기 프로세서(320)와 인터페이스로 연결된 제어 회로(예: 제어 회로(319))를 포함할 수 있다. 상기 제어 회로(319)는 상기 이미지 센서(313)를 이용하여 적어도 하나의 원시 이미지를 획득할 수 있다. 상기 제어 회로(319)는 상기 적어도 하나의 원시 이미지 내 제1 영역과 관련된 정보에 기반하여, 상기 적어도 하나의 원시 이미지를 상기 제1 영역에 대응되는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역에 대응되는 제2 데이터로 지정할 수 있다. 상기 제어 회로(319)는 상기 제 2 데이터 중 적어도 일부를 지정된 값으로 변경하여 적어도 하나의 원시 이미지를 변환할 수 있다. 상기 제어 회로(319)는 상기 변환된 적어도 하나의 원시 이미지를 압축하여 상기 프로세서(320)로 전송할 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 적어도 하나의 오브젝트를 포함할 수 있다. 상기 제어 회로(319) 또는 상기 프로세서(320)는 상기 적어도 하나의 오브젝트에 대응하는 영역을 상기 제1 영역으로 획득하도록 설정된 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 제1 원시 이미지 또는 제2 원시 이미지를 포함하며, 상기 프로세서(320)는 상기 제1 원시 이미지는 표시 장치(예: 표시 장치(360))를 통해 출력하지 않고, 상기 제2 원시 이미지는 상기 표시 장치(360)를 통해 출력하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 원시 이미지 각각의 이미지 속성은 렌즈 위치, 해상도, 노출 시간, 노출 감도 또는 프레임 레이트 중 적어도 하나를 포함하며, 상기 적어도 하나의 원시 이미지 각각은 상기 이미지 속성 중 적어도 하나가 서로 상이할 수 있다.
다양한 실시예에 따르면, 상기 제어 회로(319)는, 상기 이미지 센싱 모듈(310)을 이용하여 수행된 AF(auto focus) 동작에 의해 포커싱된 영역, 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 오브젝트 영역, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서(320)로부터 수신된 지정된 영역에 대한 정보에 대응되는 영역, 상기 제1 영역에 대한 영역 크기가 지정된 경우, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서(320)로부터 수신된 지정된 위치에 대한 정보에 기반하여 상기 지정된 영역 크기에 대응되는 영역, 또는 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)에 대응되는 영역 중 적어도 하나를 상기 제1 영역으로 획득할 수 있다.
다양한 실시예에 따르면, 상기 제어 회로(319)는, 상기 제어 회로(320)와 전기적으로 연결된 메모리(예: 메모리(330) 또는 메모리(250))에 저장된 디폴트 값 또는 상기 제1 데이터의 적어도 일부 값에 기반하여, 상기 제2 데이터에 대한 상기 지정된 값을 결정할 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 복수의 라인들을 포함하는 프레임이며, 상기 제어 회로(319)는, 상기 적어도 하나의 원시 이미지의 라인 별로 상기 제1 데이터의 적어도 일부에 기반하여 상기 제2 데이터에 대한 상기 지정된 값을 결정할 수 있다.
다양한 실시예에 따르면, 상기 제어 회로(319)는 상기 적어도 하나의 원시 이미지의 상기 복수의 라인들 중 제1 라인에 대응되는 상기 제1 데이터의 적어도 일부에 기반하여, 상기 제1 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제1 값으로 결정하여 상기 제1 라인에 포함된 상기 제2 데이터를 상기 제1 값으로 변경할 수 있다. 상기 제어 회로(319)는 상기 적어도 하나의 원시 이미지의 상기 복수의 라인들 중 제2 라인에 대응되는 상기 제1 데이터의 적어도 일부에 기반하여 상기 제2 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제2 값으로 결정하여 상기 제2 라인에 포함된 상기 제2 데이터를 상기 제2 값으로 변경할 수 있다.
다양한 실시예에 따르면, 상기 제어 회로(319)는, 프레임 압축률을 설정하고, 상기 설정된 프레임 압축률에 기반하여 상기 변환된 적어도 하나의 원시 이미지를 압축하고, 상기 압축된 적어도 하나의 원시 이미지를 상기 프로세서(320)로 전송할 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 복수의 라인들을 포함하는 프레임이며, 상기 제어 회로(319)는, 프레임 압축률을 설정하고, 상기 설정된 프레임 압축률, 상기 이미지 센싱 모듈(310)의 인터페이스(예: I/F(317))의 인터페이스 속도 또는 상기 프로세서(320)의 인터페이스(예: I/F(327))의 인터페이스 속도 중 적어도 하나에 기반하여 상기 변환된 적어도 하나의 원시 이미지의 각 라인에 대한 라인 압축률을 설정할 수 있다. 상기 제어 회로(319)는, 상기 설정된 라인 압축률에 기반하여 상기 라인 별로 상기 변환된 적어도 하나의 원시 이미지를 압축하고, 상기 라인 별로 압축된 상기 적어도 하나의 원시 이미지를 상기 라인 별로 상기 프로세서(320)로 전송할 수 있다.
다양한 실시예에 따르면, 전자 장치(예: 전자 장치(301))는, 프로세서(예: 프로세서(320)), 및 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))을 포함하고, 상기 이미지 센싱 모듈(310)은 이미지 센서(예: 이미지 센서(313)) 및 상기 이미지 센서(313)에 전기적으로 연결되고 상기 프로세서(320)와 인터페이스로 연결된 제어 회로(예: 제어 회로(319))를 포함할 수 있다. 상기 프로세서(320)는 상기 이미지 센싱 모듈(310)로부터 압축된 상기 적어도 하나의 원시 이미지를 수신하고, 상기 수시된 적어도 하나의 원시 이미지를 압축 해제할 수 있다. 상기 프로세서(320)는 상기 압축 해제된 적어도 하나의 원시 이미지를 이미지 처리하고, 상기 이미지 처리된 적어도 하나의 원시 이미지를 상기 전자 장치(301)의 표시 장치(예: 표시 장치(360))에 표시할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(320)는, 상기 압축 해제된 적어도 하나의 원시 이미지 내 제1 영역을 획득하고, 상기 획득된 제1 영역을 이미지 처리하고, 상기 이미지 처리된 제1 영역에 기반하여 적어도 하나의 디스플레이 이미지를 생성하고, 상기 생성된 디스플레이 이미지를 상기 표시 장치에 표시하도록 설정될 수 있다.
다양한 실시예에 따르면, 프로세서(320)는, 디지털 줌의 배율에 따라 상기 제1 영역을 확대하여 상기 디스플레이 이미지를 생성하도록 설정될 수 있다.
다양한 실시예에 따르면, 프로세서(320)는, 상기 이미지 센싱 모듈(310)에서 획득될 적어도 하나의 원시 이미지 내 제1 영역과 관련된 정보를 상기 이미지 센싱 모듈(310)로 전송하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 제1 영역과 관련된 정보는 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 오브젝트에 대한 정보, 지정된 영역에 대한 정보, 지정된 위치에 대한 정보, 또는 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)에 중 적어도 일부를 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(320)는, 상기 제1 상기 압축 해제된 적어도 하나의 원시 이미지 내 제1 영역을 획득하고, 상기 획득된 제1 영역에 기반하여 상기 이미지 센싱 모듈(310)에서 획득될 적어도 하나의 원시 이미지 내 제1 영역을 추정하고, 상기 추정된 제1 영역에 대한 정보를 상기 이미지 센싱 모듈로 전송하도록 설정될 수 있다.
도 6은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 이미지 센싱 모듈(310)(예: 제어 회로(319))중 적어도 하나에 의해 수행될 수 있다.
동작 610에서, 예컨대, 상기 제어 회로는 상기 전자 장치의 이미지 센서(예: 이미지 센서(313))를 이용하여 적어도 하나의 원시 이미지를 획득할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 제1 원시 이미지 또는 제2 원시 이미지를 포함할 수 있다. 제1 원시 이미지는 히든 프레임(hidden frame)일 수 있으며, 상기 적어도 하나의 제2 원시 이미지는 출력 프레임일 수 있다.
동작 620에서, 예컨대, 상기 제어 회로는 상기 적어도 하나의 원시 이미지 내 제1 영역과 관련된 정보에 기반하여, 상기 적어도 하나의 원시 이미지를 상기 제1 영역에 대응하는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역에 대응하는 제2 데이터로 지정할 수 있다.
일 실시예에 따르면, 상기 제1 영역은 ROI 영역이고, 상기 제1 영역을 제외한 제2 영역은 non-ROI 영역일 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))을 이용하여 수행된 AF(auto focus) 동작에 의해 포커싱된 영역, 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 적어도 하나의 오브젝트 영역, 상기 적어도 하나의 원시 이미지 내에서 상기 전자 장치의 프로세서(예: 프로세서(320))로부터 수신된 지정된 영역 정보에 대응되는 영역, 상기 제1 영역에 대한 크기가 지정된 경우, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 지정된 위치 정보에 대응되는 영역, 또는 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)에 대응되는 영역 중 적어도 하나를 상기 제1 영역으로 획득할 수 있다.
동작 630에서, 예컨대, 상기 제어 회로는 상기 적어도 하나의 원시 이미지 내 상기 제 2 데이터 중 적어도 일부를 지정된 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환할 수 있다.
일 실시예에 따르면, 상기 제1 데이터 및 상기 제2 데이터는 상기 적어도 하나의 원시 이미지 내 각 픽셀에 대응되는 픽셀값(예: 휘도)일 수 있다.
일 실시예에 따르면, 상기 제2 데이터에 대한 지정된 값을 결정할 수 있다. 일 실시예에 따르면, 상기 제어 회로는 상기 제어 회로와 전기적으로 연결된 메모리(예: 메모리(330) 또는 메모리(250))에 저장된 디폴트 값을 상기 제2 데이터에 대한 상기 지정된 값으로 결정할 수 있다.
일 실시예에 따르면, 제어 회로(319)는 상기 제1 데이터의 적어도 일부 값에 기반하여 상기 제2 데이터에 대한 상기 지정된 값을 결정할 수 있다. 일 실시예에 따르면, 상기 제어 회로는 상기 적어도 하나의 원시 이미지 내 적어도 하나의 라인 별로 상기 각 라인에 포함된 제1 데이터의 적어도 일부에 기반하여 상기 각 라인에 포함된 제2 데이터에 대한 상기 지정된 값을 결정할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 적어도 하나의 원시 이미지 내 상기 제2 데이터를 상기 지정된 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 적어도 하나의 라인 별로 각 라인에 대응되는 상기 제2 데이터를 각 라인 별로 결정된 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 상기 복수의 라인들 중 상기 제1 라인에 대응되는 상기 제2 데이터를 상기 제1 값으로 변경하고, 상기 제2 라인에 대응되는 상기 제2 데이터를 상기 제2 값으로 변경할 수 있다.
동작 640에서, 예컨대, 상기 제어 회로는 상기 변환된 적어도 하나의 원시 이미지를 압축하여 상기 프로세서로 전송할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 프레임 별로 상기 압축된 적어도 하나의 원시 이미지를 상기 프로세서로 전송할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 각 프레임의 라인 별로 상기 압축된 적어도 하나의 원시 이미지를 상기 프로세서로 전송할 수 있다.
도 7은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 이미지 센싱 모듈(310)(예: 제어 회로(319))중 적어도 하나에 의해 수행될 수 있다.
동작 710에서, 예컨대, 상기 제어 회로는 상기 전자 장치의 이미지 센서(예: 이미지 센서(313))를 이용하여 적어도 하나의 원시 이미지를 획득할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 제1 원시 이미지 또는 제2 원시 이미지를 포함할 수 있다. 상기 제1 원시 이미지는 히든 프레임(hidden frame)일 수 있으며, 상기 제2 원시 이미지는 출력 프레임일 수 있다.
동작 720에서, 예컨대, 상기 제어 회로는 상기 이미지 센서를 통해 획득된 적어도 하나의 원시 이미지가 변환 예정 원시 이미지인지 여부를 판단할 수 있다. 예를 들어, 상기 제어 회로는 상기 적어도 하나의 원시 이미지 내 제1 영역(예: ROI 영역)을 제외한 제2 영역(non-ROI 영역)에 대한 데이터(예: 제2 데이터)가 지정된 값으로 변환될 원시 이미지인지 여부를 판단할 수 있다. 동작 720에서, 상기 획득된 원시 이미지가 상기 변환 예정 원시 이미지 이면 동작 730을 수행하고, 상기 획득된 원시 이미지가 상기 변환 예정 원시 이미지가 아니면 정상적인(normal) 원시 이미지로 판단하고 동작 770을 수행할 수 있다.
동작 730에서, 예컨대, 상기 제어 회로는 상기 획득된 원시 이미지가 상기 변환 예정 원시 이미지이면, 상기 획득된 적어도 하나의 원시 이미지 내 제1 영역에 대한 정보를 획득할 수 있다.
일 실시예에 따르면, 상기 제1 영역은 ROI 영역이고, 상기 제1 영역을 제외한 제2 영역은 non-ROI 영역일 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))을 이용하여 수행된 AF(auto focus) 동작에 의해 포커싱된 영역, 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 오브젝트 영역, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 지정된 영역 정보에 대응되는 영역, 상기 제1 영역에 대한 크기가 지정된 경우, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 지정된 위치 정보에 대응되는 영역, 또는 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)에 대응되는 영역 중 적어도 하나를 상기 제1 영역으로 획득할 수 있다.
동작 740에서, 예컨대, 상기 제어 회로는 상기 적어도 하나의 원시 이미지(예: 변환 예정 원시 이미지) 내 상기 제1 영역과 관련된 정보에 기반하여, 상기 적어도 하나의 원시 이미지(예: 변환 예정 원시 이미지)를 상기 제1 영역에 대응하는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역에 대응하는 제2 데이터로 지정할 수 있다.
일 실시예에 따르면, 상기 제1 데이터 및 상기 제2 데이터는 상기 적어도 하나의 원시 이미지내 각 픽셀에 대응되는 픽셀값(예: 휘도)일 수 있다.
동작 750에서, 예컨대, 상기 제어 회로는 상기 적어도 하나의 원시 이미지(예: 변환 예정 원시 이미지) 내 상기 제2 데이터에 대한 지정된 값을 결정할 수 있다.
일 실시예에 따르면, 상기 제2 데이터에 대한 지정된 값을 결정할 수 있다. 일 실시예에 따르면, 상기 제어 회로는 상기 제어 회로와 전기적으로 연결된 메모리(예: 메모리(330) 또는 메모리(250))에 저장된 디폴트 값을 상기 제2 데이터에 대한 상기 지정된 값으로 결정할 수 있다.
일 실시예에 따르면, 제어 회로는 상기 제1 데이터의 적어도 일부 값에 기반하여 상기 제2 데이터에 대한 상기 지정된 값을 결정할 수 있다. 일 실시예에 따르면, 상기 제어 회로는 상기 적어도 하나의 원시 이미지(예: 변환 예정 원시 이미지) 내 적어도 하나의 라인 별로 상기 각 라인에 포함된 제1 데이터의 적어도 일부에 기반하여 상기 각 라인에 포함된 제2 데이터에 대한 상기 지정된 값을 결정할 수 있다.
동작 760에서, 예컨대, 상기 제어 회로는 상기 적어도 하나의 원시 이미지(예: 변환 예정 원시 이미지) 내 상기 제 2 데이터 중 적어도 일부를 상기 지정된 값으로 변경하여 제1 원시 이미지를 변환할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 적어도 하나의 원시 이미지 내 상기 제2 데이터를 상기 지정된 값으로 변경하여 상기 제1 원시 이미지를 변환할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 적어도 하나의 원시 이미지(예: 변환 예정 원시 이미지)의 적어도 하나의 라인 별로 각 라인에 대응되는 상기 제2 데이터를 각 라인 별로 결정된 값으로 변경하여 상기 적어도 하나의 원시 이미지(예: 변환 예정 원시 이미지)를 변환할 수 있다. 예를 들어, 상기 적어도 하나의 원시 이미지(예: 변환 예정 원시 이미지)의 복수의 라인 중 상기 제1 라인에 대응되는 상기 제2 데이터를 상기 제1 값으로 변경하고, 상기 제2 라인에 대응되는 상기 제2 데이터를 상기 제2 값으로 변경하여 상기 적어도 하나의 원시 이미지(예: 변환 예정 원시 이미지)를 변환할 수 있다. 상기 제어 회로는 상기 제1 데이터와, 상기 제1 값 및 상기 제2 값으로 변경된 제2 데이터를 포함하는 변환된 적어도 하나의 원시 이미지를 생성할 수 있다.
동작 770에서, 예컨대, 상기 제어 회로는 상기 변환된 적어도 하나의 원시 이미지 또는 정상적인 적어도 하나의 원시 이미지를 압축할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 압축기(예: 압축기(315))를 이용하여 상기 변환된 적어도 하나의 원시 이미지를 압축할 수 있다. 이 경우, 상기 지정된 프레임 압축률, 또는 이미지 센싱 모듈의 인터페이스(예: I/F(317)) 속도 또는 상기 프로세서(예: 프로세서(320))의 인터페이스(예: I/F(327)) 속도 중 적어도 하나에 기반하여 상기 변환된 적어도 하나의 원시 이미지의 각 라인에 대한 라인 압축률을 설정할 수 있다. 상기 제어 회로는 상기 설정된 라인 압축률에 따라 상기 변환된 적어도 하나의 원시 이미지를 라인 별로 압축될 수 있다. 예를 들어, 상기 제어 회로는 라인 별로 압축률을 제어할 수 있으므로 목표 압축률을 초과하는 라인(예: Line 5 및 Line 6)이 발생되지 않도록 데이터 양이 많은 라인은 압축률을 낮추고 대신 데이터 양이 적은 라인의 압축률을 높여 전체 프레임 압축률에 기반하여 각 라인의 압축률을 조절할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 지정된 프레임 압축률에 기반하여 상기 정상적인 원시 이미지를 압축할 수 있다.
동작 780에서, 예컨대, 상기 제어 회로는 상기 압축된 적어도 하나의 원시 이미지를 상기 프로세서로 전송할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 프레임 별로 상기 압축된 적어도 하나의 원시 이미지를 상기 프로세서로 전송할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 각 프레임의 라인 별로 상기 압축된 적어도 하나의 원시 이미지를 상기 프로세서로 전송할 수 있다.
도 8은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 도 8은 도 7의 동작 730에 도시된 적어도 하나의 원시 이미지 내 제1 영역에 대한 정보를 획득하는 방법을 나타내는 상세 흐름도로서, 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 프로세서(예: 제어 회로(319) 또는 프로세서(320)) 중 적어도 하나에 의해 수행될 수 있다.
동작 810에서, 예컨대, 상기 제어 회로 또는 상기 프로세서는 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))을 이용하여 획득된 적어도 하나의 원시 이미지 에 대해 상기 이미지 센싱 모듈을 이용하여 AF 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 AF 동작 방식은 콘트라스트 AF 동작 방식 또는 DFD AF 동작 방식을 포함할 수 있다.
동작 820에서, 예컨대, 상기 제어 회로 또는 상기 프로세서는 상기 적어도 하나의 원시 이미지 내에서 상기 수행된 AF 동작에 의해 포커싱된 영역을 획득할 수 있다.
일 실시예에 따르면, 상기 포커싱된 영역은 상기 적어도 하나의 원시 이미지 내 적어도 하나의 오브젝트에 대응되는 영역일 수 있다.
동작 830에서, 예컨대, 상기 제어 회로 또는 상기 프로세서는 상기 포커싱된 영역을 상기 적어도 하나의 원시 이미지 내 제1 영역으로 지정할 수 있다.
일 실시예에 따르면, 상기 제어 회로 또는 상기 프로세서는 상기 포커싱된 영역에 대한 정보를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
도 9는 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 도 9는 도 7의 동작 730에 도시된 적어도 하나의 원시 이미지 내 제1 영역에 대한 정보를 획득하는 방법을 나타내는 상세 흐름도로서, 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 프로세서(예: 제어 회로(319) 또는 프로세서(320)) 중 적어도 하나에 의해 수행될 수 있다.
동작 910에서, 예컨대, 상기 제어 회로 또는 상기 프로세서는 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))을 이용하여 획득된 적어도 하나의 원시 이미지에 대해 적어도 하나의 오브젝트 인식 동작을 수행할 수 있다.
일 실시예에 따르면, 상기 오브젝트 인식 동작은 공지된 다양한 안면 또는 오브젝트 인식 기술을 이용하여 수행될 수 있다. 일 실시예에 따르면, 상기 적어도 하나의 오브젝트는 촬영 대상인 피사체일 수 있으며, 예를 들어, 사람, 건물, 물체 또는 배경 등과 같은 다양한 오브젝트를 포함할 수 있다.
동작 920에서, 예컨대, 상기 제어 회로 또는 상기 프로세서는 상기 적어도 하나의 원시 이미지 내에서 상기 인식된 오브젝트 영역에 대응되는 영역을 획득할 수 있다.
일 실시예에 따르면, 상기 오브젝트 영역에 대응되는 영역은 적어도 하나의 안면 영역일 수 있다.
동작 930에서, 예컨대, 상기 제어 회로 또는 상기 프로세서는 상기 획득된 영역을 상기 적어도 하나의 원시 이미지 내 제1 영역으로 지정할 수 있다.
일 실시예에 따르면, 상기 제어 회로 또는 상기 프로세서는 상기 획득된 영역에 대한 정보(예: 상기 획득된 영역에 대한 위치 정보 또는 영역 크기 정보 등)를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
도 10은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 도 10은 도 7의 동작 730에 도시된 적어도 하나의 원시 이미지 내 제1 영역에 대한 정보를 획득하는 방법을 나타내는 상세 흐름도로서, 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 프로세서(예: 제어 회로(319) 또는 프로세서(320)) 중 적어도 하나에 의해 수행될 수 있다.
동작 1010에서, 예컨대, 상기 제어 회로는 프로세서(예: 프로세서(320))로부터 지정된 영역에 대한 정보를 수신할 수 있다.
일 실시예에 따르면, 상기 프로세서로부터 수신된 상기 지정된 영역에 대한 정보는 위치 정보(예: 표시 장치(360) 상에서의 위치 좌표) 또는 지정된 영역의 크기 정보 중 적어도 하나일 수 있다.
일 실시예에 따르면, 상기 프로세서로부터 수신된 상기 지정된 영역은 상기 프로세서에서 상기 제1 영역에 대해 추정된 정보에 기반하여 지정될 수 있다.
동작 1020에서, 예컨대, 상기 제어 회로(또는 상기 프로세서)는 상기 적어도 하나의 원시 데이터 내에서 상기 지정된 영역에 대응하는 영역을 획득할 수 있다.
동작 1030에서, 예컨대, 상기 제어 회로 또는 상기 프로세서는 상기 획득된 영역을 상기 적어도 하나의 원시 이미지 내 제1 영역으로 지정할 수 있다.
일 실시예에 따르면, 상기 제어 회로(또는 상기 프로세서)는 상기 획득된 영역에 대한 정보(예: 상기 획득된 영역에 대한 위치 정보 또는 영역 크기 정보 등)를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
도 11은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 도 11은 도 7의 동작 730에 도시된 적어도 하나의 원시 이미지 내 제1 영역에 대한 정보를 획득하는 방법을 나타내는 상세 흐름도로서, 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 프로세서(예: 제어 회로(319) 또는 프로세서(320)) 중 적어도 하나에 의해 수행될 수 있다.
동작 1110에서, 예컨대, 적어도 하나의 원시 이미지 내 제1 영역에 대한 크기가 지정되어 있는 경우, 상기 제어 회로는 프로세서(예: 프로세서(320))로부터 지정된 위치에 대한 정보를 수신할 수 있다.
일 실시예에 따르면, 상기 프로세서로부터 수신된 상기 지정된 위치에 대한 정보는 사용자의 입력(예: 터치)에 의해 입력된(터치된) 표시 장치(360) 상에서의 위치 좌표일 수 있다. 일 실시예에 따르면, 상기 프로세서로부터 수신된 상기 지정된 위치에 대한 정보는 상기 전자 장치에 미리 지정된 표시 장치(360) 상에서의 중심 좌표 또는 다른 지정된 좌표일 수 있다.
동작 1120에서, 예컨대, 상기 제어 회로(또는 상기 프로세서)는 상기 적어도 하나의 원시 이미지 내에서 상기 수신된 위치에 대한 정보에 기반하여, 상기 지정된 크기에 대응되는 영역을 획득할 수 있다.
동작 1130에서, 예컨대, 상기 제어 회로(또는 상기 프로세서)는 상기 획득된 영역을 상기 적어도 하나의 원시 이미지 내 제1 영역으로 지정할 수 있다.
일 실시예에 따르면, 상기 제어 회로(또는 상기 프로세서)는 상기 획득된 영역에 대한 정보(예: 상기 수신된 위치에 대한 정보 또는 상기 지정된 영역 크기 정보 등)를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
도 12는 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 도 12는 도 7의 동작 730에 도시된 적어도 하나의 원시 이미지 내 제1 영역에 대한 정보를 획득하는 방법을 나타내는 상세 흐름도로서, 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 프로세서(예: 제어 회로(319) 또는 프로세서(320)) 중 적어도 하나에 의해 수행될 수 있다.
동작 1210에서, 예컨대, 상기 제어 회로는 프로세서(예: 프로세서(320))로부터 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)를 수신할 수 있다.
일 실시예에 따르면, 상기 프로세서로부터 수신된 상기 지정된 영역에 대한 정보는 상기 디지털 줌 정보는 디지털 줌에 의해 확대될 중심 위치 정보(예: 표시 장치(360) 상에서의 위치 좌표) 또는 배율 정보를 포함할 수 있다.
일 실시예에 따르면, 디지털 줌에 의해 확대될 상기 중심 위치 정보 또는 상기 배율 정보는 사용자에 의해 지정된 값이 입력되거나 시스템 내부적으로 미리 설정(예: 해당 원시 이미지의 중심)되거나 사용자의 터치에 의해 입력될 수 있다.
동작 1220에서, 예컨대, 상기 제어 회로(또는 상기 프로세서)는 상기 적어도 하나의 원시 이미지 내에서 상기 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)에 대응하는 영역을 획득할 수 있다.
일 실시예에 따르면, 상기 제어 회로(또는 상기 프로세서)는 상기 적어도 하나의 원시 이미지 내에서 상기 디지털 줌에 의해 확대될 상기 중심 위치 정보를 기준으로 상기 배율 정보 대응되는 크기의 영역을 상기 제1 영역과 관련된 정보로 획득할 수 있다. 예를 들어, 상기 중심 위치 정보가 상기 적어도 하나의 원시 이미지의 중심이고, 상기 배율 정보가 200%일 경우, 상기 제어 회로 또는 상기 프로세서는 상기 적어도 하나의 원시 이미지 내에서 상기 적어도 하나의 원시 이미지의 중심을 기준으로 상기 적어도 하나의 원시 이미지의 가로 길이 및 세로 길이 각각의 1/2 크기에 대응되는 영역을 획득하고, 상기 획득된 영역에 대한 정보를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
동작 1230에서, 예컨대, 상기 제어 회로(또는 상기 프로세서)는 상기 획득된 영역을 상기 적어도 하나의 원시 이미지 내 제1 영역으로 지정할 수 있다.
일 실시예에 따르면, 상기 제어 회로 또는 상기 프로세서는 상기 획득된 영역에 대한 정보(예: 상기 획득된 영역에 대한 위치 정보 또는 영역 크기 정보 등)를 상기 제1 영역과 관련된 정보로 획득할 수 있다.
도 13은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 도 13은 도 7의 동작 750에 도시된 적어도 하나의 원시 이미지 내 제1 영역에 대응되지 않는 제2 데이터에 대한 지정된 값을 결정하는 방법을 나타내는 상세 흐름도로서, 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 제어 회로(예: 제어 회로(319)) 중 적어도 하나에 의해 수행될 수 있다.
동작 1310에서, 예컨대, 상기 제어 회로는 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))을 이용하여 획득된 적어도 하나의 원시 이미지 내 제1 영역에 대응되는 제1 데이터에 대한 평균값을 산출할 수 있다.
일 실시예에 따르면, 상기 제1 데이터는 상기 제1 영역에 대응되는 픽셀값들일 수 있으며, 상기 제어 회로는 상기 제1 영역에 대응되는 픽셀값들의 평균을 산출할 수 있다.
동작 1320에서, 예컨대, 상기 제어 회로는 상기 산출된 평균값에 기반하여 상기 제1 원시 이미지 내 상기 제1 영역에 대응되지 않는 제2 데이터에 대한 지정된 값을 결정할 수 있다.
일 실시예에 따르면, 상기 제2 데이터는 상기 제1 영역에 대응되지 않는 픽셀값들일 수 있으며, 상기 제어 회로는 상기 산출된 평균값에 대응하여 지정된 픽셀값 범위 사이의 값 중 하나의 픽셀값을 상기 제2 데이터에 대한 상기 지정된 값으로 결정할 수 있다. 예를 들어, 상기 산출된 평균값이 0~255 픽셀값 범위 중 100이고, 지정된 픽셀값 범위가 ±10으로 지정된 경우, 상기 제2 데이터에 대한 상기 지정된 값(x)은 90<x<100 또는 100<x<110 사이의 값 중 하나로 결정될 수 있다.
도 14는 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 도 14는 도 7의 동작 750에 도시된 적어도 하나의 원시 이미지 내 제1 영역에 대응되지 않는 제2 데이터에 대한 지정된 값을 결정하는 방법을 나타내는 상세 흐름도로서, 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 제어 회로(예: 제어 회로(319)) 중 적어도 하나에 의해 수행될 수 있다.
동작 1410에서, 예컨대, 상기 제어 회로는 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))을 이용하여 획득된 적어도 하나의 원시 이미지의 복수의 라인들 중 해당 라인에 상기 적어도 하나의 원시 이미지 내 제1 영역에 대응되는 제1 데이터가 포함되어 있는지 여부를 판단할 수 있다. 동작 1410에서, 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 복수의 라인들 중 해당 라인에 상기 적어도 하나의 원시 이미지 내 제1 영역에 대응되는 제1 데이터가 포함되어 있으면 동작 1420을 수행하고, 적어도 하나의 원시 이미지의 복수의 라인들 중 해당 라인에 상기 적어도 하나의 원시 이미지 내 제1 영역에 대응되는 제1 데이터가 포함되어 있지 않으면 동작 1450을 수행할 수 있다.
동작 1420에서, 예컨대, 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 복수의 라인들 중 상기 해당 라인에 제2 데이터가 포함되어 있는지 여부를 판단할 수 있다. 상기 동작 1420에서, 상기 적어도 하나의 원시 이미지의 복수의 라인들 중 상기 해당 라인에 제2 데이터가 포함되어 있으면 동작 1430을 수행하고, 상기 적어도 하나의 원시 이미지의 복수의의 라인들 중 상기 해당 라인에 제2 데이터가 포함되어 있지 않으면 동작 1440을 수행할 수 있다.
동작 1430에서, 예컨대, 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 상기 해당 라인에 대응되는 제1 데이터에 기반하여, 상기 해당 라인에 대응되는 제2 데이터에 대한 지정된 값을 결정할 수 있다.
일 실시예에 따르면, 상기 제1 데이터는 상기 제1 영역에 대응되는 픽셀값들일 수 있으며, 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 상기 각 라인 별로 상기 제1 데이터의 평균을 산출할 수 있다. 예를 들어, 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 상기 각 라인 별로 상기 제1 영역에 대응되는 픽셀값들의 평균을 산출할 수 있다. 상기 제어 회로는 상기 라인 별로 산출된 상기 평균값에 기반하여 상기 해당 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 결정할 수 있다.
일 실시예에 따르면, 상기 제2 데이터는 상기 제1 영역에 대응되지 않는 픽셀값들일 수 있으며, 상기 제어 회로는 상기 라인 별로 각각 산출된 상기 라인 별 평균값에 대응하여 지정된 픽셀값 범위 사이의 값 중 하나의 픽셀값을 상기 해당 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값으로 결정할 수 있다. 예를 들어, 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 제1 라인에 대응되는 상기 제1 데이터의 적어도 일부(예: 제1 라인에 포함된 제1 데이터의 평균값)에 기반하여, 상기 제1 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제1 값으로 결정할 수 있다. 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 제2 라인에 대응되는 상기 제1 데이터의 적어도 일부(예: 제2 라인에 포함된 제1 데이터의 평균값)에 기반하여 상기 제2 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제2 값으로 결정할 수 있다.
동작 1440에서, 예컨대, 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 상기 복수의의 라인들 중 상기 제2 데이터에 대한 상기 지정된 값이 결정되지 않은 다음 라인이 존재하는지 여부를 판단할 수 있다. 상기 동작 1440에서, 상기 제어 회로는 상기 복수의 원시 이미지의 상기 복수의 라인들 중 상기 제2 데이터에 대한 상기 지정된 값이 결정되지 않은 다음 라인이 존재하면 동작 1410을 수행하고, 상기 다음 라인 존재하지 않으면 도 7의 동작 760을 수행할 수 있다.
동작 1450에서, 예컨대, 상기 제어 회로는 상기 적어도 하나의 원시 이미지의 복수의의 라인들 중 해당 라인에 상기 적어도 하나의 원시 이미지 내 제1 영역에 대응되는 제1 데이터가 포함되어 있지 않으면, 상기 해당 라인 모두 제2 데이터인 것으로 판단하여 상기 제2 데이터에 대해 지정된 값으로 결정할 수 있다.
일 실시예에 따르면, 상기 제2 데이터에 대해 상기 지정된 값은 사용자에 의해 입력된 값이거나 상기 전자 장치에 디폴트로 설정된 값일 수 있다.
도 15는 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 도 15는 도 7의 동작 770에 도시된 적어도 하나의 원시 이미지를 압축하는 방법을 나타내는 상세 흐름도로서, 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 제어 회로(예: 제어 회로(319)) 중 적어도 하나에 의해 수행될 수 있다.
동작 1510에서, 예컨대, 상기 제어 회로는 적어도 하나의 원시 이미지 내 제1 영역에 대응하는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역에 대응되는 제2 데이터가 지정된 값으로 변경된 제2 데이터를 포함하는 변경된 적어도 하나의 변환된 원시 이미지 또는 상기 제2 데이터가 지정된 값으로 변경되지 않은 정상적인 적어도 하나의 원시 이미지에 대한 프레임 압축률을 설정할 수 있다. 예를 들어, 압축률은 압축되지 않은 데이터 크기를 압축된 데이터 크기로 나눈 것으로 나타낼 수 있다.
동작 1520에서, 예컨대, 상기 제어 회로는 상기 설정된 프레임 압축률에 기반하여 상기 적어도 하나의 원시 이미지(예: 변환된 원시 이미지 또는 정상적인 원시 이미지)를 압축할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 적어도 하나의 원시 이미지 중 정상적인 원시 이미지의 프레임 압축률 및 상기 변환된 원시 이미지의 프레임 압축률을 동일하게 설정할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 적어도 하나의 원시 이미지 중 정상적인 원시 이미지의 프레임 압축률 및 상기 변환된 원시 이미지의 프레임 압축률을 서로 상이하게 설정할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 설정된 프레임 압축률에 따라 상기 변환된 적어도 하나의 원시 이미지 또는 상기 정상적인 원시 이미지를 프레임 단위로 압축할 수 있다. 상기 프레임 단위로 압축된 상기 변환된 원시 이미지 또는 상기 정상적인원시 이미지는 상기 이미지 센싱 모듈의 인터페이스(예: I/F(317))의 속도에 기반하여 상기 프로세서로 전송될 수 있다.
도 16은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 도 16는 도 7의 동작 770에 도시된 적어도 하나의 원시 이미지를 압축하는 방법을 나타내는 상세 흐름도로서, 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 제어 회로(예: 제어 회로(319)) 중 적어도 하나에 의해 수행될 수 있다.
동작 1610에서, 예컨대, 상기 제어 회로는 적어도 하나의 원시 이미지 내 제1 영역에 대응하는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역에 대응되는 제2 데이터가 지정된 값으로 변경된 제2 데이터를 포함하는 변경된 적어도 하나의 변환된 원시 이미지 또는 상기 제2 데이터가 지정된 값으로 변경되지 않은 정상적인 적어도 하나의 원시 이미지에 대한 프레임 압축률을 설정할 수 있다. 예를 들어, 압축률은 압축되지 않은 데이터 크기를 압축된 데이터 크기로 나눈 것으로 나타낼 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 적어도 하나의 원시 이미지 중 정상적인 원시 이미지의 프레임 압축률 및 상기 변환된 원시 이미지의 프레임 압축률을 동일하게 설정할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 변환된 적어도 하나의 원시 이미지 중 정상적인 원시 이미지의 프레임 압축률 및 변환된 원시 이미지의 프레임 압축률을 서로 상이하게 설정할 수 있다.
동작 1620에서, 예컨대, 상기 제어 회로는 상기 설정된 프레임 압축률 또는 상기 이미지 센싱 모듈의 인터페이스 속도 또는 상기 프로세서의 인터페이스 속도 중 적어도 하나에 기반하여 상기 변환된 적어도 하나의 원시 이미지의 적어도 하나의 라인에 대한 라인 압축률을 설정할 수 있다.
일 실시예에 따르면, 상기 라인 압축률은 라인 별로 서로 상이할 수 있다.
동작 1630에서, 예컨대, 상기 제어 회로는 상기 설정된 라인 압축률에 기반하여 상기 변환된 적어도 하나의 원시 이미지의 라인 별로 상기 변환된 적어도 하나의 원시 이미지를 압축할 수 있다.
일 실시예에 따르면, 상기 제어 회로는 상기 변환된 적어도 하나의 원시 이미지에 대해 상기 라인 별로 압축률을 제어할 수 있으므로 목표 압축률을 초과하는 라인(예: 도 5 c의 Line 5 및 Line 6 참조)이 발생되지 않도록 데이터 변화량이 많은 라인은 압축률을 낮추는 대신 데이터 변화량이 적은 라인의 압축률을 높여 전체 프레임 압축률에 기반하여 각 라인의 압축률을 조절할 수 있다.
도 17은 다양한 실시예에 따른 전자 장치의 이미지 압축 방법을 나타내는 흐름도이다. 상기 방법은, 전자 장치(예: 전자 장치(301)) 또는 상기 전자 장치의 프로세서(예: 프로세서(320), 메인 프로세서(321) 또는 보조 프로세서(323)) 중 적어도 하나에 의해 수행될 수 있다.
동작 1710에서, 예컨대, 상기 프로세서는 인터페이스(예: I/F(327))를 통해 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))로부터 압축된 변환된 적어도 하나의 원시 이미지를 수신하고, 이를 압축 해제기(예: 압축 해제기(325))를 이용하여 압축 해제할 수 있다.
일 실시예에 따르면, 상기 압축 해제된 상기 적어도 하나의 원시 이미지는 복수의 라인들을 포함하는 프레임일 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 프로세서의 I/F(예: I/F(327))의 인터페이스 속도에 기반하여 상기 압축된 적어도 하나의 원시 이미지를 프레임 별로 또는 라인 별로 수신할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 압축 해제기를 이용하여 프레임 별로 또는 라인 별로 상기 압축된 적어도 하나의 원시 이미지를 압축 해제하여 상기 적어도 하나의 원시 이미지를 생성할 수 있다.
동작 1720에서, 예컨대, 상기 프로세서는 상기 압축 해제된 적어도 하나의 원시 이미지가 상기 변환된 원시 이미지인지 여부를 판단할 수 있다. 상기 동작 1720에서, 상기 프로세서는 상기 압축 해제된 원시 이미지가 상기 변환된 원시 이미지이면 동작 1730을 수행하고, 상기 압축 해제된 원시 이미지가 상기 변환된 원시 이미지가 아니면 동작 1760을 수행할 수 있다.
동작 1730에서, 예컨대, 상기 프로세서는 상기 변환된 원시 이미지 내 제1 영역(예: ROI 영역)을 획득할 수 있다. 예를 들어, 상기 프로세서는 상기 변환된 원시 이미지 중 상기 제1 데이터에 대응되는 상기 제1 영역을 획득할 수 있다.
일 실시예에 따르면, 상기 제1 영역은 상기 이미지 센싱 모듈을 이용하여 수행된 AF(auto focus) 동작에 의해 포커싱된 영역, 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 오브젝트 영역, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 지정된 영역 정보에 대응되는 영역, 상기 제1 영역에 대한 크기가 지정된 경우, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 지정된 위치 정보에 기반하여 상기 지정된 크기에 대응되는 영역, 또는 디지털 줌 정보(예: 중심 위치 정보 및 배율 정보)중 적어도 하나일 수 있다.
동작 1740에서, 예컨대, 상기 프로세서는 상기 획득된 제1 영역에 기반하여 상기 이미지 센싱 모듈에서 획득될 적어도 하나의 원시 이미지 내 제1 영역(예: next-ROI 영역)에 대한 정보를 추정하여 상기 이미지 센싱 모듈로 전송할 수 있다. 상기 동작 1740은 옵션 사항으로서, 상기 프로세서의 제어에 따라 생략될 수도 있다.
동작 1750에서, 예컨대, 상기 프로세서는 상기 변환된 적어도 하나의 원시 이미지 내 상기 제1 영역을 이미지를 처리를 수행할 수 있다. 일 실시예에 따르면, 보조 프로세서(예: 보조 프로세서(323))은 상기 제1 영역을 이미지 처리할 수 있다.
일 실시예에 따르면, 상기 이미지 처리는 감마교정, 인터폴레이션, 공간적 변화, 이미지 효과, 이미지 스케일, 자동 화이트 밸런스(Auto White Balance: AWB), 자동 노출(Auto Exposure: AE), 자동 초점(Auto Focus: AF) 등과 같은 이미지 처리를 포함할 수 있다.
동작 1760에서, 예컨대, 상기 프로세서는 상기 적어도 하나의 원시 이미지에 대한 처리를 수행할 수 있다. 일 실시예에 따르면, 보조 프로세서(예: 보조 프로세서(323))은 상기 적어도 하나의 제2 원시 이미지를 이미지 처리할 수 있다.
동작 1770에서, 예컨대, 상기 프로세서는 상기 이미지 처리된 적어도 하나의 원시 이미지를 상기 전자 장치의 표시 장치(예: 표시 장치(360)) 상에 표시할 수 있다.
일 실시예에 따르면, 상기 프로세서는 보조 프로세서(예: ISP(323a))에서 이미지 처리된 상기 변환된 적어도 하나의 원시 이미지 또는 (상기 제1 영역을 제외한 제2 영역(예: non-ROI 영역)이 변환되지 않은) 적어도 하나의 원시 이미지를 상기 표시 장치(360)에 표시할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 이미지 처리된 제1 영역 및 상기 적어도 하나의 원시 이미지에 기반하여 적어도 하나의 디스플레이 이미지를 생성하여 상기 표시 장치에 표시할 수 있다.
일 실시예 따르면, 상기 프로세서는 디지털 줌 동작 시 디지털 줌의 배율에 따라 상기 이미지 처리된 제1 영역(예: 원시 이미지 내에서 디지털 줌의 배율 정보에 대응되는 영역(예: 도 5d의 ROI D))을 확대하여 디스플레이 이미지를 생성할 수 있다.
일 실시예 따르면, 상기 프로세서는 상기 압축 해제된 적어도 하나의 원시 이미지 중 HDR 이미지를 생성하기 위해 획득된 단노출 원시 이미지 또는 장노출 원시 이미지를 이용하여 디스플레이 이미지(예: HDR 이미지)를 생성할 수 있다.
다양한 실시예에 따르면, 전자 장치(예: 전자 장치(301))의 이미지 압축 방법은, 상기 전자 장치(301)의 이미지 센서(예: 이미지 센서(313))를 이용하여 적어도 하나의 원시 이미지를 획득하는 동작, 상기 적어도 하나의 원시 이미지 내 제1 영역과 관련된 정보에 기반하여, 상기 적어도 하나의 원시 이미지를 상기 제1 영역에 대응되는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역에 대응되는 제2 데이터로 지정하는 동작, 상기 제2 데이터 중 적어도 일부를 지정된 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환하는 동작, 및 상기 변환된 적어도 하나의 원시 이미지를 압축하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 원시 이미지 내 상기 제1 영역을 획득하는 동작을 더 포함하며, 상기 제1 영역을 획득하는 동작은, 상기 전자 장치(301)의 이미지 센싱 모듈(예: 이미지 센싱 모듈(310))을 이용하여 수행된 AF(auto focus) 동작에 의해 포커싱된 영역을 상기 제1 영역으로 획득하는 동작, 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 오브젝트 영역을 상기 제1 영역으로 획득하는 동작, 상기 적어도 하나의 원시 이미지 내에서 상기 전자 장치(301)의 프로세서(예: 프로세서(320))로부터 수신된 지정된 영역 정보에 대응되는 영역을 상기 제1 영역으로 획득하는 동작, 상기 제1 영역에 대한 크기가 지정된 경우, 상기 적어도 하나의 원시 이미지 내에서 상기 전자 장치(301)의 프로세서(320)로부터 수신된 지정된 위치 정보에 대응되는 영역을 상기 제1 영역으로 획득하는 동작, 또는 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 디지털 줌 정보에 대응되는 영역을 상기 제1 영역으로 획득하는 동작 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 복수의 라인들을 포함하는 프레임이며, 상기 적어도 하나의 원시 이미지를 변환하는 동작은, 상기 적어도 하나의 원시 이미지의 상기 복수의 라인들 중 제1 라인에 대응되는 상기 제1 데이터의 적어도 일부에 기반하여, 상기 제1 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제1 값으로 결정하여 상기 제1 라인에 대응되는 상기 제2 데이터를 상기 제1 값으로 변경하는 동작 및 상기 적어도 하나의 원시 이미지의 상기 제2 라인에 대응되는 상기 제1 데이터의 적어도 일부에 기반하여 상기 제2 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제2 값으로 결정하여 상기 제2 라인에 대응되는 상기 제2 데이터를 상기 제2 값으로 변경하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 원시 이미지는 복수의 라인들을 포함하는 프레임이며, 상기 변환된 적어도 하나의 원시 이미지를 압축하여 상기 프로세서로 전송하는 방법은, 프레임 압축률을 설정하는 동작, 상기 설정된 프레임 압축률, 상기 이미지 센싱 모듈의 인터페이스 속도 또는 상기 프로세서의 인터페이스 속도 중 적어도 하나에 기반하여 상기 변환된 적어도 하나의 원시 이미지의 각 라인에 대한 라인 압축률을 설정하는 동작, 및 상기 설정된 라인 압축률에 기반하여 라인 별로 상기 변환된 적어도 하나의 원시 이미지를 압축하는 동작, 및 상기 라인 별로 압축된 상기 적어도 하나의 원시 이미지를 상기 라인 별로 상기 프로세서로 전송하는 동작을 포함할 수 있다.
본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.
310: 이미지 센싱 모듈 320: 프로세서
311: 렌즈 어셈블리 321: 메인 프로세서
313: 이미지 센서 323: 보조 프로세서
315: 압축기 325: 압축 해제기
317: 인터페이스(I/F) 327: 인터페이스(I/F)
330: 메모리 340: AF 컨트롤러
350: 코덱 360: 표시 장치

Claims (20)

  1. 전자 장치에 있어서,
    프로세서; 및
    이미지 센싱 모듈을 포함하고, 상기 이미지 센싱 모듈은 이미지 센서 및 상기 이미지 센서에 전기적으로 연결되고 상기 프로세서와 인터페이스로 연결된 제어 회로를 포함하고,
    상기 제어 회로는,
    상기 이미지 센서를 이용하여 적어도 하나의 원시 이미지를 획득하고,
    상기 적어도 하나의 원시 이미지 내 제1 영역과 관련된 정보에 기반하여, 상기 적어도 하나의 원시 이미지를 상기 제1 영역에 대응되는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역에 대응되는 제2 데이터로 지정하고,
    상기 제 2 데이터 중 적어도 일부를 지정된 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환하고,
    상기 변환된 적어도 하나의 원시 이미지를 압축하여 상기 프로세서로 전송하도록 설정된 전자 장치.
  2. 제1항에 있어서, 상기 적어도 하나의 원시 이미지는 적어도 하나의 오브젝트를 포함하고,
    상기 제어 회로 또는 상기 프로세서는,
    상기 적어도 하나의 오브젝트에 대응하는 영역을 상기 제1 영역으로 획득하도록 설정된 전자 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 원시 이미지는 제1 원시 이미지 또는 제2 원시 이미지를 포함하며,
    상기 프로세서는, 상기 제1 원시 이미지는 상기 전자 장치의 표시 장치를 통해 출력하지 않고, 및 상기 제2 원시 이미지는 상기 표시 장치를 통해 출력하도록 설정된 전자 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 원시 이미지 각각의 이미지 속성은 렌즈 위치, 해상도, 노출 시간, 노출 감도 또는 프레임 레이트 중 적어도 하나를 포함하며,
    상기 적어도 하나의 원시 이미지 각각은 상기 이미지 속성 중 적어도 하나가 서로 상이한 전자 장치.
  5. 제1항에 있어서,
    상기 제어 회로는,
    상기 이미지 센싱 모듈을 이용하여 수행된 AF(auto focus) 동작에 의해 포커싱된 영역, 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 적어도 하나의 오브젝트 영역, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 지정된 영역에 대한 정보에 대응되는 영역, 상기 제1 영역에 대한 영역 크기가 지정된 경우, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 지정된 위치에 대한 정보에 기반하여 상기 지정된 영역 크기에 대응되는 영역, 또는 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 디지털 줌 정보에 대응되는 영역 중 적어도 하나를 상기 제1 영역으로 획득하도록 설정된 전자 장치.
  6. 제1항에 있어서,
    상기 제어 회로는,
    상기 제어 회로와 전기적으로 연결된 메모리에 저장된 디폴트 값 또는 상기 제1 데이터의 적어도 일부 값에 기반하여, 상기 제2 데이터에 대한 상기 지정된 값을 결정하도록 설정된 전자 장치.
  7. 제1항에 있어서,
    상기 적어도 하나의 원시 이미지는 복수의 라인들을 포함하는 프레임이며,
    상기 제어 회로는, 상기 적어도 하나의 원시 이미지의 라인 별로 상기 제1 데이터의 적어도 일부에 기반하여 상기 제2 데이터에 대한 상기 지정된 값을 결정하도록 설정된 전자 장치.
  8. 제7항에 있어서,
    상기 제어 회로는, 상기 적어도 하나의 원시 이미지의 상기 복수의 라인들 중 제1 라인에 대응되는 상기 제1 데이터의 적어도 일부에 기반하여, 상기 제1 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제1 값으로 결정하여 상기 제1 라인에 포함된 상기 제2 데이터를 상기 제1 값으로 변경하고,
    상기 적어도 하나의 원시 이미지 상기 복수의 라인들 중 제2 라인에 대응되는 상기 제1 데이터의 적어도 일부에 기반하여 상기 제2 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제2 값으로 결정하여 상기 제2 라인에 포함된 상기 제2 데이터를 상기 제2 값으로 변경하도록 설정된 전자 장치.
  9. 제1항에 있어서,
    상기 제어 회로는,
    프레임 압축률을 설정하고,
    상기 설정된 프레임 압축률에 기반하여 상기 변환된 적어도 하나의 원시 이미지를 압축하고,
    상기 압축된 적어도 하나의 원시 이미지를 상기 프로세서로 전송하도록 설정된 전자 장치.
  10. 제1항에 있어서,
    상기 적어도 하나의 원시 이미지는 복수의 라인들을 포함하는 프레임이며,
    상기 제어 회로는,
    프레임 압축률을 설정하고,
    상기 설정된 프레임 압축률, 상기 이미지 센싱 모듈의 인터페이스 속도 또는 상기 프로세서의 인터페이스 속도 중 적어도 하나에 기반하여 상기 변환된 적어도 하나의 원시 이미지의 각 라인에 대한 라인 압축률을 설정하고,
    상기 설정된 라인 압축률에 기반하여 상기 라인 별로 상기 변환된 적어도 하나의 원시 이미지를 압축하고,
    상기 라인 별로 압축된 상기 적어도 하나의 원시 이미지를 상기 라인 별로 상기 프로세서로 전송하도록 설정된 전자 장치.
  11. 전자 장치의 이미지 압축 방법에 있어서,
    상기 전자 장치의 이미지 센서를 이용하여 적어도 하나의 원시 이미지를 획득하는 동작;
    상기 적어도 하나의 원시 이미지 내 제1 영역과 관련된 정보에 기반하여, 상기 적어도 하나의 원시 이미지를 상기 제1 영역에 대응되는 제1 데이터 및 상기 제1 영역을 제외한 제2 영역에 대응되는 제2 데이터로 지정하는 동작;
    상기 제 2 데이터 중 적어도 일부를 지정된 값으로 변경하여 상기 적어도 하나의 원시 이미지를 변환하는 동작; 및
    상기 변환된 적어도 하나의 원시 이미지를 압축하여 상기 전자 장치의 프로세서로 전송하는 동작을 포함하는 방법.
  12. 제11항에 있어서,
    상기 적어도 하나의 원시 이미지 내 상기 제1 영역을 획득하는 동작을 더 포함하며,
    상기 제1 영역을 획득하는 동작은,
    상기 전자 장치의 이미지 센싱 모듈을 이용하여 수행된 AF(auto focus) 동작에 의해 포커싱된 영역을 상기 제1 영역으로 획득하는 동작, 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 오브젝트 영역을 상기 제1 영역으로 획득하는 동작, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 지정된 영역 정보에 대응되는 영역을 상기 제1 영역으로 획득하는 동작, 상기 제1 영역에 대한 크기가 지정된 경우, 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 지정된 위치 정보에 대응되는 영역을 상기 제1 영역으로 획득하는 동작, 또는 상기 적어도 하나의 원시 이미지 내에서 상기 프로세서로부터 수신된 디지털 줌 정보에 대응되는 영역을 상기 제1 영역으로 획득하는 동작 중 적어도 하나를 포함하는 방법.
  13. 제11항에 있어서,
    상기 적어도 하나의 원시 이미지는 복수의 라인들을 포함하는 프레임이며,
    상기 적어도 하나의 원시 이미지를 변환하는 동작은,
    상기 적어도 하나의 원시 이미지의 상기 복수의 라인들 중 제1 라인에 대응되는 상기 제1 데이터의 적어도 일부에 기반하여, 상기 제1 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제1 값으로 결정하여 상기 제1 라인에 대응되는 상기 제2 데이터를 상기 제1 값으로 변경하는 동작; 및
    상기 적어도 하나의 원시 이미지의 상기 제2 라인에 대응되는 상기 제1 데이터의 적어도 일부에 기반하여 상기 제2 라인에 포함된 상기 제2 데이터에 대한 상기 지정된 값을 제2 값으로 결정하여 상기 제2 라인에 대응되는 상기 제2 데이터를 상기 제2 값으로 변경하는 동작을 포함하는 방법.
  14. 제11항에 있어서,
    상기 적어도 하나의 원시 이미지는 복수의 라인들을 포함하는 프레임이며,
    상기 변환된 적어도 하나의 원시 이미지를 압축하여 상기 프로세서로 전송하는 방법은,
    프레임 압축률을 설정하는 동작;
    상기 설정된 프레임 압축률, 상기 이미지 센싱 모듈의 인터페이스 속도 또는 상기 프로세서의 인터페이스 속도 중 적어도 하나에 기반하여 상기 변환된 적어도 하나의 원시 이미지의 각 라인에 대한 라인 압축률을 설정하는 동작;
    상기 설정된 라인 압축률에 기반하여 라인 별로 상기 변환된 적어도 하나의 원시 이미지를 압축하는 동작; 및
    상기 라인 별로 압축된 상기 적어도 하나의 원시 이미지를 상기 라인 별로 상기 프로세서로 전송하는 동작을 포함하는 방법.
  15. 전자 장치에 있어서,
    프로세서; 및
    이미지 센싱 모듈을 포함하고, 상기 이미지 센싱 모듈은 이미지 센서 및 상기 이미지 센서에 전기적으로 연결되고 상기 프로세서와 인터페이스로 연결된 제어 회로를 포함하고,
    상기 프로세서는,
    상기 이미지 센싱 모듈로부터 압축된 적어도 하나의 원시 이미지를 수신하고,
    상기 수신된 압축된 적어도 하나의 원시 이미지를 압축 해제하고,
    상기 압축 해제된 적어도 하나의 원시 이미지를 이미지 처리하고,
    상기 이미지 처리된 적어도 하나의 원시 이미지를 상기 전자 장치의 표시 장치에 표시하도록 설정된 전자 장치.
  16. 제15항에 있어서
    상기 프로세서는,
    상기 압축 해제된 적어도 하나의 원시 이미지 내 제1 영역을 획득하고,
    상기 획득된 제1 영역을 이미지 처리하고,
    상기 이미지 처리된 제1 영역에 기반하여 적어도 하나의 디스플레이 이미지를 생성하고,
    상기 생성된 디스플레이 이미지를 상기 표시 장치에 표시하도록 설정된 전자 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    디지털 줌의 배율에 따라 상기 제1 영역을 확대하여 상기 디스플레이 이미지를 생성하도록 설정된 전자 장치.
  18. 제15항에 있어서,
    상기 프로세서는,
    상기 이미지 센싱 모듈에서 획득될 적어도 하나의 원시 이미지 내 제1 영역과 관련된 정보를 상기 이미지 센싱 모듈로 전송하도록 설정된 전자 장치.
  19. 제18항에 있어서,
    상기 제1 영역과 관련된 정보는 상기 적어도 하나의 원시 이미지 내에서 오브젝트 인식 동작에 의해 인식된 오브젝트에 대한 정보, 지정된 영역에 대한 정보, 지정된 위치에 대한 정보, 또는 디지털 줌 정보에 중 적어도 일부를 포함하는 전자 장치.
  20. 제15항에 있어서,
    상기 프로세서는,
    상기 제1 상기 압축 해제된 적어도 하나의 원시 이미지 내 제1 영역을 획득하고,
    상기 획득된 제1 영역에 기반하여 상기 이미지 센싱 모듈에서 획득될 적어도 하나의 원시 이미지 내 제1 영역을 추정하고,
    상기 추정된 제1 영역에 대한 정보를 상기 이미지 센싱 모듈로 전송하도록 설정된 전자 장치.
KR1020170092949A 2017-07-21 2017-07-21 전자 장치 및 전자 장치의 이미지 압축 방법 KR102386385B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170092949A KR102386385B1 (ko) 2017-07-21 2017-07-21 전자 장치 및 전자 장치의 이미지 압축 방법
PCT/KR2018/007862 WO2019017641A1 (ko) 2017-07-21 2018-07-11 전자 장치 및 전자 장치의 이미지 압축 방법
US16/631,347 US11516482B2 (en) 2017-07-21 2018-07-11 Electronic device and image compression method of electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170092949A KR102386385B1 (ko) 2017-07-21 2017-07-21 전자 장치 및 전자 장치의 이미지 압축 방법

Publications (2)

Publication Number Publication Date
KR20190010322A true KR20190010322A (ko) 2019-01-30
KR102386385B1 KR102386385B1 (ko) 2022-04-15

Family

ID=65015664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170092949A KR102386385B1 (ko) 2017-07-21 2017-07-21 전자 장치 및 전자 장치의 이미지 압축 방법

Country Status (3)

Country Link
US (1) US11516482B2 (ko)
KR (1) KR102386385B1 (ko)
WO (1) WO2019017641A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020190030A1 (en) * 2019-03-19 2020-09-24 Samsung Electronics Co., Ltd. Electronic device for generating composite image and method thereof
KR20220016838A (ko) * 2019-04-26 2022-02-10 베르테브래 인크. 3차원 모델 최적화

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7277373B2 (ja) * 2017-11-10 2023-05-18 ソニーセミコンダクタソリューションズ株式会社 送信装置
KR102586073B1 (ko) * 2019-04-19 2023-10-05 삼성전기주식회사 Spi 통신 효율성을 개선한 카메라 장치 및 그 통신 방법
CN114827430B (zh) * 2021-01-19 2024-05-21 Oppo广东移动通信有限公司 一种图像处理方法、芯片及电子设备
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
JP2022184134A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 撮像装置およびその制御方法
CN115696059A (zh) * 2021-07-28 2023-02-03 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346095A (ja) * 2000-06-02 2001-12-14 Nec Corp デジタルスチルカメラ
KR20080035110A (ko) * 2006-10-18 2008-04-23 포스데이타 주식회사 디지털 비디오 레코더 및 그의 입력 영상 보호 장치 및방법
KR101581688B1 (ko) * 2013-12-19 2015-12-31 서강대학교산학협력단 적응적 의료 영상 전송 장치 및 방법
US20170171423A1 (en) * 2012-03-30 2017-06-15 Gopro, Inc. On-Chip Image Sensor Data Compression

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0226014D0 (en) 2002-11-08 2002-12-18 Nokia Corp Camera-LSI and information device
JP4218446B2 (ja) * 2003-07-03 2009-02-04 株式会社ニコン 電子カメラ
US20060017835A1 (en) * 2004-07-22 2006-01-26 Dana Jacobsen Image compression region of interest selection based on focus information
JP2008005350A (ja) 2006-06-23 2008-01-10 Canon Inc 撮像装置及びその制御方法
US20080266444A1 (en) 2007-04-27 2008-10-30 Micron Technology, Inc. Method, apparatus, and system for continuous autofocusing
JP6589316B2 (ja) 2015-03-20 2019-10-16 富士ゼロックス株式会社 画像圧縮装置および画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346095A (ja) * 2000-06-02 2001-12-14 Nec Corp デジタルスチルカメラ
KR20080035110A (ko) * 2006-10-18 2008-04-23 포스데이타 주식회사 디지털 비디오 레코더 및 그의 입력 영상 보호 장치 및방법
US20170171423A1 (en) * 2012-03-30 2017-06-15 Gopro, Inc. On-Chip Image Sensor Data Compression
KR101581688B1 (ko) * 2013-12-19 2015-12-31 서강대학교산학협력단 적응적 의료 영상 전송 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020190030A1 (en) * 2019-03-19 2020-09-24 Samsung Electronics Co., Ltd. Electronic device for generating composite image and method thereof
US11308593B2 (en) 2019-03-19 2022-04-19 Samsung Electronics Co., Ltd. Electronic device for generating composite image and method thereof
KR20220016838A (ko) * 2019-04-26 2022-02-10 베르테브래 인크. 3차원 모델 최적화

Also Published As

Publication number Publication date
KR102386385B1 (ko) 2022-04-15
WO2019017641A1 (ko) 2019-01-24
US20200221103A1 (en) 2020-07-09
US11516482B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
KR102386385B1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
KR102385360B1 (ko) 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
CN109309796B (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
KR20190021138A (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
KR102495763B1 (ko) 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법
KR20190040416A (ko) 카메라를 이용하여 획득한 원시 이미지를 외부 전자 장치를 이용하여 처리하는 방법 및 전자 장치
KR102344104B1 (ko) 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
KR102383134B1 (ko) 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
EP3609175B1 (en) Apparatus and method for generating moving image data including multiple section images in electronic device
KR20190041586A (ko) 복수의 이미지들을 합성하는 전자장치 및 방법
EP4096218A1 (en) Video recording method using plurality of cameras, and device therefor
KR20200067027A (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
KR20200043818A (ko) 전자 장치 및 그의 이미지 촬영 방법
KR20140080815A (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
KR102609734B1 (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
US10958833B2 (en) Electronic device for controlling frame rate of image sensor and method thereof
KR20190030946A (ko) 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
KR102301940B1 (ko) 이미지 합성 방법 및 장치
US11240457B2 (en) Method for transmitting image data and data associated with control of image capture, on basis of size of image data and size of data associated with control of image capture, and electronic device supporting same
CN115516494A (zh) 用于生成图像的方法及其电子装置
KR20210151613A (ko) 이미지 처리 장치 및 이미지 처리 방법
KR20210130972A (ko) 전자 장치의 컬러 필터, 및 그 전자 장치
KR20190065736A (ko) 3d 이미지를 생성하기 위한 전자 장치 및 방법
KR102677285B1 (ko) 슬로 모션 영상 생성 방법 및 장치
US20230085017A1 (en) Electronic device and method for improving quality of image by using multiple cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant