KR102423991B1 - 촬상 소자 및 촬상 방법, 및 전자 기기 - Google Patents

촬상 소자 및 촬상 방법, 및 전자 기기 Download PDF

Info

Publication number
KR102423991B1
KR102423991B1 KR1020197011987A KR20197011987A KR102423991B1 KR 102423991 B1 KR102423991 B1 KR 102423991B1 KR 1020197011987 A KR1020197011987 A KR 1020197011987A KR 20197011987 A KR20197011987 A KR 20197011987A KR 102423991 B1 KR102423991 B1 KR 102423991B1
Authority
KR
South Korea
Prior art keywords
imaging
pixel array
blur
array unit
eis
Prior art date
Application number
KR1020197011987A
Other languages
English (en)
Other versions
KR20190089855A (ko
Inventor
케이이치 센다
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20190089855A publication Critical patent/KR20190089855A/ko
Application granted granted Critical
Publication of KR102423991B1 publication Critical patent/KR102423991B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N5/2328—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/23251—
    • H04N5/23267—
    • H04N5/2353—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

본 개시는, 보다 양호한 손떨림 보정 효과를 얻을 수 있도록 하는 촬상 소자, 촬상 방법, 및 전자기기에 관한 것이다. 복수의 화소가 어레이 형상으로 배치되는 화소 어레이부는, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS 촬상에 의해 복수매의 프레임을 출력한다. 그리고, 노광 제어부는, 화소 어레이부가 흔들렸을 때의 물리적인 블러를 나타내는 블러 정보에 기초하여 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하고, 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 화소 어레이부가 EIS 촬상을 행하도록 제어한다. 본기술은, 예를 들면, 전자식 손떨림 보정 기능을 구비한 CMOS 이미지 센서에 적용할 수 있다.

Description

촬상 소자 및 촬상 방법, 및 전자 기기
본 개시는, 촬상 소자 및 촬상 방법, 및 전자 기기에 관한 것으로, 특히, 보다 양호한 손떨림 보정 효과를 얻을 수 있도록 한 촬상 소자 및 촬상 방법, 및 전자 기기에 관한 것이다.
종래 화상을 촬상할 때의 손떨림에 의해 화상에 발생하는 블러(blur)를 보정하는 기술로서, 일반적으로, 광학식 손떨림 보정 (OIS: Optical Image Stabilization) 및 전자식 손떨림 보정 (EIS: Electronic Image Stabilization)이 사용되고 있다.
예를 들면, 광학식 손떨림 보정은, 자이로 센서 등에 의해 검출되는 움직임에 대해 반대 방향으로 렌즈를 이동시켜, 촬상 소자에 결상되는 상을 시프트시킴으로써, 화상의 블러를 보정할 수 있다.
그러나, 광학식 손떨림 보정에서는, 예를 들면, 렌즈를 이동시키기 위한 시스템이 복잡화 되거나, 소비 전력이 증가하거나 할 뿐만 아니라, 손떨림 보정의 제어계와 촬상 소자가 개별 부품으로 구성되어 있기 때문에, 그들을 연동하여 제어하기가 곤란하였다. 나아가, 광학식 손떨림 보정에서는, 보정 방향 각각에 대하여 구동 부분을 구비하는 구성으로 할 필요가 있고, 시스템의 복잡화를 회피하기 위하여, 소형 기기에서는 요(yaw) 방향 및 피치(pitch) 방향 블러만 보정을 행하고, 롤(roll) 방향의 블러 보정은 행해지지 않았다.
한편, 전자식 손떨림 보정에서는, 블러가 적은 단시간 노광에 의한 촬상을 연속하여 고속으로 행하여 얻어진 복수매의 화상을 겹치는 화상 처리를 행함으로써, 화상의 블러를 보정할 수 있다.
예를 들면, 특허 문헌 1에는, 적정 노출에서 셔터 속도보다도 고속으로 촬상된 복수매의 화상으로부터, 적정 노출과 동일한 밝기로 변환된 선명한 화상을 출력할 수 있는 화상 처리 방법이 개시되어 있다. 또한, 특허 문헌 2에서는, 자이로 센서에 의해 검출된 흔들림각과, 화상을 구성하는 화소의 배치 위치에 기초한 보정량에 따라, 손떨림에 의해 화상에 발생하는 왜곡을 효과적으로 보정할 수 있는 고체 촬상 소자가 개시되어 있다.
국제공개 제2014/156731호 일본 특허공개 특개 제2005-38396호 공보
그러나, 종래의 전자식 손떨림 보정은, 광학식 손떨림 보정과 비교하여 손떨림 보정 효과가 낮기 때문에, 보다 양호한 손떨림 보정 효과를 얻을 수 있는 전자식 손떨림 보정이 요구되고 있었다.
본 개시는, 이러한 상황을 감안하여 이루어진 것으로, 보다 양호한 손떨림 보정 효과를 얻을 수 있도록 하는 것이다.
본 개시의 일 측면의 촬상 소자는, 복수의 화소가 어레이 형상으로 배치되어, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS 촬상에 의해 복수매의 프레임을 출력하는 화소 어레이부와, 상기 화소 어레이부가 흔들릴 때 물리적인 블러를 나타내는 블러 정보에 기초하여 상기 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하고, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는 노광 제어부를 구비한다.
본 개시의 일 측면의 촬상 방법은, 복수의 화소가 어레이 형상으로 배치되어, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS 촬상에 의해 복수매의 프레임을 출력하는 화소 어레이부를 구비하는 촬상 장치의 촬상 방법에 있어서, 상기 화소 어레이부가 흔들릴 때의 물리적인 블러를 나타내는 블러 정보에 기초하여 상기 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하고, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어한다.
본 개시의 일 측면의 전자 기기는, 복수의 화소가 어레이 형상으로 배치되어, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS 촬상에 의해 복수매의 프레임을 출력하는 화소 어레이부와, 상기 화소 어레이부가 흔들릴 때의 물리적인 블러를 나타내는 블러 정보에 기초하여 상기 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하고, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는 노광 제어부를 갖는 촬상 소자를 구비한다.
본 개시의 일 측면에서는, 복수의 화소가 어레이 형상으로 배치되는 화소 어레이부에 의해, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS 촬상에 의해 복수매의 프레임이 출력된다. 또한, 화소 어레이부가 흔들릴 때의 물리적인 블러를 나타내는 블러 정보에 기초하여 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하고, 화소 어레이부의 블러가 규정치를 초과한다고 판정하는 타이밍까지, 화소 어레이부가 EIS 촬상을 행하도록 제어된다.
본 개시의 일 측면에 의하면, 보다 양호한 손떨림 보정 효과를 얻을 수 있다.
[도 1] 본 기술을 적용한 촬상 소자의 일 실시형태의 구성예를 나타내는 블록도이다.
[도 2] 종래의 OIS 촬상 및 EIS 촬상에 대하여 설명하는 도면이다.
[도 3] 본 기술을 적용한 EIS 촬상에 대하여 설명하는 도면이다.
[도 4] 본 기술을 적용한 EIS 촬상에 대하여 설명하는 도면이다.
[도 5] 화상과 자이로 데이터의 동기(同期)에 대하여 설명하는 도면이다.
[도 6] 스트로보 발광을 조합한 EIS 촬상에 대하여 설명하는 도면이다.
[도 7] 촬상 장치의 구성예를 나타내는 블록도이다.
[도 8] 이미지 센서를 사용하는 사용예를 나타내는 도면이다.
이하, 본 기술을 적용한 구체적인 실시형태에 대하여, 도면을 참조하면서 상세하게 설명한다.
<촬상 소자의 구성예>
도 1은, 본 기술을 적용한 촬상 소자의 일 실시형태의 구성예를 나타내는 블록도이다.
도 1에 나타내는 촬상 소자(11)는, 센서 기판 및 신호 처리 기판의 적층 구조로 이루어진 촬상 칩(12)에, 메모리 칩(13)이 적층되어 구성되어 있으며, 촬상 칩(12)에 자이로 센서(14) 및 발광 장치(15)가 접속되어 있다.
촬상 칩(12)은, 화소 어레이부(21), ADC(Analog to Digital Converter)부(22), 자이로 인터페이스부(23), 노광 제어부(24), 화상 합성부(25), 출력 프레임 구성부(26), 출력부(27) 및 입력부(28)를 구비하여 구성된다.
화소 어레이부(21)는, 복수의 화소가 어레이 형상으로 배치되어 구성되는 촬상면이며, 도시하지 않은 광학계에 의해 집광되는 광을 수광하여, 각각의 화소가 수광한 광의 광량에 따른 레벨의 화소 신호를 출력한다. 예를 들면, 화소 어레이부(21)는, 노광 제어부(24)에 의한 제어에 따라, 블러가 적은 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS 촬상을 행하고, 복수매의 프레임을 구성하는 화소 신호를 출력한다.
ADC부(22)는, 화소 어레이부(21)로부터 출력되는 화소 신호에 대하여, 예를 들면, CDS (Correlated Double Sampling: 상관 이중 샘플링) 처리를 행함으로써, 화소 신호의 AD 변환을 행함과 함께 리셋 노이즈를 제거한다.
자이로 인터페이스부(23)는, 자이로 센서(14)로부터 출력되는 자이로 데이터(손떨림 정보)를 취득하고, 적절히, 노광 제어부(24), 화상 합성부(25) 및 출력 프레임 구성부(26)에 공급한다. 또한, 자이로 인터페이스부(23)는, 도 5를 참조하여 후술하는 바와 같이, 화상과 자이로 데이터가 동기되도록, 자이로 데이터의 공급을 관리한다.
노광 제어부(24)는, 자이로 인터페이스부(23)로부터 공급되는 자이로 데이터, 및 도시하지 않은 외부 프로세서로부터 입력부(28)를 거쳐 공급되는 제어 정보(노광 시간이나 게인 등)에 기초한 노광 제어를 행한다. 예를 들면, 노광 제어부(24)는, 프로세서로부터 주어진 노광 시간을, 블러가 적은 단시간의 노광 시간으로 분할하여 EIS 촬상을 행하도록 화소 어레이부(21)에 대한 제어를 행한다. 또한, 노광 제어부(24)는, 화소 어레이부(21)에 의한 EIS 촬상이 종료되면, 화상 합성을 행하도록 화상 합성부(25)에 대한 제어를 행한다. 나아가, 노광 제어부(24)는, 소정의 타이밍에서 스트로보 발광을 행하도록 발광 장치(15)에 대한 제어를 행한다.
화상 합성부(25)에는 ADC부(22)로부터 화소 신호가 공급되고, 화상 합성부(25)는, 노광 제어부(24)에 의한 제어에 따라, 화소 어레이부(21)에 의해 촬상된 복수매의 프레임을 합성하는 화상 합성을 행하여, 출력 프레임 구성부(26)에 공급한다. 예를 들면, 화상 합성부(25)는, 자이로 인터페이스부(23)로부터 공급되는 자이로 데이터로부터 구해지는 움직임 벡터에 기초하여, 복수매의 프레임 각각을, 화상에 발생하는 손떨림을 보정하는 방향으로 시프팅하면서 합성하는 화상 처리를 행한다.
출력 프레임 구성부(26)는, 화상 합성부(25)로부터 공급되는 화상에 임베디드 데이터 등을 부가한 출력 포맷으로 구성하여, 출력부(27)를 거쳐 출력한다.
출력부(27)는, 출력 프레임 구성부(26)로부터 공급되는 출력 프레임을, 예를 들면, CSI-2(Camera Serial Interface)에 준거하여 촬상 소자(11)의 외부로 출력하는 인터페이스이다.
입력부(28)는, 도시하지 않은 프로세서로부터의 제어 정보를, 예를 들면 CCI(Camera Control Interface)에 준거하여 수취하여, 노광 제어부(24)에 공급하는 인터페이스이다.
메모리 칩(13)은, 화상 데이터 버퍼(29)를 구비하여 구성되고, 화상 데이터 버퍼(29)는, 예를 들면, 화상 합성부(25)가 화상 합성을 행하는데 사용되는 복수매의 프레임을 일시적으로 기억한다.
자이로 센서(14)는, 촬상 소자(11)의 근방에 실장되어, 촬상 소자(11)가 흔들 때의 흔들림각을 물리적으로(화상 처리적인 것이 아닌) 검출한다. 예를 들면, 자이로 센서(14)는, 각속도를 검출한 검출부이며, 일정한 타이밍에서, 검출한 각속도로부터 구해지는 흔들림각에 의해 나타내지는 손떨림 양을 나타내는 자이로 데이터를 출력한다.
발광 장치(15)는, 노광 제어부(24)에 의한 제어에 따라, 피사체에 대해 강력한 밝기의 스트로보 광을 발광한다.
이와 같이 촬상 소자(11)는 구성되어 있으며, 노광 제어부(24)는, 자이로 센서(14)로부터 출력되는 자이로 데이터에 기초하여, 화소 어레이부(21)의 블러 규정치(예를 들면, 각속도: 2도/초)를 초과하는지 여부를 판정하고, 그 블러가 규정치를 초과한다고 판정한 타이밍까지, 화소 어레이부(21)가 EIS 촬상을 행하도록 제어할 수 있다. 이에 의해, 촬상 소자(11)는, EIS 화상의 총 노광 시간을, 프로세서로부터 주어진 노광 시간보다 연장하여, 보다 고화질의 EIS 화상을 취득할 수 있다. 또한, 촬상 소자(11)는, 프로세서로부터 주어진 노광 시간 내이어도, EIS 화상에 블러가 발생하는 것을 회피할 수 있다.
또한, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서는, 일반적으로, 화소의 행마다 순차로, 노광이 개시됨과 함께 화소 신호의 판독이 행해지는 포컬 플레인 셔터(focal plane shutter)에 의해 화상이 촬상된다. 이하의 도면을 참조하는 설명에서는, 이러한 포컬 플레인 셔터에 의해 취득되는 화상이 평행 사변형으로 나타내어져 있다.
<종래의 OIS 촬상 및 EIS 촬상>
도 2를 참조하여, 종래의 OIS 촬상 및 EIS 촬상에 대해 설명한다.
예를 들면, OIS 촬상에서는, 프로세서로부터 주어진 노광 시간 및 게인에 따라, OIS에 의해 손떨림 보정된 화상을 취득하는 통상의 촬상이 행해진다.
또한, EIS 촬상에서는, 프로세서로부터 주어진 노광 시간(OIS 촬상의 노광 시간과 동등)을, 손떨림이 발생하지 않을 정도의 단시간으로 분할하여 복수매의 프레임이 촬상되고, 그들의 프레임을 합성함으로써 손떨림 보정된 1매의 EIS 화상이 취득된다.
이러한 OIS 촬상 및 EIS 촬상에서는, 프로세서로부터 주어진 촬상 조건(노광 시간이나 게인 등)에 따른 촬상이 행해진다. 이 촬상 조건은, OIS 성능 등으로부터 추정된 최장 노광 시간에 기초하여 제어되고 있기 때문에, 손떨림 보정 특성이 허용되는 범위 내에서, 장시간 노광에 의한 촬상을 더 행함으로써, 고화질화를 도모할 수 있다고 생각된다.
<본 기술을 적용한 EIS 촬상>
도 3 및 도 4를 참조하여, 도 1의 촬상 소자(11)에 의한 EIS 촬상에 대해 설명한다.
예를 들면, 도 3 및 도 4에 있어서, 파선의 평행 사변형은, 프로세서로부터 주어진 노광 시간을 나타내고 있으며, 종래에는, EIS 촬상의 노광 시간의 총계가, 프로세서로부터 주어진 노광 시간과 동등하게 되도록 제어가 행해진다.
이에 대해, 촬상 소자(11)에서는, 노광 제어부(24)는, 자이로 인터페이스부(23)를 거쳐 자이로 센서(14)로부터 출력되는 자이로 정보를 직접적으로 관측하여, 자이로 데이터가 규정치(파선의 직선)를 초과할 정도로 큰 블러가 발생했는지 여부를 판정한다. 또한, 노광 제어부(24)는, 자이로 데이터가 규정치를 초과할 정도로 큰 블러가 발생했다고 판정할 때까지, EIS 촬상을 계속하도록 화소 어레이부(21)에 대한 제어를 행한다.
예를 들면, 도 3에 도시한 것처럼, 프로세서로부터 주어지는 노광 시간을 경과한 후에, 자이로 데이터가 규정치를 초과할 정도로 큰 블러가 발생하면, 그 타이밍에서, 노광 제어부(24)는, EIS 촬상을 종료하도록 화소 어레이부(21)에 대한 제어를 행한다. 또한, 노광 제어부(24)는, 그 블러가 발생하기 직전까지의 프레임을 사용하여, 화상 합성하도록 화상 합성부(25)에 대한 제어를 행하고, 화상 합성부(25)는, 그러한 프레임을 합성함으로써 손떨림 보정된 1매의 EIS 화상을 출력한다.
이에 의해, 촬상 소자(11)는, 프로세서로부터 주어진 노광 시간보다도, EIS 촬상의 노광 시간의 총계를 연장할 수 있다. 일반적으로, 특히 저조도 환경하에서는, 노광 시간의 총계가 길수록 화질을 향상시킬 수 있기 때문에, 촬상 소자(11)는, 보다 양호한 손떨림 보정 효과를 얻을 수 있는 고화질의 화상을 취득할 수 있다.
한편, 도 4에 도시한 것처럼, 프로세서로부터 주어진 노광 시간이 경과하기 전에, 자이로 데이터가 규정치를 초과할 정도로 큰 블러가 발생하면, 그 타이밍에서, 노광 제어부(24)는, EIS 촬상을 종료하도록 화소 어레이부(21)에 대한 제어를 행한다. 또한, 노광 제어부(24)는, 그 블러가 발생하기 직전까지의 프레임을 사용하여, 화상 합성하도록 화상 합성부(25)에 대한 제어를 행하고, 화상 합성부(25)는, 그러한 프레임을 합성함으로써 손떨림 보정된 1매의 EIS 화상을 출력한다.
이에 의해, 촬상 소자(11)는, 화상에 블러가 발생하기 전에 EIS 촬상을 중단할 수 있고, 그러한 블러가 발생하는 화상이 화상 합성에 사용되지 않도록 배제할 수 있다. 이 경우, 촬상 소자(11)는, 도 3을 참조하여 설명한 것처럼 고화질의 화상을 취득할 수는 없으나, 손떨림에 의해 촬상이 실패하는 것을 회피할 수 있다.
이와 같이, 촬상 소자(11)는, 촬상 칩(12)이 자이로 센서(14)로부터 출력되는 자이로 데이터를 직접적으로 취득하여, 가능한 한 장시간 노광을 행함으로써, 예를 들면, 저조도 환경하에서의 촬상에서, 종래보다 화질의 향상을 도모할 수 있다. 나아가, 촬상 소자(11)는, 프로세서로부터 주어진 노광 시간 중에 예기치 않은 큰 손떨림이 발생해도, 촬상이 실패하는 것을 회피할 수 있다.
또한, OIS 촬상에서는, 예를 들면, 손떨림을 캔슬하는 방향으로 광학 부품 및 촬상 소자의 일방을 이동함으로써, 손떨림 보정 기능을 실현하고 있기 때문에, 보정 축마다 구동 부품을 구비할 필요가 있다. 따라서, 일반적으로, 소위 스마트 폰 등의 소형 기기에 채용되는 촬상 장치에서는, 요 방향 및 피치 방향의 블러만 보정이 행해지고 있었다. 이에 대해 촬상 소자(11)는, EIS 촬상에 의한 이점을 살려, 구동 부품 등을 추가할 필요없이, 요 방향 및 피치 방향에 더하여 롤 방향의 블러의 보정을 행할 수 있다.
<자이로 데이터 동기화>
도 5를 참조하여 촬상 소자(11)의 화상과 자이로 데이터의 동기화에 대해 설명한다.
일반적으로, EIS 촬상에서 복수매의 프레임을 합성할 때의 프레임 사이의 블러 정보가 중요하며, 블러를 캔슬함으로써 손떨림을 보정할 수 있다. 나아가, 촬상 소자(11)에 사용되는 CMOS 이미지 센서에서는 전자 셔터 방식으로서 포컬 플레인 셔터를 사용하므로, 화상 내에서의 판독 시간의 블러가 생기게 된다. 이 때문에, 포컬 플레인 셔터에 의한 화상 내에서의 판독 시간의 블러와, 손떨림에 의한 프레임 사이의 위치 블러가 중첩됨으로써, 화질의 열화가 더 발생하게 된다.
여기서, 촬상 소자(11)는, 화상과 자이로 데이터를 동기시켜, 각각의 프레임의 수직 방향의 위치마다 블러양을 정확하게 인식함에 따라, 그러한 블러를 정확하게 보정함으로써, 화상에 발생하는 손떨림에 대한 보정을 효과적으로 행할 수 있다.
도 5의 위쪽에는, 화소 어레이부(21)가 EIS 촬상을 행하여 얻어지는 복수매의 프레임이 표시되어 있고, 도 5의 아래쪽에는, 그러한 프레임의 행마다의 노광 개시 타이밍 및 판독 타이밍이 나타내어져 있다.
예를 들면, 첫 번째 프레임 1과 두 번째 프레임 2에서 파선으로 둘러싸인 수직 방향의 위치에서의 노광에 대해 생각한다. 이때, 프레임 1에서 파선으로 둘러싸인 위치의 노광 중심은, 시각 T1 + ((시각 T2 - T1) / 2가 된다. 또한, 프레임 2에서 파선으로 둘러싸인 위치의 노광 중심은, 시각 T3 + ((시각 T4 - T3) / 2가 된다. 그리고, EIS 촬상에서의 프레임 중첩에 사용되는 움직임 벡터는, 프레임 1의 노광 중심에서 프레임 2의 노광 중심까지의 이동량이 된다.
그리고, 촬상 소자(11)는, 노광 제어부(24)가, 자이로 인터페이스부(23)로부터 공급되는 자이로 데이터를, 화소 어레이부(21)에 의한 촬상 타이밍에 동기시킬 수 있기 때문에, 프레임 1의 노광 중심으로부터 프레임 2의 노광 중심까지의 움직임 벡터를 정확하게 취득할 수 있다.
즉, 촬상 소자(11)는, 화상 판독과 자이로 데이터의 판독을 동기시킴으로써, 프레임 사이의 수직 방향의 각 위치에서의 블러양을 정확하게 인식할 수 있다. 이에 의해, 화상 합성부(25)는, 각각의 프레임의 수직 방향의 위치마다 동기되어 있는 블러양을 사용하여, 프레임을 합성할 수 있다. 따라서, 촬상 소자(11)는, 포컬 플레인 셔터에 의한 화상 내에서의 판독 시간 어긋남과, 손떨림에 의한 프레임 사이의 위치 어긋남이 중첩되는 것에 기인하는 화질의 열화를 억제하여, 보다 효과적인 손떨림 보정을 행할 수 있다. 즉, 촬상 소자(11)는, 정밀도가 높고 상세하게 블러양에 기초하는 손떨림 보정을 행할 수 있기 때문에, 프레임의 합성을 고품질로 행할 수 있고, 복수매의 프레임을 합성한 EIS 화상의 고화질화를 도모할 수 있다.
또한, 촬상 소자(11)는, 촬상 칩(12) 및 자이로 센서(14)가 연동한 제어를 행할 수 있기 때문에, 그러한 연동 제어가 곤란한 종래의 촬상 소자보다, 손떨림 보정을 탑재함에 의한 노광 시간 연장의 효과를 최대화할 수 있다.
<스트로보 발광을 조합한 EIS 촬상>
도 6을 참조하여, 스트로보 발광을 조합한 EIS 촬상 대해 설명한다.
도 6에 도시한 것처럼, 우선, 노광 제어부(24)는, 발광 장치(15)에 공급하는 발광신호를 H 레벨로 하여, 발광 장치(15)가 스트로로 광을 발광하도록 제어한다. 그리고, 노광 제어부(24)는, 발광 신호와 동기하여, 피사체에 스트로보 광이 조사되고 있는 동안에, 스트로보가 발광하는 기간 내에 수습되게 EIS 촬상을 행하도록 화소 어레이부(21)에 대한 제어를 행한다. 이에 의해, 스트로보 광이 조사된 피사체가 촬상된 EIS 화상이 취득된다.
그 후, 노광 제어부(24)는, 발광 장치(15)에 공급하는 발광 신호를 L 레벨로 하여, 발광 장치(15)에 의한 스트로보 광의 발광을 종료시킨다. 그리고, 노광 제어부(24)는, 스트로보의 발광이 종료되는 타이밍을 회피하여, 재차, 화소 어레이부(21)에 의한 EIS 촬상을 행하고, 도 3 및 도 4를 참조하여 상술한 것처럼, 자이로 데이터에 기초한 장시간 EIS 촬상을 행한다. 이에 의해, 스트로보 광이 닿지 않는 배경이 촬상된 EIS 화상이 취득된다.
이와 같이, 촬상 소자(11)에서는, 발광 장치(15)에 공급하는 발광 신호(외부에 대한 제어 신호)와 연동시켜, 화소 어레이부(21)에 의한 EIS 촬상을 제어하고, 피사체가 촬상된 EIS 화상과, 배경이 촬상된 EIS 화상이 취득된 후, 이들을 합성한다. 이에 의해, 촬상 소자(11)는, 스트로보 광이 있는 환경에서의 화상과, 스트로보 광이 없는 환경에서의 화상을 1매의 EIS 화상으로 저장할 수 있다. 이는, 촬상 기법 중 하나인 슬로우 싱크로 촬상과 같은 효과를 얻을 수 있다. 또한, 도 6에서는, 선막 싱크로가 채용된 일례를 나타내고 있으나, 후막 싱크로를 채용해도 된다.
나아가, 촬상 소자(11)는, 피사체가 촬상된 EIS 화상과, 배경이 촬상된 EIS 화상을 합성할 때에도, 자이로 데이터를 활용하여, 블러가 발생하지 않도록 EIS 화상을 취득할 수 있다.
또한, 상술한 것처럼 촬상 소자(11)의 내부에서 처리를 행하는 것 외, 예를 들면, 복수매의 프레임에 자이로 데이터에 기초하는 움직임 벡터를 부가하여 후단의 프로세서에 출력하고, 그 프로세서에 있어 합성 처리를 행하게 하는 것과 같은 구성으로 해도 된다.
예를 들면, 종래의 EIS 촬상에서는, 1회의 촬상에서 1개의 연속하는 프레임만을 사용하고 있었기 때문에, 스트로보 광을 사용한 촬상에서는, 복수의 단시간 노광의 프레임에 대해서도 화면 내의 휘도 균일성을 유지하기 위해, 동기를 취할 필요가 있었다. 그러나, 종래, 단시간 노광의 복수의 프레임에 대해서 이러한 제어를 행하는 것은 곤란했다.
이에 대해, 촬상 소자(11)에서는, EIS 촬상을 고속으로 2회 연속으로 행하고, 또한, 그 사이의 움직임 벡터 정보를 유지, 이용함으로써, 외관상의 촬상 시간을 늘리면서, 스트로보 발광 등에 의한 촬상 환경의 변화에도 대응할 수 있게 된다. 이에 의해, 촬상 소자(11)는, 저조도 환경하에서 고화질화를 도모할 수 있다.
이상과 같이, 촬상 소자(11)는, EIS 촬상에 의해 복수매의 프레임을 연속하여 취득함으로써, 스트로보 발광 등과 조합하여 저조도 환경하에서도, 보다 양호한 EIS 화상을 취득할 수 있다.
또한, 상술한 것과 같은 촬상 소자(11)는, 예를 들면, 디지털 스틸 카메라나 디지털 비디오 카메라 등의 촬상 시스템, 촬상 기능을 구비하는 휴대전화기, 또는, 촬상 기능을 구비하는 다른 기기와 같은 각종의 전자기기에 적용할 수 있다.
＜촬상 장치의 구성예＞
도 7은, 전자기기에 탑재되는 촬상 장치의 구성예를 나타내는 블록도이다.
도 7에 도시한 것처럼, 촬상 장치(101)는, 광학계(102), 촬상 소자(103), 신호 처리 회로(104), 모니터(105), 및 메모리(106)를 구비하여 구성되고, 정지화상 및 동화상을 촬상 가능하다.
광학계(102)는, 1매 또는 복수매의 렌즈를 갖고 구성되어, 피사체로부터의 상광(입사광)을 촬상 소자(103)에 유도하여, 촬상 소자(103)의 수광면(센서부)에 결상 시킨다.
촬상 소자(103)로서는, 상술한 촬상 소자(11)가 적용된다. 촬상 소자(103)에는, 광학계(102)를 거쳐 수광면에 결상되는 상에 따라, 일정 기간, 전자가 축적된다. 그리고, 촬상 소자(103)에 축적된 전자에 따른 신호가 신호 처리 회로(104)에 공급된다.
신호 처리 회로(104)는, 촬상 소자(103)로부터 출력된 화소 신호에 대해 각종의 신호 처리를 실시한다. 신호 처리 회로(104)가 신호 처리를 실시함으로써 얻어진 화상(화상 데이터)은, 모니터(105)에 공급되어 표시되거나 메모리(106)에 공급되어 기억(기록)되거나 한다.
이와 같이 구성되어 있는 촬상 장치(101)에서는, 상술한 촬상 소자(11)를 적용함으로써, 예를 들면, 저조도 환경하에서도 고화질의 화상을 촬상할 수 있다.
＜이미지 센서의 사용예＞
도 8은, 상술한 이미지 센서(촬상 소자(11))를 사용하는 사용예를 나타내는 도면이다.
상술한 이미지 센서는, 예를 들면, 이하와 같이, 가시광이나, 적외광, 자외광, X선 등의 광을 센싱 하는 다양한 케이스에 사용할 수 있다.
· 디지털 카메라나, 카메라 기능이 구비된 휴대 기기 등, 감상용으로 제공되는 화상을 촬영하는 장치
· 자동 정지 등의 안전 운전이나, 운전자 상태의 인식 등을 위해, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량 사이 등의 측거를 행하는 측거 센서 등의, 교통용으로 제공되는 장치
· 유저의 제스처를 촬영하고, 그 제스처에 따른 기기 조작을 행하기 위해, TV나, 냉장고, 에어컨 등의 가전에 제공되는 장치
· 내시경이나, 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등, 의료나 헬스케어용으로 제공되는 장치
· 방범 용도의 감시 카메라나, 인물 인증 용도의 카메라 등, 시큐리티용으로 제공되는 장치
· 피부를 촬영하는 피부 측정기나, 두피를 촬영하는 현미경 등, 미용용으로 제공되는 장치
· 스포츠 용도 등을 위한 액션 카메라나 웨어러블 카메라등, 스포츠용으로 제공되는 장치
· 밭이나 작물 상태를 감시하기 위한 카메라 등, 농업용으로 제공되는 장치
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 복수의 화소가 어레이 형상으로 배치되어, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS(Electronic Image Stabilization) 촬상에 의해 복수매의 프레임을 출력하는 화소 어레이부와,
상기 화소 어레이부가 흔들렸을 때의 물리적인 블러를 나타내는 블러 정보에 기초하여 상기 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하고, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는 노광 제어부
를 구비하는 촬상 소자.
(2) 상기 (1)에 있어서, 상기 노광 제어부는, 외부의 프로세서로부터 주어진 노광 시간을 초과한 경우이어도, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는 촬상 소자.
(3) 상기 (1)에 있어서, 상기 노광 제어부는, 외부의 프로세서로부터 주어진 노광 시간 미만의 경우이어도, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정하면, 상기 화소 어레이부가 EIS 촬상을 종료하도록 제어하는 촬상 소자.
(4) 상기 (1) 내지 (3) 중 어느 하나에 있어서,　상기 화소 어레이부로부터 출력되는 복수매의 상기 프레임을, 상기 블러 정보에 따라 블러를 보정하는 방향으로 시프트시켜 합성하는 화상 처리를 행하는 화상 합성부를 더 구비하는 촬상 소자.
(5) 상기 (4)에 있어서, 상기 화상 합성부는, 상기 화소 어레이부에 의해 촬상되는 프레임에 있어서의 위치 마다 동기되어 있는 상기 블러 정보를 사용하여, 상기 프레임을 합성하는 화상 처리를 행하는 촬상 소자.
(6) 상기 (1) 내지 (5) 중 어느 하나에 있어서, 상기 노광 제어부는, 외부에 대한 소정의 제어를 행하는 제어 신호와 연동시켜, 상기 화소 어레이부의 EIS 촬상을 제어하는 촬상 소자.
(7) 복수의 화소가 어레이 형상으로 배치되어, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS(Electronic Image Stabilization) 촬상에 의해 복수매의 프레임을 출력하는 화소 어레이부를 구비하는 촬상 장치의 촬상 방법에 있어서,
상기 화소 어레이부가 흔들렸을 때의 물리적인 블러를 나타내는 블러 정보에 기초하여 상기 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하고, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는 촬상 방법.
(8) 복수의 화소가 어레이 형상으로 배치되어, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS(Electronic Image Stabilization) 촬상에 의해 복수매의 프레임을 출력하는 화소 어레이부와,
상기 화소 어레이부가 흔들렸을 때의 물리적인 블러를 나타내는 블러 정보에 기초하여 상기 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하고, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는 노광 제어부
를 갖는 촬상 소자를 구비하는 전자기기.
또한, 본 실시형태는, 상술한 실시형태로 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
11: 촬상 소자
12: 촬상 칩　
13: 메모리칩　
14: 자이로 센서　
15: 발광 장치　
21: 화소 어레이부　
22: ADC부
23: 자이로 인터페이스부
24: 노광 제어부
25: 화상 합성부
26: 출력 프레임 구성부
27: 출력부
28: 입력부
29: 화상 데이터 버퍼

Claims (8)

  1. 복수의 화소가 어레이 형상으로 배치되어, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS(Electronic Image Stabilization) 촬상에 의해 복수매의 프레임을 출력하는 화소 어레이부와,
    상기 화소 어레이부가 흔들렸을 때의 물리적인 블러를 나타내는 블러 정보에 기초하여 상기 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하고, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는 노광 제어부를 구비하고,
    상기 노광 제어부는, 외부의 프로세서로부터 주어진 노광 시간을 초과한 경우이어도, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는
    촬상 소자.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 화소 어레이부로부터 출력되는 복수매의 상기 프레임을, 상기 블러 정보에 따라 블러를 보정하는 방향으로 시프트시켜 합성하는 화상 처리를 행하는 화상 합성부
    를 더 구비하는 촬상 소자.
  5. 제4항에 있어서,
    상기 화상 합성부는, 상기 화소 어레이부에 의해 촬상되는 프레임에 있어서의 위치마다 동기되어 있는 상기 블러 정보를 사용하여, 상기 프레임을 합성하는 화상 처리를 행하는
    촬상 소자.
  6. 제1항에 있어서,
    상기 노광 제어부는, 외부에 대한 소정의 제어를 행하는 제어 신호와 연동시켜, 상기 화소 어레이부의 EIS 촬상을 제어하는
    촬상 소자.
  7. 복수의 화소가 어레이 형상으로 배치되어, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS(Electronic Image Stabilization) 촬상에 의해 복수매의 프레임을 출력하는 화소 어레이부를 구비하는 촬상 장치의 촬상 방법에 있어서,
    상기 화소 어레이부가 흔들렸을 때의 물리적인 블러를 나타내는 블러 정보에 기초하여 상기 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하고, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하고,
    외부의 프로세서로부터 주어진 노광 시간을 초과한 경우이어도, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는
    촬상 방법.
  8. 복수의 화소가 어레이 형상으로 배치되어, 단시간의 노광 시간의 촬상을 고속으로 연속적으로 행하는 EIS(Electronic Image Stabilization) 촬상에 의해 복수매의 프레임을 출력하는 화소 어레이부와,
    상기 화소 어레이부가 흔들렸을 때의 물리적인 블러를 나타내는 블러 정보에 기초하여 상기 화소 어레이부의 블러가 규정치를 초과하는지 여부를 판정하여, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는 노광 제어부를 갖는 촬상 소자를 구비하고,
    상기 노광 제어부는, 외부의 프로세서로부터 주어진 노광 시간을 초과한 경우이어도, 상기 화소 어레이부의 블러가 규정치를 초과한다고 판정한 타이밍까지, 상기 화소 어레이부가 EIS 촬상을 행하도록 제어하는
    전자기기.
KR1020197011987A 2016-12-02 2017-11-17 촬상 소자 및 촬상 방법, 및 전자 기기 KR102423991B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2016-235132 2016-12-02
JP2016235132 2016-12-02
PCT/JP2017/041418 WO2018101077A1 (ja) 2016-12-02 2017-11-17 撮像素子および撮像方法、並びに電子機器

Publications (2)

Publication Number Publication Date
KR20190089855A KR20190089855A (ko) 2019-07-31
KR102423991B1 true KR102423991B1 (ko) 2022-07-25

Family

ID=62242576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197011987A KR102423991B1 (ko) 2016-12-02 2017-11-17 촬상 소자 및 촬상 방법, 및 전자 기기

Country Status (5)

Country Link
US (1) US11095816B2 (ko)
JP (1) JP7118893B2 (ko)
KR (1) KR102423991B1 (ko)
CN (1) CN109983758B (ko)
WO (1) WO2018101077A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7118893B2 (ja) 2016-12-02 2022-08-16 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像方法、並びに電子機器
CN111193867B (zh) * 2020-01-08 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111193866B (zh) * 2020-01-08 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111246088A (zh) * 2020-01-13 2020-06-05 Oppo广东移动通信有限公司 防抖方法、电子设备和计算机可读存储介质
EP4135311A4 (en) 2021-06-29 2023-05-03 Samsung Electronics Co., Ltd. METHOD OF IMAGE STABILIZATION AND ELECTRONIC DEVICE THEREFOR
KR20230001760A (ko) * 2021-06-29 2023-01-05 삼성전자주식회사 이미지 안정화 방법 및 이를 위한 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038396A (ja) 2003-06-23 2005-02-10 Sony Corp 画像処理方法および装置、並びにプログラム
JP2007228297A (ja) * 2006-02-23 2007-09-06 Olympus Imaging Corp 電子的ぶれ補正装置
JP2008219124A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 撮像装置
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
WO2014156731A1 (ja) 2013-03-29 2014-10-02 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
JP2015220690A (ja) 2014-05-20 2015-12-07 株式会社東芝 カメラモジュール及びイメージセンサ

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326978A (ja) * 1998-05-08 1999-11-26 Olympus Optical Co Ltd ブレ補正カメラ
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
KR20050038396A (ko) 2003-10-22 2005-04-27 주식회사 대우일렉트로닉스 영상 기기의 오디오 출력 제한방법
CN100440944C (zh) * 2003-11-11 2008-12-03 精工爱普生株式会社 图像处理装置以及图像处理方法
US7457789B2 (en) * 2005-08-17 2008-11-25 Tacton Systems Ab Configuration assistance for complex products
US7952612B2 (en) 2006-06-22 2011-05-31 Nokia Corporation Method and system for image construction using multiple exposures
JP5024520B2 (ja) * 2006-10-03 2012-09-12 コニカミノルタアドバンストレイヤー株式会社 手振れ補正装置及びレンズユニット並びに撮像装置
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
KR101371775B1 (ko) * 2007-07-09 2014-03-24 삼성전자주식회사 카메라의 손떨림 보정 방법 및 장치
JP2009284394A (ja) * 2008-05-26 2009-12-03 Olympus Imaging Corp 撮像装置および撮像方法
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5290834B2 (ja) * 2009-03-30 2013-09-18 住友精密工業株式会社 ホスト機器
CN101692692A (zh) * 2009-11-02 2010-04-07 彭健 电子稳像方法及***
JP5121911B2 (ja) 2010-10-19 2013-01-16 キヤノン株式会社 防振制御装置、撮像装置、及び防振制御方法
JP5569357B2 (ja) 2010-11-19 2014-08-13 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US8692933B1 (en) * 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
US9332192B2 (en) * 2012-02-07 2016-05-03 Seiko Epson Corporation Image generating device and exposure start timing adjustment method
JP2015097301A (ja) * 2012-03-09 2015-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP6209002B2 (ja) * 2013-07-16 2017-10-04 キヤノン株式会社 撮像装置およびその制御方法
US9596411B2 (en) * 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
CN108322655A (zh) 2015-06-12 2018-07-24 青岛海信电器股份有限公司 一种拍照方法
JP7118893B2 (ja) 2016-12-02 2022-08-16 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像方法、並びに電子機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038396A (ja) 2003-06-23 2005-02-10 Sony Corp 画像処理方法および装置、並びにプログラム
JP2007228297A (ja) * 2006-02-23 2007-09-06 Olympus Imaging Corp 電子的ぶれ補正装置
JP2008219124A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 撮像装置
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
WO2014156731A1 (ja) 2013-03-29 2014-10-02 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
JP2015220690A (ja) 2014-05-20 2015-12-07 株式会社東芝 カメラモジュール及びイメージセンサ

Also Published As

Publication number Publication date
WO2018101077A1 (ja) 2018-06-07
CN109983758B (zh) 2021-11-16
US11095816B2 (en) 2021-08-17
JP7118893B2 (ja) 2022-08-16
US20190281220A1 (en) 2019-09-12
KR20190089855A (ko) 2019-07-31
JPWO2018101077A1 (ja) 2019-10-24
CN109983758A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
KR102423991B1 (ko) 촬상 소자 및 촬상 방법, 및 전자 기기
US9185308B2 (en) Imaging apparatus and imaging method
KR20180032529A (ko) 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법
US20090135261A1 (en) Imaging apparatus and recording medium
JP2011135152A (ja) 撮像装置及び撮像方法
JP6261397B2 (ja) 撮像装置及びその制御方法
WO2019151030A1 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
US8976286B2 (en) Imaging apparatus, lens unit, and imaging unit
US8817127B2 (en) Image correction device for image capture device and integrated circuit for image correction device
JP2006148550A (ja) 画像処理装置及び撮像装置
JP2006074693A (ja) 撮像装置
US20150168739A1 (en) Image stabilizer, camera system, and imaging method
JP4834406B2 (ja) 撮像装置
WO2017038428A1 (ja) 固体撮像素子および電子機器
JP2006135501A (ja) 撮像装置
KR102451817B1 (ko) 고체 촬상 소자, 촬상 모듈, 및 전자 기기
JP2010093451A (ja) 撮像装置および撮像装置用プログラム
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
WO2017163925A1 (ja) 半導体装置、固体撮像装置、および電子機器
JP2018007076A (ja) 撮像装置および画像処理装置
JP4662835B2 (ja) 撮像装置
JP6797566B2 (ja) 撮像装置、撮像装置の制御方法、および、画像処理装置
JP6764572B2 (ja) イメージセンサ、および電子機器
JP2007110347A (ja) カメラ装置
JP2013197923A (ja) 電子カメラ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant