KR20230004887A - 스캐닝 폴디드 카메라에서의 시점 수차-보정 - Google Patents

스캐닝 폴디드 카메라에서의 시점 수차-보정 Download PDF

Info

Publication number
KR20230004887A
KR20230004887A KR1020227043019A KR20227043019A KR20230004887A KR 20230004887 A KR20230004887 A KR 20230004887A KR 1020227043019 A KR1020227043019 A KR 1020227043019A KR 20227043019 A KR20227043019 A KR 20227043019A KR 20230004887 A KR20230004887 A KR 20230004887A
Authority
KR
South Korea
Prior art keywords
image
pov
tele
opfe
aberration
Prior art date
Application number
KR1020227043019A
Other languages
English (en)
Inventor
이타마르 아줄레
갈 사프라
아나트 베르브너
엘라 예후다이
파즈 일란
나답 게바
노이 코헨
갈 샤브타이
에브라임 골든베르그
Original Assignee
코어포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코어포토닉스 리미티드 filed Critical 코어포토닉스 리미티드
Priority claimed from KR1020217037792A external-priority patent/KR102672536B1/ko
Publication of KR20230004887A publication Critical patent/KR20230004887A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/1805—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for prisms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G03B2205/003—Movement of one or more optical elements for control of motion blur by a prism with variable angle or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

스캐닝 폴디드 카메라 및 이러한 스캐닝 폴디드 카메라를 포함하는 멀티-카메라에 있어서 시점(POV) 수차를 보정하기 위한 시스템 및 방법이 제공된다. 광학 경로 폴딩 요소(OPFE) 및 이미지 센서를 포함하는 텔레 폴디드 카메라에서, OPFE는 텔레 폴디드 카메라를 장면의 POV를 향해 지향하도록 한 방향 또는 두 방향으로 틸팅되고, 텔레 이미지 또는 텔레 이미지 스트림은 POV로부터 캡처되고, POV 수차를 갖는 텔레 이미지 및 POV 수차는 디지털 방식으로 보정되어, 수차-보정된 이미지 또는 이미지 스트림을 획득한다.

Description

스캐닝 폴디드 카메라에서의 시점 수차-보정{POINT OF VIEW ABERRATIONS CORRECTION IN A SCANNING FOLDED CAMERA}
관련 출원에 대한 상호 참조
본 출원은 2020년 7월 15일자로 출원된 미국 가특허출원 제63/051,993호로부터 우선권을 주장하며, 이는 그 전체가 참조로 여기에 포함된다.
본 명세서에 개시된 실시예는 일반적으로 디지털 카메라에 관한 것으로서, 특히 폴디드 디지털 카메라로 획득된 이미지의 보정에 관한 것이다.
"폴디드 카메라" 또는 "폴디드 카메라 모듈"이라고도 하는 폴디드 광학 장치를 구비하는 컴팩트 디지털 카메라가 공지되어 있다. 예를 들어, 공동 소유 국제 특허 출원 PCT/IB2016/057366를 참조하라. 도 1a는 본 명세서에 개시되며 100으로 번호 매겨진 폴디드 텔레 카메라를 제1 관점으로부터 개략적으로 도시한 사시도이다. 도 1b는 카메라(100)를 제2 관점으로부터 도시한 사시도이다. 카메라(100)는 렌즈 광축(110)을 갖는 렌즈(102), 광학 경로 폴딩 요소(OPFE)(104) 및 이미지 센서(106)를 포함한다. OPFE(104)는 객체, 장면 또는 파노라마 뷰 섹션(114)으로부터 X축에 실질적으로 평행하며 카메라(100)의 시점(POV)(108)을 정의하는 제1 광학 경로를, Z축에 실질적으로 평행한 축(110)을 따르는 제2 광학 경로로 폴딩한다. 이미지 센서(106)는 축(110)에 (평행하게) 정렬된 수직 평면을 갖고 이미지 신호 프로세서(ISP-미도시)에 의해 처리될 수 있는 출력 이미지를 출력한다. 일부 실시예에서, ISP는 이미지 센서(106)의 일부일 수 있다.
카메라(100)는 화살표(112)로 표시된 바와 같이, 이미지 센서에 대해 축(110)(Z축)을 중심으로 OPFE(104)를 회전시키도록 설계된다. 즉, 카메라(100)는 "스캐닝" 텔레 카메라("STC")이다. OPFE(104)는 광학 요구 사항(아래 참조)에 따라 필요한 각도 범위에서 회전할 수 있으며, 어떤 경우에는 최대 180도, 다른 경우에는 최대 360도까지 회전할 수 있다. 카메라(100)는 "네이티브" 텔레 시야("N-FOVT")로 장면을 스캔할 수 있으므로, N-FOVT보다 크고 우리가 스캐닝 텔레 FOV("S-FOVT”)라고 지칭할 수 있는 장면의 FOV를 효과적으로 커버한다. S-FOVT는 복수의 STC 이미지에서 STC로 캡처할 수 있는 모든 장면 세그먼트를 포함하는 FOV이다. 2차원 장면을 스캔하기 위해서는, OPFE(104)는 2개의 회전 축을 중심으로 회전되어야 한다. 예를 들어, N-FOVT = 10-20도이고, S-FOVT = 30-80도이다.
도 1c는 30도 회전 후의 OPFE(104)를 도시하고, 도 1d는 0 위치로부터 180도 회전한 후의 OPFE(104)를 도시한다. 30도 및 180도 회전된 위치는 많은 회전 위치 범위의 예시이다.
이미지는 카메라의 특정 시점(POV)으로부터 획득된다. POV는 카메라 애퍼처의 위치를 시작점으로 하고 N-FOVT 중심의 객체 지점을 끝점으로 하는 벡터의 단위 벡터로 정의되는 방향이다. 예를 들어, ISO 규격에 따라 정의된 구면 좌표(r, θ, φ)에서, r = 0에 있는 카메라의 POV는 (1, θ, φ)로 정의되며, 여기서 극각(θ) 및 방위각(φ)은 CN-FOVT에서의 객체 지점의 위치를 정의한다. 도 1a 및 도 1b에서, OPFE는 제로 회전 위치("제로 위치")에 있다. OPFE가 제로 위치에 있을 때, 센서로 획득한 이미지(즉, 카메라(100)에 의해 "생성된" 이미지)는 POV 수차를 갖지 않는다. 위와 같이 정의된 구면 좌표에서, 제로 회전 위치는 (1, 0, 0)으로 주어진다. POV가 변경될 때, 센서에 의해 획득된 이미지에는 POV 수차가 발생한다. 특히, 이미지는 틸팅(그네 모양으로 늘어남) 및/또는 회전 및/또는 크기 조정(스케일링)될 수 있다. 이와 관련하여, 도 2a 및 도 2b를 참조하라.
POV에 관계없이 POV 수차가 없는 STC 이미지를 갖는 것이 필요하고 그것이 유리할 것이다.
여기서 제안하는 방법은 OPFE 위치를 고려하여 POV 수차가 없는 이미지를 획득하기 위해 POV 수차를 보정하는 디지털 알고리즘을 사용한다. 본 명세서에서는, 이미지를 획득(캡처)하고 그것을 보정한 후, 보정된 이미지로부터 직사각형 영역을 크롭핑하고, 크롭된 직사각형 이미지를 화면에 표시하거나, 크롭된 직사각형 이미지를 파일에 저장하는 것을 제안한다. 각각의 OPFE 위치에 대해, 미리 계산된 기하학적 변환(즉, 호모그래피 변환)이 획득된 이미지에 적용되어, POV 수차-보정된 이미지를 생성한다.
POV 수차-보정 후 OPFE 위치에 따라, 원래(보정되지 않은) 이미지 중심은 보정된 이미지 중심과 일치하지 않을 것이다. 예를 들어, 5개의 다른 크롭핑 옵션(A, B, C, D, E)이 있을 수 있다(도 3d 참조).
크롭핑의 결과는 제로 위치와 동일한 종횡비(AR)(즉, 높이/폭 = 3/4)를 갖지만, 제로 위치 이미지 영역보다 더 작은 이미지 영역을 갖는 직사각형 이미지이다. 이미지 영역의 크기는 OPFE 위치에 따라 다르다. 보정되고 크롭된 이미지는 디스플레이 크기 또는 저장된 이미지 크기에 맞게 스케일링된다.
모든 이미지는 모든 OPFE 위치에 대해 동일한 크롭 크기(이미지 영역)를 갖도록 추가로 크롭핑될 수 있다. 모든 OPFE 위치에 맞는 최대 크롭 크기는 모든 OPFE 위치에 대하여 최대 크기 세트로부터 최소 크기로 계산될 수 있다.
다양한 실시예에서, OPFE 및 이미지 센서를 포함하는 텔레 폴디드 카메라를 제공하는 단계; 상기 텔레 폴디드 카메라를 POV 쪽으로 지향하기 위해 상기 OPFE를 하나 이상의 방향으로 틸팅하는 단계; 상기 POV로부터 텔레 이미지 또는 텔레 이미지 스트림을 캡처하는 단계, 여기서 상기 텔레 이미지는 POV 수차를 갖고; 및 상기 POV 수차를 디지털 방식으로 보정하는 단계를 포함하는 방법에 제공된다.
일부 실시예에서, POV는 복수의 수차를 가질 수 있고, 위와 아래는 복수의 수차 중 하나, 일부 또는 모두의 보정에 적용된다.
일부 실시예에서, POV 수차를 보정하는 단계는 각각의 수차-보정된 이미지를 획득하기 위해 캡처된 텔레 이미지에 기하학적 변환을 적용하는 것을 포함한다. 일부 예시적인 실시예에서, 기하학적 변환은 카메라 캘리브레이션 프로세스 동안 캡처된 캘리브레이션 정보를 사용한다.
일부 실시예에서, 방법은 ACC 이미지 중심, ACC 이미지 크기 및 ACC 이미지 폭/높이 비율을 갖는 수차-보정된 크롭(ACC) 이미지를 획득하기 위해 수차-보정된 이미지를 크롭핑하는 단계를 더 포함한다.
일부 실시예에서, 방법은 출력 이미지 중심(OIC), 출력 이미지 크기 및 출력 이미지 폭/높이 비율을 갖는 수차-보정된 크롭 및 스케일링된 출력 이미지를 획득하기 위해 ACC 이미지를 스케일링하는 단계를 더 포함한다.
일부 실시예에서, OPFE의 틸팅 및 POV로부터의 텔레 이미지의 캡처는 복수의 POV에서 캡처된 복수의 텔레 이미지를 획득하기 위해 반복되고, OIC는 모든 가능한 POV에 대해 캡처된 복수의 텔레 이미지가 장면 내의 최대 직사각형 영역을 커버하도록 선택된다. 일부 실시예에서, OPFE의 틸팅 및 POV로부터의 텔레 이미지의 캡처는 복수의 POV에서 캡처된 복수의 텔레 이미지를 획득하기 위해 반복되고, OIC는 특정 복수의 POV에 대해 캡처된 복수의 텔레 이미지가 장면 내의 최대 직사각형 영역을 커버하도록 선택된다.
다양한 실시예에서, 와이드 시야(FOVW)를 갖는 와이드 카메라; 텔레 시야(FOVT < FOVW)를 갖고, OPFE 및 이미지 센서를 포함하는 텔레 폴디드 카메라로서, 상기 텔레 카메라는 상기 텔레 폴디드 카메라를 장면의 POV 쪽으로 지향하기 위해 하나 이상의 방향으로의 OPFE 틸팅에 의해 가능해지는 스캐닝 기능을 구비하고, 상기 POV로부터 텔레 이미지 또는 텔레 이미지 스트림을 캡처하는데 사용되고, 상기 텔레 이미지 또는 텔레 이미지 스트림은 POV 수차를 갖고; 및 POV 수차를 디지털 방식으로 보정하도록 구성된 프로세서를 포함하는 시스템이 제공된다.
일부 실시예에서, POV 수차는 캘리브레이션 데이터를 사용하여 보정될 수 있다.
일부 실시예에서, 캘리브레이션 데이터는 비휘발성 메모리에 저장될 수 있다.
일부 실시예에서, 캘리브레이션 데이터는 한 방향 또는 두 방향으로의 OPFE의 틸트 위치와 장면에서 대응하는 POV 사이의 캘리브레이션에 대한 데이터를 포함한다.
일부 실시예에서, 캘리브레이션 데이터는 텔레 이미지와 와이드 이미지 사이의 캘리브레이션에 대한 데이터를 포함할 수 있다.
일부 실시예에서, 캘리브레이션 데이터는 한 방향 또는 두 방향으로의 상기 OPFE의 틸트 위치와 FOVW 내의 FOVT 위치 사이의 캘리브레이션에 대한 데이터를 포함할 수 있다.
일부 실시예에서, POV 수차를 디지털 방식으로 보정하기 위한 프로세서 구성은 수차-보정된 이미지를 획득하기 위해 캡처된 텔레 이미지 또는 텔레 이미지 스트림에 기하학적 변환을 적용하는 구성을 적용하는 것을 포함할 수 있다.
일부 실시예에서, 기하학적 변환은 호모그래피 변환일 수 있다.
일부 실시예에서, 기하학적 변환은 와이드 카메라로부터의 프레임 스트림을 사용하는 호모그래피 모션 기반 계산을 포함할 수 있다.
일부 실시예에서, 호모그래피 모션 기반 계산은 관성 측정 유닛 정보를 더 사용할 수 있다.
*일부 실시예에서, 기하학적 변환은 비-아핀 변환일 수 있다.
일부 실시예에서, 이미지 센서는 이미지 센서 중심, 활성(active) 센서 폭 및 활성 센서 높이를 갖고, OIC는 이미지 센서 중심과 일치한다.
일부 실시예에서, OIC는 특정 출력 이미지 폭/높이 비율에 대하여 가장 큰 가능한 직사각형 크롭 이미지 크기가 달성되도록 선택될 수 있다.
일부 실시예에서, OIC는 이상적인 OIC로부터 10 x 픽셀 크기의 거리보다 작게 위치될 수 있다.
일부 실시예에서, OIC는 이상적인 OIC로부터 활성 센서 폭의 10% 거리 미만으로 떨어져 위치될 수 있다.
일부 실시예에서, OIC는 이상적인 OIC로부터 활성 센서 높이의 10% 거리 미만으로 떨어져 위치될 수 있다.
일부 실시예에서, OIC는 상이한 POV에 걸친 객체의 객체-이미지 배율(M)이 일정한 값으로부터 10% 미만으로 변하도록 선택될 수 있다.
일부 실시예에서, OIC는 출력 이미지가 장면 내의 최대 영역을 커버하도록 선택될 수 있다.
일부 실시예에서, OIC는 모든 가능한 POV에 대해 캡처된 복수의 텔레 이미지가 장면 내의 최대 직사각형 영역을 커버하도록 선택될 수 있다.
일부 실시예에서, OIC는 특정 복수의 POV에 대해 캡처된 복수의 텔레 이미지가 장면 내의 최대 직사각형 영역을 커버하도록 선택될 수 있다.
일부 실시예에서, OIC는 출력 이미지가 시각적으로 매력적인 방식으로 관심 영역 또는 관심 객체를 보여주도록 선택될 수 있다.
다양한 실시예에서, OPFE 및 이미지 센서를 포함하는 텔레 폴디드 카메라를 제공하는 단계; 상기 텔레 폴디드 카메라를 캘리브레이션 차트의 POV 쪽으로 지향하기 위해 상기 OPFE를 하나 이상의 방향으로 틸팅하는 단계, 여기서 각각의 POV는 각각의 OPFE 위치와 관련되고; 각각의 POV에서 상기 캘리브레이션 차트의 각각의 텔레 이미지를 캡처하는 단계, 여기서 각각의 텔레 이미지는 각각의 POV 수차를 갖고; 각각의 POV 수차를 갖는 각각의 POV와 각각의 OPFE 위치 사이의 캘리브레이션 데이터를 유도하기 위해 텔레 이미지 데이터를 분석하는 단계; 및 상기 캘리브레이션 데이터를 사용하여 POV 수차를 디지털 방식으로 보정하는 단계를 포함하는 방법에 제공된다.
일부 실시예에서, 캘리브레이션 차트는 각각의 텔레 이미지로부터 주어진 OPFE 위치에 대한 POV를 결정할 수 있게 하는 위치 식별자를 포함할 수 있다.
일부 실시예에서, 캘리브레이션 차트는 각각의 텔레 이미지로부터 주어진 OPFE 위치에 대한 POV 수차를 결정할 수 있게 하는 각도 식별자를 포함할 수 있다.
일부 실시예에서, 캘리브레이션 차트는 체커보드 차트일 수 있다.
일부 실시예에서, 캘리브레이션 데이터 차트는 임의의 OPFE 위치를 텔레 POV 및/또는 그 각각의 POV 수차로, 또는 그 반대로 변환하는 양방향 함수로 표현될 수 있다.
일부 실시예에서, 양방향 함수 차트는 다항식일 수 있다.
일부 실시예에서, 캘리브레이션 데이터 차트는 임의의 OPFE 위치를 텔레 POV 및/또는 그 각각의 POV 수차로, 또는 그 반대로 변환하는 양방향 룩업 테이블로 표현될 수 있다.
일부 실시예에서, 캘리브레이션 데이터 차트는 텔레 POV 및/또는 그 각각의 POV 수차에 대한 관련 값을 갖는 복수의 OPFE 위치를 포함하는 룩업 테이블로 표현될 수 있다.
일부 실시예에서, 복수의 OPFE 위치는 5개보다 많은 OPFE 위치, 50개보다 많은 OPFE 위치, 또는 심지어 250개보다 많은 OPFE 위치를 포함할 수 있다.
일부 실시예들에서, 방법은 텔레 폴디드 카메라의 시야(FOVT)보다 더 큰 시야(FOVW)를 갖는 와이드 카메라를 제공하는 것을 더 포함할 수 있다.
일부 실시예에서, 텔레 이미지의 분석과 캘리브레이션 데이터의 사용 사이에서, 상기 방법은 제1 추가 단계에서, 텔레 이미지 POV와 관련된 각각의 OPFE 위치에서 각각의 와이드 이미지 FOV 내에 위치하는 텔레 이미지 POV로, 상기 캘리브레이션 차트의 와이드 이미지를 캡처함과 함께 상기 캘리브레이션 차트의 추가 텔레 이미지를 캡처하는 단계, 및 제2 추가 단계에서, 상기 텔레 및 와이드 이미지 데이터를 사용하여, 각각의 OPFE 위치, 각각의 와이드 FOV 내의 텔레 POV 및 와이드 이미지에 대한 텔레 이미지의 POV 수차 사이의 캘리브레이션 데이터를 유도하는 단계를 더 포함할 수 있다.
이러한 일부 실시예에서, 제1 및 제2 추가 단계는 동시에 수행될 수 있다. 이러한 일부 실시예에서, 모든 단계는 동일한 오퍼레이터에 의해 수행될 수 있다. 이러한 일부 실시예에서, 처음 4개의 단계는 제1 오퍼레이터에 의해 수행될 수 있고, 제1 및 제2 추가 단계는 제2 오퍼레이터에 의해 수행될 수 있다. 그러한 일부 실시예에서, 처음 4개의 단계는 10초 미만의 시간 프레임에서 수행될 수 있고, 제1 및 제2 추가 단계는 10초 미만의 시간 프레임에서 수행된다. 그러한 일부 실시예에서, 처음 4개의 단계는 5초 미만의 시간 프레임에서 수행될 수 있고, 제1 및 제2 추가 단계는 5초 미만의 시간 프레임에서 수행될 수 있다. 그러한 일부 실시예에서, 제1 추가 단계는 어떠한 추가 이미지 캡처도 포함하지 않으며, 캘리브레이션 데이터의 분석 및 유도는 텔레 폴디드 카메라와 와이드 카메라 사이의 외부 캘리브레이션 데이터를 수신하는 것을 포함할 수 있다.
본 명세서에 개시된 실시예의 비-제한적인 예는 이 단락 다음에 열거되는 여기에 첨부된 도면을 참조하여 아래에서 설명된다. 도면 및 설명은 본 명세서에 개시된 실시예를 조명하고 명확히 하기 위한 것이며, 어떤 식으로든 제한하는 것으로 간주되어서는 안 된다. 상이한 도면에서 동일한 요소는 동일한 숫자로 표시될 수 있다.
도 1a는 하나의 관점으로부터 제로 위치에 있는 OPFE를 갖는 공지된 폴디드 카메라를 개략적으로 도시한다.
도 1b는 또 다른 관점으로부터 도 1a의 폴디드 카메라를 개략적으로 도시한다.
도 1c는 제1 비-제로 위치에 있는 OPFE를 갖는 도 1a의 카메라를 개략적으로 도시한다.
도 1d는 제2 비-제로 위치에 있는 OPFE를 갖는 도 1a의 카메라를 개략적으로 도시한다.
도 2a는 오브젝트 도메인에서 상이한 OPFE 위치 및 각각의 FOV를 도시한다.
도 2b는 3개의 서로 다른 OPFE 위치에서의 각 객체의 획득된 이미지, 보정된 이미지 및 크롭된 이미지를 도시한다.
도 2c는 본 명세서에 기재된 텔레 출력 이미지를 생성하기 위한 방법을 도시한다.
도 3a는 예시적인 객체를 갖는 OPFE 스캐닝 위치의 전체 범위의 FOV를 도시한다.
도 3b는 도 3b의 예시적인 객체의 획득된 이미지의 세부사항을 도시한다.
도 3c는 도 3b의 획득된 이미지에서의 보정된 이미지의 세부사항을 도시한다.
도 3d는 도 3c의 보정된 이미지에서의 크롭된 이미지의 세부사항을 도시한다.
도 4는 적어도 하나의 스캐닝 텔레 카메라를 구비한 멀티-애퍼처 카메라를 포함하는 전자 장치의 실시예를 개략적으로 도시한다.
도 5는 본 명세서에 기재된 STC 캘리브레이션 프로세스를 위한 방법을 도시한다.
도 6은 도 5에 기재된 캘리브레이션 방법을 위해 사용될 수 있는 예시적인 캘리브레이션 차트를 도시한다.
도 2a는 "오브젝트 도메인"에서의 상이한 OPFE 위치 및 이들 각각의 N-FOVT를 도시한다. 도 2b는 도 2b에 도시된 3개의 서로 다른 OPFE 위치(0, 1, 및 2)에서의 각 객체에 대한 획득된 이미지, 보정된 이미지 및 크롭된 이미지를 도시한다. 오브젝트 도메인은 FOV가 충분히 크고 수차 및 왜곡이 없는 이상적인 카메라로 캡처된 장면의 모양(appearance)으로 정의된다. 즉, 오브젝트 도메인은 인간 관찰자에게 보일 수 있는 장면의 모양에 대응한다. 오브젝트 도메인은 카메라(100)와 같은 STC에 의해 캡처된 장면의 모양으로 정의되는 "이미지 도메인"과 구별된다.
도 2a-2b에서, 202-i(i = 0, 1, 2)는 S-FOVT를 나타내고, 204-i는 객체를 나타내고, 206-i는 이미지 프레임을 나타내고, 208-i는 객체(204-i)의 이미지를 나타내고, 210-i는 이미지 데이터 경계를 나타내고, 212-i는 이미지 프레임의 직사각형 크롭을 나타낸다.
박스(200)는 S-FOVT, 즉 오브젝트 도메인에서 STC로 도달할 수 있는 모든 POV로부터의 모든 이미지 데이터를 포함하는 가장 작은 직사각형 FOV를 나타낸다. 3개의 다른 OPFE 위치(0, 1 및 2)에 대한 N-FOVT는 202-0, 202-1 및 202-2로 표시된다. 각 OPFE 위치는 다른 POV에 해당한다. OPFE "제로 위치"(202-0)에 대한 N-FOVT는 POV 수차가 없는[즉, (스케일링 팩터를 제외하며 어떠한 카메라 수차 및 왜곡이 없다고 가정하고) 제로 위치에서, 오브젝트 도메인에서의 객체는 이미지 도메인에서의 객체 이미지와 동일하다] 객체 또는 장면의 이미지를 생성하는 N-FOVT로 정의된다. 도시된 바와 같이, 다른 위치(예를 들어, 202-1 및 202-2)에서의 N-FOVT는 (202-0에 대해) 수평 직사각형이 아니라 임의의 사각형이다. 동일한 직사각형 객체는 N-FOVT(202-0, 202-1 및 202-2)에서 각각 204-0, 204-1 및 204-2로 표시된다.
예에서, OPFE는 객체(204-1)를 포함하며 STC의 POV를 나타내는 N-FOVT(202-1)를 가지면서 스캐닝 위치 1(도 2a)에 위치된다. 이미지 프레임(206-1)(도 2b)은 위치 1에서 캡처(획득)된다. 캡처된 이미지에서, 객체(204-1)는 캡처된 객체 이미지(208-1)(도 2b)로 표시된다. 보정된 이미지 프레임(206'-1)을 얻기 위해 기하학적 변환이 프레임(206-1)에 적용된다. 기하학적 변환은 각각의 이미지가 캡처되는 OPFE의 회전 각도와 관련이 있다. 보정된 이미지 프레임(206'-1) 내부에서, 이미지(208-1)의 보정된 이미지(208'-1)을 볼 수 있다. 210'-1은 보정된 이미지 프레임(206'-1)에 있는 이미지 데이터의 경계를 표시하고, 212-1은 210'-1의 이미지 세그먼트를 포함하는 가능한 직사각형 크롭이다. 직사각형 크롭(212-1)은 이미지 센서(106)의 AR과 동일한 종횡비(AR)(즉, 수평 폭과 수직 높이의 비)를 가질 수 있다. 다른 예에서, 직사각형 크롭(212-1)은 206''-0과 같은 제로 위치 이미지를 출력하기 위해 사용되는 종횡비와 동일한 종횡비를 가질 수 있다. 그 다음, 보정된 이미지(206'-1)는 보정된 크롭 이미지(206"-1)를 얻기 위해 크롭핑된다.
도 2b의 획득한 이미지 행에서, 206-0, 206-1 및 206-2는 각각 OPFE 위치 0, 1 및 2에서 획득된 오리지널 원시(raw) 이미지 캡처(프레임)이다. 208-0, 208-1 및 208-2는 각각 객체(204-0, 204-1, 204-2)의 캡처된 이미지이다. 보정된 이미지 행에서, 206'-0, 206'-1 및 206'-2는 이미지 수정을 거친 보정된(또는 "수정된" 또는 "수차 보정된"으로 지칭됨) 이미지 프레임을 나타낸다. 208'-0, 208'-1 및 208'-2는 이미지 수정 후 객체(204-0, 204-1 및 204-2)의 캡처된 객체 이미지(208-0, 208-1 및 208-2)를 나타낸다. 즉, 그것들은 객체의 "보정된 이미지"(또는 "수정된 이미지")를 나타낸다. 보정된 이미지(206'-1)에 존재하는 이미지 데이터는 경계(210'-1)를 갖고, 보정된 이미지(206'-2)에 존재하는 이미지 데이터는 경계(210'-2)를 갖는다. 206'-1과 210'-1 사이, 그리고 206'-2와 210'-2 사이의 점선 영역에는 화면에 표시하거나 디스크에 저장할 수 있는 유효한 이미지 데이터가 없다(즉, 그 영역에는 빈 픽셀만 포함됨). 212-1 및 212-2는 각각 210'-1 및 210'-2의 이미지 세그먼트를 포함하는 가능한 직사각형 크롭이다. 212-1 및 212-2는 특정 AR을 가질 수 있다. 크롭된 이미지 행에서, 206"-0, 206"-1 및 206"-2는 206'-0, 206'-1 및 206'-2의 이미지 데이터[즉, 이는 206-0, 206-1 및 206-2의 보정된 이미지 데이터를 포함함]를 포함하는 수차-보정된 크롭("ACC") 이미지이다. 일부 실시예에서, 크롭핑 후 이미지가 스케일링된다. 이미지(206"-0, 206"-1 및 206"-2)에서, 영역(208"-0, 208"-1 및 208"-2)은 수정, 크롭핑 및 스케일링을 거친 객체(204-0, 204-1 및 204-2)의 이미지 데이터를 나타낸다. 이미지(206"-1 및 206"-2)는 경계(212-1 및 212-2)를 따라 이미지(206'-1 및 206'-2)를 각각 크롭핑함으로써 생성된다. 이미지(206"-0)은 크롭핑을 거치지 않았는데, 즉, 206'-0의 모든 이미지 데이터는 206"-0에도 존재한다. 위치 '0'은 POV 수차가 없는 것으로 정의되었으므로, 보정 알고리즘은 획득한 이미지에 영향을 미치지 않는다(예를 들어, 206-0, 206'-0 및 206"-0은 동일함). 다른 예에서, 206-0, 206'-0 및 206"-0은 동일한 크기가 아닐 수 있지만, 206'-0 및/또는 206"-0은 특정 크롭 팩터에 의해 206-0과 크기가 다를 수 있다. 객체 이미지(208-0, 208'-0 및 208"-0)에도 동일하게 적용된다.
도 2c는 본 명세서에 개시된 텔레 출력 이미지를 생성하기 위한 예시적인 방법을 개략적으로 도시한다. 제1 단계(252)에서, 인간 사용자 또는 프로그램에 의해 트리거된 명령은 스캐닝에 의해 장면 내의 관심 영역(ROI)으로 N-FOVT를 지향한다. 스캐닝은 OPFE를 회전시켜 수행될 수 있다. OPFE 회전에 의한 FOV 스캐닝은 즉시 수행되지 않지만, 약간의 안정화(settling) 시간이 필요한데, 예를 들어 이는 2-5도 스캐닝에 대해 약 1-30ms 및 10-25도 스캐닝에 대해 약 15-100ms일 수 있다. 안정화 시간 후에, (도 2b의 이미지(206-0, 206-1 및 206-2)와 같은) STC 이미지가 단계(254)에서 캡처된다. 단계(256)에서, STC 이미지가 수정된다(rectified). 제1 수정 서브-단계("기하학적 변환 서브-단계"라고 함)에서, 기하학적 변환(예를 들어, 호모그래피 변환, 아핀 변환 또는 비-아핀 변환)이 수행되며, 그 결과는 도 2b에 도시된 바와 같다. 다음과 같은 예에서, "호모그래피 변환"은 임의의 의미 있는 기하학적 변환을 나타내는 데 사용된다. 호모그래피 변환은 임의의 특정 POV와 관련된 수차를 보정하므로, POV의 함수이다. 제2 수정 서브-단계("보간 서브-단계")가 수행될 수 있으며, 이는 아래에 자세히 설명되어 있다.
따라서, 보정(또는 수정 또는 수차-보정)된 이미지가 획득된다. OPFE 위치 및 대응 POV 사이의 캘리브레이션 데이터는 특정 POV에 대응하는 호모그래피 변환을 선택하는 데 사용될 수 있다. 일부 실시예에서, 기하학적 변환은 예를 들어, 왜곡 보정 및 색상 보정과 같은 당업계에 알려진 보정을 포함할 수 있다. 단계(258)에서, 보정된 이미지는 도 2b에 도시된 바와 같이 크롭된다. 단계(260)에서, 크롭된 이미지가 스케일링된다. 크롭 및 스케일링된 출력 이미지는 단계(262)에서 출력된다. 출력 이미지는 장치(400)(도 4)와 같은 전자 장치 상에 디스플레이될 수 있고, 및/또는 메모리(450)(도 4) 또는 장치의 임의의 다른 메모리에 저장될 수 있다.
단계(258)에서의 크롭핑은 상이한 크롭 선택 기준에 따라 수행될 수 있다. 일부 크롭 선택 기준은 크롭된 이미지의 특정 크기를 목표로 할 수 있다. 다른 크롭 선택 기준은 특정 입력 이미지 좌표가 크롭된 이미지의 특정 이미지 좌표로 전달되도록 할 수 있다. 이하에서, "크롭 선택" 기준은 단순히 "크롭 기준"으로 지칭될 수 있다.
크롭된 이미지의 특정 크기를 목표로 하는 크롭 기준은 다음과 같을 수 있다: 하나의 기준(크롭 기준 1)에서, 이미지는 결과 이미지가 직사각형 이미지가 되도록 크롭핑될 수 있다. 다른 기준(크롭 기준 2)에서, 결과 이미지는 정사각형일 수 있다. 여기의 다음에서, 이미지 크기와 모양은 이미지 픽셀의 수와 분포에 의해 정의되므로, 크기와 모양은 이미지가 디스플레이되는 실제 모드에 의존하지 않는다. 예를 들어, 직사각형 이미지는 m개의 행(이미지 높이)을 가지며, 각 행은 n개의 값(이미지 폭)을 포함한다. 정사각형 이미지는 각각 m개의 값을 갖는 m개의 행을 갖는다. m1 x n1 > m2 x n2를 만족하는 경우, 각각 n1개의 값을 갖는 m1개의 행을 갖는 제1 직사각형 이미지는 n2개의 값을 갖는 m2개의 행을 갖는 제2의 직사각형 이미지보다 크다.
또 다른 기준(크롭 기준 3)에서, 이미지는 특정 POV에 대해 특정 AR을 갖는 가장 큰 직사각형 이미지가 획득되도록 크롭핑된다. 이 기준에 대한 예는 도 3d에 도시된 크롭 옵션 "D" 및 "E"이다. AR은 이미지의 폭/높이 비율을 나타낸다. AR은 예를 들어, 4:3, 3:2 또는 16:9이다. 또 다른 기준(크롭 기준 4)에서, 제1 POV에서 캡처된 이미지는 결과 이미지가 제2 POV에서 캡처된 이미지와 동일한 AR 및 크기를 갖도록 크롭핑된다. 제2 POV는 제2 POV에 대해 특정 AR을 갖는 가장 큰 직사각형 이미지를 크롭핑함으로써 획득되는 가장 작은 이미지로 이어지는 POV이다. 크롭 기준 4는 가능한 모든 POV에서의 크롭된 이미지가 동일한 AR 및 모양을 갖도록 보장한다. 또 다른 기준(크롭 기준 5)에서, 이미지는 전체 S-FOVT로부터 단계(254)에서 캡처된 STC 이미지로부터 생성된 모든 출력 이미지가 오브젝트 도메인에서 직사각형 FOV의 가장 큰 영역을 커버하도록, 크롭핑된다. 이 크롭 기준은 200과 같은 오브젝트 도메인에서의 직사각형 FOV 영역이 S-FOVT에 의해 최대로 커버되도록 보장한다. 또 다른 기준(크롭 기준 6)에서, 이미지는 전체 S-FOVT에 대해 동일한 객체-대-이미지 배율이 얻어지도록, 직사각형으로 크롭핑된다. 일반적으로, 단계(254)에서 캡처된 이미지의 객체 이미지는 더 큰 POV에 대해 더 작다. 일부 실시예에서, 모든 POV에 대해 획득된 배율이 일정한 값으로부터 <10%으로 변하는 경우, "동일한 배율"의 조건이 충족될 수 있다. 다른 예에서, 모든 POV에 대해 획득된 배율이 <5% 또는 <15%으로 변하는 경우, "동일한 배율"의 조건이 충족될 수 있다.
특정 입력 이미지 좌표를 크롭된 이미지의 특정 이미지 좌표에 매핑하는 크롭 기준이 다음에 제시된다. 일반적으로, 그리고 특정 크롭 선택 기준을 적용함으로써, 단계(254)에서 캡처된 이미지("입력 이미지")의 임의의 객체 이미지 포인트는 단계(262)에서 출력되는 이미지의 이미지 중심으로 정의될 수 있다. 크롭 기준에서, 이미지는 크롭된 이미지의 이미지 중심이 특정 POV에 대한 입력 이미지 중심과 동일한 이미지 데이터를 포함하도록 직사각형으로 크롭핑될 수 있다. 이미지 중심은 예를 들어, 픽셀 크기의 10배의 반경 내에 있는 주변 픽셀 및 중심 픽셀로 정의될 수 있다. 일부 실시예에서, 이미지 중심은 예를 들어, 픽셀 크기의 5배 또는 30배의 반경 내에 있는 주변 픽셀과 중심 픽셀을 더한 것으로 정의될 수 있다.
크롭 기준 8에서, 이미지는 크롭된 이미지 중심이 입력 이미지 중심과 동일한 이미지 데이터를 포함하고, 이와 함께 크롭된 이미지는 임의의 제1 및 제2 POV에서 캡처된 임의의 2개의 이미지가 결과 이미지가 동일한 AR 및 크기를 갖도록 크롭핑된다는 조건을 추가로 충족하도록, 직사각형으로 크롭핑될 수 있다. 또 다른 예에서, 크롭 기준 8은 크롭된 이미지가 최대 크기라는 조건을 추가로 충족할 수 있다(크롭 기준 9). 또 다른 예들에서, 이미지는 ROI 또는 관심 대상(OOI)이 시각적으로 매력적인 방식으로 단계(264)에서 출력된 이미지 상에 디스플레이되도록 크롭핑될 수 있다(크롭 기준 10). 이 기준은 미적 이미지 크롭핑을 지원할 수 있다. 예를 들어, 이는 Wang et al에 의한 2018년 5월 IEEE Transactions on Pattern Analysis and Machine Intelligence 기사 "A deep network solution for attention and aesthetics aware photo cropping(주의 및 미적 인식 사진 크롭핑을 위한 심층 네트워크 솔루션"에 기재되어 있다. 미적 이미지 크롭핑에 대한 출원서는 공동 소유의 PCT 특허 출원 PCT/IB2020-061330호에도 기재되어 있다. 또 다른 예에서, 이미지는 추가 처리 단계의 필요에 따라 크롭핑될 수 있다. 예를 들어, 이미지는 오브젝트 도메인에서의 FOV의 특정 세그먼트만이 포함되도록 크롭핑될 수 있다(크롭 기준 11). 가능한 추가 처리는 예를 들어, 슈퍼 이미지, 즉 복수의 입력 이미지의 이미지 데이터로 구성된 출력 이미지의 생성일 수 있다. 슈퍼 이미지의 생성은 공동 소유의 PCT 특허 출원 PCT/IB2021-054070에 기재되어 있다. 또 다른 가능한 추가 처리는 당업계에 알려진 파노라마 이미지의 생성일 수 있다.
단계(260)에서의 스케일링은 상이한 스케일링 선택 기준에 따라 수행될 수 있다. 일부 실시예들에서, 스케일링은 단계(254)에서 상이한 POV들 하에서 캡처된 이미지들 및 단계(262)에서 출력된 이미지들("출력 이미지")이 동일한 크기 및 AR을 갖도록, 수행될 수 있다(스케일 기준 1). 다른 예들에서, 스케일링은 출력 이미지에서의 객체 이미지 영역당 픽셀 밀도가 단계(254)에서 캡처된 이미지에 존재하는 객체 도메인에서의 영역당 픽셀 밀도와 동일하도록, 수행될 수 있다(스케일 기준 2). 또 다른 예들에서, 스케일링은 이미지 크기가 이미지 데이터에 대한 추가 처리를 수행하는 프로그램의 요구사항에 맞도록, 수행될 수 있다(스케일 기준 3).
위에 요약된 단계(252-262)는 순차적으로, 즉 차례로 수행될 수 있다.
일부 STC 이미지 수정 실시예에서, 단계(256)는 다음과 같이 수행될 수 있다: (xin i, yin j)는 (단계(254)에서 캡처된) 입력 이미지의 일부 임의의 이미지 좌표(i, j) 값이고, (xout m, yout n)는 (단계(256)에서의) 출력 이미지의 일부 임의의 이미지 좌표(m, n) 값이다. 기하학적 변환 서브-단계에서, 호모그래피 변환은 (xout, yout) = fH(xin, yin)일 수 있으며, 여기서 H는 당업계에 알려진 3x3 호모그래피 변환 행렬이다. 호모그래피 변환은 fH -1 = fH-1을 사용하여 역전될 수 있다. 크롭 변환(xout, yout) = Crop(xin, yin)은 입력 이미지의 각 좌표를 출력 이미지의 좌표에 할당하기 위해 (xout m, yout n) = (xin i - crop-start_xi, yin j - crop-start_yj)일 수 있다. 여기서, 값이 0보다 큰 좌표만이 출력 이미지를 위해 사용된다. Vector(crop-start_xi, crop-start_yj)는 크롭된 이미지의 크기와 모양을 정의한다. 역 크롭 변환(Crop-1)은 (xin m, yin n) = (xout i + crop-start_xi, yout j - crop-start_yj)로 정의된다. 스케일 변환(xout, yout) = Scale(xin, yin)은 (xout, yout) = (sx·xin, sy·yin)이 될 수 있으며, 여기서 x 및 y 방향에서 각각 스케일링 계수 sx 및 sy를 사용한다. 역 스케일 변환(scale-1)은 (xin, yin) = (sx -1·xout, sy -1·yout)로 정의된다. 전달 함수(T)는 호모그래피, 크롭 및 스케일을 순차적으로 적용하여 정의된다. 즉, T는 (xout, yout) = Scale(Crop(fH(xin, yin))) 및 (xout, yout) = T(xin, yin)로 정의된다.
보간 서브-단계에서, 전달 함수(T)를 통해 입력 이미지로부터 직접 출력 이미지(xout, yout)의 모든 값을 순차적으로 보간할 수 있다. 예를 들어, 출력 이미지의 좌표(m, n)를 갖는 임의의 시작점에서 값(xout m, yout n)을 계산하는 것으로 시작할 수 있다. 이를 위해, 출력 이미지의 특정 좌표(m, n)에서 값(xout m, yout n)을 계산하기 위해 포함되어야 할 입력 이미지(xin, yin)의 좌표(m', n')를 계산한다. 입력 이미지의 좌표(m', n')는 모든 출력 좌표(m, n)에 역전달 함수(T-1)을 적용하여 얻을 수 있다. 즉, 모든 (m, n)에 대해 T-1(xout m, yout n) 또는 fH -1(Crop-1(scale-1(xout m, yout n)))이다. 일반적으로, T-1은 각 좌표(m, n)를 하나의 좌표(m', n')에 매핑하지 않고, 각 좌표를 인접 좌표(m', n')의 세그먼트에 매핑할 수 있다. 값(xout m, yout n)을 계산하기 위해, 인접 좌표(m', n')의 전체 세그먼트 또는 세그먼트 일부가 고려될 수 있다. 좌표(m, n)에서의 출력 이미지의 값(xout m, yout n)을 얻기 위해, 제1 단계에서, 당업계에 알려진 리샘플링 함수(R)가 T(xout' m, yout' n) = Resample(Tin,xin m', yin n')에 따라 모든 인접 좌표(m', n')에 대해 평가될 수 있다. 리샘플링은 최인접(nearest neighbor), 바이-리니어(bi-linear), 바이-큐빅(bi-cubic) 등의 공지된 방법으로 수행될 수 있다.
값(xout m, yout n)이 결정된 후, 추가 좌표(o, p) 등에서, 값(xout o, yout p)을 계산하기 위해 위의 단계를 수행할 수 있다. 이것은 출력 이미지의 모든 값(xout, yout)이 획득될 때까지 반복된다. 다양한 실시예에서, 전술한 바와 같은 계산은 복수의 출력 좌표에 대해 또는 심지어 모든 출력 좌표에 대해 병렬로 수행된다. 일부 STC 이미지 수정 실시예에서, 여기에 설명된 계산은 CPU(중앙 처리 장치)에 의해 수행될 수 있다. 다른 STC 이미지 수정 실시예에서, 그리고 더 빠른 이미지 처리를 위해, 여기에 설명된 계산은 GPU(그래픽 처리 장치)에 의해 수행될 수 있다. STC 이미지 수정은 예를 들어, RGB, YUV, YUV420와 같은 다른 색 영역 및 당업계에 공지된 추가 색상 도메인에서 수행될 수 있다.
도 3a는 오브젝트 도메인에서의 S-FOVT(300)를 도시한다. 302는 300 내의 특정 OPFE 위치에 대응하는 N-FOVT를 나타낸다. 304는 이미지 포인트가 이미지 센서의 중앙에 위치하는 장면의 객체 포인트를 나타낸다. 306은 N-FOVT(302)에 포함된 장면에서 임의의 선택된 특정 객체 지점을 나타낸다.
도 3b는 중심(304')을 갖고 객체 지점(306)의 이미지 지점(306')을 포함하는 획득된 텔레 이미지(310)를 도시한다. 도 3c는 전술한 기하학적 변환을 이미지(310)에 적용함으로써 생성된 보정된 이미지(312)를 도시한다. 314는 보정된 이미지에서의 이미지 데이터의 경계, 즉 경계(점선 영역) 외부에는 이용 가능한 이미지 데이터가 없다. 304'' 및 306''은 각각 보정된 이미지에서의 이미지 포인트(304' 및 306')의 위치이다.
도 3d는 도 3c에 도시된 보정된 이미지(312)를 직사각형으로 크롭핑하고 여기에 기재된 바와 같이 출력 이미지를 생성하기 위한 예시적인 다른 옵션들을 도시한다. 출력 이미지 센터(OIC)에 위치하는 이미지 데이터는 선택한 크롭 기준에 따라 달라진다. "D" 및 "C"로 표시된 예에서, 크롭 선택 기준은 특정 이미지 포인트(306')가 OIC에 위치하도록 선택된다. 크롭핑 옵션("D")은 2 가지의 기준들: 즉, (i) "특정 이미지 포인트(306')가 OIC에 위치함" 및 (ii) "주어진 POV에 대해 가장 큰 직사각형 이미지가 달성됨"이라는 기준이 충족되도록 선택된다. 크폽핑 옵션("C")은 "특정 이미지 포인트(306')가 OIC에 위치함"이라는 기준이 충족되도록 선택된다. 추가 크롭 선택 기준은 "A", "B" 및 "E"로 표시된 예로 도시된다. 크폽핑 옵션("A")은 "이미지 중심(304')이 OIC에 위치함"이라는 기준이 충족되도록 선택된다. 크롭핑 옵션("B")는 2 가지의 기준들: 즉, (i) "이미지 중심(304')이 OIC에 위치함" 및 (ii) "주어진 POV에 대해 가장 큰 직사각형 이미지가 달성됨"이라는 기준이 충족되도록 선택된다. 크롭핑 옵션("E")는 출력 이미지에 대해 "주어진 POV에 대해 가장 큰 직사각형 이미지가 달성됨"이라는 기준이 충족되도록 선택된다. 다른 예(도시되지 않음)에서, 크롭핑 옵션은 2 가지의 기준들: 즉, (i) "이미지 중심(304')이 OIC에 위치함" 및 (ii) "모든 가능한 POV에 대해 가장 큰 직사각형 이미지가 달성됨"이라는 기준이 충족되도록 선택될 수 있다. 예를 들어, 이미지 중심과 같은 특정 이미지 위치("이상적인 OIC")에 OIC를 정확히 위치시키는 것이 항상 가능하거나 유익한 것은 아니며, 단지 이상적인 OIC 근처에 위치시킬 수 있다. 이상적인 OIC의 근접성은 이미지 센서 크기의 백분율(예를 들어, OIC는 이상적인 OIC로부터 이미지 센서 폭의 < 10%에 위치할 수 있음) 또는 픽셀 단위의 거리(예를 들어, OIC는 이상적인 OIC로부터 떨어진 10 x 픽셀 크기 거리 미만에 위치할 수 있음)로 표시될 수 있다.
또 다른 예(도시되지 않음)에서, 크롭핑 옵션은 "모든 가능한 POV에 대해 가장 큰 직사각형 이미지가 달성됨"이라는 기준이 충족되도록 선택될 수 있다. 또 다른 예들(도시되지 않음)에서, 크롭핑 옵션은 "특정 복수의 POV들에 대해 가장 큰 직사각형 이미지가 달성됨"이라는 기준이 충족되도록 선택될 수 있다. 특정 복수의 POV는 모든 가능한 POV 또는 그 서브세트를 커버할 수 있다.
도 4는 400으로 번호 매겨지며 적어도 하나의 STC를 갖는 멀티-애퍼처 카메라를 포함하는 모바일 전자 장치("전자 장치")의 실시예를 개략적으로 도시한다. 전자 장치(400)는 예를 들어, 스마트폰, 태블릿, 랩톱 등이 될 수 있다. 전자 장치(400)는 FOV 스캐닝을 위한 OPFE(412)를 포함하는 제1 STC 모듈(410), 및 제1 이미지 센서(416)에 의해 기록된 텔레 이미지를 형성하는 텔레 렌즈 모듈(418)을 포함한다. 이미지 센서(416)는 실제 광 수확을 수행하는 활성 센서 폭 및 활성 센서 높이로 정의되는 활성 센서 영역과 광 수확을 수행하지 않는 비활성 영역을 갖는다. 텔레 렌즈 액추에이터(422)는 포커싱 및/또는 광학 이미지 안정화(OIS)를 위해 렌즈 모듈(418)을 움직일 수 있다. 전자 장치(400)는 FOV 스캐너(442), 모션 추정기(444) 및 이미지 생성기(446)를 포함하는 애플리케이션 프로세서(AP)(440)를 더 포함할 수 있다. STC(410)는 EFL=5mm-50mm의 유효 초점 길이("EFL")를 가질 수 있다. 이미지 센서(416)의 센서 대각선("SD")은 SD=3mm-15mm일 수 있다.
캘리브레이션 데이터는 제1 메모리(424), 예를 들어 EEPROM(전기적으로 소거 가능한 프로그램 가능 읽기 전용 메모리), 제2 메모리(438), 또는 제3 메모리(450), 예를 들어 NVM(비휘발성 메모리)에 저장될 수 있다. 캘리브레이션 데이터는 STC 캘리브레이션 데이터 및 DC 캘리브레이션 데이터를 포함할 수 있다. 전자 장치(400)는 FOVW, FOVUW>N-FOVT를 갖는 와이드("W")(또는 울트라-와이드, "UW") 카메라 모듈(430)을 더 포함하는데, 이는 제2 이미지 센서(432)에 의해 기록된 이미지를 형성하는 제2 렌즈 모듈(434)을 포함한다. 제2 렌즈 액추에이터(436)는 포커싱 및/또는 OIS를 위해 렌즈 모듈(434)을 이동시킬 수 있다.
사용시, AP(440)와 같은 처리 유닛은 카메라 모듈(410, 430)로부터 각각의 제1 및 제2 이미지 데이터를 수신하고, 카메라 제어 신호를 카메라 모듈(410, 430)에 공급할 수 있다. FOV 스캐너(442)는 N-FOVT를 장면의 특정 POV로 지향하기 위해 인간 사용자 또는 프로그램으로부터의 명령을 수신할 수 있다. 일부 실시예에서, 명령은 N-FOVT를 하나의 특정 POV로 지향하기 위한 단일 요청을 포함할 수 있다. 다른 예에서, 명령은 예를 들어, N-FOVT를 복수의 특정 POV에 직렬로 지향하기 위한 일련의 요청을 포함할 수 있다. FOV 스캐너(442)는 요청된 특정 POV가 주어지면 스캐닝 순서를 계산하도록 구성될 수 있다. FOV 스캐너(442)는 제어 신호에 응답하여 N-FOVT를 스캐닝하기 위해 OPFE(412)를 회전시킬 수 있는 OPFE 액추에이터(414)에 제어 신호를 공급하도록 구성될 수 있다. 일부 실시예에서, FOV 스캐너(442)는 OIS용 OPFE(412)를 작동시키기 위해 OPFE 액추에이터(414)에 제어 신호를 추가로 공급할 수 있다.
전자 장치(400)는 400의 모션에 대한 정보를 제공할 수 있는 관성 측정 유닛(IMU, 또는 "자이로")(460)을 더 포함한다. 모션 추정기(444)는 예를 들어, 인간 사용자에 의해 발생하는 손의 움직임을 추정하기 위해 IMU(460)로부터의 데이터를 사용할 수 있다. 일부 실시예에서, 모션 추정기(444)는 추가 데이터를 사용할 수 있다. 예를 들어, 카메라(410) 및/또는 카메라(430)로부터의 이미지 데이터는 당업계에 알려진 바와 같이 복수의 이미지로부터 "광학 흐름(optical flow)"을 추정하는 데 사용될 수 있다. 모션 추정기(444)는 IMU(460)로부터의 데이터를 사용할 수 있고, 더 높은 정확도로 400의 모션을 추정하기 위해 광학 흐름 데이터도 사용할 수 있다. 400의 움직임에 대한 정보는 OIS 또는 앞서 설명한 호모그래피 변환을 위해 사용될 수 있다. 다른 실시예에서, 카메라(410) 및/또는 카메라(430)의 이미지 데이터로부터 추정된 광학 흐름 데이터만이 400의 움직임을 추정하는 데 사용될 수 있다. 이미지 생성기(446)는 도 2c에 기재된 바와 같이, 이미지 및 이미지 스트림을 각각 생성하도록 구성될 수있다. 일부 실시 예에서, 이미지 생성기(446)는 카메라(430)로부터의 제1 이미지 데이터만을 사용하도록 구성될 수 있다. 다른 실시예에서, 이미지 생성기(446)는 카메라(410) 및/또는 카메라(430)로부터의 이미지 데이터를 사용할 수 있다.
도 5는 본 명세서에 기술된 STC 캘리브레이션 프로세스를 위한 방법을 도시한다. 캘리브레이션 프로세스를 통해 단일 스캐닝 텔레 카메라("STC 캘리브레이션") 또는 FOVW>N-FOVT를 갖는 와이드 카메라 및 STC를 포함하는 듀얼-카메라("DC")("DC 캘리브레이션")를 위한 캘리브레이션 데이터를 도출할 수 있다. 캘리브레이션 프로세스의 목표는 가능한 모든 POV에 대한 3 가지 파라미터들: 즉, 위치 센서 값 쌍으로 정의되는 특정 OPFE 위치, 이러한 특정 OPFE 위치와 관련된 POV 및 이러한 특정 POV와 관련된 POV 수차 사이를 연결하는 것이다.
제1 예(캘리브레이션 예 1 또는 "CE1")에서, 캘리브레이션 프로세스는 2개의 축을 따라 OPFE를 회전하여 2차원으로 스캔하는 STC를 나타내며, 여기서 회전의 진폭은 2개 이상의 위치 센서(예를 들어, 홀 센서), 즉 제1 및 제2 위치 센서(P1, P2) 각각에 의해 측정된다. STC의 POV는 각각 P1과 P2의 값 쌍(p1과 p2)으로 측정된다. 제1 단계(502)에서, 캘리브레이션 차트("CC")가 제공된다. 적합한 CC는 차트 상의 위치를 결정할 수 있게 하는 위치 식별자(예를 들어, 위치 식별자(602, 604), 도 6 참조)를 포함한다. STC를 사용하여 주어진 거리에서 적절한 CC를 캡처할 때, S-FOVT의 모든 POV에 대해 N-FOVT에 적어도 하나의 위치 식별자가 존재한다. 위치 식별자에 의해, CC와 관련한 STC의 POV를 결정할 수 있다. 위치 식별자는 예를 들어, 위치 정보를 인코딩하는 기호일 수 있는데, 이는 체커보드 전체에 걸쳐 충분히 높은 빈도 또는 주파수로 퍼져 있다. 또한, 적절한 CC는 CC와 CC의 STC 이미지 사이의 상대적 각도 기울기 및 회전을 결정할 수 있는 각도 식별자를 포함한다. 각도 식별자는 예를 들어, 체커보드에 존재하는 선일 수 있다. 적합한 CC의 예가 도 6에 도시되어 있다. CC의 크기 및 STC와 CC 사이의 거리는 전체 S-FOVT가 CC에 의해 커버되는 FOV에 포함되도록 선택되어야 한다.
CE1에서, 특정 STC 설계에 대해 N개의 특정 값 쌍(p1, p2)의 리스트가 정의될 수 있다. 일부 실시예에서, 리스트는 N=10개의 값 쌍 (p1, p2)1, …, (p1, p2)10을 포함할 수 있다. 다른 실시예에서, 리스트는 N=10-20 또는 그 이상의 값 쌍을 포함할 수 있다. 값 쌍 선택을 위한 제1 기준에 따르면, 값 쌍은 STC가 캘리브레이션 프로세스에서 최소 수의 서로 다른 POV를 캡처해야 하도록 선택될 수 있다(즉, 단계(504 및 506)에서의 최소 반복 횟수가 바람직하다).
DC 캘리브레이션을 위한 제2 예("CE2")의 경우, 단계(502)에서, 다른 CC가 필요할 수 있으며, 여기서 CC는 체커보드일 수도 있고 아닐 수도 있다. CE2의 STC는 CE1과 동일한 속성을 충족한다. 또한, CE2에서, N개의 특정 위치 센서 값 쌍(p1, p2)의 리스트, 특정 OPFE 위치와 관련된 각각의 값 쌍은 특정 STC 설계를 위해 정의될 수 있다. 일부 실시예에서, 리스트는 N=200개의 값 쌍 (p1, p2)1, …, (p1, p2)200을 포함할 수 있다. 다른 실시예에서, 리스트는 N=100-300 또는 그 이상의 값 쌍을 포함할 수 있다.
단계(504)에서, 예를 들어 (p1, p2)1으로 정의된 CE1 및 CE2에서, OPFE를 특정 OPFE 위치로 기울임으로써, STC는 CC 상의 (아직 알려지지 않은) POV로 지향된다.
단계(506)에서, 하나 이상의 STC 이미지가 캡처된다. DC 캘리브레이션 및 CE2의 경우, STC 이미지가 와이드 카메라에 의해 캡처된 W 이미지를 따라 캡처되는 단계(506)의 제2 서브-단계가 필요하다. W 이미지를 따라 STC 이미지를 캡처한다는 것은 이미지가 동일한 듀얼-카메라 위치 및 방향에서 캡처된다는 것을 의미한다. 일반적으로, 캡처는 동시에 수행될 수 있지만, 필수적인 것은 아니다.
일부 실시예에서, 와이드 이미지를 따른 STC 이미지의 캡처는 함께 수행될 수 있고, 하나의 단일 단계로 예를 들어, 동일한 오퍼레이터에 의해 수행될 수 있다.
다른 예에서, 2개의 단계는 개별적으로 수행될 수 있으며, 예를 들어 다른 오퍼레이터에 의해 수행될 수 있다. 예를 들어, 제1 CC에 대하여 STC를 캘리브레이션하기 위해, 제1 오퍼레이터는 특정 OPFE 위치에서 하나 이상의 STC 이미지를 캡처할 수 있다. 제1 CC에 대해 보정된 STC는 제2 오퍼레이터에 의해, 듀얼-카메라의 W 카메라에 대해 STC를 캘리브레이션하기 위한 하나 이상의 W 이미지와 함께 특정 OPFE 위치에서 STC로 제2 CC(이는 제1 CC와 동일하거나 동일하지 않을 수 있음)를 캡처하는 데 사용되는 듀얼-카메라에 포함될 수 있다. 단계(504 및 506)는 N개의 값 쌍에 따라 반복 수행되어, N개의 OPFE 위치(또는 값 쌍) 각각에서 하나 이상의 STC 이미지가 캡처된다. 복수의 OPFE 위치에 대한 단계(502 및 504)의 반복은 예를 들어, 미리 결정된 시간 프레임으로 수행될 수 있다. 미리 결정된 시간 프레임은 예를 들어, 10초 또는 5초일 수 있다. 예를 들어, 제1 오퍼레이터는 STC를 제조하는 카메라 모듈 제조업체일 수 있고, 제2 오퍼레이터는 STC를 듀얼-카메라에 포함하고 듀얼-카메라를 모바일 장치에 포함하는 전화 제조업체일 수 있다. 일부 실시예에서, 단계(506)의 제2 서브-단계는 추가 STC 및 W 이미지를 캡처하는 것을 포함하지 않지만, STC와 와이드 카메라 사이에서 외부 캘리브레이션 데이터를 수신하는 것을 포함한다.
단계(508)에서, STC 이미지가 분석된다. 목표는 POV 및 각각의 POV 수차를 단계(504)의 특정 OPFE(또는 값 쌍) 위치에 할당하는 것이다. 분석에는 캡처된 POV를 결정하기 위해 STC 이미지에 나타나는 CC의 위치 식별자를 사용하는 것과 POV 수차를 결정하기 위해 GT 이미지와 함께 CC의 각도 식별자를 사용하는 것이 포함된다.
CE1의 경우, 분석에는 캡처된 POV를 결정하기 위해 STC 이미지에 나타나는 CC의 위치 식별자를 사용하는 것과 POV 수차를 결정하기 위해 실측(ground truth) 이미지와 함께 CC의 각도 식별자를 사용하는 것이 포함된다.
CE1의 제1 서브-단계에서, 특정 POVi가 값 쌍 (p1, p2)i에 할당된다.
CE1의 제2 서브-단계에서, STC 이미지는 각각의 POV에서 CC의 실측 이미지와 비교된다. 이 비교에서, 어떤 이미지 변환 파라미터가 STC 이미지를 CC의 실측 이미지로 변환하는지 결정한다. 일부 실시예에서, 3개의 이미지 변환 파라미터가 사용될 수 있다. DC 및 CE2의 경우, POV 및 각각의 POV 수차는 단계(506)에서 캡처된 와이드 이미지와 STC 이미지를 비교함으로써 결정된다.
CE1의 단계(508)에서, 제1 및 제2 서브-단계는 모든 값 쌍 (p1,p2)1, … ,(p1,p2)N에 대해 수행되고, 각각의 값 쌍 (p1,p2)i에 특정 POVi 및 이미지 변환 파라미터가 할당된다.
단계(510)에서, 단계(508)에서의 분석으로부터 캘리브레이션 데이터가 도출된다. 일부 실시예에서, 캘리브레이션 데이터는 양방향 데이터 다항식으로 표현된다. 다른 예에서, 캘리브레이션 데이터는 양방향 룩업 테이블(Look-Up-Table)(LUT) 다항식으로 표현된다. 모든 예에서, STC 캘리브레이션 데이터는 체커보드 및/또는 STC의 POV에 대하여 OPFE 위치를 STC 이미지의 POV 수차로 변환하는 데 사용할 수 있는 함수를 포함한다. DC 캘리브레이션 데이터는 W 카메라 및/또는 FOVW 내에서의 STC의 POV에 대하여 임의의 OPFE 위치를 STC 이미지의 POV 수차로 변환하는 데 사용할 수 있다. 그 반대로, W 카메라의 이미지에 대하여 STC 이미지의 모든 POV 수차는 FOVW 내의 STC POV 및/또는 OPFE 위치(따라서 "양방향")로 변환될 수 있다. 또 다른 예에서, STC 캘리브레이션 데이터는 CC 및/또는 STC의 POV에 대하여 STC 이미지의 POV 수차에 대한 관련 값과 함께 다수의 OPFE 위치를 포함하는 LUT로 표시된다. DC 캘리브레이션 데이터는 FOVW 내의 와이드 카메라 이미지 및/또는 텔레 POV에 대하여 STC 이미지의 회전 각도에 대한 관련 값과 함께 다수의 OPFE 위치를 포함하는 LUT로 표시된다. CE1의 경우, 모든 값 쌍(p1, p2)1, …, (p1,p2)N과 할당된 특정 POV들, POV1, …, POVN 사이의 관계 및 그 할당된 이미지 변환 파라미터를 근사화(approximate)하는 함수를 결정한다. 이 함수는 일반화되어, 모든 가능한 OPFE 위치 값 쌍, 해당 POV 및 이미지 수정을 위한 이미지 변환 파라미터 간의 양방향 변환에 사용된다. 값 쌍 선택을 위한 제2 기준에 따르면, 값 쌍은 함수의 일반화가 최소 집계 오류("AE")로 이어지도록 선택될 수 있다. 최소화되어야 하는 "AE"는 가능한 모든 POV(또는 통계적으로 가능한 모든 POV를 근사화할 정도로 충분히 큰 POV의 수)에 대한 각각의 실측 이미지로부터 POV 보정을 거친 STC 이미지의 편차에 의존하는 오류 함수를 나타낸다. 일부 실시예에서, 값 쌍 선택에 대한 제1 기준 또는 제2 기준을 충족하는 것 사이에서 일부 절충안이 만들어진다.
CE2의 경우, 도출된 캘리브레이션 데이터가 LUT에 포함된다. LUT는 N개의 OPFE 위치(값 쌍), 각각의 값 쌍과 관련된 POV 및 각각의 POV 수차를 포함한다. 이것은 가능한 모든 OPFE 위치에 대해 명확한 캘리브레이션 데이터가 없다는 것을 의미한다. 따라서, LUT에 포함되지 않은 OPFE 위치에서 CE2로 STC 이미지를 수정하기 위해 POV와 POV 수차를 근사화할 수 있다. 근사화를 위한 일부 실시예에서, 모든 N개의 OPFE 위치로부터 현재 OPFE 위치에 가장 가깝게 위치한 하나의 OPFE 위치와 관련된 캘리브레이션 값을 사용할 수 있다. 가장 가까운 것은 당업계에 알려진 거리 메트릭스(metrics)에 의해 정의될 수 있다. 예를 들어, 각각의 값 쌍의 2차 거리(sqrt((p1-p1c)2+(p2-p2c)2))가 가장 작을 수 있으며, 여기서 p1, p2는 현재 OPFE 위치이고 p1c, p2c는 LUT에 포함된 값이다. 근사화를 위한 다른 예에서, 모든 N개의 OPFE 위치로부터 현재 OPFE 위치에 가장 가깝게 위치한 복수의 OPFE 위치들과 관련된 복수의 캘리브레이션 값의 가중 평균을 사용할 수 있다.
단계(512)에서, 캘리브레이션 데이터는 POV 수차를 보정하기 위해 STC 이미지에 적용된다.
도 6은 도 5에 설명된 캘리브레이션 방법에 사용될 수 있는 예시적인 CC(600)를 도시한다. CC(600)는 9행(x 축에 평행하게 배향됨) 및 8열(y 축에 평행하게 배향됨)로 분포된 72개의 위치 식별자를 포함한다. 예시적으로, 제1 행의 2개의 제1 위치 식별자는 각각 602 및 604로 표시되어 있다. 위치 식별자는 CC 기준점, 예를 들어 CC의 왼쪽 상단 모서리로부터 정의된 거리에 위치한다. 서로 다른 카메라-CC 거리에서 CC(600)로 캘리브레이션하기 위해, S-FOVT의 모든 POV에 대해 N-FOVT에 적어도 하나의 위치 식별자가 존재하도록, CC(600)의 크기를 조정할 수 있다. CC(600)는 이 예에서 체커보드의 수직선과 수평선으로 표시되는 각도 식별자를 추가로 포함한다.
본 개시가 특정 실시예 및 일반적으로 관련된 방법의 관점에서 설명되었지만, 실시예 및 방법의 변경 및 치환은 당업자에게 명백할 것이다. 본 개시내용은 본 명세서에 기재된 특정 실시예에 의해 제한되지 않고 첨부된 청구범위에 의해서만 제한되는 것으로 이해되어야 한다.
달리 명시되지 않는 한, 선택 옵션 목록의 마지막 두 구성원 사이에 "및/또는"이라는 표현을 사용하는 것은 나열된 옵션 중 하나 이상이 적절하고 선택될 수 있음을 나타낸다.
청구범위 또는 명세서가 "a" 또는 "an" 요소를 언급하는 경우, 그러한 참조는 해당 요소 중 하나만 존재하는 것으로 해석되어서는 안 된다는 것을 이해해야 한다.
본 명세서에 언급된 모든 참조는 마치 각각의 개별 참조가 구체적으로 그리고 개별적으로 참조에 의해 여기에 포함되는 것으로 표시된 것과 동일한 정도로, 그 전체가 참조에 의해 본 명세서에 포함된다. 또한, 본 출원에서 임의 참조의 인용 또는 식별은 그러한 참조가 본 발명에 대한 선행 기술로서 이용가능하다는 인정으로 해석되어서는 안 된다.

Claims (25)

  1. a) 광학 경로 폴딩 요소(OPFE) 및 이미지 센서를 포함하는 텔레 폴디드 카메라를 제공하는 단계;
    b) 광학 이미지 안정화(OIS)를 수행하기 위해 상기 OPFE를 하나 이상의 방향으로 틸팅하는 단계;
    c) OIS를 수행하는 동안, 텔레 이미지의 스트림을 캡처하는 단계, 여기서 각각의 텔레 이미지는 각각의 시점(POV) 수차를 갖고; 및
    d) 각각의 POV 수차를 디지털 방식으로 보정하는 단계;
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 각각의 POV 수차를 보정하는 단계는 상기 OPFE의 틸트 위치에 의존하는 방법.
  3. 제1항에 있어서, 상기 각각의 POV 수차를 보정하는 단계는 캘리브레이션 데이터에 의존하는 방법.
  4. 제1항에 있어서, OIS 제어 신호를 계산하기 위해, 관성 측정 유닛으로부터의 데이터 및/또는 이미지 데이터가 사용되는 방법.
  5. 제1항에 있어서, 상기 각각의 POV 수차는 텔레 이미지의 회전을 나타내는 방법.
  6. 제1항에 있어서, 상기 각각의 POV 수차는 텔레 이미지의 그네 모양으로의 늘어남을 나타내는 방법.
  7. 제1항에 있어서, 상기 각각의 POV 수차는 텔레 이미지의 스케일링을 나타내는 방법.
  8. 제1항에 있어서, 상기 OPFE는 OIS를 수행하기 위해 두 방향으로 틸팅되는 방법.
  9. 제1항에 있어서, 상기 텔레 폴디드 카메라는 상기 OPFE를 틸팅함으로써 스캔되는 스캐닝 텔레 시야(S-FOVT)를 가지며, 상기 S-FOVT는 중심 POV와 복수의 비-중심(non-center) POV를 포함하고, 상기 텔레 폴디드 카메라는 상기 OIS를 수행하기 위해 상기 S-FOVT 내의 모든 POV를 향해 지향될 수 있는 방법.
  10. 제9항에 있어서, 상기 각각의 POV 수차는 상기 OPFE를 비-중심 POV로 틸팅함으로써 야기되는 방법.
  11. 제1항에 있어서, 상기 OPFE가 프리즘인 방법.
  12. 제1항에 있어서, 상기 각각의 POV 수차를 보정하는 단계는 각각의 수차-보정된 이미지를 획득하기 위해 각각의 POV 수차를 갖는 상기 캡쳐된 텔레 이미지에 기하학적 변환을 적용하는 단계를 포함하는 방법.
  13. 제12항에 있어서, 상기 기하학적 변환은 카메라 캘리브레이션 프로세스 동안 캡처된 캘리브레이션 데이터를 사용하는 방법.
  14. 제12항에 있어서, 상기 기하학적 변환은 호모그래피 변환인 방법.
  15. 제1항에 있어서, ACC 이미지 중심, ACC 이미지 크기 및 ACC 이미지 폭/높이 비율을 갖는 각각의 수차-보정 크롭된(ACC)(aberration-corrected cropped) 이미지를 획득하기 위해 수차-보정된 이미지를 크롭핑하는 단계를 더 포함하는 방법.
  16. 제15항에 있어서, 출력 이미지 중심(OIC), 출력 이미지 크기 및 출력 이미지 폭/높이 비율을 갖는 각각의 수차-보정된 크롭 및 스케일링된 출력 이미지를 획득하기 위해 상기 ACC 이미지를 스케일링하는 단계를 더 포함하는 방법.
  17. 제16항에 있어서, 상기 이미지 센서는 이미지 센서 중심, 활성 센서 폭 및 활성 센서 높이를 갖고, 상기 OIC는 상기 이미지 센서 중심과 일치하는 방법.
  18. 제16항에 있어서, 상기 OIC는 특정 출력 이미지 폭/높이 비율에 대해 가능한 가장 큰 직사각형 크롭 이미지 크기가 달성되도록 선택되는 방법.
  19. 제16항에 있어서, 상기 OIC는 이상적인 OIC로부터 10 픽셀 크기 미만으로 떨어져 위치하는 방법.
  20. 제16항에 있어서, 상기 OIC는 이상적인 OIC로부터 떨어져 상기 활성 센서 폭의 10% 미만의 거리에 위치하는 방법.
  21. 제16항에 있어서, 상기 OIC는 이상적인 OIC로부터 떨어져 상기 활성 센서 높이의 10% 미만의 거리에 위치하는 방법.
  22. 제16항에 있어서, 상기 OIC는 상이한 POV에 걸친 객체의 객체-이미지 배율이 일정한 값으로부터 10% 미만으로 변하도록 선택되는 방법.
  23. 제16항에 있어서, 상기 OIC는 상기 출력 이미지가 장면 내의 최대 영역을 커버하도록 선택되는 방법.
  24. 제16항에 있어서, 상기 단계들(b 및 c)은 복수의 각각의 POV에서 캡처된 복수의 텔레 이미지를 획득하기 위해 반복되고, 상기 OIC는 모든 가능한 POV에 대해 캡처된 복수의 텔레 이미지가 장면 내의 최대 직사각형 영역을 커버하도록 선택되는 방법.
  25. 제1항 내지 제24항 중 어느 한 항에 있어서, 상기 방법이 스마트폰에서 사용되는 방법.


KR1020227043019A 2020-07-15 2021-07-13 스캐닝 폴디드 카메라에서의 시점 수차-보정 KR20230004887A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063051993P 2020-07-15 2020-07-15
US63/051,993 2020-07-15
PCT/IB2021/056311 WO2022013753A1 (en) 2020-07-15 2021-07-13 Point of view aberrations correction in a scanning folded camera
KR1020217037792A KR102672536B1 (ko) 2020-07-15 2021-07-13 스캐닝 폴디드 카메라에서의 시점 수차-보정

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217037792A Division KR102672536B1 (ko) 2020-07-15 2021-07-13 스캐닝 폴디드 카메라에서의 시점 수차-보정

Publications (1)

Publication Number Publication Date
KR20230004887A true KR20230004887A (ko) 2023-01-06

Family

ID=79555154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227043019A KR20230004887A (ko) 2020-07-15 2021-07-13 스캐닝 폴디드 카메라에서의 시점 수차-보정

Country Status (5)

Country Link
US (2) US11910089B2 (ko)
EP (2) EP4202521A1 (ko)
KR (1) KR20230004887A (ko)
CN (2) CN116125660A (ko)
WO (1) WO2022013753A1 (ko)

Family Cites Families (341)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
DE58902538D1 (de) 1988-05-19 1992-12-03 Siemens Ag Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens.
DE3927334C1 (ko) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
EP0605045B1 (fr) 1992-12-29 1999-03-31 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6268611B1 (en) 1997-12-18 2001-07-31 Cellavision Ab Feature-free registration of dissimilar images using a robust similarity metric
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6323858B1 (en) * 1998-05-13 2001-11-27 Imove Inc. System for digitally capturing and recording panoramic movies
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
ATE458232T1 (de) * 2000-06-27 2010-03-15 Rami Orpaz Make-up- und modeschmuckanzeigeverfahren und - system
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
US20020171604A1 (en) * 2001-05-16 2002-11-21 Travis Tadysak Virtual reality helmet
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
WO2004084542A1 (ja) 2003-03-20 2004-09-30 Seijiro Tomita パノラマ画像生成方法及びその装置並びにこれらの方法・装置を用いた監視システム
US20040240052A1 (en) 2003-06-02 2004-12-02 Pentax Corporation Multiple-focal imaging device, and a mobile device having the multiple-focal-length imaging device
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
JP2008507229A (ja) 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
ATE524760T1 (de) 2004-07-20 2011-09-15 Five Dimension Co Ltd Elektronische bildgebungseinrichtung
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
WO2006026354A2 (en) 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
US20060291042A1 (en) * 2005-05-17 2006-12-28 Alfano Robert R Optical scanning zoom microscope with high magnification and a large field of view
JP3934151B2 (ja) 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
DE602006017102D1 (de) 2005-11-14 2010-11-04 Nippon Kogaku Kk Bildwackelkorrektureinrichtung und kamera
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
WO2007091113A1 (en) 2006-02-06 2007-08-16 Nokia Corporation Method and device for position sensing in an imaging system
WO2007091112A1 (en) 2006-02-06 2007-08-16 Nokia Corporation Optical image stabilizer using gimballed prism
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
US8072482B2 (en) * 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
WO2008123675A1 (en) * 2007-04-06 2008-10-16 Korea Expressway Corporation Multi-area monitoring system from single cctv having a camera quadratic curved surface mirror structure and it, and unwrapping method for the same
EP2149067A1 (en) 2007-04-19 2010-02-03 D.V.P. Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US8794526B2 (en) 2007-06-04 2014-08-05 Hand Held Products, Inc. Indicia reading terminal processing plurality of frames of image data responsively to trigger signal activation
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
WO2009097552A1 (en) 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510L (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Zoom-kamera -järjestely, joka käsittää useita alikameroita
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
CN102216941B (zh) * 2008-08-19 2015-08-12 数字标记公司 用于内容处理的方法和***
CN102150078B (zh) 2008-09-10 2013-09-04 松下电器产业株式会社 相机机身及摄像装置
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与***
TWI441514B (zh) * 2008-11-12 2014-06-11 Avisonic Technology Corp 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
US8542287B2 (en) 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
US20120113266A1 (en) 2009-04-07 2012-05-10 Nextvision Stabilized Systems Ltd Methods of manufacturing a camera system having multiple image sensors
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
EP2495594A3 (en) 2009-06-16 2012-11-28 Intel Corporation Camera applications in a handheld device
US20100321494A1 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
CN102461157B (zh) 2009-06-22 2016-01-20 豪威科技有限公司 多视频标准中可操作的用于图像传感器的***和方法
WO2011009108A2 (en) 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
WO2011029203A1 (en) 2009-09-14 2011-03-17 Viion Systems Inc. Saccadic dual-resolution video analytics camera
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
CA3043204C (en) 2009-11-19 2021-08-31 Esight Corp. Apparatus and method for a dynamic "region of interest" in a display system
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
WO2011094292A1 (en) 2010-01-28 2011-08-04 Pathway Innovations And Technologies, Inc. Document imaging system having camera-scanner apparatus and personal computer based processing software
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
US20110242355A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
WO2011159401A1 (en) 2010-05-03 2011-12-22 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
CN103154816A (zh) 2010-07-13 2013-06-12 R·S·米尔拉伊 用于静态摄影的可变三维照相机组件
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5654867B2 (ja) * 2010-12-27 2015-01-14 パナソニックＩｐマネジメント株式会社 映像信号処理装置及び映像信号処理方法
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
US20120229663A1 (en) 2011-03-08 2012-09-13 Spectral Instruments Imaging , Llc Imaging system having primary and auxiliary camera systems
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
WO2013015699A1 (en) * 2011-07-25 2013-01-31 Universidade De Coimbra Method and apparatus for automatic camera calibration using one or more images of a checkerboard pattern
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
CN105453131B (zh) * 2012-04-27 2019-04-12 奥多比公司 图像的自动调整
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
US9583133B2 (en) 2012-06-11 2017-02-28 Sony Corporation Image generation device and image generation method for multiplexing captured images to generate an image stream
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
US9225903B2 (en) 2012-07-12 2015-12-29 Sony Corporation Image blur correction apparatus, method of correcting image blur, and imaging apparatus
KR20150043312A (ko) 2012-07-12 2015-04-22 주식회사 듀얼어퍼처인터네셔널 제스처―기반 사용자 인터페이스
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9609190B2 (en) 2012-10-31 2017-03-28 Invisage Technologies, Inc. Devices, methods, and systems for expanded-field-of-view image and video capture
TWI525802B (zh) 2012-11-08 2016-03-11 威動光私人有限公司 變焦透鏡、光學裝置、用以製造其之方法及包含其之手持式電子器件
US9386226B2 (en) 2012-11-16 2016-07-05 Panasonic Intellectual Property Corporation Of America Camera drive device
KR101960493B1 (ko) 2012-12-12 2019-07-15 삼성전자주식회사 광학조절장치
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、***以及移动终端
US9230326B1 (en) * 2012-12-31 2016-01-05 Cognex Corporation System, method and calibration plate employing embedded 2D data codes as self-positioning fiducials
WO2014107634A2 (en) 2013-01-05 2014-07-10 Tinz Optics, Inc. Methods and apparatus relating to the use of multipe optical chains
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
US10268276B2 (en) 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
CN108769497B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
JP6103503B2 (ja) 2013-07-31 2017-03-29 パナソニックＩｐマネジメント株式会社 撮像装置
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
CN105579902B (zh) 2013-09-23 2019-06-28 Lg伊诺特有限公司 一种制造相机模块的方法
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US20150103147A1 (en) 2013-10-14 2015-04-16 Etron Technology, Inc. Image calibration system and calibration method of a stereo camera
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
KR20160090373A (ko) 2013-12-06 2016-07-29 후아웨이 디바이스 컴퍼니 리미티드 듀얼 렌즈 장치를 위한 촬영 방법 및 듀얼 렌즈 장치
JP6263623B2 (ja) 2013-12-06 2018-01-17 華為終端（東莞）有限公司 画像生成方法及びデュアルレンズ装置
US9736391B2 (en) 2013-12-06 2017-08-15 Huawei Device Co., Ltd. Photographing method of dual-lens device, and dual-lens device
WO2015081562A1 (zh) 2013-12-06 2015-06-11 华为终端有限公司 一种终端及图像处理方法、图像采集方法
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
CN103841404A (zh) 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
JP6369078B2 (ja) * 2014-03-20 2018-08-08 富士通株式会社 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
TWI511086B (zh) * 2014-04-18 2015-12-01 Altek Semiconductor Corp 鏡頭失真校正方法
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
JP6376618B2 (ja) 2014-05-15 2018-08-22 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチフレームノイズ低減方法および端末
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
US9541740B2 (en) * 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
CN105659580B (zh) 2014-09-30 2018-09-07 华为技术有限公司 一种自动对焦方法、装置及电子设备
US9476744B2 (en) 2014-10-08 2016-10-25 Dieterich Standard, Inc. Integrated orifice plate assembly
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
US11019330B2 (en) 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
US10275898B1 (en) * 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
KR102365928B1 (ko) 2015-04-16 2022-02-23 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
KR101992040B1 (ko) 2015-06-24 2019-06-21 코어포토닉스 리미티드 접이식 렌즈 카메라용 저-프로파일 3-축 액추에이터
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
EP3598737B1 (en) * 2015-08-13 2020-12-09 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
KR101993077B1 (ko) 2015-09-06 2019-06-25 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
KR20230100749A (ko) * 2015-12-29 2023-07-05 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
WO2017147614A1 (en) 2016-02-26 2017-08-31 Essential Products, Inc. Image capture with a camera integrated display
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20170294002A1 (en) * 2016-04-07 2017-10-12 Qualcomm Incorporated Systems and methods for adjusting an image
JP6744430B2 (ja) * 2016-05-19 2020-08-19 シムビ ロボティクス, インコーポレイテッドSimbe Robotics, Inc. 製品を店舗内の棚構造に割り当てる棚割表を自動的に生成する方法
US10488631B2 (en) 2016-05-30 2019-11-26 Corephotonics Ltd. Rotational ball-guided voice coil motor
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
KR20180019976A (ko) * 2016-08-17 2018-02-27 에스프린팅솔루션 주식회사 화상 형성 장치, 그의 스캔 이미지 보정 방법 및 비일시적 컴퓨터 판독가능 기록매체
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
JP7057364B2 (ja) 2017-01-12 2022-04-19 コアフォトニクス リミテッド コンパクト屈曲式カメラ
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
KR20230066140A (ko) * 2017-03-15 2023-05-12 코어포토닉스 리미티드 파노라마 스캐닝 범위를 갖는 카메라
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
EP3639089B1 (en) * 2017-07-21 2023-09-06 Zhejiang Dahua Technology Co., Ltd. Systems and methods for blocking a target in video monitoring
CN107290838B (zh) * 2017-07-21 2021-02-26 浙江大华技术股份有限公司 一种镜头遮挡装置以及摄像装置
US20190100156A1 (en) * 2017-09-29 2019-04-04 GM Global Technology Operations LLC System and method for controlling a display
KR20200005332A (ko) 2018-07-06 2020-01-15 삼성전자주식회사 캘리브레이션 장치 및 그것의 동작 방법
US10832418B1 (en) * 2019-05-09 2020-11-10 Zoox, Inc. Object velocity from images
CN110738608B (zh) * 2019-05-27 2022-02-25 首都师范大学 一种平面图像校正方法及***

Also Published As

Publication number Publication date
EP4045960A4 (en) 2022-12-14
US20230131620A1 (en) 2023-04-27
EP4202521A1 (en) 2023-06-28
EP4045960A1 (en) 2022-08-24
US20230108086A1 (en) 2023-04-06
WO2022013753A1 (en) 2022-01-20
KR20220012852A (ko) 2022-02-04
CN114730064A (zh) 2022-07-08
US11910089B2 (en) 2024-02-20
CN116125660A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
US9262807B2 (en) Method and system for correcting a distorted input image
US8803918B2 (en) Methods and apparatus for calibrating focused plenoptic camera data
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US8441541B2 (en) Control apparatus and control method therefor
US20150262344A1 (en) Method And System For Correcting A Distorted Input Image
JP4935440B2 (ja) 画像処理装置およびカメラ装置
TWI602154B (zh) 環景影像的拼接方法及其系統
US20210405518A1 (en) Camera system with a plurality of image sensors
JP2006287589A (ja) 画像処理方法、画像処理装置
CN110969575B (zh) 自适应图像拼接的方法及图像处理装置
KR102672536B1 (ko) 스캐닝 폴디드 카메라에서의 시점 수차-보정
US11910089B2 (en) Point of view aberrations correction in a scanning folded camera
US11948316B2 (en) Camera module, imaging device, and image processing method using fixed geometric characteristics
US10255657B2 (en) Image perspective conversion method by converting coordinates of polygonal sub-regions and system thereof
JP6274744B2 (ja) 画像処理装置および画像処理方法
US11106042B2 (en) Image processing apparatus, head-mounted display, and image displaying method
KR102480209B1 (ko) 다중 카메라의 영상 합성 방법 및 다중 카메라의 영상 합성 장치
US11119396B1 (en) Camera system with a plurality of image sensors
CN109618090B (zh) 对通过使用广角透镜捕获的图像的图像失真校正的方法和***
Marks et al. Feedback stitching for gigapixel video
JP2003037769A (ja) 信号処理装置、撮像装置、及び信号処理方法
KR20210114846A (ko) 고정된 기하학적 특성을 이용한 카메라 모듈, 촬상 장치 및 이미지 처리 방법
Bailey et al. Vision sensor with an active digital fovea
JP2013008280A (ja) 投写型映像表示装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination