JP7170810B2 - 撮像装置、画像生成方法およびコンピュータプログラム - Google Patents
撮像装置、画像生成方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP7170810B2 JP7170810B2 JP2021156351A JP2021156351A JP7170810B2 JP 7170810 B2 JP7170810 B2 JP 7170810B2 JP 2021156351 A JP2021156351 A JP 2021156351A JP 2021156351 A JP2021156351 A JP 2021156351A JP 7170810 B2 JP7170810 B2 JP 7170810B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- imaging unit
- unit
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 452
- 238000000034 method Methods 0.000 title claims description 53
- 238000004590 computer program Methods 0.000 title claims description 10
- 238000012545 processing Methods 0.000 claims description 92
- 230000006870 function Effects 0.000 claims description 29
- 230000003287 optical effect Effects 0.000 claims description 22
- 239000002131 composite material Substances 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 15
- 230000002093 peripheral effect Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims description 3
- 230000010287 polarization Effects 0.000 description 47
- 235000019557 luminance Nutrition 0.000 description 38
- 238000001514 detection method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 27
- 239000010410 layer Substances 0.000 description 27
- 239000013598 vector Substances 0.000 description 26
- 230000008569 process Effects 0.000 description 20
- 230000010365 information processing Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 230000035945 sensitivity Effects 0.000 description 11
- 238000009826 distribution Methods 0.000 description 9
- 230000036544 posture Effects 0.000 description 9
- 230000007547 defect Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
- G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
- G02B5/3058—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state comprising electrically conductive elements, e.g. wire grids, conductive particles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
- G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Optics & Photonics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Cameras In General (AREA)
- Focusing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Blocking Light For Cameras (AREA)
- Exposure Control For Cameras (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Color Television Image Signal Generators (AREA)
- Closed-Circuit Television Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
図1は、本実施の形態における撮像装置の構成を概念的に示す図である。撮像装置12は、結像光学系14、絞り18、撮像素子20、および画像処理部22を含む。結像光学系14は被写体の像を撮像素子20の撮像面に結像させる合焦レンズを含む一般的な構成を有する。なお図では1枚のレンズで代表させて示している。絞り18は開口部を有し、その口径を変化させることにより、入射する光の量を調整する一般的な構成を有する。
本発明の実施の形態は、上記の関連技術と適宜組み合わせ可能である。以下、本発明の実施の形態として第1実施例~第5実施例を説明する。
第1実施例の撮像装置の概要を説明する。図21(a)(b)および図22(a)(b)は、従来におけるカメラの配置態様と、第1実施例におけるカメラの配置態様を対比して示す。また、図21(a)(b)および図22(a)(b)は、カメラを正面(言い換えれば被写体側)から見た外観を示しており、すなわち、カメラのレンズの並びを模式的に示している。
生成部526は、大型撮像部510により撮像された画像と、複数の小型撮像部512により撮像された画像とを合成し、合成した結果の広角画像を出力部528へ出力してもよい。図24は、画像合成の例を示す。中央画像530は、大型撮像部510により撮像された比較的高画質の画像である。左画像532aは、大型撮像部510の左側に設置された小型撮像部512により撮像された比較的低画質の画像である。右画像532bは、大型撮像部510の右側に設置された小型撮像部512により撮像された比較的低画質の画像である。図24では、低画質の領域に斜線を付している。
第2実施例以降、第1実施例に対応する構成要素に、第1実施例と同じ符号を付して説明する。また、第2実施例以降、第1実施例と異なる点を主に説明し、重複する説明は適宜省略する。
図27は、第3実施例の撮像装置500の構成を模式的に示す。同図は、撮像装置500を正面から見た構成を模式的に示している。撮像装置500は、複数の大型撮像部(大型撮像部510a、大型撮像部510b)と、複数の小型撮像部(小型撮像部512a~小型撮像部512f)を備える。大型撮像部510aと大型撮像部510bは、同一方向を撮像し、言い換えれば、同一方向に存在する被写体を撮像する。
第4実施例の撮像装置500は、機械学習(ディープラーニング等)の結果を利用することにより出力データの品質を高める。
大型撮像部510と複数の小型撮像部512は、レンズが撮像部単位で個別に設けられる一方、各撮像部の撮像素子(イメージセンサ)が同一基板上に形成されてもよい。上記基板では、或る撮像部のレンズを透過した光を検知すべき撮像素子が、他の撮像部のレンズを透過した光を検知しないよう内部に遮蔽部材(仕切り)が設けられてもよい。
Claims (20)
- 被写体を撮像する第1撮像部と、
前記第1撮像部の周辺位置に設置され、前記被写体を撮像する第2撮像部であって、前記第1撮像部より光学サイズが小さい第2撮像部と、
前記第1撮像部により撮像された第1画像と、前記第2撮像部により撮像された第2画像とを合成した合成画像を出力用のデータとして生成する画像処理部と、
を備え、
前記画像処理部は、前記合成画像における前記第1画像と前記第2画像とを合成する位置に応じて合成比率を変化させ、前記合成画像における所定領域に近づくほど、前記第1撮像部により撮像された第1画像の画素値の反映割合を高くし、
前記第1撮像部は、互いに異なる方向の被写体を撮像する複数の第1撮像部を含み、
前記第2撮像部は、前記複数の第1撮像部の間に設けられることを特徴とする撮像装置。 - 被写体を撮像する第1撮像部と、
前記第1撮像部の周辺位置に設置され、前記被写体を撮像する第2撮像部であって、前記第1撮像部より光学サイズが小さい第2撮像部と、
前記第1撮像部により撮像された第1画像と、前記第2撮像部により撮像された第2画像とを合成した合成画像を出力用のデータとして生成する画像処理部と、
を備え、
前記画像処理部は、前記合成画像における前記第1画像と前記第2画像とを合成する位置に応じて合成比率を変化させ、前記合成画像における所定領域に近づくほど、前記第1撮像部により撮像された第1画像の画素値の反映割合を高くし、
前記第1撮像部は、同一の方向を撮像する複数の第1撮像部を含み、
前記複数の第1撮像部の周辺位置に、前記第2撮像部を設置したことを特徴とする撮像装置。 - 前記画像処理部は、前記第1撮像部により撮像された第1画像と、前記第2撮像部により撮像された第2画像のうち少なくとも2つに基づいて、視差に関するデータと、前記被写体までの距離に関するデータの少なくとも一方を生成することを特徴とする請求項1または2に記載の撮像装置。
- 前記複数の第1撮像部のレンズ先端は、前記第2撮像部のレンズ先端より被写体の近くに設置されることを特徴とする請求項1に記載の撮像装置。
- 前記第1撮像部と前記第2撮像部は、レンズが個別に設けられる一方、撮像素子が同一基板上に形成されることを特徴とする請求項1から4のいずれかに記載の撮像装置。
- 前記撮像素子は、前記画像処理部を含むことを特徴とする請求項5に記載の撮像装置。
- 前記第1撮像部もしくは前記第2撮像部の少なくとも1つに、レンズを透過した光のうち所定方位の偏光成分を透過させる偏光子を設けることを特徴とする請求項1から6のいずれかに記載の撮像装置。
- 前記第1撮像部もしくは前記第2撮像部の少なくとも1つに、レンズを透過した光を電荷に変換する単位である光電変換部を含む画素の配列において、1つの前記レンズに対応する画素領域を分割してなる複数の部分領域のそれぞれに、前記光電変換部を設けることを特徴とする請求項1から7のいずれかに記載の撮像装置。
- 前記第1撮像部もしくは前記第2撮像部の少なくとも1つに、4つ以上の波長帯を検出可能な画素を設けることを特徴とする請求項1から8のいずれかに記載の撮像装置。
- 前記画像処理部は、前記第1撮像部により撮像された第1画像と、前記第2撮像部により撮像された第2画像とに基づいて、前記被写体までの距離に関するデータを生成し、その距離に関するデータを、機械学習により予め得られたデータに基づいて補正することを特徴とする請求項1から9のいずれかに記載の撮像装置。
- 前記画像処理部は、前記第1撮像部により撮像された第1画像と、機械学習により予め得られたデータとに基づいて、前記第2撮像部により撮像された第2画像を補正することを特徴とする請求項1から10のいずれかに記載の撮像装置。
- 前記第1撮像部により撮像された第1画像の特性と、前記第2撮像部により撮像された第2画像の特性に関するデータを記憶する記憶部をさらに備え、
前記画像処理部は、前記第1撮像部により撮像された第1画像の特性と、前記第2撮像部により撮像された第2画像の特性とを一致させるよう調整することを特徴とする請求項1から11のいずれかに記載の撮像装置。 - 前記画像処理部は、前記第2撮像部により撮像された第2画像の特性を、前記第1撮像部により撮像された第1画像の特性に一致させるように、前記第2撮像部により撮像された第2画像を補正することを特徴とする請求項12に記載の撮像装置。
- 前記画像処理部は、前記第2撮像部により撮像された第2画像に対して、その信号雑音比に応じて画素加算を実行することを特徴とする請求項1から13のいずれかに記載の撮像装置。
- 複数の第2撮像部を備え、
少なくとも2つの第2撮像部は、ユーザの瞳孔間距離より離した位置に設けられることを特徴とする請求項2に記載の撮像装置。 - 前記画像処理部は、1つの第1撮像部により撮像された第1画像の中の、別の第1撮像部により撮像された第1画像には映らない領域における被写体までの距離を、当該第1撮像部の周辺に設置された第2撮像部により撮像された第2画像に基づいて導出することを特徴とする請求項2に記載の撮像装置。
- 被写体を撮像する第1撮像部と、
前記第1撮像部の周辺位置に設置され、前記被写体を撮像する第2撮像部であって、前記第1撮像部より光学サイズが小さい第2撮像部と、を備える撮像装置が実行する画像生成方法であって、
前記第1撮像部は、互いに異なる方向の被写体を撮像する複数の第1撮像部を含み、
前記第2撮像部は、前記複数の第1撮像部の間に設けられ、
前記撮像装置が、前記第1撮像部により撮像された第1画像と、前記第2撮像部により撮像された第2画像とを合成した合成画像を出力用のデータとして生成する画像処理ステップを実行し、
前記画像処理ステップは、前記合成画像における前記第1画像と前記第2画像とを合成する位置に応じて合成比率を変化させ、前記合成画像における所定領域に近づくほど、前記第1撮像部により撮像された第1画像の画素値の反映割合を高くすることを特徴とする画像生成方法。 - 被写体を撮像する第1撮像部と、
前記第1撮像部の周辺位置に設置され、前記被写体を撮像する第2撮像部であって、前記第1撮像部より光学サイズが小さい第2撮像部と、を備える撮像装置が実行する画像生成方法であって、
前記第1撮像部は、同一の方向を撮像する複数の第1撮像部を含み、
前記第2撮像部は、前記複数の第1撮像部の周辺位置に設置され、
前記撮像装置が、前記第1撮像部により撮像された第1画像と、前記第2撮像部により撮像された第2画像とを合成した合成画像を出力用のデータとして生成する画像処理ステップを実行し、
前記画像処理ステップは、前記合成画像における前記第1画像と前記第2画像とを合成する位置に応じて合成比率を変化させ、前記合成画像における所定領域に近づくほど、前記第1撮像部により撮像された第1画像の画素値の反映割合を高くすることを特徴とする画像生成方法。 - 被写体を撮像する第1撮像部と、
前記第1撮像部の周辺位置に設置され、前記被写体を撮像する第2撮像部であって、前記第1撮像部より光学サイズが小さい第2撮像部と、を備える撮像装置により実行されるコンピュータプログラムであって、
前記第1撮像部は、互いに異なる方向の被写体を撮像する複数の第1撮像部を含み、
前記第2撮像部は、前記複数の第1撮像部の間に設けられ、
前記撮像装置に、
前記第1撮像部により撮像された第1画像と、前記第2撮像部により撮像された第2画像とを合成した合成画像を出力用のデータとして生成する画像処理機能を実現させ、
前記画像処理機能は、前記合成画像における前記第1画像と前記第2画像とを合成する位置に応じて合成比率を変化させ、前記合成画像における所定領域に近づくほど、前記第1撮像部により撮像された第1画像の画素値の反映割合を高くすることを特徴とするコンピュータプログラム。 - 被写体を撮像する第1撮像部と、
前記第1撮像部の周辺位置に設置され、前記被写体を撮像する第2撮像部であって、前記第1撮像部より光学サイズが小さい第2撮像部と、を備える撮像装置により実行されるコンピュータプログラムであって、
前記第1撮像部は、同一の方向を撮像する複数の第1撮像部を含み、
前記第2撮像部は、前記複数の第1撮像部の周辺位置に設置され、
前記撮像装置に、
前記第1撮像部により撮像された第1画像と、前記第2撮像部により撮像された第2画像とを合成した合成画像を出力用のデータとして生成する画像処理機能を実現させ、
前記画像処理機能は、前記合成画像における前記第1画像と前記第2画像とを合成する位置に応じて合成比率を変化させ、前記合成画像における所定領域に近づくほど、前記第1撮像部により撮像された第1画像の画素値の反映割合を高くすることを特徴とするコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021156351A JP7170810B2 (ja) | 2017-09-15 | 2021-09-27 | 撮像装置、画像生成方法およびコンピュータプログラム |
JP2022175454A JP7393498B2 (ja) | 2017-09-15 | 2022-11-01 | 撮像装置、画像生成方法およびコンピュータプログラム |
JP2023198976A JP2024019210A (ja) | 2017-09-15 | 2023-11-24 | 撮像装置、画像生成方法およびコンピュータプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017178302A JP6951917B2 (ja) | 2017-09-15 | 2017-09-15 | 撮像装置 |
JP2021156351A JP7170810B2 (ja) | 2017-09-15 | 2021-09-27 | 撮像装置、画像生成方法およびコンピュータプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017178302A Division JP6951917B2 (ja) | 2017-09-15 | 2017-09-15 | 撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022175454A Division JP7393498B2 (ja) | 2017-09-15 | 2022-11-01 | 撮像装置、画像生成方法およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022003817A JP2022003817A (ja) | 2022-01-11 |
JP7170810B2 true JP7170810B2 (ja) | 2022-11-14 |
Family
ID=65723294
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017178302A Active JP6951917B2 (ja) | 2017-09-15 | 2017-09-15 | 撮像装置 |
JP2021156351A Active JP7170810B2 (ja) | 2017-09-15 | 2021-09-27 | 撮像装置、画像生成方法およびコンピュータプログラム |
JP2022175454A Active JP7393498B2 (ja) | 2017-09-15 | 2022-11-01 | 撮像装置、画像生成方法およびコンピュータプログラム |
JP2023198976A Pending JP2024019210A (ja) | 2017-09-15 | 2023-11-24 | 撮像装置、画像生成方法およびコンピュータプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017178302A Active JP6951917B2 (ja) | 2017-09-15 | 2017-09-15 | 撮像装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022175454A Active JP7393498B2 (ja) | 2017-09-15 | 2022-11-01 | 撮像装置、画像生成方法およびコンピュータプログラム |
JP2023198976A Pending JP2024019210A (ja) | 2017-09-15 | 2023-11-24 | 撮像装置、画像生成方法およびコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
US (3) | US11064182B2 (ja) |
JP (4) | JP6951917B2 (ja) |
WO (1) | WO2019054304A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7028814B2 (ja) * | 2019-02-07 | 2022-03-02 | ファナック株式会社 | 外形認識装置、外形認識システム及び外形認識方法 |
KR102099232B1 (ko) * | 2019-07-03 | 2020-04-08 | 주식회사 레티널 | 소형 반사부를 이용한 카메라 모듈 및 이를 이용한 증강 현실용 광학 장치 |
US11233963B2 (en) * | 2019-12-27 | 2022-01-25 | Omnivision Technologies, Inc. | Devices and methods for obtaining three-dimensional shape information using polarization and phase detection photodiodes |
WO2021192814A1 (ja) * | 2020-03-27 | 2021-09-30 | ソニーグループ株式会社 | 情報処理装置と情報処理方法および情報処理システム |
WO2022079757A1 (ja) * | 2020-10-12 | 2022-04-21 | 日本電信電話株式会社 | 光学素子、撮像素子及び撮像装置 |
JP2023115632A (ja) * | 2022-02-08 | 2023-08-21 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、プログラム |
KR102478304B1 (ko) * | 2022-02-23 | 2022-12-19 | 주식회사 코비스테크놀로지 | 중공사막 카트리지 검사 장치 및 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003298920A (ja) | 2002-03-29 | 2003-10-17 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP2004241825A (ja) | 2003-02-03 | 2004-08-26 | Konica Minolta Holdings Inc | 携帯端末 |
JP2013106265A (ja) | 2011-11-15 | 2013-05-30 | Nikon Corp | 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム |
JP2016127365A (ja) | 2014-12-26 | 2016-07-11 | 株式会社リコー | 画像処理装置、画像処理方法、撮像システム、画像処理システム、およびプログラム |
JP2017003709A (ja) | 2015-06-08 | 2017-01-05 | キヤノン株式会社 | 撮像装置、発光制御方法、プログラム |
JP2017028611A (ja) | 2015-07-27 | 2017-02-02 | キヤノン株式会社 | 撮像装置 |
JP2017103752A5 (ja) | 2016-09-08 | 2019-10-17 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6205259B1 (en) | 1992-04-09 | 2001-03-20 | Olympus Optical Co., Ltd. | Image processing apparatus |
JP3791696B2 (ja) * | 1992-04-09 | 2006-06-28 | オリンパス株式会社 | 画像表示装置 |
JP2763000B2 (ja) * | 1997-07-08 | 1998-06-11 | ソニー株式会社 | 再生装置 |
JP2000112019A (ja) * | 1998-10-08 | 2000-04-21 | Olympus Optical Co Ltd | 電子3眼カメラ装置 |
US20050088515A1 (en) * | 2003-10-23 | 2005-04-28 | Geng Z. J. | Camera ring for three-dimensional (3D) surface imaging |
US7180602B2 (en) * | 2003-12-11 | 2007-02-20 | Nuonics, Inc. | Agile spectral interferometric microscopy |
US7639208B1 (en) * | 2004-05-21 | 2009-12-29 | University Of Central Florida Research Foundation, Inc. | Compact optical see-through head-mounted display with occlusion support |
JP2006333132A (ja) * | 2005-05-26 | 2006-12-07 | Sony Corp | 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム |
US7566855B2 (en) * | 2005-08-25 | 2009-07-28 | Richard Ian Olsen | Digital camera with integrated infrared (IR) response |
JP2007295113A (ja) * | 2006-04-21 | 2007-11-08 | Matsushita Electric Ind Co Ltd | 撮像装置 |
US8254712B2 (en) * | 2007-03-30 | 2012-08-28 | Fujifilm Corporation | Image processing apparatus, image processing method, image managing apparatus, image managing method, computer program product, and image order sheet |
JP2009048033A (ja) * | 2007-08-22 | 2009-03-05 | Panasonic Corp | 立体画像撮像装置 |
JP4984257B2 (ja) * | 2008-02-28 | 2012-07-25 | 大日本印刷株式会社 | 会場設営シミュレーション装置、プログラム、媒体、簡易な画像変形合成方法 |
WO2011114572A1 (ja) * | 2010-03-19 | 2011-09-22 | 富士フイルム株式会社 | 撮像装置、方法およびプログラム並びにこれに用いる記録媒体 |
JP5204349B2 (ja) * | 2010-08-31 | 2013-06-05 | パナソニック株式会社 | 撮影装置、再生装置、および画像処理方法 |
JP5695395B2 (ja) * | 2010-11-19 | 2015-04-01 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 立体画像生成方法及びその装置 |
JP5398750B2 (ja) | 2011-01-26 | 2014-01-29 | 株式会社東芝 | カメラモジュール |
EP2597483B8 (de) * | 2011-11-25 | 2017-06-07 | Safran Vectronix AG | Entfernungsmesser |
WO2013099169A1 (ja) | 2011-12-27 | 2013-07-04 | パナソニック株式会社 | ステレオ撮影装置 |
JP5943613B2 (ja) * | 2012-01-16 | 2016-07-05 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
JP5998862B2 (ja) * | 2012-11-09 | 2016-09-28 | 株式会社ソシオネクスト | 動画像処理装置 |
JP2014236183A (ja) * | 2013-06-05 | 2014-12-15 | 株式会社東芝 | イメージセンサ装置及びその製造方法 |
JP6158340B2 (ja) * | 2013-09-30 | 2017-07-05 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム |
US10402665B2 (en) * | 2014-05-14 | 2019-09-03 | Mobileye Vision Technologies, Ltd. | Systems and methods for detecting traffic signs |
KR102250192B1 (ko) * | 2014-05-19 | 2021-05-10 | 삼성전자주식회사 | 이종 화소 구조를 갖는 이미지 센서 |
US10313656B2 (en) * | 2014-09-22 | 2019-06-04 | Samsung Electronics Company Ltd. | Image stitching for three-dimensional video |
KR101580585B1 (ko) * | 2014-12-02 | 2015-12-28 | 서울시립대학교 산학협력단 | 전정색영상과 적외선영상의 융합 방법 및 장치 |
US20160165211A1 (en) * | 2014-12-08 | 2016-06-09 | Board Of Trustees Of The University Of Alabama | Automotive imaging system |
US9973678B2 (en) * | 2015-01-14 | 2018-05-15 | Invisage Technologies, Inc. | Phase-detect autofocus |
JP6488203B2 (ja) | 2015-07-01 | 2019-03-20 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法 |
US10217189B2 (en) * | 2015-09-16 | 2019-02-26 | Google Llc | General spherical capture methods |
US20170094251A1 (en) * | 2015-09-30 | 2017-03-30 | Faro Technologies, Inc. | Three-dimensional imager that includes a dichroic camera |
JP6808409B2 (ja) * | 2015-11-25 | 2021-01-06 | キヤノン株式会社 | イメージセンサおよび撮像装置 |
US9674504B1 (en) * | 2015-12-22 | 2017-06-06 | Aquifi, Inc. | Depth perceptive trinocular camera system |
WO2017107192A1 (en) * | 2015-12-25 | 2017-06-29 | Boe Technology Group Co., Ltd. | Depth map generation apparatus, method and non-transitory computer-readable medium therefor |
CN109328319B (zh) * | 2016-06-13 | 2021-03-26 | 卡普索影像公司 | 胶囊相机的透镜对准方法和设备 |
US10242442B2 (en) * | 2016-10-27 | 2019-03-26 | International Business Machines Corporation | Detection of outlier lesions based on extracted features from skin images |
US10810721B2 (en) * | 2017-03-14 | 2020-10-20 | Adobe Inc. | Digital image defect identification and correction |
-
2017
- 2017-09-15 JP JP2017178302A patent/JP6951917B2/ja active Active
-
2018
- 2018-09-07 US US16/644,260 patent/US11064182B2/en active Active
- 2018-09-07 WO PCT/JP2018/033266 patent/WO2019054304A1/ja active Application Filing
-
2021
- 2021-06-08 US US17/341,807 patent/US11438568B2/en active Active
- 2021-09-27 JP JP2021156351A patent/JP7170810B2/ja active Active
-
2022
- 2022-07-28 US US17/875,981 patent/US20220385879A1/en active Pending
- 2022-11-01 JP JP2022175454A patent/JP7393498B2/ja active Active
-
2023
- 2023-11-24 JP JP2023198976A patent/JP2024019210A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003298920A (ja) | 2002-03-29 | 2003-10-17 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP2004241825A (ja) | 2003-02-03 | 2004-08-26 | Konica Minolta Holdings Inc | 携帯端末 |
JP2013106265A (ja) | 2011-11-15 | 2013-05-30 | Nikon Corp | 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム |
JP2016127365A (ja) | 2014-12-26 | 2016-07-11 | 株式会社リコー | 画像処理装置、画像処理方法、撮像システム、画像処理システム、およびプログラム |
JP2017003709A (ja) | 2015-06-08 | 2017-01-05 | キヤノン株式会社 | 撮像装置、発光制御方法、プログラム |
JP2017028611A (ja) | 2015-07-27 | 2017-02-02 | キヤノン株式会社 | 撮像装置 |
JP2017103752A5 (ja) | 2016-09-08 | 2019-10-17 |
Also Published As
Publication number | Publication date |
---|---|
JP2023014082A (ja) | 2023-01-26 |
JP2024019210A (ja) | 2024-02-08 |
JP7393498B2 (ja) | 2023-12-06 |
JP2019054463A (ja) | 2019-04-04 |
US20200204786A1 (en) | 2020-06-25 |
JP2022003817A (ja) | 2022-01-11 |
US11064182B2 (en) | 2021-07-13 |
US20210306610A1 (en) | 2021-09-30 |
JP6951917B2 (ja) | 2021-10-20 |
US20220385879A1 (en) | 2022-12-01 |
US11438568B2 (en) | 2022-09-06 |
WO2019054304A1 (ja) | 2019-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7170810B2 (ja) | 撮像装置、画像生成方法およびコンピュータプログラム | |
US11297299B2 (en) | Camera system | |
JP6821028B2 (ja) | 撮像装置および画像データ読み出し方法 | |
US8885067B2 (en) | Multocular image pickup apparatus and multocular image pickup method | |
KR101843994B1 (ko) | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 | |
KR20230008893A (ko) | Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처 | |
WO2012029251A1 (en) | Stereoscopic imaging method and system that divides a pixel matrix into subgroups | |
JP2015521411A (ja) | πフィルタ群を用いてパターン化されたカメラモジュール | |
JP5304714B2 (ja) | 擬似立体画像生成装置及びカメラ | |
WO2013027504A1 (ja) | 撮像装置 | |
US10349040B2 (en) | Storing data retrieved from different sensors for generating a 3-D image | |
TWI599809B (zh) | 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法 | |
WO2020170454A1 (ja) | 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法 | |
WO2020170455A1 (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
WO2013005489A1 (ja) | 撮像装置、画像処理装置 | |
JP2014026051A (ja) | 撮像装置、画像処理装置 | |
WO2020170456A1 (ja) | 表示装置および画像表示方法 | |
US10122990B2 (en) | Imaging system and method of producing context and focus images | |
JP6891470B2 (ja) | 撮像装置 | |
WO2013005602A1 (ja) | 撮像装置、画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7170810 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |