CN116965045A - 成像装置、成像方法以及成像装置的制造方法 - Google Patents
成像装置、成像方法以及成像装置的制造方法 Download PDFInfo
- Publication number
- CN116965045A CN116965045A CN202280004928.XA CN202280004928A CN116965045A CN 116965045 A CN116965045 A CN 116965045A CN 202280004928 A CN202280004928 A CN 202280004928A CN 116965045 A CN116965045 A CN 116965045A
- Authority
- CN
- China
- Prior art keywords
- signal
- optical
- electric
- models
- electrical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 89
- 238000004519 manufacturing process Methods 0.000 title claims description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 128
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000010801 machine learning Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 230000005415 magnetization Effects 0.000 description 32
- 238000009826 distribution Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 229910044991 metal oxide Inorganic materials 0.000 description 4
- 150000004706 metal oxides Chemical class 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 239000000696 magnetic material Substances 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000005374 Kerr effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910000889 permalloy Inorganic materials 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
为了从表示相同的图像的电信号生成表示不同的图像的电信号，成像装置(1)具备：光运算部(11)，其从第一光信号(光信号L1)生成第二光信号(光信号L2)；图像传感器(12)，其将第二光信号(光信号L2)转换为第一电信号(电信号E1)；以及电运算部(13)，其通过对第一电信号(电信号E1)进行电运算，生成第二电信号(电信号E2)。电运算部(13)使用所述多个模型中的各模型从包含相同的图像信息的第一电信号(电信号E1)生成的第二电信号(电信号E2)包含不同的图像信息。
Description
技术领域
本发明涉及使用光运算来生成表示图像的电信号的成像装置、成像方法以及成像装置的制造方法。
背景技术
包含由多个透镜构成的光学***(例如参照专利文献1)和以CCD(Charge CoupledDevice；电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor；互补金属氧化物半导体)等为代表的图像传感器的成像装置正在广泛普及。数字照相机和数字摄像机是这种成像装置的一例。
市售的这些成像装置大多是将图像传感器和存储部一体化而成的被称为摄录机(camcorder)的类型。但是也有如在医疗现场使用的内窥镜那样在成像装置中使图像传感器和存储部各自分离的类型。
这样的成像装置的光学***构成为使被摄体的像成像于图像传感器的受光面。通过这样构成光学***，图像传感器能够生成表示对焦于被摄体的图像的电信号。
现有技术文献
专利文献
专利文献1：日本特开第2020-086357号公报
发明内容
(一)要解决的技术问题
但是，在利用光学***使被摄体的像成像于受光面的成像装置中，当生成表示不同的图像的电信号时，重新拍摄被摄体。因此，难以高速或高频度地生成表示不同的图像的电信号。另外，作为不同的图像的例子，可举出视场角不同的图像、分辨率不同的图像、焦点深度不同的图像(对焦的位置不同的图像)等。
本发明一方式针对上述问题而完成，其目的在于，实现一种能够从包含相同的图像信息的电信号生成包含不同的图像信息的电信号的成像装置、成像方法以及成像装置的制造方法。
(二)技术方案
为了解决上述技术问题，本发明一方式的成像装置具备：光运算部，其通过对第一光信号进行光运算，生成包含从第一光信号提取的特征量的第二光信号；图像传感器，其将所述第二光信号转换为第一电信号；以及电运算部，其通过对所述第一电信号进行电运算，生成第二电信号。在本成像装置中，采用如下结构：所述电运算部具有从所述第一电信号生成所述第二电信号的多个模型，且通过使用所述多个模型中的各模型对包含相同的图像信息的所述第一电信号进行所述电运算而生成的所述第二电信号包含不同的图像信息。
为了解决上述技术问题，本发明一方式的成像方法包含：光运算工序，通过对第一光信号进行光运算，生成包含从第一光信号提取的特征量的第二光信号；转换工序，将所述第二光信号转换为第一电信号；以及电运算工序，通过对所述第一电信号进行电运算，生成第二电信号。在本成像方法中，采用如下结构：所述电运算工序能够使用从所述第一电信号生成所述第二电信号的多个模型中的各模型来执行，通过使用所述多个模型中的各模型对所述第一电信号进行所述电运算而生成的所述第二电信号包含不同的图像信息。
为了解决上述技术问题，本发明一方式的成像装置的制造方法是上述本发明一方式的成像装置的制造方法，包含如下工序：通过机器学习将所述光运算部和所述多个模型设计为，在使用所述多个模型中的各模型对所述第一电信号进行了电运算的情况下，生成包含不同的图像信息的所述第二电信号。
(三)有益效果
根据本发明一方式，能够实现一种能够从包含相同的图像信息的电信号生成包含不同的图像信息的电信号的成像装置、成像方法以及成像装置的制造方法。
附图说明
图1是表示本发明一实施方式的成像装置的结构的示意图。
在图2中，(a)是作为被摄体一例的树木的主视图，(b)是图1所示的成像装置的光运算部生成的第二光信号的一例。
图3的(a)～(c)分别是图1所示的成像装置的电运算部生成的各第二电信号表示的图像的一例。
图4是表示图1所示的成像装置的光运算部所包含的光调制元件的具体例的俯视图。
图5是将图4所示的光调制元件的一部分放大的立体图。
图6是表示图1所示的成像装置的一个变形例所具备的光运算部的结构的示意图。
图7是图6所示的光运算部中包含的光调制元件的具体例所包含的光调制元件的微单元的剖视图。
具体实施方式
(成像装置的结构)
参照图1～图3对本发明一实施方式的成像装置1进行说明。图1是表示成像装置1的结构的示意图。图2的(a)是作为被摄体一例的树木的主视图。图2的(b)是成像装置1的光运算部11生成的光信号L2的一例。图3的(a)～(c)分别是成像装置1的电运算部13生成的各电信号E2表示的图像的一例。
如图1所示，成像装置1具备：光运算部11、图像传感器12、电运算部13、以及显示器14。
此外，虽然在图1中省略了图示，但是成像装置1可以还具备设置于光运算部11前级的光学***。该光学***具备多个透镜。该光学***使朝向光运算部11传播过来的光作为光信号L1向光运算部11入射。作为朝向光运算部11传播过来的光的例子，可举出被摄体的像、以及由被称为显示器或监视器的显示装置显示的像。被摄体的像由通过被摄体进行了反射和/或散射的光即物体光构成。另外，该光学***优选构成为不使被摄体的像成像于后述的图像传感器12的受光面上。换言之，即图像传感器12优选配置为不使被摄体的像成像于图像传感器12的受光面上。
在本实施方式中，光运算部11具备依次层叠的多个光调制元件。在本实施方式中，作为多个光调制元件而使用了4个光调制元件111～114。各光调制元件11i是透射型光调制元件的一例。在此，i是1以上n以下的任意的自然数，在本实施方式中，i＝4。对于各光调制元件11i的具体例，将参照图4和图5在后面叙述。如图1所示，光信号L1行进的特定光路是通过各光调制元件11i的直线状光路。
如上所述，可以在光运算部11的前级设置光学***，也可以不设置光学***，但是无论是否设置，都是表示被摄体的像的光信号L1(参照图2的(a))都向光运算部11的受光面入射。光信号L1是第一光信号的一例。
光运算部11通过对光信号L1进行光运算，从而生成包含从光信号L1提取的特征量的光信号L2。如图2的(b)所示，光信号L2表示的图像具有二维的强度分布即二维强度分布(即，二维光图案)。另外，图2的(b)所示的图像是光信号L2的一例。
图像传感器12将入射到其受光面的光信号L2转换为电信号E1。电信号E1是第一电信号的一例。图像传感器12具备呈矩阵状配置的多个像素。图像传感器12检测入射到各像素的光的强度，并生成与该光的强度对应的电信号。图像传感器12可以是CCD(ChargeCoupled Device，电荷耦合器件)，也可以是CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)。图像传感器12的方式没有特别限定，可以适当选择。
在本实施方式中，作为图像传感器12而采用黑白的图像传感器。但是，也可以采用彩色的图像传感器，作为图像传感器12。
电运算部13对电信号E1进行电运算，从而生成电信号E2。电运算部13具有从电信号E1生成电信号E2的多个模型。在本实施方式中，对作为多个模型而具有3个模型即第一模型～第三模型的情况进行说明。但是，电运算部13所具有的模型不限于3个，可以适当地设定。电运算部13所具有的模型的数量可以为10个，也可以是100个。
电运算部13分别使用第一模型～第三模型，对具有相同的图像信息的电信号E1进行电运算，从而如图3的(a)～(c)所示那样，生成具有互不相同的图像信息的电信号E2、即互不相同的电信号E2。但是，在本发明一方式中，电信号E1可以是包含相同的图像信息的电信号，电信号E2可以是包含互不相同的图像信息的电信号。即，“具有图像信息的电信号”的表述可以改称为：“包含图像信息的电信号”或“表示图像的电信号”。
此外，作为在成像装置1中实施的成像方法，包含：通过对光信号L1进行光运算来生成光信号L2的光运算工序、将光信号L2转换为电信号E1的转换工序、以及通过对电信号E1进行电运算来生成电信号E2的电运算工序，这样的成像方法也包含于本申请发明的范畴。在本成像方法中，所述电运算工序能够使用从电信号E1生成电信号E2的多个模型(在本实施方式中为第一模型～第三模型)中的各模型来执行，通过使用所述多个模型中的各模型对电信号E1进行所述电运算而生成的电信号E2具有不同的图像信息。
图3的(a)所示的图像是与变焦透镜的视场角较窄的情况对应的图像的一例，图3的(c)所示的图像是与变焦透镜的视场角较宽的情况对应的图像的一例，图3的(b)所示的图像是与变焦透镜的视场角为图3的(a)和图3的(c)的中间值的情况对应的图像的一例。在电运算部13中，通过使与变焦透镜的视场角对应的参数这样变化，从而如图3的(a)～(c)所示那样，根据表示相同的图像的电信号E1来生成表示视场角不同的多个图像的电信号E2。
另外，对于电信号E2表示的多个图像的每一个而言，如图3的(a)～(c)所示那样，视场角可以不同，分辨率可以不同，焦点深度可以不同。另外，对于电信号E2表示的多个图像的每一个而言，视场角、分辨率以及焦点深度的组合也可以不同。
在成像装置1中，光运算部11以及第一模型～第三模型通过机器学习设计为，当使用第一模型～第三模型分别对电信号E1进行电运算时，生成表示不同的图像的电信号E2。
另外，作为成像装置1的制造方法，包含如下工序：通过机器学习来设计光运算部11以及第一模型～第三模型，以使得当使用第一模型～第三模型分别对电信号E1进行电运算时，生成具有不同的图像信息的电信号E2，这样的成像装置1的制造方法也包含于本发明的范畴。
成像装置1构成为，能够使用在图1中省略了图示的用户接口来受理来自用户的输入。该用户接口可以是键盘，也可以是鼠标，也可以是在后述的显示器14的显示面板上设置的的触摸面板。
用户能够使用用户接口将表示选择了第一模型～第三模型中哪一个的用户选择信息向成像装置1输入。
电运算部13也能够按照用户选择信息的内容，使用第一模型～第三模型中被用户选择的模型，从电信号E1生成电信号E2。在图1中，示意性地示出了如下情况：用户选择第一模型～第三模型中的第一模型，电运算部13接受该用户选择信息，使用第一模型从电信号E1生成电信号E2，在显示器14上显示了如图3的(a)所示的图像(电信号E2表示的图像)。
这样，成像装置1通过对表示相同的图像的电信号E1进行电运算，从而不必进行新的摄像即能够生成电信号E2，该电信号E2表示视场角、分辨率以及焦点深度中的至少任一不同的图像。因此，在从预先确定的角度拍摄特定的被摄体的像，并对将该被摄体中预先确定的多个部位分别放大后的图像进行确认的情况下，能够适当地使用成像装置1。作为实现这样的使用方式的成像装置的例子，可举出在医疗现场使用的内窥镜。
在取得了电运算部13所生成的电信号E2之后，显示器14显示电信号E2所表示的图像。显示器14可以是液晶显示器，也可以是有机LED显示器，也可以是等离子体显示器。另外，也可以在显示器14的显示面板上设置作为上述用户界面一例的触摸面板。
(透射型的光调制元件的具体例)
参照图4和图5对构成光运算部11的光调制元件11i的具体例进行说明。图4是本具体例的光调制元件11i的俯视图。图5是将本具体例的光调制元件11i的一部分(在图4中用虚线包围的部分)放大的立体图。光调制元件11i是透射型光调制元件的一例。
如图2所示，光调制元件11i由相互独立地设定相位调制量的多个微单元C构成。当光信号L1入射光调制元件11i时，则在各微单元C进行相位调制的光信号L1相互干涉，从而进行预先确定的光运算(按照预先确定的转换规则的二维强度分布的转换)。各微单元C的相位调制量可以是可变的，也可以固定，在本具体例中为固定。
另外，在本说明书中，“微单元”例如是指单元尺寸小于10μm的单元。另外，“单元尺寸”是指单元的面积的平方根。例如，在微单元C的俯视形状为正方形的情况下，微单元C的单元尺寸是指微单元C的一边的长度。微单元C的单元尺寸的下限例如为1nm。
图4例示的光调制元件11i由呈矩阵状配置的200×200个微单元C构成。各微单元C的俯视形状为500nm×500nm的正方形，光调制元件11i的俯视形状为100μm×100μm的正方形。
(1)通过针对每个单元独立地设定微单元C的厚度，或者，(2)通过针对每个单元独立地选择微单元C的折射率，从而能够针对每个单元独立地设定透过各微单元C的信号光的相位调制量。在本实施方式中，采用了能够通过纳米压印实现的(1)的方法。在这种情况下，如图5所示，各微单元C由四棱柱状的柱构成，该四棱柱状的柱具有各边的长度与单元尺寸相等的正方形的底面。另外，在这种情况下，透过各微单元C的信号光的相位调制量根据构成该微单元C的柱的高度来确定。即，透过由高度较高的柱构成的微单元C的信号光的相位调制量较大，透过由高度较低的柱构成的微单元C的信号光的相位调制量较小。
此外，各微单元C的相位调制量的设定能够使用机器学习来实现。作为在该机器学习中使用的模型，例如能够使用将各微单元C的相位调制量作为参数包含在内的模型，该模型将输入到光调制元件11i的信号光L1的二维强度分布作为输入，并将从光调制元件11i输出的信号光L2的二维强度分布作为输出。在此，输入到光调制元件11i的信号光L1的二维强度分布是指：向构成光调制元件11i的各微单元C输入的信号光的强度的集合。另外，从光调制元件11i输出的信号光L2的二维强度分布是指：向构成在光调制元件11i后级配置的光调制元件11i+1的各微单元C输入的信号光的强度的集合；或者，向构成在光调制元件11i后级配置的图像传感器12的各像素输入的信号光的强度的集合。
(成像装置的变形例)
参照图6对作为成像装置1的一变形例的成像装置进行说明。图6是表示本变形例的成像装置所具备的光运算部11A的结构的示意图。
本变形例的成像装置是通过将图1所示的成像装置1所具备的光运算部11置换为光运算部11A而得到的。因此，在本变形例中，针对光运算部11A进行说明，省略了对图像传感器12、电运算部13以及显示器14的说明。
在上述的光调制元件的具体例中，对于透射型的光调制元件进行了说明。但是，在本发明一方式中，光运算部11中包含的各光调制元件也可以是反射型的光调制元件。
光运算部11A具备多个光调制元件11Ai(在本具体例中为4个光调制元件11A1～11A4)。在此，i是1以上n以下的任意自然数，在本实施方式中，i＝4。
光调制元件11Ai与光调制元件11i同样地，是具有光运算功能、即按照预先确定的转换规则对光信号L1的二维强度分布进行转换的功能的元件。因此，由各光调制元件11Ai反射的光信号L1的二维强度分布被转换为光信号L2的二维强度分布。对于各光调制元件11Ai的具体例，将在后面叙述。
在光运算部11A中，第一级的光调制元件11A1的反射面配置为，相对于光信号L1而言入射角为45度。第二级的光调制元件11A2配置为，其反射面的一部分与光调制元件11A1的反射面的一部分对置，且反射面彼此平行。由光调制元件11A1进行了光运算的光信号从光调制元件11A1的反射面以45度的出射角射出。同样地，第三级光调制元件11A3配置为，其反射面的一部分与光调制元件11A2的反射面的一部分对置，且反射面彼此平行，第四级光调制元件11A4配置为，其反射面的一部分与光调制元件11A3的反射面的一部分对置，且反射面彼此平行。如图6所示，光信号L1行进的特定光路是通过各光调制元件11Ai的折线状光路。
(反射型光调制元件的具体例)
参照图7对光调制元件11Ai的具体例进行说明。图7是构成本具体例的光调制元件11Ai的微单元C的剖视图。光调制元件11Ai是反射型光调制元件的一例。
光调制元件11Ai与图4所示的光调制元件11i同样地具备多个微单元C。在本具体例中，各微型电池C相互独立地设定了相位调制量。当光信号L1入射光调制元件11Ai时，则在各微单元C进行相位调制的信号光相互干涉，从而进行预先确定的光运算(按照预先确定的转换规则的二维强度分布的转换)。各微单元C的相位调制量可以是可变的，也可以固定，在本具体例中为可变。
与图4所示的光调制元件11i同样地，光调制元件11Ai由呈矩阵状配置的200×200个微单元C构成。各微单元的俯视形状为500nm×500nm的正方形，光调制元件11Ai的俯视形状为100μm×100μm的正方形。
对于构成光调制元件11Ai的各微单元C而言，例如可以如图7所示那样，由偏光板C11、反射板C12、第一电极C13、磁化自由层C14、绝缘层C15、磁化固定层C16和第二电极C17构成。
偏光板C11和反射板C12以彼此对置的方式配置。第一电极C13、磁化自由层C14、绝缘层C15、磁化固定层C16以及第二电极C17依次层叠，并夹在偏光板11与反射板12之间。在此，第一电极C13、磁化自由层C14、绝缘层C15、磁化固定层C16以及第二电极C17的层叠方向与偏光板C11以及反射板C12的层叠方向正交。因此，磁化自由层C14的第一侧面与偏光板C11的一个主面进行面接触，与第一侧面对置的磁化自由层C14的第二侧面与反射板C12的一个主面进行面接触。对于信号光L而言，(1)经由偏光板C11入射到磁化自由层C14的内部，(2)通过反射板C12进行反射，(3)经由偏光板C11向磁化自由层C14的外部射出。
磁化自由层C14例如由具有导电性和透光性的软磁性材料(例如CoFeB)构成。另外，磁化固定层C16例如由具有导电性的硬磁性材料(例如坡莫合金)构成。另外，作为偏光板C11，可选择如下的偏光板，该偏光板选择性地使偏光方向P与磁化固定层C16的磁化方向M平行的偏光成分透过。在图6中例示了如下情况：磁化方向M以及偏光方向P与偏光板C11的主面以及磁化固定层C16的主面双方平行。
当在第一电极C13与第二电极C17之间施加电位差时，则会由于隧道效应而使自旋流(自旋极化的电子的流动)经由绝缘层C15从磁化固定层C16注入到磁化自由层C14，在磁化自由层C14发生磁化。在此，对于在磁化自由层C14发生的磁化而言，是与磁化固定层C16的磁化方向M平行的磁化，也就是与经由偏光板11向磁化自由层C14入射的信号光的偏光方向P平行的磁化。因此，对于信号光的相位而言，在磁化自由层C14中传播的过程中，由于横向克尔效应而延迟。
在此，单元C中的信号光的相位变化量根据在磁化自由层C14产生的磁化的大小来确定。另外，在磁化自由层C14产生的磁化的大小根据向磁化自由层C14注入的自旋流的大小来确定。另外，注入到磁化自由层C14的自旋流的大小根据在第一电极C13与第二电极C17之间施加的电位差来确定。因此，通过对在第一电极C13与第二电极C17之间施加的电位差进行控制，从而能够控制单元C的相位调制。
此外，各微单元C的相位调制量的设定例如能够使用机器学习来实现。作为在该机器学习中使用的模型，例如能够使用将各微单元C的相位调制量作为参数包含在内的模型，该模型将输入到光调制元件11Ai的信号光的二维强度分布作为输入，并将从光调制元件11Ai输出的信号光的二维强度分布作为输出。在此，输入到光调制元件11Ai的信号光的二维强度分布是指：向构成光调制元件11Ai的各微单元C输入的信号光的强度的集合。另外，从光调制元件11Ai输出的信号光的二维强度分布是指：向构成在光调制元件11Ai后级配置的光调制元件11Ai+1的各微单元C输入的信号光的强度的集合；或者，向构成在光调制元件11Ai后级配置的二维图像传感器的各单元输入的信号光的强度的集合。
(总结)
对于本发明的各方式，也可以进行如下总结。
本发明第1方式的成像装置具备：光运算部，其通过对第一光信号进行光运算，生成包含从第一光信号提取的特征量的第二光信号；图像传感器，其将所述第二光信号转换为第一电信号；以及电运算部，其通过对所述第一电信号进行电运算，生成第二电信号。在本成像装置中，采用如下结构：所述电运算部具有从所述第一电信号生成所述第二电信号的多个模型，且通过使用所述多个模型中的各模型对包含相同的图像信息的所述第一电信号进行所述电运算而生成的所述第二电信号包含不同的图像信息。
根据上述结构，本成像装置通过对包含相同的图像信息的所述第一电信号进行电运算，从而能够生成包含各不相同的图像信息的第二电信号。
另外，关于本发明的第2方式的成像装置，在上述第1方式的成像装置的结构基础上，采用了如下结构：所述光运算部和所述多个模型通过机器学习设计为，在使用所述多个模型中的各模型对所述第一电信号进行了电运算的情况下，生成表示不同的图像的所述第二电信号。
根据上述结构，通过使用机器学习，能够实现光运算部以及多个模型。
另外，关于本发明一方式的成像装置，在上述第1方式或第2方式的成像装置的结构基础上，采用了如下结构：所述电运算部使用所述多个模型中由用户选择的模型，从所述第一电信号生成所述第二电信号。
根据上述结构，能够生成包含反映了用户意图的图像信息的第二电信号。
另外，关于本发明的第3方式的成像装置，在上述第1方式或第2方式的成像装置的结构基础上，采用了如下结构：通过使用所述多个模型中的各模型对所述第一电信号进行所述电运算而生成的所述第二电信号表示视场角不同的图像。
在现有的成像装置的情况下，为了生成包含视场角不同的图像信息的电信号，机械地改变光学***中包含的透镜的配置以变更视场角，并重新拍摄被摄体。根据上述结构，不需要机械地改变透镜的配置并重新拍摄被摄体，即能够生成包含视场角不同的图像信息的第二电信号，因此能够使这些第二电信号的生成高速化。
另外，关于本发明的第4方式的成像装置，在上述第1方式或第2方式的成像装置的结构基础上，采用了如下结构：通过使用所述多个模型中的各模型对所述第一电信号进行所述电运算而生成的所述第二电信号包含分辨率不同的图像信息。
在现有的成像装置的情况下，为了生成包含分辨率不同的图像信息的电信号，在拍摄时对预先确定的摄像条件之一即分辨率进行变更，并重新拍摄被摄体。根据上述结构，不需要改变拍摄条件并重新拍摄被摄体，即能够生成包含分辨率不同的图像信息的第二电信号，因此能够使这些第二电信号的生成高速化。
另外，关于本发明的第5方式的成像装置，在上述第1方式或第2方式的成像装置的结构基础上，采用了如下结构：通过使用所述多个模型中的各模型对所述第一电信号进行所述电运算而生成的所述第二电信号包含焦点深度不同的图像信息。
在现有的成像装置的情况下，为了生成包含焦点深度不同的图像信息的电信号，机械地改变光学***中包含的透镜的配置以变更焦点深度，并重新拍摄被摄体。根据上述结构，不需要机械地改变透镜的配置并重新拍摄被摄体，即能够生成包含焦点深度不同的图像信息的第二电信号，因此能够使这些第二电信号的生成高速化。
另外，关于本发明的第6方式的成像装置，在上述第1方式至第5方式任一的成像装置的结构基础上，采用了如下结构：所述图像传感器配置为，不使被摄体的像成像于所述图像传感器的受光面上。
当图像传感器配置为使被摄体的像在图像传感器的受光面上成像时，图像传感器的视场角中包含的方位中的任意一个方位与图像传感器中包含的呈矩阵状配置的多个像素中的任意一个像素一一对应。
另一方面，根据上述结构，由于被摄体的像没有在图像传感器的受光面上成像，因此图像传感器的视场角中包含的方位中的任意一个方位与图像传感器中包含的呈矩阵状配置的多个像素的对应关系为一个对多个。
在通过对第一电信号进行电运算来生成第二电信号的情况下，使用在后者的状态下生成的第一电信号的方式包含各种信息，因此优选。
另外，关于本发明的第7方式的成像装置，在上述第1方式至第7方式任一的成像装置的结构基础上，采用了如下结构：所述光运算部由至少一个透射型光调制元件构成，该透射型光调制元件由厚度或折射率相互独立地设定的多个微单元构成，所述第一光信号行进的特定光路通过属于所述光运算部的各光调制元件。
根据上述结构，能够利用透射型光调制元件来实现成像装置的光运算部。另外，作为透射型光调制元件，优选厚度或折射率相互独立地设定的多个微单元。
另外，关于本发明的第8方式的成像装置，在上述第1方式至第7方式任一的成像装置的结构基础上，采用了如下结构：所述光运算部由至少一个反射型光调制元件构成，所述第一光信号行进的特定光路是通过属于所述光运算部的各光调制元件的折线状光路。
根据上述结构，能够利用反射型光调制元件来实现成像装置的光运算部。
本发明的第9方式的成像方法包含：光运算工序，通过对第一光信号进行光运算，生成包含从第一光信号提取的特征量的第二光信号；转换工序，将所述第二光信号转换为第一电信号；以及电运算工序，通过对所述第一电信号进行电运算，生成第二电信号。在本成像方法中，采用如下结构：所述电运算工序能够使用从所述第一电信号生成所述第二电信号的多个模型中的各模型来执行，通过使用所述多个模型中的各模型对所述第一电信号进行所述电运算而生成的所述第二电信号包含不同的图像信息。
根据上述结构，本成像方法通过对包含相同的图像信息的所述第一电信号进行电运算，从而能够生成包含各不相同的图像信息的第二电信号。
本发明的第10方式的成像装置的制造方法是上述第1方式至第8方式任一的成像装置的制造方法，包含如下工序：通过机器学习将所述光运算部和所述多个模型设计为，在使用所述多个模型中的各模型对所述第一电信号进行了电运算的情况下，生成包含不同的图像信息的所述第二电信号。
根据上述结构，本制造方法具有与本发明一方式的成像装置相同的效果。另外，根据本制造方法，通过使用机器学习，能够实现光运算部以及多个模型。
(附记事项)
本发明不限于上述的实施方式，可以在权利要求所示的范围内进行各种变更，通过适当组合不同的实施方式中分别公开的技术方案而得到的实施方式也包含于本发明的技术范围内。
附图标记说明
1-成像装置；11、11A-光运算部；111、112、113、114-光调制元件；11A1、11A2、11A3、11A4-光调制元件；C-微单元；12-图像传感器；13-电运算部；L1-光信号(第一光信号)；L2-光信号(第二光信号)；E1-电信号(第一电信号)；E2-电信号(第二电信号)。
Claims (10)
1.一种成像装置，其特征在于，具备：
光运算部，其通过对第一光信号进行光运算，从而生成包含从第一光信号提取的特征量的第二光信号；
图像传感器，其将所述第二光信号转换为第一电信号；以及
电运算部，其通过对所述第一电信号进行电运算，从而生成第二电信号，
所述电运算部具有从所述第一电信号生成所述第二电信号的多个模型，且通过使用所述多个模型中的各模型对包含相同的图像信息的所述第一电信号进行所述电运算而生成的所述第二电信号包含不同的图像信息。
2.根据权利要求1所述的成像装置，其特征在于，
所述光运算部和所述多个模型通过机器学习设计为，在使用所述多个模型中的各模型对所述第一电信号进行了电运算的情况下，生成表示不同的图像的所述第二电信号。
3.根据权利要求1或2所述的成像装置，其特征在于，
通过使用所述多个模型中的各模型对所述第一电信号进行所述电运算而生成的所述第二电信号包含视场角不同的图像信息。
4.根据权利要求1或2所述的成像装置，其特征在于，
通过使用所述多个模型中的各模型对所述第一电信号进行所述电运算而生成的所述第二电信号包含分辨率不同的图像信息。
5.根据权利要求1或2所述的成像装置，其特征在于，
通过使用所述多个模型中的各模型对所述第一电信号进行所述电运算而生成的所述第二电信号包含焦点深度不同的图像信息。
6.根据权利要求1至5中任一项所述的成像装置，其特征在于，
所述图像传感器配置为，不使被摄体的像成像于所述图像传感器的受光面上。
7.根据权利要求1至6中任一项所述的成像装置，其特征在于，
所述光运算部由至少一个透射型光调制元件构成，
所述第一光信号行进的特定光路通过属于所述光运算部的各光调制元件。
8.根据权利要求1至6中任一项所述的成像装置，其特征在于，
所述光运算部由至少一个反射型光调制元件构成，
所述第一光信号行进的特定光路是通过属于所述光运算部的各光调制元件的折线状光路。
9.一种成像方法，其特征在于，包含：
光运算工序，通过对第一光信号进行光运算，从而生成包含从第一光信号提取的特征量的第二光信号；
转换工序，将所述第二光信号转换为第一电信号；以及
电运算工序，通过对所述第一电信号进行电运算，从而生成第二电信号，
所述电运算工序能够使用从所述第一电信号生成所述第二电信号的多个模型中的各模型来执行，通过使用所述多个模型中的各模型对所述第一电信号进行所述电运算而生成的所述第二电信号包含不同的图像信息。
10.一种成像装置的制造方法，是权利要求1至8中任一项所述的成像装置的制造方法，其特征在于，
包含如下工序：将所述光运算部和所述多个模型通过机器学习设计为，在使用所述多个模型中的各模型对所述第一电信号进行了电运算的情况下，生成包含不同的图像信息的所述第二电信号。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2022/001527 WO2023139629A1 (ja) | 2022-01-18 | 2022-01-18 | イメージング装置、イメージング方法、及びイメージング装置の製造方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116965045A true CN116965045A (zh) | 2023-10-27 |
Family
ID=87347962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280004928.XA Pending CN116965045A (zh) | 2022-01-18 | 2022-01-18 | 成像装置、成像方法以及成像装置的制造方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240236513A1 (zh) |
| JP (1) | JP7515621B2 (zh) |
| CN (1) | CN116965045A (zh) |
| WO (1) | WO2023139629A1 (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4222569B2 (ja) * | 2003-02-25 | 2009-02-12 | パナソニック株式会社 | 光検出装置 |
| CN111201780B (zh) | 2017-10-19 | 2022-09-16 | 索尼公司 | 成像装置和方法以及图像处理装置和方法 |
| JP6924163B2 (ja) | 2018-03-27 | 2021-08-25 | 株式会社日立製作所 | 撮像装置、撮像モジュールおよび撮像方法 |
| JP7147515B2 (ja) | 2018-11-30 | 2022-10-05 | 株式会社リコー | ズームレンズ系及びこれを備えた撮影装置 |
-
2022
- 2022-01-18 WO PCT/JP2022/001527 patent/WO2023139629A1/ja active Application Filing
- 2022-01-18 JP JP2022568718A patent/JP7515621B2/ja active Active
- 2022-01-18 CN CN202280004928.XA patent/CN116965045A/zh active Pending
- 2022-01-18 US US18/001,265 patent/US20240236513A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP7515621B2 (ja) | 2024-07-12 |
| JPWO2023139629A1 (zh) | 2023-07-27 |
| US20240236513A1 (en) | 2024-07-11 |
| WO2023139629A1 (ja) | 2023-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358216B (zh) | 一种指纹采集模组、显示装置及指纹识别方法 | |
| JP4538766B2 (ja) | 撮像装置、表示装置および画像処理装置 | |
| US8711269B2 (en) | Image sensing apparatus and method of controlling the image sensing apparatus | |
| CN110099201B (zh) | 一种基于超表面透镜的屏下摄像头装置及其集成方法 | |
| CN108665862B (zh) | 一种显示面板及其驱动方法和制作方法、显示装置 | |
| TWI271099B (en) | Information processing equipment, its method and recording medium, program and display device | |
| CN111201780B (zh) | 成像装置和方法以及图像处理装置和方法 | |
| US11333947B2 (en) | Display panel, display apparatus, imaging method, and depth detection method | |
| CN100445818C (zh) | 图像显示装置和投影机 | |
| CN102192781A (zh) | 用于执行目标图像的差分测量的装置和方法 | |
| JPWO2005081020A1 (ja) | 光学機器およびビームスプリッター | |
| US20230300440A1 (en) | Camera module, imaging method, and electronic device | |
| WO2018101097A1 (ja) | 投射装置、投射方法およびプログラム記録媒体 | |
| CN107979716A (zh) | 相机模块和包括该相机模块的电子装置 | |
| Yang et al. | Single-shot receive-only ultrafast electro-optical deflection imaging | |
| CN116097298A (zh) | 用于使用结构光进行深度图构建的红外和非红外通道混合器 | |
| JP2009199045A (ja) | マイクロレンズの製造方法および固体撮像装置の製造方法 | |
| CN108873312B (zh) | 显示面板、显示装置及其显示方法、存储介质 | |
| CN104954645B (zh) | 摄像元件、摄像设备和图像处理方法 | |
| CN116965045A (zh) | 成像装置、成像方法以及成像装置的制造方法 | |
| CN105826341B (zh) | 一种可寻址层析视场的液晶基成像探测芯片 | |
| TWI508554B (zh) | 基於光場相機的影像對焦處理方法及其系統 | |
| WO2015194226A1 (ja) | 撮像素子 | |
| Hua et al. | Time-multiplexed vector light field display with intertwined views via metagrating matrix | |
| JP2013179424A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |