CN115428028A - 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的***和方法 - Google Patents

用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的***和方法 Download PDF

Info

Publication number
CN115428028A
CN115428028A CN202180024953.XA CN202180024953A CN115428028A CN 115428028 A CN115428028 A CN 115428028A CN 202180024953 A CN202180024953 A CN 202180024953A CN 115428028 A CN115428028 A CN 115428028A
Authority
CN
China
Prior art keywords
model
images
polarized
polarization
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180024953.XA
Other languages
English (en)
Inventor
K.文卡塔拉曼
A.卡尔拉
A.卡当比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insi Innovation Co ltd
Original Assignee
Insi Innovation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insi Innovation Co ltd filed Critical Insi Innovation Co ltd
Publication of CN115428028A publication Critical patent/CN115428028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

一种生成虚拟场景的合成图像的方法，包括：通过由处理器和存储器实施的合成数据生成器在3‑D虚拟场景中放置三维(3‑D)模型；通过所述合成数据生成器向所述3‑D虚拟场景添加照明，所述照明包括一个或多个照明源；通过合成数据生成器根据选定的多模态成像模态将成像模态特定的材料应用到所述3‑D虚拟场景中的物体的所述3‑D模型，所述成像模态特定的材料中的每个包括经验模型；以及通过所述合成数据生成器基于所述选定的多模态成像模态渲染所述3‑D虚拟场景的二维图像，以根据所述选定的多模态成像模态生成合成图像。

Description

用于合成用于在包括偏振图像的不同成像模态下训练统计模 型的数据的***和方法
相关申请的交叉引用
本申请要求于2020年1月30日在美国专利商标局提交的美国临时专利申请No.62/968,038的优先权与权益，该美国临时专利申请的全部公开内容通过引用并入本文。
技术领域
本公开的实施例的各方面涉及机器学习技术，特别是用于训练机器学习模型的数据的合成或生成。
背景技术
通常使用大量的数据来训练统计模型(诸如机器学习模型)。在计算机视觉领域，训练数据通常包括标注的图像，这些图像被用来训练深度学习模型(诸如卷积神经网络)，以执行计算机视觉任务(诸如图像分类和实例分割)。然而，手动收集各种场景的照片并标注照片是耗时且昂贵的。用于增强这些数据集的一些技术包括生成合成训练数据。例如，三维(3-D)计算机图形渲染引擎(例如，扫描线渲染引擎和光线追踪渲染引擎)能够生成物体的3-D模型的布置的虚拟环境的可以用于训练深度学习模型的逼真的二维(2-D)图像。
发明内容
本公开的实施例的各方面涉及机器学习技术，特别是用于训练机器学习模型的数据的合成或生成。特别地，本公开的实施例的各方面涉及合成用于训练机器学习模型的图像，以对输入图像执行计算机视觉任务，所述输入图像是基于与场景中可见光强度的图像不同的成像模态捕获的。
根据本公开的一个实施例，一种生成虚拟场景的合成图像的方法包括：通过由处理器和存储器实施的合成数据生成器在三维(3-D)虚拟场景中放置物体的3-D模型；通过所述合成数据生成器向所述3-D虚拟场景添加照明，所述照明包括一个或多个照明源；通过所述合成数据生成器根据选定的成像模态将成像模态特定的材料应用到所述3-D虚拟场景中的物体的所述3-D模型，所述成像模态特定的材料中的每个包括经验模型；通过合成数据生成器根据所述选定的成像模态设置场景背景；以及通过所述合成数据生成器基于所述选定的成像模态渲染所述3-D虚拟场景的二维图像，以根据所述选定的成像模态生成合成图像。
所述经验模型可以基于使用的材料的表面的使用成像***捕获捕获的采样图像来生成，所述成像***被配置为使用所述选定的成像模态捕获图像，所述采样图像可以包括所述材料的所述表面的从相对于所述材料的所述表面的法线方向的多个不同的姿势捕获的图像。
所述选定的成像模态可以是偏振，并且所述成像***包括偏振相机。
所述选定的成像模态可以是热的，并且所述成像***可以包括热像仪(thermalcamera)。所述热像仪可以包括偏振滤波器。
所述采样图像中的每个可以与其相对于所述材料的所述表面的法所述线方向的姿势的对应角度相关联地存储。
所述采样图像可以包括：由具有第一光谱轮廓的光照亮的所述材料的所述表面的捕获的多个第一采样图像；以及由具有与第一光谱轮廓不同的第二光谱轮廓的光照亮的所述材料的所述表面的捕获的多个第二采样图像。
所述经验模型可以包括通过在所述采样图像中的两个或多个之间插值计算的表面光场函数。
所述经验模型可以包括通过在所述采样图像上训练的深度神经网络计算的表面光场函数。
所述经验模型可以包括通过在所述采样图像上训练的生成对抗网络计算的表面光场函数。
所述经验模型可以包括通过基于所述采样图像生成的数学模型计算的表面光场函数。
本方法还可以包括对所述合成图像应用风格迁移。
根据本公开的一个实施例，一种用于为3-D虚拟场景生成偏振特征空间的张量的方法，包括：通过处理器和存储器实施的合成数据生成器渲染包括多个物体的3-D模型的3-D虚拟场景的表面法线的图像，所述表面法线包括方位角分量和天顶角分量；通过所述合成数据生成器为所述3-D虚拟场景中物体的3-D模型的表面确定所述物体的材料；以及通过所述合成数据生成器根据所述表面法线的所述方位角分量和所述天顶角分量计算所述偏振特征空间的张量，所述偏振特征空间的张量包括：线性偏振度；以及物体表面的线性偏振角。
本方法还包括：确定所述物体的所述3-D模型的所述表面是否是镜面主导的；响应于确定所述物体的所述3-D模型的所述表面是镜面主导的，基于镜面偏振方程计算所述偏振特征空间的张量；以及响应于确定所述物体的所述3-D模型的所述表面是镜面主导的，基于漫射偏振方程计算所述偏振特征空间的张量。
本方法还包括：基于漫射偏振方程计算所述偏振特征空间的张量。
本方法还包括对所述偏振特征空间的张量应用风格迁移。
根据本公开的一个实施例，一种用于合成训练数据集的方法，方法方法基于生成根据上述方法的任一项生成的多个合成图像。
根据本公开的一个实施例，一种用于训练机器学习模型的方法，所述方法包括：根据上述方法的任一项生成训练数据集；以及基于所述训练数据集计算所述机器学习模型的参数。
根据本公开的一个实施例，一种用于生成虚拟场景的合成图像的***，所述***包括：处理器；以及存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器实施合成数据生成器以：在三维(3-D)虚拟场景中放置物体的3-D模型；向所述3-D虚拟场景添加照明，所述照明包括一个或多个照明源；根据选定的成像模态将成像模态特定的材料应用到所述3-D虚拟场景中的物体的所述3-D模型，所述成像模态特定的材料中的每个包括经验模型；根据所述选定的成像模态设置场景背景；以及根据所述选定的成像模态渲染所述3-D虚拟场景的二维图像，以根据所述选定的成像模态生成合成图像。
所述经验模型可以基于所述材料的所述表面的使用成像***捕获的采样图像生成，所述成像***被配置为使用所述选定的成像模态捕获图像，并且所述采样图像可以包括所述材料的所述表面的从相对于所述材料的所述表面的所述法线方向的多个不同姿势捕获的图像。
所述选定的成像模态可以是偏振，并且所述成像***可以包括偏振相机。
所述选定的成像模态可以是热的，并且所述成像***可以包括热像仪。所述热像仪可以包括偏振滤波器。
所述采样图像中的每个可以与其姿势相对于所述材料的所述表面的所述法线方向的对应角度相关联地存储。
所述采样图像可以包括：由具有第一光谱轮廓的光照明的材料表面捕获的多个第一采样图像；以及由具有与第一光谱轮廓不同的第二光谱轮廓的光照明的材料表面捕获的多个第二采样图像。
所述经验模型可以包括通过在所述采样图像中的两个或多个之间插值计算的表面光场函数。
所述经验模型可以包括通过在所述采样图像上训练的深度神经网络计算的表面光场函数。
所述经验模型可以包括通过在所述采样图像上训练的生成对抗网络计算的表面光场函数。
所述经验模型可以包括通过基于所述采样图像生成的数学模型计算的表面光场函数。
所述存储器还可以存储指令，所述指令在由所述处理器执行时使得所述合成数据生成器对所述合成图像应用风格迁移。
根据本公开的一个实施例，一种用于为3-D虚拟场景生成偏振特征空间的张量的***，所述***包括：处理器；以及存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器实施合成数据生成器以：渲染包括多个物体的3-D模型的3-D虚拟场景的表面法线的图像，所述表面法线包括方位角分量和天顶角分量；为所述3-D虚拟场景的物体的3-D模型的表面确定所述物体的材料；并且根据所述表面法线的所述方位角分量和所述天顶角分量计算所述偏振特征空间的张量，所述偏振特征空间的张量包括：线性偏振度；以及物体表面的线性偏振角。
所述存储器还可以存储指令，所述指令在由所述处理器执行时使得所述合成数据生成器：确定所述物体的所述3-D模型的所述表面是否是镜面主导的；响应于确定所述物体的所述3-D模型的所述表面是镜面主导的，基于镜面偏振方程计算所述偏振特征空间的张量；并且响应于确定所述物体的所述3-D模型的所述表面是镜面主导的，基于漫射偏振方程计算所述偏振特征空间的张量。
所述存储器还可以存储指令，所述指令在由所述处理器执行时使得所述合成数据生成器：基于漫射偏振方程计算所述偏振特征空间的张量。
所述存储器还可以存储指令，所述指令在由所述处理器执行时使得所述合成数据生成器：对所述偏振特征空间的张量应用风格迁移。
根据本公开的一个实施例，一种用于合成训练数据集的***，所述***被配置为使用上述***中任一项所述的***合成所述训练数据集。
根据本公开的一个实施例，一种用于训练机器学习模型的***，所述***包括：处理器；以及存储器，所述存储器存储指令，所述指令在由所述处理器执行指令时使得所述处理器：接收由上述***中任一项生成的训练数据集；并且基于所述训练数据集计算所述机器学习模型的参数。
附图说明
附图与说明书一起说明了本发明的示例性实施例，并且与说明书一起用于解释本发明的原理。
图1是描述根据本公开的实施例的用于训练统计模型基于各种模态的图像执行计算机视觉任务的***的框图，其中使用生成的数据执行训练。
图2是根据本发明中的一个实施例的计算机视觉***的示意框图，该计算机视觉***被配置为使用偏振成像并且可以生成的合成偏振图像数据进行训练。
图3A是场景的图像或强度图像，其中一个真实透明球放置在照片的打印输出的顶部，该照片描绘了包含两个透明球(″欺骗物″)和一些背景杂波的另一个场景。
图3B描绘了图3A的具有标识透明球的实体的如由基于比较掩膜区域的卷积神经网络(Mask R-CNN)计算的叠加分割掩膜的强度图像，其中真实透明球被正确标识为实体，并且两个欺骗物被错误地标识为实体。
图3C是根据本发明的一个实施例的从场景的捕获的偏振原始帧计算出的偏振图像的角度。
图3D描绘了根据本发明的一个实施例的图3A的具有如使用偏振数据计算的叠加分割掩膜的强度图像，其中真实透明球被正确识别为实体并且两个欺骗物被正确地排除实体。
图4是对光与透明物体和非透明(例如，漫射和/或反射)物体的相互作用的高级描述。
图5是光在入射角范围内对具有约1.5的折射率的表面的透射与反射的能量图。
图6是描绘根据本公开的一个实施例的用于生成合成图像的管线的流程图。
图7是根据本公开的一个实施例的使用偏振相机***从多个角度对真实材料进行采样的示意图。
图8是描绘根据本公开的一个实施例的使用待建模的特定成像模态从不同视角捕获材料的图像的方法的流程图。
图9是描绘根据本公开的一个实施例的用于基于材料的经验模型渲染虚拟物体的一部分的方法的流程图。
图10是描绘根据本公开的一个实施例的用于计算虚拟场景的合成特征或偏振表示空间的张量的方法的流程图。
图11是描绘根据本公开的一个实施例的用于生成训练数据集的方法的流程图。
具体实施方式
在下面的详细描述中，通过例示的方式仅示出和描述本发明的某些示例性实施例。如本领域技术人员将认识的，本发明可以体现为不同的形式，并且不应被解释为限制于本文阐述的实施例。在整个说明书中，类似的附图标记表示类似的元素。
本公开的实施例的各方面涉及用于合成或生成用于训练机器学习模型的数据的***和方法，该机器学习模型用于对基于标准模态以外的模态(诸如配置为基于可见光的强度捕获图像的彩色或单色相机)捕获的图像执行计算机视觉任务。其他模态的示例包括基于偏振光捕获的图像(例如，使用用于捕获圆和/或线性偏振光的相机的光学路径中的偏振滤波器(polarizing filter)或偏振滤波器(polarization filter)捕获的图像)、非可见光或不可见光(例如，红外或紫外范围内的光)及其组合(例如，偏振红外光)，然而本公开的实施例并不限于此，并可以应用于其他多光谱成像技术。
更详细地，本公开实施例的各方面涉及以用于训练机器学习模型执行计算机视觉任务的不同成像模态生成合成图像。
通常，用于计算对场景中描绘的物体分类的分割图的计算机视觉***可以包括经训练的卷积神经网络，该网络将(例如，由彩色相机捕获的)二维图像作为输入并基于那些图像输出分割图。这种卷积神经网络可以是在现有数据集上预训练的(参见，例如，J.Deng,W.Dong,R.Socher,L.-J.Li,K.Li和L.Fei-Fei的ImageNet:A Large-Scale HierarchicalImage Database.IEEE Computer Vision and Pattern Recognition(CVPR),2009)。然而，这些现有数据集可能包含不代表计算机视觉***的特定应用中预期会遇到的图像的图像，因此这些预先训练的模型可能在计算机视觉***要执行的特定计算机视觉任务中表现不佳。例如，用于制造环境的计算机视觉***更有可能遇到工具、部分组装的产品、制造组件和类似物的图像，而不是可能在更多″通用目标″数据集中发现的人、动物、家用物品和户外环境的图像。
因此，″重新训练″涉及基于来自与将由重新训练模型执行的任务相关联的特定目标域的附加的训练数据，更新预先训练的模型的参数(例如，连接权重)。继续上面的示例，来自特定制造环境的工具、部分组装的产品、组件及类似物的标记图像可以被用作用于重新训练预训练的模型(例如，预训练的卷积神经网络)以提升其在检测和分类在该制造环境中遇到的物体的性能的训练数据。然而，手动收集在该制造环境中的典型场景的不同图像和基于它们的基础真实值标记这些图像(例如，标识对应于不同类别的物体的像素)通常是一项耗时且昂贵的任务。
如上所述，三维(3-D)渲染计算机图形软件可以被用来生成用于训练机器学习模型以执行计算机视觉任务的训练数据。例如，那些工具、部分组装的产品及制造组件的现有3-D模型可以根据现实世界中可能遇到此类物体的各种方式(例如，包括照明条件和在环境中支持表面和装备的3-D模型)被布置在虚拟场景中。例如，部分组装的产品可以被放置在传送带的3-D模型上，组件可以位于零件箱中，并且工具可以被放置在工具台上和/或在定位部分组装的产品中的组件的过程的场景中。因此，3-D计算机图像渲染***被用来生成特定环境中物体的典型布置范围的逼真图像。这些生成的图像也可以被自动地标记。特别地，当用来描绘不同类型的物体中的每个的特定3-D模型已经与类别标签(例如，不同尺寸的螺丝、预组装的组件、在各种组装阶段的产品、特定类型的工具等)相关联时，可以自动生成分割图(例如，通过将物体表面映射到其特定类别标签)。
然而，3-D渲染计算机图像软件***通常被定制用于基于可见光的强度(例如，红光、绿光和蓝光的强度)生成表示典型成像模态的图像。此类3-D渲染软件(诸如BlenderFoundation的
Figure BDA0003865911880000081
)通常不考虑在渲染逼真场景时可能不可见或者可忽略的电磁辐射的行为。这些附加行为的例子包括光的偏振(例如，当偏振光与场景中的透明物体和反射物体相互作用时，如由其光学路径中具有偏振滤波器的相机检测时)，热辐射或红外辐射(例如，如由场景中的温暖物体发出的和如由对检测红外光敏感的相机***检测的)，紫外辐射(例如，如由对紫外光敏感的相机***检测的)，它们的组合(例如，偏振和热辐射、偏振和可见光、偏振和紫外线等)等。
因此，本公开的实施例的各方面涉及用于对各种材料在基于偏振或其他成像模态成像时的行为进行建模的***与方法。根据本公开的实施例生成的数据(例如，图像)可以随后被用作用于训练深度学习模型(诸如深度卷积神经网络)以基于标准成像模态以外的成像模态(例如，可见光或电磁波谱的可见部分的强度)计算预测的训练数据。
作为启发性示例，将在生成通过偏振滤波器捕获的物体的合成图像(本文称为″偏振原始帧″)的背景中描述本公开的实施例，其中这些图像可以用于训练深度神经网络(诸如卷积神经网络)，以基于偏振原始帧执行任务。然而，本公开的实施例并不限于生成合成用于训练将偏振原始帧(或从中提取的特征)作为输入数据的卷积神经网络的偏振原始帧。
图1的是描绘用于训练统计模型基于各种模态的图像执行计算机视觉任务的***的框图，其中使用根据本公开的实施例生成的数据执行训练。如图1所示，将训练数据5提供给模型训练***7，该模型训练***7采用模型30(例如，预训练的模型或具有初始权重的模型结构)并使用训练数据5来生成经训练的模型(或重新训练的模型)32。模型30和经训练的模型32可以是统计模型(诸如深度神经网络(深度神经网络包括卷积神经网络))。根据本公开的实施例的合成数据生成器40生成合成的数据42，所述数据42可以包括有用于生成经训练的模型32的训练数据5。模型训练***7可以应用用于更新模型30的参数的迭代过程，以根据提供的训练数据5(例如，包括合成的数据42)生成经训练的模型32。模型30的参数的更新可以包括例如根据测量标签和模型响应于训练数据的输出之间的差异的损失函数的应用梯度下降(以及在神经网络中，反向传播)。可以使用一个或多个电子电路实施模型训练***7和合成数据生成器40。
根据本公开的各种实施例，使用一个或多个电子电路实施模型训练***7和/或合成数据生成器40，所述一个或多个电子电路被配置为执行如下面更详细地描述的各种操作。电子电路的类型可以包括中央处理单元(CPU)、图像处理单元(GPU)、人工智能(AI)加速器(例如，可以包括矢量算术逻辑单元的矢量处理器，该矢量算术逻辑单元被配置为有效地执行神经网络的常见操作，如点积和softmax)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、数字信号处理器(DSP)等。例如，在一些情况下，本公开的实施例的各方面以存储在非易失性计算机可读存储器中的程序指令实施，该程序指令在由电子电路(例如，CPU、GPU、AI加速器或其组合)执行时，执行本文所述的操作以从输入偏振原始帧18计算分割图20。由模型训练***7和合成数据生成器40执行的操作可以由单个电子电路(例如，单个CPU、单个GPU等)执行，或者可以在多个电子电路之间(例如，多个GPU或者与GPU结合的CPU)分配。多个电子电路可以是彼此本地的(例如，位于同一管芯上、位于同一封装内、或者位于同一嵌入式设备或计算机***内)和/或可以是彼此远程的(例如，通过网络(诸如本地个人区域网络(诸如
Figure BDA0003865911880000091
))、通过局域网(诸如本地有线和/或无线网络)，和/或通过广域网(诸如互联网)通信)，如在本地执行一些操作并且在云计算服务托管的服务器上执行其他操作的情况)。为了实施模型训练***7和合成数据生成器40操作的一个或多个电子电路在本文中可以被称为计算机或计算机***，其可以包括存储指令的存储器，所述指令在由一个或多个电子电路执行时实施本文所述的***和方法。
图2是根据本发明的实施例的计算机视觉***的示意性框图，该计算机视觉***被配置为使用偏振成像并且可以基于生成的合成偏振成像数据进行训练。
就上下文而言，图2是其中偏振相机对场景成像并将偏振原始帧提供给计算机视觉***的***的示意图，该计算机视觉***包括被训练为基于偏振原始帧或基于偏振原始帧计算的偏振特征执行计算机视觉任务的模型。
偏振相机10具有具有视场的镜头12，其中镜头12和相机10被定向为使得视场包围场景1。镜头12被配置为引导光(例如，聚焦光)从场景1至光敏介质(诸如图像传感器14(例如，互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器))。
偏振相机10还包括放置在场景1和图像传感器14之间的光学路径中的偏振器或偏振滤波器或偏振掩膜16。根据本公开的各种实施例，偏振器或偏振掩膜16被配置为使偏振相机10能够捕获场景1的图像，其中偏振器被设置在各种指定角度(例如，45°旋转或在60°旋转或在非均匀间距旋转)。
作为一个示例，图2描绘了一个实施例，其中偏振掩膜16是以类似于彩色相机的红黄蓝(RGB)彩色滤波器(例如，拜尔滤波器)的方式与图像传感器14的像素网格对齐的偏振马赛克。与彩色滤波器基于波长如何过滤入射光使得图像传感器14中的每个像素都根据马赛克的彩色滤波器的图案接收光谱的特定部分(例如，红色、绿色或蓝色)的光的方式类似，使用偏振马赛克的偏振掩膜16基于线性偏振过滤光线，使得不同像素以线性偏振的不同角度(例如，以0°、45°、90°和135°，或者以0°、60°度和120°)接收光线。因此，诸如图2中示出的使用偏振掩膜16的偏振相机10能够并行或同时捕获四个不同的线性偏振的光。偏振相机的一个示例是由俄勒冈州威尔逊维尔的
Figure BDA0003865911880000101
***公司生产的
Figure BDA0003865911880000102
S偏振相机。
虽然上述描述涉及使用偏振马赛克的偏振相机一些可能的实施方式，本公开的实施例不限于此并且包括能够在多个不同偏振下捕获图像的其他类型的偏振相机。例如，偏振掩膜16可以具有少于四个或多于四个不同偏振，或者可以具有在不同角度(例如，在0°、60°度和120°的偏振角或在0°、30°、60°、90°、120°和150°的偏振角)的偏振。作为另一示例，偏振掩膜16可以使用电子控制的偏振掩膜(诸如电光调制器(例如，可能包括液晶层))来实施，其中可以独立地控制掩膜的个体像素的偏振角，使得图像传感器14的不同部分接收具有不同偏振的光。作为另一示例，电光调制器可以被配置为在捕获不同帧时传输不同线性偏振的光，例如，以便相机使用依次设置为不同线性偏振器角度(例如，依次设置为：0度；45度；90度；或135度)的偏振掩膜的整体捕获图像。作为另一示例，偏振掩膜16可以包括机械旋转的偏振滤波器，使得由偏振相机10使用相对于透镜12机械旋转的偏振滤波器来以不同偏振角将光透射到图像传感器14捕获不同的偏振原始帧。
偏振相机还可以指具有基本上平行光轴的多相机阵列，使得每个相机从基本上相同的姿势捕获场景的图像。阵列的每个相机的光学路径包括偏振滤波器，其中偏振滤波器具有不同的偏振角。例如，四台相机的二乘二(2×2)阵列可以包括具有设置在0°的角度的偏振滤波器的相机，具有设置在45°的角度的偏振滤波器的第二相机，具有设置在90°的角度的偏振滤波器的第三相机，以及具有设置在135°的角度的偏振滤波器的第四相机。
因此，偏振相机捕获场景1的多个输入图像18(或偏振原始帧)，其中每个偏振原始帧18对应于在不同偏振角度φpol(例如，0度、45度、90度，或135度)的偏振滤波器或偏振器后拍摄的图像。每个偏振原始帧是从相对于场景1的基本相同姿势捕获的(例如，使用偏振滤波器在0度、45度、90度或135度捕获的图像都由位于相同位置和定向的相同偏振相机捕获)，而不是从相对于场景的不同位置和定向捕获偏振原始帧。偏振相机10可以被配置为检测电磁光谱的各种不同部分中的光，诸如电磁光谱中的人类可见部分、人类可见光谱的红色部分、绿色部分和蓝色部分以及电磁光谱的不可见部分(诸如红外线和紫外线)。
图3A、图3B、图3C和图3D提供了用于例示根据本公开的实施例的通过比较方法和语义分割或实体分割计算的分割图的背景。更详细地，图3A是场景的图像或强度图像，其中一个真实的透明球放置在照片的打印输出的顶部，该照片描绘了包含两个透明球(″欺骗物″)和一些背景杂波的另一场景。图3B描绘了如由基于比较掩膜区域的卷积神经网络(Mask R-CNN)计算的使用不同的线条图案标识图3A的强度图像上叠加的透明球实体的分割掩膜，其中真正透明的球被正确地识别为实体并且两个欺骗物被错误地识别为实体。换言之，掩膜R-CNN算法已被愚弄，将两个欺骗透明球标记为场景中实际透明球的实体。
图3C是根据本发明的一个实施例的从场景的捕获的偏振原始帧计算的线性偏振角(AOLP)图像。如图3C所示，透明物体在偏振空间(诸如AOLP域)中具有非常独特的纹理，其中边缘上存在几何相关的标志，并且在透明物体的表面上以线性偏振角呈现明显的或独特或特定的图案。换言之，透明物体的内在纹理(例如，与从通过透明物体可见的背景表面采用的外在纹理完全不同)在图3C的偏振角图像中比图3A的强度图像中更可见。
图3D描绘了根据本发明的一个实施例的图3A的具有如使用偏振数据计算的叠加分割掩膜的强度图像，其中使用叠加的线条图案将真实透明球正确地标识为实体并且将两个欺骗物正确地排除为实体(例如，与图3B相比，图3D不包括在两个欺骗物上的叠加的线条图案)。虽然图3A、图3B、图3C和图3D例示涉及在存在欺骗透明物体时检测真实透明物体的示例，但是本公开的实施例不限于此并且也可以被应用于其他光学挑战性物体，诸如透明、半透明和非亚光或非朗伯物体，以及非反射(例如，哑光黑色物体)和多路径诱导物体。
偏振特征表示空间
本公开的实施例的一些方面涉及用于从偏振原始帧中提取特征的***和方法，其中这些提取的特征被处理***100用于稳健探测物体的表面中的光学挑战特性。与之相反，仅依赖于强度图像的比较技术可能无法检测到这些光学挑战特征或表面(例如，将图3A的强度图像与图3C的AOLP图像比较，如上所述)。″第一表示空间″中的术语″第一张量″将在本文中用来指代从由偏振相机捕获的偏振原始帧18计算(例如，提取)的特征，其中这些第一表示空间至少包括偏振特征空间(例如，特征空间，诸如包含关于由图像传感器检测的光的偏振的信息的AOLP和DOLP)，并且也可以包括非偏振特征空间(例如，不需要有关到达图像传感器的光的偏振的信息的特征空间，诸如仅基于在没有任何偏振滤波器的情况下捕获的强度图像计算的图像)。
光和透明物体之间的相互作用是丰富且复杂的，然而物体的材料确定了其在可见光下的透明度。对于许多透明的家用物品而言，大部分可见光直接通过，而一小部分(～4％到～8％，取决于反射率)被反射。这是因为光谱的可见部分的光没有足够的能量来激活透明物体中的原子。因此，透明物体背后的(或通过透明物体可见的)物体的纹理(例如，外观)主导透明物体的外观。例如，当观察桌上的透明玻璃杯和平底玻璃杯时，平底玻璃杯的另一侧上的物体的外观(例如，桌子的表面)通常主导通过杯子看到的东西。当试图单独基于强度图像检测透明物体(诸如玻璃窗和光滑、透明的涂层)的表面特征时，此属性导致一些困难：
图4是光与透明物体和非透明(例如，漫射和/或反射)物体相互作用的高级描述。如图4所示，偏振相机10捕获场景的偏振原始帧，该场景在不透明背景物体403前面包括透明物体402。撞击偏振相机10的图像传感器14的光线410包含来自透明物体402和背景物体403二者的偏振信息。来自透明物体402的反射光412的小部分是强偏振的，因此对偏振测量具有巨大的影响，与反射离开背景物体403并穿过透明物体402的光413不同。
类似地，撞击物体的表面的光线可以以各种方式与表面的形状相互作用。例如，具有光滑涂料的表面可以表现得与图4所示的不透明物体前面的透明物体基本相似，其中光线与光滑涂料的透明或半透明层(或清漆层)之间的相互作用使得反射离开表面的光基于透明或半透明层(例如，基于该层厚度和表面法向)的特性被偏振，这些特性在撞击图像传感器的光线中被编码。类似地，如下文关于偏振形状(SfP)理论更详细讨论的，表面的形状(例如，表面法线的方向)的变体可能导致物体表面反射的光的偏振的显著变化。例如，光滑表面通常表现出整体相同的偏振特性，但是表面中的划痕或凹痕改变了这些区域中的表面法线的方向，并且撞击划痕或凹痕的光可能以不同于物体的表面的其他部分中的方式被偏振、被衰减或被反射。光和物质之间的相互作用的模型通常考虑三个基本要素：几何形状、照明和材料。几何形状基于材料的形状。照明包括照明的方向和颜色。材料可以通过光的折射率或角度反射/透射进行参数化。这种角度反射已知为双向反射分布函数(BRDF)，尽管其他函数形式可以更准确表示某些场景。例如，在表现出次表面散射的材料(例如，大理石或蜡)的情况下，双向次表面散射分布函数(BSSRDF)将更准确。
撞击偏振相机10的图像传感器16的光线410具有三个可测量的分量：光的强度(强度图像/I)、光的线性偏振的百分比或比例(线性偏振度/DOLP/ρ)以及该线性偏振的方向(线性偏振角/AOLP/φ)。这些属性编码关于被成像物体的表面曲率和材料的信息，所述信息可以被预测器800用来检测透明物体，如下文详细描述。在一些实施例中，预测器800可以基于传递通过半透明物体的光和/或与多路径诱导物体或非反射物体(例如，哑光黑色物体)相互作用的光的类似偏振属性检测其他的光学挑战物体。
因此，本公开的实施例的一些方面涉及合成可以被用来计算一个或多个第一表示空间的第一张量的偏振原始帧，所述第一张量可以包括基于强度I、DOLPρ和AOLPφ的衍生特征图。本公开的实施例的一些方面还涉及直接合成一个或多个表示空间的张量(诸如DOLPρ和AOLPφ)，以用于训练深度学习***基于关于场景中的光的偏振的信息来执行计算机视觉任务(并且，在一些实施例中，基于其他成像模态，诸如热成像以及热成像和偏振成像的组合)。
测量每个像素处的强度I、DOLPρ和AOLPφ需要在偏振滤波器(或偏振器)之后以不同角度φpol拍摄的场景的3个或更多个偏振原始帧(例如，因为有三个待确定的未知值：强度I、DOLPρ和AOLPφ)。例如，上面描述的
Figure BDA0003865911880000141
S偏振相机捕获偏振角φpol在0度、45度、90度或135度的偏振原始帧，从而产生四个偏振原始帧
Figure BDA0003865911880000142
在本文中表示为I0、I45、I90、和I135。
每个像素处的
Figure BDA0003865911880000143
与强度I、DOLPρ和AOLPφ之间的关系可以表示为：
Figure BDA0003865911880000144
因此，通过四个不同的偏振原始帧帧
Figure BDA0003865911880000145
(I0、I45、I90、和I135)，可以使用四个方程的***来求解强度I、DOLPρ和AOLPφ。
偏振形状(SfP)理论(参见，例如，Gary A Atkinson和Edwin R Hancock的Recovery of surface orientation from diffuse polarization.IEEE transactionson image processing,15(6):1653–1664,2006.)指出，当漫射主导时，物体的表面法线的折射率(n)、方位角(θa)和天顶角(θz)，与来自该物体的光线的φ分量和ρ分量之间的关系遵循如下特性：
Figure BDA0003865911880000146
φ＝θa (3)
并且当镜面反射主导时：
Figure BDA0003865911880000151
Figure BDA0003865911880000152
注意，在这两种情况下，ρ随着θz增加而呈指数增加，并且如果折射率相同，则镜面反射较漫射更具有偏振性。
因此，本公开的实施例的一些方面涉及应用SfP理论以基于虚拟环境中的表面的形状(例如，表面的定向)生成合成原始偏振帧18和/或AOLP图像和DOLP图像。
来自透明物体的光线具有两个分量：反射部分包括反射强度Ir、反射DOLPρr和反射AOLPφr，折射部分包括折射强度It、折射DOLPρt和折射AOLPφt。得到的图像中的单个像素的强度可以写成：
I＝Ir+It (6)
当具有线性偏振角φpol的偏振滤波器被放置在相机前面时，给定的像素处的值为：
Figure BDA0003865911880000153
根据Ir、ρr、φr、It、ρt、和φt求解DOLPρ图像中的像素和AOLPφ图像中的像素的值的上述表达式：
Figure BDA0003865911880000154
Figure BDA0003865911880000155
因此，根据本公开的一个实施例，上述公式(7)、(8)和(9)提供了用于形成包括强度图像I、DOLP图像ρ和AOLP图像φ的第一表示空间的第一张量50的模型，其中在偏振表示空间中使用偏振图像或张量(包括基于公式(8)和(9)的DOLP图像ρ和AOLP图像φ)使得经训练的计算机视觉***能够可靠地检测物体的光学挑战表面特性，而这些特性通常无法由仅使用强度I图像作为输入的比较***检测到。
更详细地，偏振表示空间(派生的特征图中)的第一张量(诸如偏振图像DOLPρ和AOLPφ)可以揭示物体的表面特性，这些特性可以以其他方式在强度I域中显得缺少纹理。透明物体可以具有在强度域I中不可见的纹理，因为该强度严格取决于Ir/It的比率(参见公式(6))。不同于It＝0的不透明物体，透明物体透射大部分入射光并且仅反射该入射光的小部分。作为另一示例，其他光滑表面(或其他粗糙表面中的光滑部分)的形状中薄的或小的偏差在强度I域(例如，不考虑光的偏振的域)中可能基本不可见或具有低对比度，但在偏振表示空间(诸如DOLPρ和AOLPφ)中明显可视或可以具有高对比度。
因此，一种获取表面形貌的示范性方法是结合几何正则化使用偏振线索。菲涅尔方程将DOLPρ和AOLPφ与表面法线联系起来。通过利用所谓的表面偏振模态，这些方程可用于异常检测。偏振模态是大小为[M,N,K]的张量，其中M和N分别为水平和垂直像素维度，并且其中K是偏振数据通道，其大小可变化。例如，如果忽略圆偏振并且仅考虑线偏振，则K将等于2，因为线性偏振具有偏振角和偏振度(DOLPρ和AOLPφ)两者。类似于摩尔纹，在本公开的一些实施例中，特征提取模块700在偏振表示空间(例如，DOLPρ空间和AOLPφ空间)中提取偏振图案。如上文所示的图1A和图1B的示例特征输出20中，水平维度和垂直维度对应于由偏振相机10捕获的物体的表面的窄条或小片的横向视野。然而，这是一种示例性情况：在多种实施例中，表面的窄条或小片可以是垂直的(例如，比宽度更高)，水平的(比高度更宽)，或者具有趋向于接近正方形(例如，宽高比为4：3或16：9)的更常规的视野(FoV)。
虽然前述的讨论提供了在使用具有一个或多个线性偏振滤波器的偏振相机以捕获对应于不同角度的线性偏振的偏振原始帧并计算偏振表示空间(诸如DOLP和AOLP)的张量的情况下基于线性偏振的偏振表示空间的具体示例，本公开的实施例不限于此。例如，在本公开的一些实施例中，偏振相机包括一个或多个圆偏振滤波器，其被配置为只通过圆偏振光，并且其中进一步从偏振原始帧中提取偏振模态或圆偏振表示空间的第一张量。在一些实施例中，单独使用圆偏振表示空间的这些附加张量，并且在其他的实施例中它们与线性偏振表示空间(诸如AOLP和DOLP)的张量一起使用。例如，包括偏振表示空间的张量的偏振图案可以包括在圆偏振空间、AOLP和DOLP的张量，其中偏振图案可以具有维度[M,N,K]，其中K为3，以进一步包括圆偏振表示空间的张量。
图5是光在入射角范围内对具有约1.5的折射率的表面的透射与反射的能量图。如图5所示，在低入射角时(例如，在接近垂直于表面的平面的角度)，透射能量(如图5中的实线所示)和反射能量(如图5中的虚线所示)的斜率相对较小。因此，当入射角较小(例如，接近垂直于表面，换言之，接近表面法线)时，表面的角度的小差异可能在偏振模态中难以检测(低对比度)。另一方面，随着入射角增大，反射能量的斜率从平缓增加，而投射能量的斜率随着入射角减大从平坦减小(具有较大的绝对值)。在图5所示的折射率为1.5的示例中，两条线的斜率在约60°的入射角开始基本上变陡，它们的斜率在约80°的入射角处非常陡峭。对于不同材料，曲线的特定形状可能根据材料的折射率改变。因此，在与曲线的陡峭部分相对应的入射角(例如，角度接***行于表面，诸如在折射率为1.5的情况下约为80°，如图5所示)捕获被检测表面的图像可以提高偏振原始帧18中表面形状的变化的对比度和可检测性，并且可以提高偏振表示空间的张量中此类特征的可检测性，因为入射角的微小变化(由于表面法线的微小变化)可能导致捕获的偏振原始帧的较大变化。
使用偏振相机来检测光学挑战物体和表面的存在和形状更详细地描述在例如在2020年8月28日提交的PCT专利申请No.US/2020/048604和2020年9月17日提交的PCT专利申请No.US/2020/051243，这两个PCT专利申请的全部公开内容通过引用并入本文。这样的计算机视觉***可以被训练以基于本公开的实施方式生成的训练数据对偏振数据执行计算机视觉任务。在一些实施例中，这些计算机视觉***使用机器学习模型(诸如深度神经网络(例如，卷积神经网络))来执行计算机视觉任务，其中深度学习模型被配置为将偏振原始帧和/或偏振表示空间中的特征作为输入。
模拟不同材料的偏振物理是一项复杂的任务，这需要了解材料属性、所用照明的光谱分布和偏振参数，以及观察者观测反射光的角度。为了真实地模拟光偏振的物理现象及其对物体的照明的影响不仅是复杂任务，然而也是计算密集型任务，诸如通过应用通常产生高度不准确(不现实)的图像的复杂前向模型。因此，各种比较3-D计算机图像***通常不能准确地建模光的偏振的物理现象及其对物体照明的影响，并且因此若使用在其光学路径中带有偏振滤波器的相机(例如，偏振相机)成像，则不能以真实地表示对应的真实环境会出现的方式合成或渲染虚拟环境的图像。因此，用于生成用于训练在标准成像模态(诸如没有偏振滤波器的可见光图像)上运行的计算机视觉***的合成数据的比较技术通常无法生成用于训练在其他成像模态(例如、偏振相机、热像仪等)上运行的计算机视觉***的训练数据。
如上所述，本公开的实施例的各个方面涉及生成或合成用于训练机器学习模型的数据，以将使用由标准相机(例如，配置为捕获可见光的强度而不使用滤波器(诸如偏振滤波器)的相机)捕获的图像以外的成像模态捕获的数据作为输入，这在本文中将被称为多模态图像或全光图像。术语″多模态″是指光的全光理论，其中全光域的每个维度(例如，波长、偏振、角度等)是光的模态的例子。因此，多模态或全光成像包括但不限于，同时使用多种成像模态。例如，术语″多模态″在本文中可以用于指单个成像模态，其中单个成像模态是在不使用滤波器(诸如偏振滤波器)的情况下不同于可见光的强度的模态。由一个或多个偏振相机捕获的偏振原始帧和/或偏振表示空间的张量是多模态或全光成像模态(例如，使用多模成像或全光成像)中的一类输入的一个例子。
通常，本公开的实施例的各个方面涉及可以单独或组合使用作为根据多模态或全光成像模态(诸如偏振成像模态)生成合成训练数据的管线的一部分的四种技术。这些技术包括：域随机化、纹理映射、法线映射和风格迁移，并在下面更详细地讨论。
图6是描述根据本公开的一个实施例的用于生成合成图像的管道的流程图。在本公开的一些实施例中，图6的操作由合成数据生成器40例如以存储在合成数据生成器40的存储器中的专用程序指令执行，所述专用程序指令在由合成数据生成器40的处理器执行时，使得合成数据发生器执行本文中描述的用于基于光学现象的物理模拟生成合成图像的专用操作。为方便起见，将在制造背景中应用偏振成像来对具有光学挑战的制造组件和工具(诸如具有透明表面、闪亮金属表面和/或深色哑光表面的物体)执行计算机视觉任务的背景下描述本公开的实施例的各个方面。
在操作610中，合成数据生成器40将物体的3-D模型放置在虚拟场景中。在生成制造环境中的场景的合成图像的背景下，物体的3-D模型可以很容易地从组件和部分或完全组装的制造产品的计算机辅助设计(CAD)模型中获得。这些CAD模型可能是先前在产品设计阶段产生的，并且可以从例如组件的供应商(例如，从为制造商提供组件的供应商)、公开可用的信息(例如，数据表格)或从制造商雇佣的内部产品设计者处获得。在一些情况下，可以基于组件的技术指标手动生成CAD模型。
在本公开的一些实施例中，物体的3-D模型以类似于对于将训练机器学习模型执行的特定计算机视觉任务预计那些物体将遇到的布置的方式放置在虚拟场景中。
在制造背景中的计算机视觉的上述示例中，一项任务是对组件箱执行实体分割，其中组件可能是同类的(例如，箱中所有组件都是相同的，诸如弹簧箱或螺丝箱)或异类的(例如，不同类型的组件的混合，诸如不同尺寸的螺丝或与匹配螺母混合的螺丝)。物体可能随机地布置在箱内，其中组件可以在箱内以许多不同方向定向，并且其中在异类组件箱中，不同类型的组件被混合在一起，而不是被分开在箱的不同部分中。可以训练计算机视觉***来计算箱的分割图，以标识箱内的个体组件的位置和定向(并且，在异类组件箱的情况下，标识物体的类型)。然后，该分割图可以由执行器***(诸如机械臂)使用，以从箱中拾取出组件并将拾取的组件添加到部分组装的产品。
因此，在本公开的一些实施例中，合成数据生成器40通过将虚拟箱的3-D模型放置在场景中并且将组件的3-D模型投放到虚拟箱中来生成组件在箱中的场景，如使用物理模拟引擎(诸如并入3-D计算机图形渲染***的物理引擎)模拟的。例如，
Figure BDA0003865911880000191
3-D渲染软件包括模拟各种物理真实世界现象(诸如如刚体、布、软体、流体等如受到重力或其他力的影响的移动、碰撞和潜在变形)的物理***。因此，刚体模拟可以用于模拟刚性组件(例如，螺丝、螺栓、相对硬的弹簧)投放到刚性虚拟箱中，并且软体模拟可以用于弹性或可变形组件(例如，绳子、线、塑料片等)落入刚性模拟箱中。
更详细地，可以生成表示箱的不同潜在状态的各种不同场景，诸如通过将组件的3-D模型的各种数量的实体投放到虚拟箱中。例如，如果一个典型的箱具有1000个螺丝的最大容量，则可以通过将1000个螺丝、900个螺丝、500个螺丝、100个螺丝和10个螺丝投放到虚拟箱中以生成表示虚拟箱的不同潜在满度状态的不同场景来生成各种场景。此外，可以生成用于任何给定数量的螺丝的多个场景(或螺丝的数量可能在不同场景的生成之间是随机的)，其中箱内的组件的布置也是随机的，诸如通过一次从箱上方的不同随机位置将组件投放到箱内。
因此，在操作610中，合成数据生成器40生成包括代表性物体的布置的场景。
在操作630中，合成数据生成器40向操作610中生成的虚拟场景添加照明。特别地，合成数据生成器40将一个或多个光源添加到虚拟场景，其中光源照亮箱中的物体的表面的一部分或全部。在一些实施例中，一个或多个光源的位置是随机的，并且用在相对于零件箱的不同位置(例如，不同角度和距离)中的光源生成多个场景，以提高训练的鲁棒性。在本公开的一些实施例中，虚拟照明包括代表在训练计算机视觉***运行的环境中发现的光源的虚拟光源。潜在的代表性光源的示例包括对应于例如白炽灯、荧光灯、发光二极管(LED)灯泡、来自环境中模拟窗户的自然光以及其他形式的照明技术的不同色温，其中虚拟光的形状(例如，由灯发射的光线的方向)可以在从直射光到漫射光的范围内。在本公开的一些实施例中，光的特性(例如，色温和形状)也是随机的，以生成具有不同类型的照明的不同场景。
在操作650中，合成数据生成器40将模态特定的材料应用到3-D虚拟场景中的物体。例如，在生成合成的偏振成像数据的情况下，将偏振特定的材料应用到虚拟场景中的物体，而在生成合成的热成像数据的情况下，可以将热成像特定的材料应用到虚拟场景中的物体。为了便于说明，本文中将详细描述偏振特定的材料，但是本公开的实施例不限于此，并且还可以被应用到特定于多模态成像和/或全光成像模态生成和应用材料。
本公开的实施例的一些方面涉及域随机化，其中场景中的物体的材料外观被随机化，超出了物体的典型外观。例如，在一些实施例中，具有随机颜色的大量材料(例如，数千种随机选择的不同颜色的不同材料)被应用到虚拟场景中的不同物体。在真实世界环境中，场景中的物体通常具有明确定义的颜色(例如，橡胶垫圈通常都看起来为哑光黑并且螺丝可能是特定色调的亮黑色、哑光黑色、金色或亮金属色)。然而，真实世界物体可能由于光照条件(诸如光的色温、反射、镜面高光等)的改变常常具有不同外观。因此，在生成训练数据时对应用到物体的材料的颜色应用随机化将训练数据的域扩大到也包括不真实的颜色，从而增加了用于训练能够在更广泛的真实世界条件下做出更准确的预测(例如，更准确的实体分割图)的更鲁棒的机器学习模型的训练数据的多样性。
本公开的实施例的一些方面涉及执行纹理映射以根据成像模态生成取决于一个或多个参数的材料(参数化材料)的模型。例如，如上所述，如由偏振相机***成像的场景中的给定的表面的外观可以基于表面的材料的属性、场景中的一个或多个照明源(光源)的光谱轮廓和偏振参数、光到表面上的入射角以及观察者(例如，偏振相机***)的视点角改变。因此，模拟不同材料的偏振的物理现象是一项复杂且计算密集型的任务。
因此，本公开的实施例的一些方面涉及基于经验数据(诸如捕获的真实世界材料的真实世界图像)仿真各种成像模态的物理现象。更详细地，实施感兴趣的特定成像模态的成像***(例如，偏振相机***)被用来从感兴趣的特定材料制成的物体收集样本图像。在一些实施例中，收集的样本图像被用来计算材料的经验模型，诸如其表面光场函数(例如，双向反射率密度函数或BRDF)。
图7是根据本公开的一个实施例的使用偏振相机***从多个角度对真实材料采样的示意图。图8是描绘根据本公开的一个实施例的用于使用要建模的特定成像模态从不同视角捕获材料的图像的方法800的流程图。如图7所示，物理物体(例如，垫圈、螺丝等)的表面702是由感兴趣的材料(例如，分别为黑色橡胶、镀铬不锈钢等)制成。在操作810中，该材料被放置到一个物理场景中(例如，在实验室工作台上)。在操作830中，物理照明源704(诸如LED灯或荧光灯)被放置在场景中并且被布置为照亮表面702的至少一部分。例如，如图7所示，从物理照明源704发射的光线706以表面702上的特定点708处的相对于在该特定点708处的表面702的法线方向714的入射角α入射到表面702的特定点708上。
在操作850中，成像***被用来从相对于表面的法线方向的多个姿势捕获物体的表面702的图像。在图7所示的实施例中，偏振相机***710被用作成像***来捕获表面702(包括由物理照明源704照亮的部分(例如，包括特定点708))的图像。偏振相机***710从不同姿势712捕获表面702的图像，诸如通过将偏振相机***710从一个姿势移动到下一个姿势，并且从每个姿势捕获偏振原始帧。在图7所示的实施例中，偏振相机***710在第一姿势712A中以0°的正面平行观察者角度β(例如，从正上方或与点708处的表面法线714对齐的正面平行视图)对表面702进行成像，在第二姿势712B中以中间观察者角度β(诸如相对于表面法线714的45°角)对表面702进行成像，并且在第三姿势712C中以相对于表面法线714的浅观察者角度β(例如，略小于90度，诸如89°)对表面702进行成像。
如上所述，偏振相机***710通常被配置为用不同角度的偏振滤波器(例如，用在单个镜头和传感器***的光学路径中具有四个不同偏振角的偏振马赛克，用四个相机的阵列，每个相机具有不同角度的线性偏振滤波器，用对从同一姿势在不同时间捕获的不同帧设置不同角度的偏振滤波器等)捕获偏振原始帧。
在操作870中，由成像***捕获的图像与相机相对于表面的法线方向的相对姿势(例如，观察者角度β)一起存储。例如，观察者角度β可以被存储在与图像相关联的元数据中和/或可以部分地基于观察者角度β对图像进行索引。在一些实施例中，可以通过参数对图像进行索引，这些参数包括：观察者角度β(或相机位置相对于表面法线的角度)、材料类型和照明类型。
因此，在如图7所示的布置中并使用例如图8的方法，偏振相机***710捕获材料在给定照明条件下(例如，在已知物理照明源704的光谱轮廓的情况下)在不同反射角度(例如在不同姿势712)的多个图像(例如，线性偏振角为0°、45°、90°和135°的四个图像)。
由于偏振的物理现象的性质，这些视角或姿势712中的每个都给出不同的偏振信号。因此，通过从不同观察者角度捕获表面702的图像，可以基于用处于一个或多个最接近的对应入射角α的物理照明源704由相机***以具有最接近的对应观察者角度β的一个或多个姿势712捕获的图像之间的插值来估计材料的BRDF的模型。
虽然为了方便图7的实施例仅描绘了三个姿势712，但是本公开的实施例不限于此，并且可以以更高的速率(诸如在相邻姿势之间有5°的间距或更小的间距)对材料进行采样。例如，在一些实施例中，偏振相机***712被配置为作为视频相机***操作，其中以高速率(诸如每秒30帧、每秒60帧、每秒120帧或每秒240帧)捕获偏振原始帧，从而得到在相对于表面法线的大量角度捕获的高密度图像。
类似地，在一些实施例中，物理照明源704相对于表面702的姿势被修改，使得从物理照明源704发射的光线以不同角度α入射到表面702上，其中表面的多个图像类似地由偏振相机***710从不同姿势712捕获。
不同角度(例如，入射角度α和观察者或偏振相机***角度β)的采样率可以被选择使得中间视角可以***值(例如，被双线性插值)而不会显着损失真实感。在本公开的各种实施例中，间隔的间距可能取决于成像模态的物理特性，其中一些成像模态比其他模态展示出更多的角度敏感性，并且因此对于角度敏感性较低的模态可以用更少的姿势(更宽间隔开的)来实现高精确度，而具有较高角度敏感性的模态可以使用更大数量的姿势(更紧密在一起间隔的)。例如，在一些实施例中，当针对偏振成像模态捕获偏振原始帧时，偏振相机***710的姿势被设置成约五度(5°)分开的间隔角度，并且表面702的图像也可以用物理照明源704在各种位置(类似地以约五度(5°)分开的角度间隔的)处捕获。
在一些情况下，材料在经验模型的成像模态下的外观也取决于照明源的类型，诸如白炽灯、荧光灯、发光二极管(LED)灯泡、阳光，并且因此用于照亮真实世界场景的一个或多个照明源的参数被包括作为经验模型的参数。在一些实施例中，为不同的照明源训练不同的经验模型(例如，材料在自然照明或阳光下的一个模型和材料在荧光照明下的另一模型)。
参考回图6，在一些实施例中，在操作670中，合成数据发生器40为场景设置虚拟背景。在一些实施例中，虚拟背景是使用与由合成数据生成器40模拟的模态相同的成像模态捕获的图像。例如，在一些实施例中，当生成合成偏振图像时，虚拟背景是使用偏振相机捕获的真实图像，并且当生成合成热成像图像时，虚拟背景是使用热像仪捕获的真实图像。在一些实施例中，虚拟背景是与训练的机器学习模型旨在其中操作的环境(例如，在用于制造机器人的计算机视觉***的情况下的制造场所或工厂)类似的环境的图像。在一些实施例中，虚拟背景是随机的，从而增加了合成训练数据集的多样性。
在操作690中，合成数据生成器40使用材料的经验衍生的模态特定的模型中的一个或多个基于指定的成像模态(例如，偏振，热等)渲染3-D场景。本公开的实施例的一些方面涉及基于根据本公开的一个实施例的材料的经验模型渲染图像。材料的经验模型可以如上所述基于从感兴趣的材料制成的真实世界物体的捕获图像收集的样本进行开发。
通常，3-D计算机图像渲染引擎通过根据由像素描绘的虚拟场景的表面的颜色计算输出图像的每个像素的颜色来生成虚拟场景的2-D渲染。例如，在光线追踪渲染引擎中，虚拟光线从虚拟相机发射至虚拟场景中(与光在真实世界中的典型路经相反)，其中虚拟光线与虚拟场景中的物体的3-D模型的表面相互作用。这些3-D模型通常使用几何形状(诸如定义平坦表面(例如，三角形)的点的网格)表示，其中这些表面可以被指定描述虚拟光线如何与表面相互作用(诸如反射、折射、散射、色散和其他光学效应)的材料以及表示表面的颜色的纹理(例如，纹理可以是纯色或可以是例如应用于表面的位图图像)。每条虚拟光线的路径被跟踪(或″追踪″)通过虚拟场景，直到它到达虚拟场景中的光源(例如，虚拟灯具)，并且沿着从相机到光源的光学路径遇到的纹理的累计修改与光源的特性(例如，光源的色温)结合以计算像素的颜色。如本领域技术人员所理解的，可以修改该一般过程，诸如通过追踪穿过每个像素的不同部分的多条光线并且基于通过追踪与场景相互作用的不同光线计算的不同颜色的组合(例如，平均)计算像素的颜色来执行抗锯齿(或平滑)。
图9是描绘根据本公开的一个实施例的用于基于材料的经验模型渲染虚拟物体的一部分的方法900的流程图。特别地，图9描述了涉及当追踪一条光线通过虚拟场景的一个像素(如光线与具有根据本公开的一个实施例建模的材料的表面相互作用)时计算颜色的实施例。然而，本领域普通技术人员在本申请的有效申请日之前将理解本文所述的技术可以如何被应用作为更大的渲染过程的一部分，其中为输出图像的给定像素计算多种颜色并进行组合，或者其中使用扫描线渲染过程代替光线追踪。
更详细地，图9的实施例描绘了用于基于来自虚拟场景中的虚拟相机的视野渲染虚拟场景中的物体的表面的方法，其中表面具有根据本公开的实施例建模的材料。鉴于正在合成渲染物体，并且合成数据生成器40可访问正在渲染的每个物体的地面真实几何，每像素法线、材料类型和照明类型都是适当调制材料的图形渲染的已知参数。在渲染过程期间，相机光线从虚拟相机的光学中心被追踪至从相机可见的物体上的每个3-D点。物体上的每个3-D点(例如，具有X-Y-Z坐标)被映射到物体的表面上的2-D坐标(例如，具有U-V坐标)。物体的表面的每个U-V坐标具有其本身的表面光场函数(例如，双向反射函数或BRDF)，其被表示为基于真实材料的图像生成的模型，如上面例如关于图7和图8所述。
在操作910中，(例如，运行3-D计算机图形渲染引擎的)合成数据生成器40确定给定表面(例如，相对于全局坐标系)的法线方向。在操作930中，合成数据生成器40确定物体的表面的材料作为虚拟场景的设计的一部分分配给表面。
在操作950中，合成数据生成器40确定表面的观察者角度β，例如基于光线到达表面的方向(例如，如果表面是来自相机的光线到达的第一表面，则是从虚拟相机到表面的角度，否则是光线从虚拟场景中的另一个表面到达该表面的角度)。在一些实施例中，在操作950中，基于光线离开表面的角度(例如，在朝向场景中的虚拟光源的方向，由于在光线追踪期间光线方向的反转)也确定入射角α。在一些情况下，入射角α取决于在操作930中确定的材料的特性，诸如，材料是否是透明的、反射的、折射的、漫射的(例如，哑光)或其组合。
在操作970和990中，合成数据生成器40基于观察者角度β(并且如果适用的话，入射角α和其他条件，诸如场景中的照明源的光谱轮廓或偏振参数)配置材料的模型，并且部分地基于材料的配置模型计算像素的颜色。材料的模型可以从不同标准材料的模型的集合或数据库中检索(例如，已经基于预期在由用于生成用于特定应用或使用场景的训练数据的合成数据生成器40生成的虚拟场景中描绘的材料(诸如在用于支持机器人制造电子设备的计算机视觉的情况下用于制造特定电子设备的组件的材料)的类型经验性地生成模型材料)，其中模型是基于根据本公开的实施例的如上所述的捕获的真实材料的图像生成的。例如，在操作930中，合成数据生成器40可以确定虚拟场景中的物体的表面由黑色橡胶制成，在这种情况下，在操作970中加载和配置从黑色橡胶制成真实表面的捕获图像生成的材料的模型。
在一些情况下，虚拟场景包括具有由不表示在材料的模型的数据库或集合中的材料制成的材料的物体。因此，本公开的实施例的一些方面涉及通过在由不同真实模型做出的预测之间进行插值来模拟在材料的模型的数据库中没有完全或类似匹配的材料外观。在一些实施例中，基于表征材料的参数集在嵌入空间中表示现有材料。更正式地说，可解释的材料嵌入M，使得F(Mglass,θout,φout,x,,y)给出玻璃的偏振表面光场，其中观察者角度β由(θout,φout)表示，并且在表面上的位置(x,y)(映射到3-D表面上的(u,v)坐标空间)处，以及对于另一种材料(诸如橡胶)可以执行类似的嵌入F(Mrubber,θout,φout,x,,y)。材料在嵌入空间中的这种嵌入可以随后使用例如beta变分自动编码器(VAE)以可解释的方式进行参数化，然后进行插值以生成不直接基于经验收集样本的新材料，而是基于他们自己的经验收集样本分别构建的多个不同模型之间的插值。附加材料以这种方式的生成进一步扩展了根据本公开的实施例生成的合成训练数据的域随机性并且提高了基于该合成数据训练的深度学习模型的鲁棒性。
本公开的各实施例涉及可以实施材料的模型的不同方式。
在本公开的各种实施例中，表示材料的表面光场函数或BRDF的模型使用，例如，基于深度学习的BRDF函数(例如，基于深度神经网络(诸如卷积神经网络))、数学建模的BRDF函数(例如，一组一个或多个封闭式方程或一个或多个可数学求解的开放式方程)或者使用线性插值的数据驱动的BRDF函数来表示。
在操作970中，合成数据生成器40基于当前参数(诸如入射角α和观察者角β)配置操作950中标识的材料的模型。在使用线性插值的数据驱动BRDF函数的情况下，在操作970中，合成数据生成器40检索操作950中标识的在参数空间中最接近当前光线的参数的材料的图像。在一些实施例中，材料被索引(例如，被存储在数据库或其他数据结构中)，并且根据材料类型、照明类型、光的入射角和相机相对于材料的表面法线的角度(例如，观察者角度)来访问。然而，本公开的实施例不限于上面列出的参数，并且可以使用其他参数，取决于成像模态的特性。例如，对于一些材料，入射角和/或照明类型可能对材料的外观没有影响，因此这些参数可省略且不需要作为方法900的一部分来确定。
因此，在具有线性插值的数据驱动的BRDF函数的情况下，在操作970中，合成数据生成器40检索最接近与正在渲染的当前像素相关联的当前光线的给定参数的一个或多个图像。例如，观察者角度可能与物体的表面法线的成53°，并且真实世界材料的样本可能包括以间隔5°的观察者角度捕获的图像，在这个例子中，相对于由感兴趣的材料制成的真实世界物体的表面法线成50°和55°捕获的图像。因此，将检索在50°和55°捕获的真实世界材料的图像(在使用附加参数的情况下，这些参数(诸如入射角和照明类型)将进一步标识将要检索的特定图像)。
继续具有线性插值的数据驱动的BRDF函数的示例，操作990，合成数据生成器40基于最接近的图像计算像素的表面的颜色。在只有一个匹配图像的情况下(例如，如果虚拟场景中的观察者角度与采样图像中的一个的观察者角度匹配)，则直接使用该采样图像用于计算表面的颜色。在有多个匹配图像的情况下，合成数据生成器40对多个图像的颜色进行插值。例如，在一些实施例中，使用线性内插在多个图像之间进行插值。更具体地，如果观察者角度在相对于表面法线的方位角和相对于照明源的入射角的极角中具有不同的观察者角度的四个不同样本图像之间，则可以使用双线性插值来沿着方位角方向和极方向在四个图像之间进行插值。作为另一示例，如果材料的外观还取决于入射角，则可以基于在不同入射角捕获的图像执行进一步的插值(同时对于不同入射角度中的每个在不同观察者角度捕获的图像之间进行插值)。因此，在操作990中，基于组合从真实世界材料的一个或多个捕获的图像，为当前像素计算场景的表面的颜色。
在模型是深度学习网络的本公开的一些实施例中，用包括训练深度神经网络以直接从参数集预测双向反射函数的值的模型实施材料的表面光场函数。更详细地，从多个不同姿势捕获的真实材料的图像(如上例如关于图7和图8所描述的)被用来生成与材料的一部分(例如，图像的中心处)的观察到的外观的参数(诸如观察者角度β、入射角α、照明源的光谱特性等)有关的训练数据。因此，在一些实施例中，深度神经网络被训练(例如，应用反向传播)，以基于从收集的真实材料的图像中收集的训练数据估计BRDF函数。在这些实例中，在操作970中通过以下方式配置模型：如果有多个深度神经网络，则从与该模型相关联的多个深度神经网络中选择一个深度神经网络(例如，基于虚拟场景的参数与用于训练深度神经网络的数据的参数(诸如照明源的参数)相匹配而选择)，并且将参数提供给选定的深度神经网络(或唯一的深度神经网络，如果仅有一个与模型相关联的深度神经网络)的输入(诸如观察者角度β、入射角α等)。在操作990中，合成数据生成器40通过前向传播通过深度神经网络以计算输出处的颜色来从配置的模型计算虚拟物体的表面的颜色，其中计算的颜色是如配置的模型的深度神经网络所预测的虚拟场景的表面的颜色。
在模型是深度神经网络的本公开的一些实施例中，用包括一个或多个条件生成对抗网络的模型实施材料的表面光场函数(参见，例如，Goodfellow,Ian等人的"Generativeadversarial nets."Advances in Neural Information Processing Systems.2014.)。每个条件生成对抗网络可以被训练为基于随机输入以及一个或多个条件生成材料的图像，其中条件包括观察表面的当前参数(例如，观察者角β、每个照明源的入射角α、每个照明源的偏振状态以及表面的材料属性)。根据一些实施例，以对抗性方式训练鉴别器，以基于输入图像和与图像相关联的一组条件来确定输入图像是在给定条件下捕获的真实图像还是由条件生成器基于该组条件生成的真实图像。通过交替地重新训练生成器以生成可以″欺骗″鉴别器的图像并且训练鉴别器在生成的图像和真实图像之间进行鉴别，生成器被训练为生成在各种捕获条件下(例如，在不同的观察者角度)捕获的材料的真实图像，从而使得经训练的生成器能够表示材料的表面光场函数。在本公开的一些实施例中，针对相同材料的不同条件(诸如针对不同类型的照明源、照明源的不同偏振状态等)训练不同的生成对抗网络。在这些实施例中，在操作970中通过以下方式配置模型：如果有多个与模型相关联的条件生成对抗网络(GAN)，则从多个与模型相关联的条件GAN选择一个条件GAN(例如，基于虚拟场景的参数与用于训练深度神经网络的数据的参数(诸如照明源的参数)相匹配来选择)，并且提供虚拟场景的参数作为条件GAN的条件，诸如观察者角β、入射角α等。在操作990中，合成数据生成器40通过前向传播通过条件GAN以计算输出处(例如，基于当前参数的物体的表面的合成图像)的颜色来从配置的模型计算虚拟物体的表面的颜色，其中计算的颜色是如由配置的模型的条件GAN生成的虚拟场景的表面的颜色。
在本公开的一些实施例中，表面光场函数使用封闭形式的数学推导的双向反射分布函数(BRDF)来建模，该双向反射分布函数由(如诸如根据关于图8所描述的方法从不同角度捕获的)真实材料的经验收集样本(例如，图片或照片)配置。例如，在Ramamoorthi,Ravi和Pat Hanrahan的"A Signal-Processing Framework for Inverse Rendering."Proceedings of the 28th Annual Conference on Computer Graphics andInteractive Techniques.2001.以及Ramamoorthi,Ravi的A Signal-ProcessingFramework for Forward and Inverse Rendering.Stanford University,2002,52–79.中，描述了用于基于从不同角度或姿势收集的材料的图片或照片配置BRDF的技术的示例。因此，在一些实施例中，封闭形式的数学推导的BRDF是使用真实材料的经验收集样本配置的，并且被包括为用于对材料的多模态和/或全光特性建模的材料模型的组件，所述材料模型的组件用于计算机渲染虚拟场景的多模态和/或全光图像。
在一些实施例中，由双模态或多模态的多种材料制成的虚拟物体对于所讨论的虚拟物体中使用的每种材料类型将具有类似的图像集。然后，在图像的最终渲染中组合不同材料的外观(例如，根据与虚拟模型中的每个材料相关联的权重相加组合)。在一些实施例中，这种组合多种材料的相同方法也被应用于多层材料，诸如闪亮材料上的透明图层等。在一些实施例中，多层材料通过单独采样多层材料(例如，捕获其图像)来建模。
根据本公开的实施例的使用材料的经验模型的渲染过程的最终效果是，最终渲染具有接近真实环境中的真实偏振信号的仿真偏振信号。经验模型在渲染虚拟环境中描绘的材料的准确性取决于虚拟环境的条件与捕获真实世界材料的样本的条件的匹配程度(例如，虚拟场景中的照明源的光谱轮廓与真实世界照明光源的匹配程度，虚拟场景中的观察者角度与执行采样时使用的观察者角度的匹配程度等)。
如上所述，虽然本文在模拟或仿真偏振的外观的背景下描述了本公开的实施例的方面，但是本公开的实施例不限于此。材料在多模态成像模态和/或全光成像模态(诸如热成像、具有偏振的热成像等)下的外观也可以根据本公开的实施例来捕获。例如，材料在热成像模态(例如，红外成像)中的行为类似地可以通过使用与图7所示布置类似的布置的热像仪和图8中所描述的方法从多个姿势捕获材料的图像进行建模。基于这些捕获的图像，然后可以通过检索对应的图像并且在必要时以与图9所示的方式类似的方式插值图像在3-D渲染引擎中模拟材料在热成像下的外观。
因此，本公开的一些实施例涉及用于通过使用虚拟场景中的材料的经验模型渲染虚拟场景的图像生成虚拟场景在它们在各种成像模态(诸如偏振成像和热成像)下出现时的合成图像数据的***和方法。在一些实施例中，这些经验模型可以包括使用一个或多个成像模态(诸如偏振成像和热成像)捕获的真实世界物体的图像。然后，这些合成图像数据可以用于训练机器学习模型，以对由使用这些成像模态的成像***捕获的图像数据进行操作。
本公开的实施例的一些方面涉及生成通常从成像数据生成的关于图像特征的合成数据。作为一个具体示例，本公开的实施例的一些方面涉及生成偏振表示空间的(例如，线性偏振度或DOLPρ和线性偏振角或AOLPφ的)合成特征或张量。如上所述，偏振形状(SfP)提供了DOLPρ和AOLPφ与物体的表面法线的折射率(n)、方位角(θa)和天顶角(θz)之间的关系。
因此，实施例的一些方面涉及基于虚拟场景的表面的折射率(n)、方位角(θa)和天顶角(θz)(其都是虚拟3-D场景的已知参数)生成虚拟场景的对虚拟相机可见的表面的合成的线性偏振度或DOLPρ和线性偏振角或AOLPφ。
图10是描绘根据本公开的一个实施例的用于计算虚拟场景的偏振表示空间的合成特征或张量的方法1000的流程图。在操作1010中，合成数据生成器40渲染法线图像(例如，每个像素对应于虚拟场景在该像素处的表面法线的方向的图像)。每个分量处的法向量包括方位角θa分量和天顶角θz分量。在操作1030中，合成数据生成器40将法线图像的每一点处的法向量分成两个分量：该像素处的方位角θa和天顶角θz。如上所述，这些分量可以通过使用来自用于漫射的情况的偏振方程(2)和(3)以及用于镜面情况的方程(4)和(5)的形状被用来计算DOLPρ和AOLPφ的估计值。为了模拟真实的偏振误差，在本公开的一些实施例中，合成数据生成器40在应用偏振方程(例如，偏振方程(2)、(3)、(4)和(5))之前将半全局扰动应用于法线图。该扰动改变了法线的大小同时保留了法线的梯度。这模拟了由物体的材料特性以及它们与偏振的相互作用导致的误差。在操作1050中，对于给定的像素，合成数据生成器40基于虚拟场景中的物体的参数确定物体的表面的材料(例如，与法线图中的每个像素处的表面相关联的材料)，并且根据3-D渲染技术与场景的几何形状结合使用该材料，以确定该给定像素是否是镜面主导的。如果是，则合成数据生成器40在操作1092中基于镜面方程(4)和(5)计算DOLPρ和AOLPφ。如果否，则合成数据生成器40在操作1094中基于漫射方程(2)和(3)计算DOLPρ和AOLPφ。
在一些实施例中，假定所有表面都是漫射的，并且因此可以省略操作1050和操作1070，并且基于来自用于漫射的偏振方程(2)和(3)的形状计算合成的DOLPρ和AOLPφ。
在一些实施例中，通过应用颜色图(诸如″viridis″颜色图或″Jet颜色图)将合成的DOLPρ和AOLPφ数据渲染成彩色图像(参见，例如，Liu,Yang和Jeffrey Heer的"Somewhere over the rainbow:An empirical assessment of quantitativecolormaps."Proceedings of the 2018CHI Conference on Human Factors inComputing Systems.2018.)。偏振空间的合成张量的这些颜色映射版本可以更容易地提供为用于重新训练预训练的机器学习模型(诸如卷积神经网络)的输入。在一些实施例中，在合成DOLPρ和AOLPφ数据时，对各种合成数据应用随机颜色图使得合成的训练数据集包括各种不同颜色图中表示DOLPρ和AOLPφ数据的彩色图像，使得在推理时间，网络将能够执行预测而不考虑用于编码真实DOLPρ和AOLPφ数据的特定颜色图。在本公开的其他实施例中，对所有合成的DOLPρ和AOLPφ数据应用相同的颜色图(或者第一颜色图被用于DOLPρ并且不同的第二颜色图被用于AOLPφ)，并且在推理时间，对在偏振表示空间中提取的张量应用颜色图以匹配合成训练数据(例如，相同的第一颜色图被用于编码从捕获的真实偏振原始帧中提取的DOLPρ并且相同的第二颜色图被用于编码从捕获的真实偏振原始帧中提取的AOLPφ)。
因此，本公开的实施例的一些方面涉及合成特定于特定成像模态的表示空间的特征，诸如通过合成偏振成像模态的偏振表示空间的DOLPρ和AOLPφ。
本公开的实施例的一些方面涉及用于生成用于训练机器学习模型的合成图像的上述技术的组合。图11是描绘根据本公开的一个实施例的用于生成训练数据集的方法的流程图。代表目标域的一个或多个虚拟场景可以如上所述生成(例如，对于生成组件箱的图像，通过选择的组件的一个或多个3-D模型并将3-D模型的实体投放到容器中)。例如，本公开的实施例的一些方面涉及基于以下内容形成训练数据集：(1)在操作1110中仅通过域随机化生成的图像，(2)在操作1112中仅通过纹理映射生成的(例如，根据图9的实施例生成的)图像，以及(3)在操作1114中仅通过法线映射生成的(例如，根据图10的实施例生成的)图像。
此外，训练数据集可以包括使用通过在不同的经验生成模型之间进行插值生成的(如上文所述的嵌入空间的参数化的)材料的模型生成的图像。
在本公开的一些实施例中，通过在将图像添加到训练数据集之前在操作1120、1122和1124中分别对生成的图像应用风格迁移或其他的滤波器来进一步处理根据(1)域随机化、(2)纹理映射和(3)法线映射生成的图像。应用风格迁移导致看起来与使用上述三种技术生成的略有不同的图像具有更一致的外观。在一些实施例中，风格迁移过程将合成的输入图像转换为看起来更类似于基于感兴趣的成像模态(例如，导致使用(1)域随机化生成的图像以及使用(3)法线映射生成的特征图看起来更像偏振原始帧)或者通过使合成的输入图像看起来更像人造的(诸如通过对输入图像应用不真实的绘画风格(例如，导致使用(1)域随机化生成的图像、(2)使用纹理映射的渲染以及使用(3)法线映射生成的特征映射看起来像用画笔在画布上绘制的画))捕获的图像。
在一些实施例中，神经风格迁移网络被训练并用于在操作1122中对针对训练数据集选择的图像执行风格迁移，诸如用于复杂全局风格迁移的SytleGAN(参见，例如，Karras,Tero等人的"Analyzing and improving the image quality of stylegan."Proceedingsof the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020.)；用于本地风格迁移的基于补丁的网络(参见，例如，Chen,Tian Qi和Mark Schmidt的"Fastpatch-based style transfer of arbitrary style."arXiv preprint arXiv:1612.04337(2016).)；以及使用域适应的网络(参见，例如，Dundar,Aysegul等人的"Domainstylization:A strong,simple baseline for synthetic to real image domainadaptation."arXiv preprint arXiv:1807.09384(2018).)。因此，训练数据集中的所有图像可以具有类似的风格或外观，无论图像是通过什么方法获得的(如通过风格迁移操作转换的)(例如，是否通过(1)域随机化、(2)纹理映射、(3)法线映射或其他的来源，诸如如使用实施感兴趣的模态(诸如偏振成像或热成像)的成像***捕获的物体的真实图像)。
在本公开的一些实施例中，训练数据集的图像是从基于困难样本挖掘(参见，例如，Smirnov,Evgeny等人的"Hard example mining with auxiliary embeddings."Proceedings of the IEEE Conference on Computer Vision and Pattern RecognitionWorkshops.2018.)从合成数据集(1)、(2)和(3)中采样的。使用困难样本挖掘对合成的数据集进行采样可以通过减少训练集的大小以去除对训练过程影响不大的大量冗余图像同时保留对所得到的训练模型有更大影响的″困难样本″来提升训练过程的效率，。
如上面简要提及的，当生成用于监督学习的训练数据时，合成数据生成器40还自动生成合成的图像的标签(例如，期望输出)。例如，当生成用于训练机器学习模型以执行图像分类任务的训练数据时，为给定的图像生成的标签可以包括图像中描绘的物体的类别。可以通过标识虚拟场景中可见的物体的每个独特种类生成这些类别标签。作为另一示例，当生成用于训练机器学习模型以执行实体分割任务的训练数据时，生成的标签可以包括其中每个物体的每个实体连同其类别(例如，其中相同种类的物体具有相同的类别标识符)被唯一地标识(例如，用不同实体标识符)的分割图。例如，可以通过追踪从相机到虚拟场景的光线来生成分割图，其中每条光线可以与虚拟场景的某个第一表面相交。分割图的每个像素都基于包含由从相机发出的光线通过像素撞击的表面的物体的实体标识符和类别标识符相应地标记。
如上所述，并参考图1，由合成数据生成器40生成的合成数据42的结果训练数据集然后被模型训练***7用作训练数据6来训练模型30(诸如预训练的模型或用随机参数初始化的模型)，以产生经训练的模型32。在根据偏振成像模态生成训练数据的情况下继续上面提出的例子，训练数据集5可以用于训练模型30，以对偏振输入特征(诸如偏振原始帧(例如，通过纹理映射生成的图像)和偏振表示空间的张量(例如，通过法线映射生成的图片))进行操作。
因此，包括合成数据42的训练数据5被用于训练或重新训练机器学习模型30以执行基于特定成像模态的计算机视觉任务，例如，根据偏振成像模态的合成数据可以被用于重新训练可能已经被预训练以基于标准色彩图像执行实体分割的卷积神经网络，以基于偏振输入特征执行实体分割。
在部署中，基于根据本公开的实施例生成的训练数据训练的经训练的模型32随后被配置为获取类似于训练数据(诸如偏振原始帧和/或偏振表示空间的张量)的输入(其中通过生成训练数据时应用相同的风格迁移(如果有)进一步修改这些输入图像)来生成预测的输出(诸如分割图)。
虽然本文关于偏振成像模态描述了本公开的一些实施例，但是本公开的实施例不限于此并且包含多模态成像模态和/或全光成像模态，诸如热成像、具有偏振(例如，具有偏振滤波器)的热成像和紫外成像。在使用不同模态的这些实施例中，使用实施这些模态的成像***从真实世界材料捕获的真实世界图像样本被用来生成材料在它们将在这些成像模态下出现时的模型，并且材料相对于这些模态的表面光场函数如上所述被建模(例如，使用深度神经网络、生成网络、线性插值、显式数学模型等)并且被用于使用3-D渲染引擎根据这些模态来渲染图像。然后，模态中的渲染图像可以用于训练或重新训练一个或多个机器学习模型(诸如卷积神经网络)，以基于使用这些模态捕获的输入图像执行计算机视觉任务。
因此，本公开的实施例的各方面涉及用于生成模拟或合成数据的***和方法，所述模拟或合成数据代表由使用各种不同成像模态(诸如偏振、热、紫外线和其组合)的成像***捕获的图像数据。模拟或合成数据可以被用来作为训练数据集和/或被用来增强训练数据集，以用于训练机器学习模型对使用与模拟或合成数据的成像模态相对应的成像模态捕获的数据执行任务，诸如计算机视觉任务。
虽然已经结合某些示例性实施例描述了本发明，但是应理解，本发明不限于所公开的实施例，相反旨在涵盖包括在所附权利要求书及其等价物的精神和范围内的各种修改和等效布置。
在本公开的一些实施例中，执行操作的顺序可能与图中描绘和本文中描述的顺序不一致。例如，虽然图6描绘了用于生成合成图像的方法的一个示例，但是本公开的实施例不限于此。例如，图6中示出的一些操作可以以不同顺序执行或者可以同时执行。作为具体示例，在本公开的各种实施例中，可以在操作690中基于指定的成像模态渲染3-D场景之前以各种顺序执行在虚拟场景610中放置物体的3-D模型、向虚拟场景630添加照明、将模态特定的材料应用到虚拟场景650中的物体以及设置场景背景670的操作。作为另一示例，虽然图8描绘了其中在将真实世界物体放置到场景中之后在真实世界的场景中放置照明的实施例，但是本公开的实施例不限于此，并且可以在将真实世界物体放置在场景中之前将照明添加到场景中。
在本公开的一些实施例中，可以省略或不执行一些操作，并且在一些实施例中，可以在本文中所描述的各种操作之前、之后或之间执行本文中没有描述的附加操作。

Claims (36)

1.一种生成虚拟场景的合成图像的方法，包括：
通过由处理器和存储器实施的合成数据生成器在3-D虚拟场景中放置物体的三维(3-D)模型；
通过所述合成数据生成器向所述3-D虚拟场景添加照明，所述照明包括一个或多个照明源；
通过所述合成数据生成器根据选定的多模态成像模态将成像模态特定的材料应用到所述3-D虚拟场景中的物体的所述3-D模型，所述成像模态特定的材料中的每个包括经验模型；
根据所述选定的多模态成像模态设置场景背景；以及
通过所述合成数据生成器基于所述选定的多模态成像模态渲染所述3-D虚拟场景的二维图像，以根据所述选定的多模态成像模态生成合成图像。
2.如权利要求1所述的方法，其中所述经验模型是基于材料的表面的使用成像***捕获的采样图像生成的，所述成像***被配置为使用所述选定的多模态成像模态捕获图像，并且
其中所述采样图像包括所述材料的所述表面的从相对于所述材料的所述表面的法线方向的多个不同的姿势捕获的图像。
3.如权利要求2所述的方法，其中所述选定的多模态成像模态是偏振并且所述成像***包括偏振相机。
4.如权利要求2所述的方法，其中所述选定的多模态成像模态是热的并且所述成像***包括热像仪。
5.如权利要求4所述的方法，其中所述热像仪包括偏振滤波器。
6.如权利要求2所述的方法，其中所述采样图像中的每个与其相对于所述材料的所述表面的所述法线方向的姿势的对应角度相关联地存储。
7.如权利要求2所述的方法，其中所述采样图像包括：
由具有第一光谱轮廓的光照明的所述材料的所述表面的捕获的多个第一采样图像；
由具有不同于所述第一光谱轮廓的第二光谱轮廓的光照明的所述材料的所述表面的捕获的多个第二采样图像。
8.如权利要求2所述的方法，其中所述经验模型包括通过在所述采样图像中的两个或多个之间进行插值计算的表面光场函数。
9.如权利要求2所述的方法，其中所述经验模型包括通过在所述采样图像上训练的深度神经网络计算的表面光场函数。
10.如权利要求2所述的方法，其中所述经验模型包括通过在所述采样图像上训练的生成对抗网络计算的表面光场函数。
11.如权利要求2所述的方法，其中所述经验模型包括通过基于所述采样图像生成的数学模型计算的表面光场函数。
12.如权利要求1所述的方法，还包括对所述合成图像应用风格迁移。
13.一种用于为3-D虚拟场景生成偏振特征空间的张量的方法，包括：
通过由处理器和存储器实施的合成数据生成器渲染3-D虚拟场景的表面法线的图像，所述3-D虚拟场景包括多个物体的3-D模型，所述表面法线包括方位角分量和天顶角分量；
通过所述合成数据生成器为所述3-D场景的物体的3-D模型的表面确定所述物体的材料；以及
通过所述合成数据生成器根据所述表面法线的所述方位角分量和所述天顶角分量计算所述偏振特征空间的张量，所述偏振特征空间的张量包括：
线性偏振度；以及
所述物体的所述表面处的线性偏振角。
14.如权利要求13所述的方法，还包括：
确定所述物体的所述3-D模型的所述表面是否是镜面主导的；
响应于确定所述物体的所述3-D模型的所述表面是镜面主导的，基于镜面偏振方程计算所述偏振特征空间的张量；以及
响应于确定所述物体的所述3-D模型的所述表面是镜面主导的，基于漫射偏振方程计算所述偏振特征空间的张量。
15.如权利要求13所述的方法，包括：
基于漫射偏振方程计算所述偏振特征空间的张量。
16.如权利要求13所述的方法，还包括对所述偏振特征空间的张量应用风格迁移。
17.一种用于合成训练数据集的方法，该方法基于生成根据权利要求1-16中任一项生成的多个合成图像。
18.一种用于训练机器学习模型的方法，包括：
根据权利要求17生成训练数据集；以及
基于所述训练数据集计算所述机器学习模型的参数。
19.一种用于生成虚拟场景的合成图像的***，包括：
处理器；以及
存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器实施所述合成数据生成器以：
在3-D虚拟场景中放置物体的三维(3-D)模型；
向所述3-D虚拟场景添加照明，所述照明包括一个或多个照明源；
根据选定的多模态成像模态，将成像模态特定的材料应用到所述3-D虚拟场景中的物体的所述3-D模型，所述成像模态特定的材料中的每个包括经验模型；
根据所述选定的多模态成像模态设置场景背景；并且
基于所述选定的多模态成像模态渲染所述3-D虚拟场景的二维图像，以根据所述选定的多模态成像模态生成合成图像。
20.如权利要求19所述的***，其中所述经验模型是基于材料的表面的使用成像***捕获的采样图像生成的，所述成像***被配置为使用所述选定的多模态成像模态捕获图像的，并且
其中所述采样图像包括所述材料的所述表面的从相对于所述材料的所述表面的法线方向的多个不同姿势捕获的图像。
21.如权利要求20所述的***，其中所述选定的多模态成像模态是偏振并且所述成像***包括偏振相机。
22.如权利要求20所述的***，其中所述选定的多模态成像模态是热的并且所述成像***包括热像仪。
23.如权利要求22所述的***，其中所述热像仪包括偏振滤波器。
24.如权利要求20所述的***，其中所述采样图像中的每个与其相对于所述材料的所述表面的所述法线方向的姿势的对应角度相关联地存储。
25.如权利要求20所述的***，其中所述采样图像包括：
由具有第一光谱轮廓的光照射的所述材料的所述表面的捕获的多个第一采样图像；以及
由具有与所述第一光谱轮廓不同的第二光谱轮廓的光照射的所述材料的所述表面的捕获的多个第二采样图像。
26.如权利要求20所述的***，其中所述经验模型包括通过在所述采样图像中的两个或多个之间进行插值计算的表面光场函数。
27.如权利要求20所述的***，其中所述经验模型包括通过在所述采样图像上训练的深度神经网络计算的表面光场函数。
28.如权利要求20所述的***，其中所述经验模型包括通过在所述采样图像上训练的对抗生成网络计算的表面光场函数。
29.如权利要求20所述的***，其中所述经验模型包括通过基于所述采样图像生成的数学模型计算的表面光场函数。
30.如权利要求19所述的***，其中所述存储器还存储在由所述处理器执行时使得所述合成数据生成器对所述合成图像应用风格迁移的指令。
31.一种用于为3-D虚拟场景生成偏振特征空间的张量的***，包括：
处理器；以及
存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器实施所述合成数据生成器以：
渲染包括多个物体的3-D模型的3-D虚拟场景的表面法线的图像，所述表面法线包括方位角分量和天顶角分量；
为所述3-D虚拟场景的物体的3-D模型的表面确定所述物体的材料；并且
根据所述表面法线的所述方位角分量和所述天顶角分量计算所述偏振特征空间的张量，所述偏振特征空间的张量包括：
线性偏振度；以及
所述物体的所述表面处的线性偏振角。
32.如权利要求31所述的***，其中所述存储器还存储指令，所述指令在由所述处理器执行时使得所述合成数据生成器：
确定所述物体的所述3-D模型的所述表面是否是镜面主导的；
响应于确定所述物体的所述3-D模型的所述表面是镜面主导的，基于镜面偏振方程计算所述偏振特征空间的张量；并且
响应于确定所述物体的所述3-D模型的所述表面是镜面主导的，基于漫射偏振方程计算所述偏振特征空间的张量。
33.如权利要求31所述的***，其中所述存储器还存储指令，所述指令在由所述处理器执行时使得所述合成数据生成器：
基于漫射偏振方程计算所述偏振特征空间的张量。
34.如权利要求31所述的***，其中所述存储器还存储指令，所述指令在由所述处理器执行时使得所述合成数据生成器：
对所述偏振特征空间的张量应用风格迁移。
35.一种用于合成训练数据集的***，所述***被配置为使用根据权利要求19-34中任一项所述的***合成所述训练数据集。
36.一种用于训练机器学习模型的***，包括：
处理器；以及
存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器：
接收由根据权利要求35所述的***生成的训练数据集；并且
基于所述训练数据集来计算所述机器学习模型的参数。
CN202180024953.XA 2020-01-30 2021-01-04 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的***和方法 Pending CN115428028A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062968038P 2020-01-30 2020-01-30
US62/968,038 2020-01-30
PCT/US2021/012073 WO2021154459A1 (en) 2020-01-30 2021-01-04 Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images

Publications (1)

Publication Number Publication Date
CN115428028A true CN115428028A (zh) 2022-12-02

Family

ID=77079924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180024953.XA Pending CN115428028A (zh) 2020-01-30 2021-01-04 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的***和方法

Country Status (6)

Country Link
US (1) US11797863B2 (zh)
EP (1) EP4085424A4 (zh)
JP (1) JP2023511747A (zh)
KR (1) KR20220133973A (zh)
CN (1) CN115428028A (zh)
WO (1) WO2021154459A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580673B1 (en) * 2019-06-04 2023-02-14 Duke University Methods, systems, and computer readable media for mask embedding for realistic high-resolution image synthesis
US11418762B2 (en) * 2020-09-11 2022-08-16 GM Global Technology Operations LLC Imaging system and method
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11663775B2 (en) * 2021-04-19 2023-05-30 Adobe, Inc. Generating physically-based material maps
US11610370B2 (en) 2021-06-01 2023-03-21 Nvidia Corporation Joint shape and appearance optimization through topology sampling
US11961188B2 (en) * 2022-06-08 2024-04-16 Adobe Inc. Neural networks to generate appearance-responsive material map sets in digital graphical environments

Family Cites Families (1040)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4124798A (en) 1965-12-09 1978-11-07 Thompson Kenneth B Optical viewing apparatus
US4198646A (en) 1978-10-13 1980-04-15 Hughes Aircraft Company Monolithic imager for near-IR
US4323925A (en) 1980-07-07 1982-04-06 Avco Everett Research Laboratory, Inc. Method and apparatus for arraying image sensor modules
JPS5769476A (en) 1980-10-16 1982-04-28 Fuji Xerox Co Ltd Reader control system
JPS5925483A (ja) 1982-08-04 1984-02-09 Hitachi Denshi Ltd 固体撮像装置
US4652909A (en) 1982-09-14 1987-03-24 New York Institute Of Technology Television camera and recording system for high definition television having imagers of different frame rate
US4460449A (en) 1983-01-03 1984-07-17 Amerace Corporation Apparatus for making a tool
US4888645A (en) 1984-01-16 1989-12-19 International Business Machines Corporation Method for encoding and decoding a digital image
JPS6129851A (ja) 1984-07-20 1986-02-10 Toshiba Corp 電子写真装置
JPS6140709U (ja) 1984-08-20 1986-03-14 三洋電機株式会社 磁気ヘツド
EP0289885A1 (de) 1987-05-08 1988-11-09 Siemens Aktiengesellschaft Blendensystem zur Erzeugung mehrerer Teilchensonden mit veränderbarem Querschnitt
JPS6437177A (en) 1987-08-03 1989-02-07 Canon Kk Image pickup device
DE58902538D1 (de) 1988-05-19 1992-12-03 Siemens Ag Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens.
JPH02285772A (ja) 1989-04-26 1990-11-26 Toshiba Corp 画像読取装置
US5070414A (en) 1988-09-20 1991-12-03 Kabushiki Kaisha Toshiba Method and apparatus for reading image information formed on material
US4962425A (en) 1988-10-27 1990-10-09 National Research Council Of Canada/Conseil National Deresherches Canada Photometric device
US5157499A (en) 1990-06-29 1992-10-20 Kabushiki Kaisha N A C High-speed video camera using solid-state image sensor
US5144448A (en) 1990-07-31 1992-09-01 Vidar Systems Corporation Scanning apparatus using multiple CCD arrays and related method
US5463464A (en) 1991-10-04 1995-10-31 Kms Fusion, Inc. Electro-optical system for gauging surface profile deviations using infrared radiation
US5325449A (en) 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
JP3032382B2 (ja) 1992-07-13 2000-04-17 シャープ株式会社 デジタル信号のサンプリング周波数変換装置
JPH06129851A (ja) 1992-10-13 1994-05-13 Sumitomo Electric Ind Ltd ステレオカメラの校正方法
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
WO1994020875A2 (en) 1993-03-03 1994-09-15 Street Graham S B Method and apparatus for image alignment
US5659424A (en) 1993-05-25 1997-08-19 Hitachi, Ltd. Projecting lens and image display device
JPH0715457A (ja) 1993-06-18 1995-01-17 Hitachi Ltd ディジタル通信切替方式
DE69430153T2 (de) 1993-06-21 2002-09-05 Nippon Telegraph & Telephone Verfahren und Vorrichtung zur dreidimensionalen Bilderzeugung von Objekten
US6419638B1 (en) 1993-07-20 2002-07-16 Sam H. Hay Optical recognition methods for locating eyes
US6095989A (en) 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
JP2761837B2 (ja) 1993-08-19 1998-06-04 株式会社日鉄エレックス 立体像表示装置
EP0677821A3 (en) 1994-04-14 1996-03-06 Hewlett Packard Co Enlargement of a digital image by slaving.
WO1995034044A1 (en) 1994-06-09 1995-12-14 Kollmorgen Instrument Corporation Stereoscopic electro-optical system for automated inspection and/or alignment of imaging devices on a production assembly line
US5517236A (en) 1994-06-22 1996-05-14 Philips Electronics North America Corporation Video surveillance system
JPH0877356A (ja) 1994-09-09 1996-03-22 Fujitsu Ltd 三次元多眼画像の処理方法及び処理装置
US5703961A (en) 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US20020195548A1 (en) 2001-06-06 2002-12-26 Dowski Edward Raymond Wavefront coding interference contrast imaging systems
US5629524A (en) 1995-02-21 1997-05-13 Advanced Scientific Concepts, Inc. High speed crystallography detector
US5933190A (en) 1995-04-18 1999-08-03 Imec Vzw Pixel structure, image sensor using such pixel structure and corresponding peripheral circuitry
US5963664A (en) 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US6005607A (en) 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US5675377A (en) 1995-06-30 1997-10-07 Telefonaktiebolaget Lm Ericsson True three-dimensional imaging and display system
GB2302978A (en) 1995-07-04 1997-02-05 Sharp Kk LIquid crystal device
US5880691A (en) 1995-11-07 1999-03-09 California Institute Of Technology Capacitively coupled successive approximation ultra low power analog-to-digital converter
US5757425A (en) 1995-12-19 1998-05-26 Eastman Kodak Company Method and apparatus for independently calibrating light source and photosensor arrays
JP3502713B2 (ja) 1995-12-21 2004-03-02 本田技研工業株式会社 車両用距離測定装置
JPH09181913A (ja) 1995-12-26 1997-07-11 Olympus Optical Co Ltd カメラシステム
US5793900A (en) 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
US6124974A (en) 1996-01-26 2000-09-26 Proxemics Lenslet array systems and methods
US5973844A (en) 1996-01-26 1999-10-26 Proxemics Lenslet array systems and methods
US6493465B2 (en) 1996-02-21 2002-12-10 Canon Kabushiki Kaisha Matching point extracting method and apparatus therefor
US5832312A (en) 1996-02-22 1998-11-03 Eastman Kodak Company Watertight body for accommodating a photographic camera
MY118360A (en) 1996-04-30 2004-10-30 Nippon Telegraph & Telephone Scheme for detecting shot boundaries in compressed video data using inter-frame/inter field prediction coding and intra-frame/intra-field coding
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6002743A (en) 1996-07-17 1999-12-14 Telymonde; Timothy D. Method and apparatus for image acquisition from a plurality of cameras
GB9616262D0 (en) 1996-08-02 1996-09-11 Philips Electronics Nv Post-processing generation of focus/defocus effects for computer graphics images
US6141048A (en) 1996-08-19 2000-10-31 Eastman Kodak Company Compact image capture device
US6137535A (en) 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
US5808350A (en) 1997-01-03 1998-09-15 Raytheon Company Integrated IR, visible and NIR sensor and methods of fabricating same
JPH10232626A (ja) 1997-02-20 1998-09-02 Canon Inc 立体画像表示装置
JPH10253351A (ja) 1997-03-14 1998-09-25 Kyocera Corp 測距装置
US5801919A (en) 1997-04-04 1998-09-01 Gateway 2000, Inc. Adjustably mounted camera assembly for portable computers
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
NO304715B1 (no) 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
US6515701B2 (en) 1997-07-24 2003-02-04 Polaroid Corporation Focal plane exposure control system for CMOS area image sensors
US6563537B1 (en) 1997-07-31 2003-05-13 Fuji Photo Film Co., Ltd. Image signal interpolation
JP3430935B2 (ja) 1997-10-20 2003-07-28 富士ゼロックス株式会社 画像読取装置及びレンズ
JP4243779B2 (ja) 1997-11-14 2009-03-25 株式会社ニコン 拡散板の製造方法および拡散板、並びにマイクロレンズアレイの製造方法およびマイクロレンズアレイ
NO305728B1 (no) 1997-11-14 1999-07-12 Reidar E Tangen Optoelektronisk kamera og fremgangsmÕte ved bildeformatering i samme
US6069365A (en) 1997-11-25 2000-05-30 Alan Y. Chow Optical processor based imaging system
JPH11242189A (ja) 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
US6721008B2 (en) 1998-01-22 2004-04-13 Eastman Kodak Company Integrated CMOS active pixel digital camera
US6833863B1 (en) 1998-02-06 2004-12-21 Intel Corporation Method and apparatus for still image capture during video streaming operations of a tethered digital camera
JPH11223708A (ja) 1998-02-09 1999-08-17 Nikon Corp 圧子およびマイクロ光学素子アレイの製造方法
US6198577B1 (en) 1998-03-10 2001-03-06 Glaxo Wellcome, Inc. Doubly telecentric lens and imaging system for multiwell plates
US6054703A (en) 1998-03-20 2000-04-25 Syscan, Inc. Sensing module for accelerating signal readout from image sensors
US6160909A (en) 1998-04-01 2000-12-12 Canon Kabushiki Kaisha Depth control for stereoscopic images
KR100307883B1 (ko) 1998-04-13 2001-10-19 박호군 정합화소수를이용한유사도측정방법및이를구현하기위한장치
JP3745117B2 (ja) 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP3931936B2 (ja) 1998-05-11 2007-06-20 セイコーエプソン株式会社 マイクロレンズアレイ基板及びその製造方法並びに表示装置
JP3284190B2 (ja) 1998-05-14 2002-05-20 富士重工業株式会社 ステレオカメラの画像補正装置
US6205241B1 (en) 1998-06-01 2001-03-20 Canon Kabushiki Kaisha Compression of stereoscopic images
US6198852B1 (en) 1998-06-01 2001-03-06 Yeda Research And Development Co., Ltd. View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry
US6137100A (en) 1998-06-08 2000-10-24 Photobit Corporation CMOS image sensor with different pixel sizes for different colors
US6069351A (en) 1998-07-16 2000-05-30 Intel Corporation Focal plane processor for scaling information from image sensors
US6903770B1 (en) 1998-07-27 2005-06-07 Sanyo Electric Co., Ltd. Digital camera which produces a single image based on two exposures
US6340994B1 (en) 1998-08-12 2002-01-22 Pixonics, Llc System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems
DE19838362C1 (de) 1998-08-18 2000-02-10 Deutsch Zentr Luft & Raumfahrt Fokalebenenplatte für eine hochauflösende CCD-Kamera
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6879735B1 (en) 1998-09-14 2005-04-12 University Of Utah Reasearch Foundation Method of digital image enhancement and sharpening
US6185529B1 (en) 1998-09-14 2001-02-06 International Business Machines Corporation Speech recognition aided by lateral profile image
US6310650B1 (en) 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
GB2343320B (en) 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
JP3596314B2 (ja) 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
US6744472B1 (en) 1998-11-09 2004-06-01 Broadcom Corporation Graphics display system with video synchronization feature
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
JP3875423B2 (ja) 1999-01-19 2007-01-31 日本放送協会 固体撮像素子およびそれ用の映像信号出力装置
US6603513B1 (en) 1999-02-16 2003-08-05 Micron Technology, Inc. Using a single control line to provide select and reset signals to image sensors in two rows of a digital imaging device
JP3634677B2 (ja) 1999-02-19 2005-03-30 キヤノン株式会社 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体
US6563540B2 (en) 1999-02-26 2003-05-13 Intel Corporation Light sensor with increased dynamic range
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US6819358B1 (en) 1999-04-26 2004-11-16 Microsoft Corporation Error calibration for digital image sensors and apparatus using the same
US6292713B1 (en) 1999-05-20 2001-09-18 Compaq Computer Corporation Robotic telepresence system
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
JP2001008235A (ja) 1999-06-25 2001-01-12 Minolta Co Ltd ３次元データの再構成のための画像入力方法及び多眼式データ入力装置
JP2001042042A (ja) 1999-07-27 2001-02-16 Canon Inc 撮像装置
US6801653B1 (en) 1999-08-05 2004-10-05 Sony Corporation Information processing apparatus and method as well as medium
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6647142B1 (en) 1999-08-19 2003-11-11 Mitsubishi Electric Research Laboratories, Inc. Badge identification system
US6771833B1 (en) 1999-08-20 2004-08-03 Eastman Kodak Company Method and system for enhancing digital images
US6628330B1 (en) 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US6358862B1 (en) 1999-09-02 2002-03-19 Micron Technology, Inc Passivation integrity improvements
JP3280001B2 (ja) 1999-09-16 2002-04-30 富士重工業株式会社 ステレオ画像の位置ずれ調整装置
US6639596B1 (en) 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
US6628845B1 (en) 1999-10-20 2003-09-30 Nec Laboratories America, Inc. Method for subpixel registration of images
US6774941B1 (en) 1999-10-26 2004-08-10 National Semiconductor Corporation CCD output processing stage that amplifies signals from colored pixels based on the conversion efficiency of the colored pixels
US6671399B1 (en) 1999-10-27 2003-12-30 Canon Kabushiki Kaisha Fast epipolar line adjustment of stereo pairs
US6674892B1 (en) 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
JP2001195050A (ja) 1999-11-05 2001-07-19 Mitsubishi Electric Corp グラフィックアクセラレータ
US7161614B1 (en) 1999-11-26 2007-01-09 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
JP3950926B2 (ja) 1999-11-30 2007-08-01 エーユー オプトロニクス コーポレイション 画像表示方法、ホスト装置、画像表示装置、およびディスプレイ用インターフェイス
JP3728160B2 (ja) 1999-12-06 2005-12-21 キヤノン株式会社 奥行き画像計測装置及び方法、並びに複合現実感提示システム
US7068851B1 (en) 1999-12-10 2006-06-27 Ricoh Co., Ltd. Multiscale sharpening and smoothing with wavelets
FI107680B (fi) 1999-12-22 2001-09-14 Nokia Oyj Menetelmä videokuvien lähettämiseksi, tiedonsiirtojärjestelmä, lähettävä videopäätelaite ja vastaanottava videopäätelaite
US6502097B1 (en) 1999-12-23 2002-12-31 Microsoft Corporation Data structure for efficient access to variable-size data objects
US6476805B1 (en) 1999-12-23 2002-11-05 Microsoft Corporation Techniques for spatial displacement estimation and multi-resolution operations on light fields
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
EP2311526A3 (en) 2000-02-18 2011-12-07 William Beaumont Hospital Cone-beam computerized tomography with a flat-panel imager
US6523046B2 (en) 2000-02-25 2003-02-18 Microsoft Corporation Infrastructure and method for supporting generic multimedia metadata
JP2001264033A (ja) 2000-03-17 2001-09-26 Sony Corp 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体
US6571466B1 (en) 2000-03-27 2003-06-03 Amkor Technology, Inc. Flip chip image sensor package fabrication method
JP2001277260A (ja) 2000-03-30 2001-10-09 Seiko Epson Corp マイクロレンズアレイ、その製造方法及びその製造用原盤並びに表示装置
KR20020084288A (ko) 2000-04-04 2002-11-04 주식회사 아도반테스토 다축전자렌즈를 이용한 멀티빔 노광장치, 반도체소자제조방법
WO2001082593A1 (en) 2000-04-24 2001-11-01 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Apparatus and method for color image fusion
JP2001337263A (ja) 2000-05-25 2001-12-07 Olympus Optical Co Ltd 測距装置
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
WO2002009424A2 (en) 2000-07-21 2002-01-31 The Trustees Of Columbia University In The City Of New York Method and apparatus for image mosaicing
WO2002009036A2 (en) 2000-07-21 2002-01-31 The Trustees Of Columbia University In The City Of New York Method and apparatus for reducing distortion in images
US7154546B1 (en) 2000-08-07 2006-12-26 Micron Technology, Inc. Pixel optimization for color
ATE313218T1 (de) 2000-08-25 2005-12-15 Fuji Photo Film Co Ltd Vorrichtung zur parallaxbildaufnahme und parallaxbildverarbeitung
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6734905B2 (en) 2000-10-20 2004-05-11 Micron Technology, Inc. Dynamic range extension for CMOS image sensors
US6774889B1 (en) 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
US7262799B2 (en) 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
US6476971B1 (en) 2000-10-31 2002-11-05 Eastman Kodak Company Method of manufacturing a microlens array mold and a microlens array
JP3918499B2 (ja) 2000-11-01 2007-05-23 セイコーエプソン株式会社 間隙測定方法、間隙測定装置、形状測定方法、形状測定装置並びに液晶装置の製造方法
US6573912B1 (en) 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
US6697518B2 (en) 2000-11-17 2004-02-24 Yale University Illumination based image synthesis
US6788338B1 (en) 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
US7490774B2 (en) 2003-11-13 2009-02-17 Metrologic Instruments, Inc. Hand-supportable imaging based bar code symbol reader employing automatic light exposure measurement and illumination control subsystem integrated therein
JP2002171537A (ja) 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
WO2002045003A1 (en) 2000-12-01 2002-06-06 Imax Corporation Techniques and systems for developing high-resolution imagery
AU2002221023A1 (en) 2000-12-05 2002-06-18 Yeda Research And Development Co..Ltd. Apparatus and method for alignment of spatial or temporal non-overlapping image sequences
JP2002252338A (ja) 2000-12-18 2002-09-06 Canon Inc 撮像装置及び撮像システム
JP2002195910A (ja) 2000-12-26 2002-07-10 Omron Corp 光学部品の検査装置
JP2002209226A (ja) 2000-12-28 2002-07-26 Canon Inc 撮像装置
US7805680B2 (en) 2001-01-03 2010-09-28 Nokia Corporation Statistical metering and filtering of content via pixel-based metadata
JP3957460B2 (ja) 2001-01-15 2007-08-15 沖電気工業株式会社 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム
JP2002250607A (ja) 2001-02-27 2002-09-06 Optex Co Ltd 物体検知センサ
CN2488005Y (zh) 2001-03-15 2002-04-24 左耀太 型煤燃烧器
US6635941B2 (en) 2001-03-21 2003-10-21 Canon Kabushiki Kaisha Structure of semiconductor device with improved reliability
JP2002324743A (ja) 2001-04-24 2002-11-08 Canon Inc 露光方法及び装置
US6443579B1 (en) 2001-05-02 2002-09-03 Kenneth Myers Field-of-view controlling arrangements
US20020167537A1 (en) 2001-05-11 2002-11-14 Miroslav Trajkovic Motion-based tracking with pan-tilt-zoom camera
US7235785B2 (en) 2001-05-11 2007-06-26 Irvine Sensors Corp. Imaging device with multiple fields of view incorporating memory-based temperature compensation of an uncooled focal plane array
US20020190991A1 (en) 2001-05-16 2002-12-19 Daniel Efran 3-D instant replay system and method
US7738013B2 (en) 2001-05-29 2010-06-15 Samsung Electronics Co., Ltd. Systems and methods for power conservation in a CMOS imager
WO2002098112A2 (en) 2001-05-29 2002-12-05 Transchip, Inc. Patent application cmos imager for cellular applications and methods of using such
US6482669B1 (en) 2001-05-30 2002-11-19 Taiwan Semiconductor Manufacturing Company Colors only process to reduce package yield loss
US6525302B2 (en) 2001-06-06 2003-02-25 The Regents Of The University Of Colorado Wavefront coding phase contrast imaging systems
US7113634B2 (en) 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
US20030025227A1 (en) 2001-08-02 2003-02-06 Zograph, Llc Reproduction of relief patterns
WO2003014796A1 (en) 2001-08-09 2003-02-20 The Trustees Of Columbia University In The City Of New York Adaptive imaging using digital light processing
EP1289309B1 (en) 2001-08-31 2010-04-21 STMicroelectronics Srl Noise filter for Bayer pattern image data
JP3978706B2 (ja) 2001-09-20 2007-09-19 セイコーエプソン株式会社 微細構造体の製造方法
JP2003139910A (ja) 2001-10-30 2003-05-14 Sony Corp 光学素子、その製造方法およびその製造装置、並びにそれを用いた液晶表示装置および画像投影型表示装置
DE10153237A1 (de) 2001-10-31 2003-05-15 Lfk Gmbh Verfahren und Vorrichtung zur automatisierten Bestimmung der Modulations-Transfer-Funktion (MTF) von Focal-Plane-Array (FPA)- Kameras
JP3705766B2 (ja) 2001-11-28 2005-10-12 独立行政法人科学技術振興機構 画像入力装置
AU2002357321A1 (en) 2001-12-18 2003-06-30 University Of Rochester Multifocal aspheric lens obtaining extended field depth
US7212228B2 (en) 2002-01-16 2007-05-01 Advanced Telecommunications Research Institute International Automatic camera calibration method
US7302118B2 (en) 2002-02-07 2007-11-27 Microsoft Corporation Transformation of images
US20030179418A1 (en) 2002-03-19 2003-09-25 Eastman Kodak Company Producing a defective pixel map from defective cluster pixels in an area array image sensor
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
US20030188659A1 (en) 2002-04-05 2003-10-09 Canadian Bank Note Company Limited Method and apparatus for reproducing a color image based on monochrome images derived therefrom
WO2003087929A1 (en) 2002-04-10 2003-10-23 Pan-X Imaging, Inc. A digital imaging system
US6856314B2 (en) 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
US6917702B2 (en) 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
JP3567327B2 (ja) 2002-05-08 2004-09-22 富士写真光機株式会社 撮像レンズ
US6783900B2 (en) 2002-05-13 2004-08-31 Micron Technology, Inc. Color filter imaging array and method of formation
JP2004048644A (ja) 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
JP2003347192A (ja) 2002-05-24 2003-12-05 Toshiba Corp エネルギービーム露光方法および露光装置
US7013318B2 (en) 2002-05-29 2006-03-14 Raytheon Company Method and system for encapsulating cells
JP2004088713A (ja) 2002-06-27 2004-03-18 Olympus Corp 撮像レンズユニットおよび撮像装置
US7129981B2 (en) 2002-06-27 2006-10-31 International Business Machines Corporation Rendering system and method for images having differing foveal area and peripheral view area resolutions
JP4147059B2 (ja) 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP2004037924A (ja) 2002-07-04 2004-02-05 Minolta Co Ltd 撮像装置
US8111289B2 (en) 2002-07-15 2012-02-07 Magna B.S.P. Ltd. Method and apparatus for implementing multipurpose monitoring system
US20040012689A1 (en) 2002-07-16 2004-01-22 Fairchild Imaging Charge coupled devices in tiled arrays
JP2004078296A (ja) 2002-08-09 2004-03-11 Victor Co Of Japan Ltd 画像生成装置
US20070166447A1 (en) 2002-08-27 2007-07-19 Select Milk Producers, Inc. Dairy compositions and method of making
AU2003274951A1 (en) 2002-08-30 2004-03-19 Orasee Corp. Multi-dimensional image system for digital image input and output
US7447380B2 (en) 2002-09-12 2008-11-04 Inoe Technologies, Llc Efficient method for creating a viewpoint from plurality of images
US20040050104A1 (en) 2002-09-18 2004-03-18 Eastman Kodak Company Forming information transfer lens array
US20040207836A1 (en) 2002-09-27 2004-10-21 Rajeshwar Chhibber High dynamic range optical inspection system and method
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US7477781B1 (en) 2002-10-10 2009-01-13 Dalsa Corporation Method and apparatus for adaptive pixel correction of multi-color matrix
US20040075654A1 (en) 2002-10-16 2004-04-22 Silicon Integrated Systems Corp. 3-D digital image processor and method for visibility processing for use in the same
JP4171786B2 (ja) 2002-10-25 2008-10-29 コニカミノルタホールディングス株式会社 画像入力装置
US7742088B2 (en) 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera
CA2506608C (en) 2002-11-21 2013-01-22 Vision Iii Imaging, Inc. Critical alignment of parallax images for autostereoscopic display
US20040105021A1 (en) 2002-12-02 2004-06-03 Bolymedia Holdings Co., Ltd. Color filter patterns for image sensors
US7194125B2 (en) * 2002-12-13 2007-03-20 Mitsubishi Electric Research Laboratories, Inc. System and method for interactively rendering objects with surface light fields and view-dependent opacity
US20040114807A1 (en) 2002-12-13 2004-06-17 Dan Lelescu Statistical representation and coding of light field data
US6878918B2 (en) 2003-01-09 2005-04-12 Dialdg Semiconductor Gmbh APS pixel with reset noise suppression and programmable binning capability
US7340099B2 (en) 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
DE10301941B4 (de) 2003-01-20 2005-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kamera und Verfahren zur optischen Aufnahme eines Schirms
US7379592B2 (en) 2003-01-21 2008-05-27 United States Of America As Represented By The Secretary Of The Navy System and method for significant dust detection and enhancement of dust images over land and ocean
US7005637B2 (en) 2003-01-31 2006-02-28 Intevac, Inc. Backside thinning of image array devices
JP4214409B2 (ja) 2003-01-31 2009-01-28 国立大学法人東京工業大学 高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
US7308157B2 (en) 2003-02-03 2007-12-11 Photon Dynamics, Inc. Method and apparatus for optical inspection of a display
CN100369481C (zh) 2003-02-04 2008-02-13 松下电器产业株式会社 代码变换方法及其装置
US7595817B1 (en) 2003-02-12 2009-09-29 The Research Foundation Of State University Of New York Linear system based, qualitative independent motion detection from compressed MPEG surveillance video
US20040165090A1 (en) 2003-02-13 2004-08-26 Alex Ning Auto-focus (AF) lens and process
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
US7106914B2 (en) 2003-02-27 2006-09-12 Microsoft Corporation Bayesian image super resolution
US7148861B2 (en) 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
US8218052B2 (en) 2003-03-07 2012-07-10 Iconix Video, Inc. High frame rate high definition imaging system and method
US7218320B2 (en) 2003-03-13 2007-05-15 Sony Corporation System and method for capturing facial and body motion
US6801719B1 (en) 2003-03-14 2004-10-05 Eastman Kodak Company Camera using beam splitter with micro-lens image amplification
US7206449B2 (en) 2003-03-19 2007-04-17 Mitsubishi Electric Research Laboratories, Inc. Detecting silhouette edges in images
US7425984B2 (en) 2003-04-04 2008-09-16 Stmicroelectronics, Inc. Compound camera and methods for implementing auto-focus, depth-of-field and high-resolution functions
US7373005B2 (en) 2003-04-10 2008-05-13 Micron Technology, Inc. Compression system for integrated sensor devices
US7097311B2 (en) 2003-04-19 2006-08-29 University Of Kentucky Research Foundation Super-resolution overlay in multi-projector displays
US6958862B1 (en) 2003-04-21 2005-10-25 Foveon, Inc. Use of a lenslet array with a vertically stacked pixel array
US7428330B2 (en) 2003-05-02 2008-09-23 Microsoft Corporation Cyclopean virtual imaging via generalized probabilistic smoothing
SE525665C2 (sv) 2003-05-08 2005-03-29 Forskarpatent I Syd Ab Matris av pixlar samt elektronisk bildanordning innefattande nämnda matris av pixlar
US7800683B2 (en) 2003-05-13 2010-09-21 Xceed Imaging Ltd. Optical method and system for enhancing image resolution
JP2004348674A (ja) 2003-05-26 2004-12-09 Noritsu Koki Co Ltd 領域検出方法及びその装置
US20040239782A1 (en) 2003-05-30 2004-12-02 William Equitz System and method for efficient improvement of image quality in cameras
KR20040103786A (ko) 2003-06-02 2004-12-09 펜탁스 가부시키가이샤 다초점 촬상 장치 및 다초점 촬상 장치를 가진 모바일 장치
JP2004363478A (ja) 2003-06-06 2004-12-24 Sanyo Electric Co Ltd 半導体装置の製造方法
KR100539234B1 (ko) 2003-06-11 2005-12-27 삼성전자주식회사 투명 고분자 소재를 적용한 씨모스형 이미지 센서 모듈 및그 제조방법
US7362918B2 (en) 2003-06-24 2008-04-22 Microsoft Corporation System and method for de-noising multiple copies of a signal
US6818934B1 (en) 2003-06-24 2004-11-16 Omnivision International Holding Ltd Image sensor having micro-lens array separated with trench structures and method of making
US7495694B2 (en) 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7315630B2 (en) 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
US20050117015A1 (en) 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7090135B2 (en) 2003-07-07 2006-08-15 Symbol Technologies, Inc. Imaging arrangement and barcode imager for imaging an optical code or target at a plurality of focal planes
US7388609B2 (en) 2003-07-07 2008-06-17 Zoran Corporation Dynamic identification and correction of defective pixels
US20050007461A1 (en) 2003-07-11 2005-01-13 Novatek Microelectronic Co. Correction system and method of analog front end
JP3731589B2 (ja) 2003-07-18 2006-01-05 ソニー株式会社 撮像装置と同期信号発生装置
US7233737B2 (en) 2003-08-12 2007-06-19 Micron Technology, Inc. Fixed-focus camera module and associated method of assembly
US20050111705A1 (en) 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US7643703B2 (en) 2003-09-03 2010-01-05 Battelle Energy Alliance, Llc Image change detection systems, methods, and articles of manufacture
EP1671258A4 (en) 2003-09-04 2008-03-19 Sarnoff Corp METHOD AND DEVICE FOR CARRYING OUT AN IRIS DETECTION FROM ONE IMAGE
JP4015090B2 (ja) 2003-09-08 2007-11-28 株式会社東芝 立体表示装置および画像表示方法
WO2005027038A2 (en) 2003-09-08 2005-03-24 Honda Motor Co., Ltd. Systems and methods for directly generating a view using a layered approach
JP4020850B2 (ja) 2003-10-06 2007-12-12 株式会社東芝 磁気記録媒体の製造方法、製造装置、インプリントスタンパ及びその製造方法
US7079251B2 (en) 2003-10-16 2006-07-18 4D Technology Corporation Calibration and error correction in multi-channel imaging
WO2005041562A1 (ja) 2003-10-22 2005-05-06 Matsushita Electric Industrial Co., Ltd. 撮像装置とその製造方法、携帯機器、及び撮像素子とその製造方法
US7840067B2 (en) 2003-10-24 2010-11-23 Arcsoft, Inc. Color matching and color correction for images forming a panoramic image
WO2005046248A1 (ja) 2003-11-11 2005-05-19 Olympus Corporation マルチスペクトル画像撮影装置
JP4235539B2 (ja) 2003-12-01 2009-03-11 独立行政法人科学技術振興機構 画像構成装置及び画像構成方法
US7453510B2 (en) 2003-12-11 2008-11-18 Nokia Corporation Imaging device
US7328288B2 (en) 2003-12-11 2008-02-05 Canon Kabushiki Kaisha Relay apparatus for relaying communication from CPU to peripheral device
US20050128509A1 (en) 2003-12-11 2005-06-16 Timo Tokkonen Image creating method and imaging device
JP3859158B2 (ja) 2003-12-16 2006-12-20 セイコーエプソン株式会社 マイクロレンズ用凹部付き基板、マイクロレンズ基板、透過型スクリーン、およびリア型プロジェクタ
US7511749B2 (en) 2003-12-18 2009-03-31 Aptina Imaging Corporation Color image sensor having imaging element array forming images on respective regions of sensor elements
US7123298B2 (en) 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
US7376250B2 (en) 2004-01-05 2008-05-20 Honda Motor Co., Ltd. Apparatus, method and program for moving object detection
US7496293B2 (en) 2004-01-14 2009-02-24 Elbit Systems Ltd. Versatile camera for various visibility conditions
US7773143B2 (en) 2004-04-08 2010-08-10 Tessera North America, Inc. Thin color camera having sub-pixel resolution
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7453688B2 (en) 2004-01-29 2008-11-18 Inventec Corporation Multimedia device for portable computers
US7774044B2 (en) 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
SE527889C2 (sv) 2004-03-17 2006-07-04 Thomas Jeff Adamo Apparat för avbildning av ett objekt
JP2006047944A (ja) 2004-03-24 2006-02-16 Fuji Photo Film Co Ltd 撮影レンズ
JP4468442B2 (ja) 2004-03-31 2010-05-26 キヤノン株式会社 イメージングシステム性能測定
US7633511B2 (en) 2004-04-01 2009-12-15 Microsoft Corporation Pop-up light field
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
US8634014B2 (en) 2004-04-05 2014-01-21 Hewlett-Packard Development Company, L.P. Imaging device analysis systems and imaging device analysis methods
US7091531B2 (en) 2004-04-07 2006-08-15 Micron Technology, Inc. High dynamic range pixel amplifier
US8049806B2 (en) 2004-09-27 2011-11-01 Digitaloptics Corporation East Thin camera and associated methods
US7620265B1 (en) 2004-04-12 2009-11-17 Equinox Corporation Color invariant image fusion of visible and thermal infrared video
JP2005303694A (ja) 2004-04-13 2005-10-27 Konica Minolta Holdings Inc 複眼撮像装置
US7292735B2 (en) 2004-04-16 2007-11-06 Microsoft Corporation Virtual image artifact detection
US7773404B2 (en) 2005-01-07 2010-08-10 Invisage Technologies, Inc. Quantum dot optical devices with enhanced gain and sensitivity and methods of making same
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20060034531A1 (en) 2004-05-10 2006-02-16 Seiko Epson Corporation Block noise level evaluation method for compressed images and control method of imaging device utilizing the evaluation method
CN1953708B (zh) 2004-05-14 2010-06-16 皇家飞利浦电子股份有限公司 用于诊断乳腺癌的***和方法
JP4610411B2 (ja) 2004-05-17 2011-01-12 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 物体を含むシーンの様式化された画像を生成する方法
US7355793B2 (en) 2004-05-19 2008-04-08 The Regents Of The University Of California Optical system applicable to improving the dynamic range of Shack-Hartmann sensors
WO2006083277A2 (en) 2004-05-25 2006-08-10 Sarnoff Corporation Low latency pyramid processor for image processing systems
JP2005354124A (ja) 2004-06-08 2005-12-22 Seiko Epson Corp 複数の低画素密度画像からの高画素密度画像の生成
US20060013318A1 (en) 2004-06-22 2006-01-19 Jennifer Webb Video error detection, recovery, and concealment
US7330593B2 (en) 2004-06-25 2008-02-12 Stmicroelectronics, Inc. Segment based image matching method and system
JP4408755B2 (ja) 2004-06-28 2010-02-03 Ｎｅｃエレクトロニクス株式会社 デインタリーブ装置、移動通信端末及びデインタリーブ方法
JP4479373B2 (ja) 2004-06-28 2010-06-09 ソニー株式会社 イメージセンサ
US7447382B2 (en) 2004-06-30 2008-11-04 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation
JP2006033228A (ja) 2004-07-14 2006-02-02 Victor Co Of Japan Ltd 画像撮像装置
JP2006033493A (ja) 2004-07-16 2006-02-02 Matsushita Electric Ind Co Ltd 撮像装置
US7189954B2 (en) 2004-07-19 2007-03-13 Micron Technology, Inc. Microelectronic imagers with optical devices and methods of manufacturing such microelectronic imagers
JP2006033570A (ja) 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
US8027531B2 (en) 2004-07-21 2011-09-27 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for capturing a scene using staggered triggering of dense camera arrays
GB0416496D0 (en) 2004-07-23 2004-08-25 Council Of The Central Lab Of Imaging device
US7068432B2 (en) 2004-07-27 2006-06-27 Micron Technology, Inc. Controlling lens shape in a microlens array
US20060023197A1 (en) 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
DE102004036469A1 (de) 2004-07-28 2006-02-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kameramodul, hierauf basierendes Array und Verfahren zu dessen Herstellung
US7333652B2 (en) 2004-08-03 2008-02-19 Sony Corporation System and method for efficiently performing a depth map recovery procedure
US20060028476A1 (en) 2004-08-03 2006-02-09 Irwin Sobel Method and system for providing extensive coverage of an object using virtual cameras
JP2006050263A (ja) 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
KR20070064319A (ko) 2004-08-06 2007-06-20 유니버시티 오브 워싱톤 가변 응시 시거리 주사 광 디스플레이
US7430339B2 (en) 2004-08-09 2008-09-30 Microsoft Corporation Border matting by dynamic programming
US7609302B2 (en) 2004-08-11 2009-10-27 Micron Technology, Inc. Correction of non-uniform sensitivity in an image array
US7061693B2 (en) 2004-08-16 2006-06-13 Xceed Imaging Ltd. Optical method and system for extended depth of focus
US7645635B2 (en) 2004-08-16 2010-01-12 Micron Technology, Inc. Frame structure and semiconductor attach process for use therewith for fabrication of image sensor packages and the like, and resulting packages
US20070247517A1 (en) 2004-08-23 2007-10-25 Sarnoff Corporation Method and apparatus for producing a fused image
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7795577B2 (en) 2004-08-25 2010-09-14 Richard Ian Olsen Lens frame and optical focus assembly for imager module
CN101427372B (zh) 2004-08-25 2012-12-12 普罗塔里斯菲洛有限责任公司 用于多个相机装置的设备和操作该设备的方法
US8124929B2 (en) 2004-08-25 2012-02-28 Protarius Filo Ag, L.L.C. Imager module optical focus and assembly method
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
CN100489599C (zh) 2004-08-26 2009-05-20 财团法人秋田企业活性化中心 液晶透镜
JP4057597B2 (ja) 2004-08-26 2008-03-05 独立行政法人科学技術振興機構 光学素子
US20060046204A1 (en) 2004-08-31 2006-03-02 Sharp Laboratories Of America, Inc. Directly patternable microlens
JP2006080852A (ja) 2004-09-09 2006-03-23 Olympus Corp 画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラム
US20060055811A1 (en) 2004-09-14 2006-03-16 Frtiz Bernard S Imaging system having modules with adaptive optical elements
US7145124B2 (en) 2004-09-15 2006-12-05 Raytheon Company Multispectral imaging chip using photonic crystals
JP4202991B2 (ja) 2004-09-29 2008-12-24 株式会社東芝 立体画像用データの記録方法及び表示再生方法
JP3977368B2 (ja) 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
DE102004049676A1 (de) 2004-10-12 2006-04-20 Infineon Technologies Ag Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium
JP2006119368A (ja) 2004-10-21 2006-05-11 Konica Minolta Opto Inc 広角光学系、撮像レンズ装置、モニタカメラ及びデジタル機器
JP4534715B2 (ja) 2004-10-22 2010-09-01 株式会社ニコン 撮像装置および画像処理プログラム
DE102004052994C5 (de) 2004-11-03 2010-08-26 Vistec Electron Beam Gmbh Multistrahlmodulator für einen Partikelstrahl und Verwendung des Multistrahlmodulators zur maskenlosen Substratsstrukturierung
KR100603601B1 (ko) 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US7598996B2 (en) 2004-11-16 2009-10-06 Aptina Imaging Corporation System and method for focusing a digital camera
WO2006060746A2 (en) 2004-12-03 2006-06-08 Infrared Solutions, Inc. Visible light and ir combined image camera with a laser pointer
JP2006165795A (ja) 2004-12-03 2006-06-22 Canon Inc 画像形成装置およびその方法
US7483065B2 (en) 2004-12-15 2009-01-27 Aptina Imaging Corporation Multi-lens imaging systems and methods using optical filters having mosaic patterns
US8854486B2 (en) 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7728878B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US20060139475A1 (en) 2004-12-23 2006-06-29 Esch John W Multiple field of view camera arrays
US20110102553A1 (en) 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
US7073908B1 (en) 2005-01-11 2006-07-11 Anthony Italo Provitola Enhancement of depth perception
US7671321B2 (en) 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
US7767949B2 (en) 2005-01-18 2010-08-03 Rearden, Llc Apparatus and method for capturing still images and video using coded aperture techniques
US7602997B2 (en) 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
US8700729B2 (en) 2005-01-21 2014-04-15 Robin Dua Method and apparatus for managing credentials through a wireless network
US7408627B2 (en) 2005-02-08 2008-08-05 Canesta, Inc. Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture
US7965314B1 (en) 2005-02-09 2011-06-21 Flir Systems, Inc. Foveal camera systems and methods
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
ATE518113T1 (de) 2005-03-11 2011-08-15 Creaform Inc Selbstreferenziertes system und vorrichtung zum dreidimensionalen scannen
JP2006258930A (ja) 2005-03-15 2006-09-28 Nikon Corp マイクロレンズの製造方法、及びマイクロレンズ用の型の製造方法
US7692147B2 (en) 2005-03-21 2010-04-06 Massachusetts Institute Of Technology Real-time, continuous-wave terahertz imaging using a microbolometer focal-plane array
WO2006100903A1 (ja) 2005-03-23 2006-09-28 Matsushita Electric Industrial Co., Ltd. 車載撮像装置
US7297917B2 (en) 2005-03-24 2007-11-20 Micron Technology, Inc. Readout technique for increasing or maintaining dynamic range in image sensors
CN101147392B (zh) 2005-03-24 2012-05-09 松下电器产业株式会社 成像装置及其中使用的透镜阵列
US7683950B2 (en) 2005-04-26 2010-03-23 Eastman Kodak Company Method and apparatus for correcting a channel dependent color aberration in a digital image
US7956871B2 (en) 2005-04-28 2011-06-07 Samsung Electronics Co., Ltd. Color disparity correction in image sensors methods and circuits
US7656428B2 (en) 2005-05-05 2010-02-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Imaging device employing optical motion sensor as gyroscope
US7876874B2 (en) 2005-05-18 2011-01-25 Hitachi Medical Corporation Radiographing apparatus and image processing program
US8411182B2 (en) 2005-06-02 2013-04-02 Xerox Corporation System for controlling integration times of photosensors in an imaging device
US7968888B2 (en) 2005-06-08 2011-06-28 Panasonic Corporation Solid-state image sensor and manufacturing method thereof
JP2006345233A (ja) 2005-06-09 2006-12-21 Fujifilm Holdings Corp 撮像装置及びデジタルカメラ
KR100813961B1 (ko) 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
JP4826152B2 (ja) 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
WO2007003604A2 (en) 2005-07-04 2007-01-11 Novo Nordisk A/S Hists1mine h3 receptor antagonists
JP4577126B2 (ja) 2005-07-08 2010-11-10 オムロン株式会社 ステレオ対応づけのための投光パターンの生成装置及び生成方法
WO2007014293A1 (en) 2005-07-25 2007-02-01 The Regents Of The University Of California Digital imaging system and method to produce mosaic images
US8384763B2 (en) 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US7718940B2 (en) 2005-07-26 2010-05-18 Panasonic Corporation Compound-eye imaging apparatus
US7969488B2 (en) 2005-08-03 2011-06-28 Micron Technologies, Inc. Correction of cluster defects in imagers
US7929801B2 (en) 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
US20070041391A1 (en) 2005-08-18 2007-02-22 Micron Technology, Inc. Method and apparatus for controlling imager output data rate
US20070040922A1 (en) 2005-08-22 2007-02-22 Micron Technology, Inc. HDR/AB on multi-way shared pixels
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US20070258006A1 (en) 2005-08-25 2007-11-08 Olsen Richard I Solid state camera optics frame and assembly
US20070083114A1 (en) 2005-08-26 2007-04-12 The University Of Connecticut Systems and methods for image resolution enhancement
JP4804856B2 (ja) 2005-09-29 2011-11-02 富士フイルム株式会社 単焦点レンズ
US8009209B2 (en) 2005-09-30 2011-08-30 Simon Fraser University Methods and apparatus for detecting defects in imaging arrays by image analysis
US7723662B2 (en) 2005-10-07 2010-05-25 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
JP4773179B2 (ja) 2005-10-14 2011-09-14 富士フイルム株式会社 撮像装置
US8300085B2 (en) 2005-10-14 2012-10-30 Microsoft Corporation Occlusion handling in stereo imaging
US7806604B2 (en) 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
KR100730406B1 (ko) 2005-11-16 2007-06-19 광운대학교 산학협력단 중간 요소 영상을 이용한 입체 영상 표시 장치
JP4389865B2 (ja) 2005-11-17 2009-12-24 ソニー株式会社 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置
JP4943695B2 (ja) 2005-11-21 2012-05-30 富士フイルム株式会社 多焦点カメラの撮影光学系
US8275195B2 (en) 2005-11-30 2012-09-25 Telecom Italia S.P.A. Method for determining scattered disparity fields in stereo vision
US7599547B2 (en) 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
JP4516516B2 (ja) 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
TWI296480B (en) 2005-12-19 2008-05-01 Quanta Comp Inc Image camera of an electronic device
JP4501855B2 (ja) 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP2007180730A (ja) 2005-12-27 2007-07-12 Eastman Kodak Co デジタルカメラおよびデータ管理方法
KR100789441B1 (ko) 2005-12-30 2007-12-28 엘에스산전 주식회사 인버터의 전류 검출 장치 및 방법
EP1966648A4 (en) 2005-12-30 2011-06-15 Nokia Corp METHOD AND DEVICE FOR ADJUSTING THE AUTOFOCUS OF A VIDEO CAMERA BY FOLLOWING A REGION OF INTEREST
US7855786B2 (en) 2006-01-09 2010-12-21 Bae Systems Spectral Solutions Llc Single camera multi-spectral imager
US7675080B2 (en) 2006-01-10 2010-03-09 Aptina Imaging Corp. Uniform color filter arrays in a moat
WO2007083579A1 (ja) 2006-01-20 2007-07-26 Matsushita Electric Industrial Co., Ltd. 複眼方式のカメラモジュール及びその製造方法
DE102006004802B4 (de) 2006-01-23 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
JP4834412B2 (ja) 2006-02-03 2011-12-14 富士フイルム株式会社 固体撮像装置およびこれを用いた電子内視鏡
US8075604B2 (en) 2006-02-16 2011-12-13 Warsaw Orthopedic, Inc. Multi-thread bone screw and method
US20070201859A1 (en) 2006-02-24 2007-08-30 Logitech Europe S.A. Method and system for use of 3D sensors in an image capture device
US7391572B2 (en) 2006-03-01 2008-06-24 International Business Machines Corporation Hybrid optical/electronic structures fabricated by a common molding process
US7924483B2 (en) 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
DE102006011707B4 (de) 2006-03-14 2010-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erzeugen einer strukturfreien fiberskopischen Aufnahme
US7616254B2 (en) 2006-03-16 2009-11-10 Sony Corporation Simple method for calculating camera defocus from an image scene
US8360574B2 (en) 2006-03-20 2013-01-29 High Performance Optics, Inc. High performance selective light wavelength filtering providing improved contrast sensitivity
US7606484B1 (en) 2006-03-23 2009-10-20 Flir Systems, Inc. Infrared and near-infrared camera hyperframing
JP4615468B2 (ja) 2006-03-23 2011-01-19 富士フイルム株式会社 撮影装置
CN101046882A (zh) 2006-03-27 2007-10-03 谷京陆 可直接输出的混合分辨率图像制作技术
US7342212B2 (en) 2006-03-31 2008-03-11 Micron Technology, Inc. Analog vertical sub-sampling in an active pixel sensor (APS) image sensor
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US8044994B2 (en) 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
TW200740212A (en) 2006-04-10 2007-10-16 Sony Taiwan Ltd A stitching accuracy improvement method with lens distortion correction
US20070242141A1 (en) 2006-04-14 2007-10-18 Sony Corporation And Sony Electronics Inc. Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor
CN101064780B (zh) 2006-04-30 2012-07-04 台湾新力国际股份有限公司 利用透镜失真校正的影像接合准确度改善方法及装置
US20070263114A1 (en) 2006-05-01 2007-11-15 Microalign Technologies, Inc. Ultra-thin digital imaging device of high resolution for mobile electronic devices and method of imaging
US7580620B2 (en) 2006-05-08 2009-08-25 Mitsubishi Electric Research Laboratories, Inc. Method for deblurring images using optimized temporal coding patterns
US9736346B2 (en) 2006-05-09 2017-08-15 Stereo Display, Inc Imaging system improving image resolution of the system with low resolution image sensor
US7889264B2 (en) 2006-05-12 2011-02-15 Ricoh Co., Ltd. End-to-end design of superresolution electro-optic imaging systems
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US8081207B2 (en) 2006-06-06 2011-12-20 Point Grey Research Inc. High accuracy stereo camera
US20070177004A1 (en) 2006-06-08 2007-08-02 Timo Kolehmainen Image creating method and imaging device
US20070291995A1 (en) 2006-06-09 2007-12-20 Rivera Paul G System, Method, and Apparatus for Preventing Identity Fraud Associated With Payment and Identity Cards
JP4631811B2 (ja) 2006-06-12 2011-02-16 株式会社日立製作所 撮像装置
JP5106870B2 (ja) 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
FR2902530A1 (fr) 2006-06-19 2007-12-21 St Microelectronics Rousset Procede de fabrication de lentilles, notamment pour imageur comprenant un diaphragme
TWI362550B (en) 2007-06-21 2012-04-21 Ether Precision Inc The method for manufacturing the image captures unit
US7925117B2 (en) 2006-06-27 2011-04-12 Honeywell International Inc. Fusion of sensor data and synthetic data to form an integrated image
FR2903155B1 (fr) 2006-07-03 2008-10-17 Poclain Hydraulics Ind Soc Par Circuit hydraulique de recuperation d'energie
KR100793369B1 (ko) 2006-07-06 2008-01-11 삼성전자주식회사 분해능이 향상되는 이미지 센서 및 이를 이용한 이미지감지 방법
US20080024683A1 (en) 2006-07-31 2008-01-31 Niranjan Damera-Venkata Overlapped multi-projector system with dithering
JP2008039852A (ja) 2006-08-01 2008-02-21 Agc Techno Glass Co Ltd ガラス光学素子及びその製造方法
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
US20080044170A1 (en) 2006-08-16 2008-02-21 Choon Hwee Yap Image Capturing System And Method Of Operating The Same
ATE479980T1 (de) 2006-08-24 2010-09-15 Valeo Vision Verfahren zur bestimmung der durchfahrt eines fahrzeugs durch eine engen durchlass
US8306063B2 (en) 2006-08-29 2012-11-06 EXFO Services Assurance, Inc. Real-time transport protocol stream detection system and method
US8687087B2 (en) 2006-08-29 2014-04-01 Csr Technology Inc. Digital camera with selectively increased dynamic range by control of parameters during image acquisition
KR100746360B1 (ko) 2006-08-31 2007-08-06 삼성전기주식회사 스템퍼 제조방법
NO326372B1 (no) 2006-09-21 2008-11-17 Polight As Polymerlinse
US7918555B2 (en) 2006-09-25 2011-04-05 Ophthonix, Inc. Methods and lenses for correction of chromatic aberration
JP4403162B2 (ja) 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
US20080080028A1 (en) 2006-10-02 2008-04-03 Micron Technology, Inc. Imaging method, apparatus and system having extended depth of field
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
CN101606086B (zh) 2006-10-11 2012-11-14 珀莱特公司 用于制备可调透镜的方法
EP2074444B1 (en) 2006-10-11 2017-08-30 poLight AS Design of compact adjustable lens
US8073196B2 (en) 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US7702229B2 (en) 2006-10-18 2010-04-20 Eastman Kodak Company Lens array assisted focus detection
JP4349456B2 (ja) 2006-10-23 2009-10-21 ソニー株式会社 固体撮像素子
WO2008050904A1 (fr) 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
US7888159B2 (en) 2006-10-26 2011-02-15 Omnivision Technologies, Inc. Image sensor having curved micro-mirrors over the sensing photodiode and method for fabricating
JP4452951B2 (ja) 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
KR20080043106A (ko) 2006-11-13 2008-05-16 삼성전자주식회사 광학렌즈 및 그 제조방법
US8059162B2 (en) 2006-11-15 2011-11-15 Sony Corporation Imaging apparatus and method, and method for designing imaging apparatus
US20080118241A1 (en) 2006-11-16 2008-05-22 Tekolste Robert Control of stray light in camera systems employing an optics stack and associated methods
CN201043890Y (zh) 2006-11-17 2008-04-02 中国科学院上海光学精密机械研究所 单孔径多重成像的光学成像测距装置
US8538166B2 (en) 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
KR20080047002A (ko) 2006-11-24 2008-05-28 엘지이노텍 주식회사 카메라모듈의 렌즈 어셈블리 및 그 제작 방법
JP4406937B2 (ja) 2006-12-01 2010-02-03 富士フイルム株式会社 撮影装置
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
US7646549B2 (en) 2006-12-18 2010-01-12 Xceed Imaging Ltd Imaging system and method for providing extended depth of focus, range extraction and super resolved imaging
US8558929B2 (en) 2006-12-20 2013-10-15 Carestream Health, Inc. Imaging array for multiple frame capture
US8213500B2 (en) 2006-12-21 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for processing film grain noise
TWI324015B (en) 2006-12-22 2010-04-21 Ind Tech Res Inst Autofocus searching method
US8103111B2 (en) 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
US20080158259A1 (en) 2006-12-28 2008-07-03 Texas Instruments Incorporated Image warping and lateral color correction
US20080158698A1 (en) 2006-12-29 2008-07-03 Chao-Chi Chang Lens barrel array and lens array and the method of making the same
US7973823B2 (en) 2006-12-29 2011-07-05 Nokia Corporation Method and system for image pre-processing
US20080165257A1 (en) 2007-01-05 2008-07-10 Micron Technology, Inc. Configurable pixel array system and method
JP4993578B2 (ja) 2007-01-15 2012-08-08 オリンパスイメージング株式会社 画像ファイル再生装置，画像ファイル加工編集装置
US8655052B2 (en) 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
JP5024992B2 (ja) 2007-02-02 2012-09-12 株式会社ジャパンディスプレイセントラル 表示装置
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
US7667824B1 (en) 2007-02-06 2010-02-23 Alpha Technology, LLC Range gated shearography systems and related methods
JP4969474B2 (ja) 2007-02-09 2012-07-04 オリンパスイメージング株式会社 復号方法、復号装置、及び復号プログラム
JP2008209761A (ja) 2007-02-27 2008-09-11 Nikon Corp 焦点検出装置および撮像装置
JP4386083B2 (ja) 2007-02-27 2009-12-16 トヨタ自動車株式会社 駐車支援装置
JP4185956B2 (ja) 2007-02-27 2008-11-26 トヨタ自動車株式会社 旅行時間演算サーバ、車両用旅行時間演算装置及び旅行時間演算システム
JP4153013B1 (ja) 2007-03-06 2008-09-17 シャープ株式会社 撮像レンズ、撮像ユニットおよびそれを備えた携帯型情報端末
US7755679B2 (en) 2007-03-07 2010-07-13 Altasens, Inc. Apparatus and method for reducing edge effect in an image sensor
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US8593506B2 (en) 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
JP2008242658A (ja) 2007-03-26 2008-10-09 Funai Electric Co Ltd 立体物体の撮像装置
JP4915859B2 (ja) 2007-03-26 2012-04-11 船井電機株式会社 物体の距離導出装置
US7738017B2 (en) 2007-03-27 2010-06-15 Aptina Imaging Corporation Method and apparatus for automatic linear shift parallax correction for multi-array image systems
US8055466B2 (en) 2007-03-30 2011-11-08 Mitutoyo Corporation Global calibration for stereo vision probe
US8165418B2 (en) 2007-03-30 2012-04-24 Brother Kogyo Kabushiki Kaisha Image processor
WO2008120217A2 (en) 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
US8213711B2 (en) 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8098941B2 (en) 2007-04-03 2012-01-17 Aptina Imaging Corporation Method and apparatus for parallelization of image compression encoders
CN101281282A (zh) 2007-04-04 2008-10-08 鸿富锦精密工业（深圳）有限公司 镜头模组
JP4310348B2 (ja) 2007-04-04 2009-08-05 シャープ株式会社 固体撮像装置およびそれを備えた電子機器
JP2008258885A (ja) 2007-04-04 2008-10-23 Texas Instr Japan Ltd 撮像装置および撮像装置の駆動方法
WO2008068553A1 (en) 2007-04-16 2008-06-12 Nagappan Muthusamy Sundarar Solid vision
CN103839955B (zh) 2007-04-18 2016-05-25 因维萨热技术公司 用于光电装置的材料、***和方法
US8467628B2 (en) 2007-04-24 2013-06-18 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
KR100869219B1 (ko) 2007-05-03 2008-11-18 동부일렉트로닉스 주식회사 이미지 센서 및 그 제조방법
US8462220B2 (en) 2007-05-09 2013-06-11 Aptina Imaging Corporation Method and apparatus for improving low-light performance for small pixel image sensors
US7812869B2 (en) 2007-05-11 2010-10-12 Aptina Imaging Corporation Configurable pixel array system and method
JP4341695B2 (ja) 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
JP4337911B2 (ja) 2007-05-24 2009-09-30 ソニー株式会社 撮像装置、撮像回路、および撮像方法
US20080298674A1 (en) 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
US7733575B2 (en) 2007-05-31 2010-06-08 Artificial Muscle, Inc. Optical systems employing compliant electroactive materials
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
JP5406182B2 (ja) 2007-06-26 2014-02-05 コーニンクレッカ フィリップス エヌ ヴェ ３次元ビデオ信号をエンコードするための方法及びシステム、含まれる３次元ビデオ信号、並びに３次元ビデオ信号のためのデコーダのための方法及び信号
CN101785025B (zh) 2007-07-12 2013-10-30 汤姆森特许公司 用于从二维图像进行三维对象重构的***和方法
US8125619B2 (en) 2007-07-25 2012-02-28 Eminent Electronic Technology Corp. Integrated ambient light sensor and distance sensor
JP5006727B2 (ja) 2007-07-26 2012-08-22 株式会社リコー 画像処理装置およびデジタルカメラ
US8019215B2 (en) 2007-08-06 2011-09-13 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
EP2034338A1 (en) 2007-08-11 2009-03-11 ETH Zurich Liquid Lens System
EP2026563A1 (en) 2007-08-14 2009-02-18 Deutsche Thomson OHG System and method for detecting defective pixels
US7782364B2 (en) 2007-08-21 2010-08-24 Aptina Imaging Corporation Multi-array sensor with integrated sub-array for parallax detection and photometer functionality
US20090067316A1 (en) 2007-08-30 2009-03-12 Mario Torbarac Method and system for recordable DVDS
US20090066693A1 (en) 2007-09-06 2009-03-12 Roc Carson Encoding A Depth Map Into An Image Using Analysis Of Two Consecutive Captured Frames
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
US20090079862A1 (en) 2007-09-25 2009-03-26 Micron Technology, Inc. Method and apparatus providing imaging auto-focus utilizing absolute blur value
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
JP5172267B2 (ja) 2007-10-09 2013-03-27 富士フイルム株式会社 撮像装置
US8049289B2 (en) 2007-10-11 2011-11-01 Dongbu Hitek Co., Ltd. Image sensor and method for manufacturing the same
US8938009B2 (en) 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
US7956924B2 (en) 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US7787112B2 (en) 2007-10-22 2010-08-31 Visiongate, Inc. Depth of field extension for optical tomography
US7920193B2 (en) 2007-10-23 2011-04-05 Aptina Imaging Corporation Methods, systems and apparatuses using barrier self-calibration for high dynamic range imagers
US7777804B2 (en) 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
US20100223237A1 (en) 2007-11-05 2010-09-02 University Of Florida Research Foundation, Inc. Lossless data compression and real-time decompression
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
US7852461B2 (en) 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
US8351685B2 (en) 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
US8126279B2 (en) 2007-11-19 2012-02-28 The University Of Arizona Lifting-based view compensated compression and remote visualization of volume rendered images
JP5010445B2 (ja) 2007-11-29 2012-08-29 パナソニック株式会社 マイクロレンズアレイ用金型の製造方法
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
WO2009073950A1 (en) 2007-12-13 2009-06-18 Keigo Izuka Camera system and method for amalgamating images to create an omni-focused image
TWI353778B (en) 2007-12-21 2011-12-01 Ind Tech Res Inst Moving object detection apparatus and method
EP2072785B1 (en) 2007-12-21 2011-02-23 Caterpillar Inc. Controlling engine speed within a machine
US7880807B2 (en) 2007-12-26 2011-02-01 Sony Ericsson Mobile Communications Ab Camera system with mirror arrangement for generating self-portrait panoramic pictures
US8233077B2 (en) 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
TWI362628B (en) 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
US20110031381A1 (en) 2007-12-28 2011-02-10 Hiok-Nam Tay Light guide array for an image sensor
US8503763B2 (en) 2008-01-04 2013-08-06 3M Innovative Properties Company Image signatures for use in motion-based three-dimensional reconstruction
JP4413261B2 (ja) 2008-01-10 2010-02-10 シャープ株式会社 撮像装置及び光軸制御方法
JP5198295B2 (ja) 2008-01-15 2013-05-15 富士フイルム株式会社 撮像素子の位置調整方法、カメラモジュール製造方法及び装置、カメラモジュール
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4956452B2 (ja) 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
WO2009097552A1 (en) 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
GB0802290D0 (en) 2008-02-08 2008-03-12 Univ Kent Canterbury Camera adapter based optical imaging apparatus
US8319301B2 (en) 2008-02-11 2012-11-27 Omnivision Technologies, Inc. Self-aligned filter for an image sensor
JP2009206922A (ja) 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
CN101520532A (zh) 2008-02-29 2009-09-02 鸿富锦精密工业（深圳）有限公司 复合镜片
US9094675B2 (en) 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
WO2009111498A2 (en) 2008-03-03 2009-09-11 Videoiq, Inc. Object matching for tracking, indexing, and search
EP2252208B1 (en) 2008-03-18 2014-05-14 Koninklijke Philips N.V. Apparatus for skin imaging, system for skin analysis
US8098955B2 (en) 2008-03-25 2012-01-17 Point Grey Research Inc. Efficient selection and application of regions of interest in digital imaging
WO2009119229A1 (ja) 2008-03-26 2009-10-01 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法
CN101551586A (zh) 2008-04-03 2009-10-07 晶宏半导体股份有限公司 高速摄影方法及其装置
US8497905B2 (en) 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US8259208B2 (en) 2008-04-15 2012-09-04 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
US7843554B2 (en) 2008-04-25 2010-11-30 Rockwell Collins, Inc. High dynamic range sensor system and method
US8155456B2 (en) 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8724921B2 (en) 2008-05-05 2014-05-13 Aptina Imaging Corporation Method of capturing high dynamic range images with objects in the scene
JP2009273035A (ja) 2008-05-09 2009-11-19 Toshiba Corp 画像圧縮装置、画像伸張装置及び画像処理装置
US8633996B2 (en) 2008-05-09 2014-01-21 Rambus Inc. Image sensor having nonlinear response
US8208543B2 (en) 2008-05-19 2012-06-26 Microsoft Corporation Quantization and differential coding of alpha image data
US8400505B2 (en) 2008-05-19 2013-03-19 Panasonic Corporation Calibration method, calibration device, and calibration system including the device
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8442355B2 (en) 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
US8125559B2 (en) 2008-05-25 2012-02-28 Avistar Communications Corporation Image formation for large photosensor array surfaces
US8131097B2 (en) 2008-05-28 2012-03-06 Aptina Imaging Corporation Method and apparatus for extended depth-of-field image restoration
CN101593350B (zh) 2008-05-30 2013-01-09 日电（中国）有限公司 深度自适应视频拼接的方法、装置和***
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
JP2009300268A (ja) 2008-06-13 2009-12-24 Nippon Hoso Kyokai <Nhk> ３次元情報検出装置
KR101539935B1 (ko) 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
US7710667B2 (en) 2008-06-25 2010-05-04 Aptina Imaging Corp. Imaging module with symmetrical lens system and method of manufacture
CN102016654A (zh) 2008-06-25 2011-04-13 柯尼卡美能达精密光学株式会社 成像光学***及成像用透镜的制造方法
KR101000531B1 (ko) 2008-06-26 2010-12-14 에스디씨마이크로 주식회사 데이터 전송 범위가 증대되는 무선랜을 이용한 씨씨티브이관리시스템
US7916396B2 (en) 2008-06-27 2011-03-29 Micron Technology, Inc. Lens master devices, lens structures, imaging devices, and methods and apparatuses of making the same
US8326069B2 (en) 2008-06-30 2012-12-04 Intel Corporation Computing higher resolution images from multiple lower resolution images
US7773317B2 (en) 2008-07-01 2010-08-10 Aptina Imaging Corp. Lens system with symmetrical optics
US7920339B2 (en) 2008-07-02 2011-04-05 Aptina Imaging Corporation Method and apparatus providing singlet wafer lens system with field flattener
CN100576934C (zh) 2008-07-03 2009-12-30 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
KR101445185B1 (ko) 2008-07-10 2014-09-30 삼성전자주식회사 복수 개의 영상촬영유닛을 구비한 플렉시블 영상촬영장치및 그 제조방법
WO2010015086A1 (en) 2008-08-06 2010-02-11 Creaform Inc. System for adaptive three-dimensional scanning of surface characteristics
CN101656259A (zh) 2008-08-20 2010-02-24 鸿富锦精密工业（深圳）有限公司 影像感测器封装结构、封装方法及相机模组
EP2329653B1 (en) 2008-08-20 2014-10-29 Thomson Licensing Refined depth map
US7924312B2 (en) 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
US8736751B2 (en) 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US8102428B2 (en) 2008-08-28 2012-01-24 Adobe Systems Incorporated Content-aware video stabilization
JP5105482B2 (ja) 2008-09-01 2012-12-26 船井電機株式会社 光学的条件設計方法及び複眼撮像装置
EP2329315A4 (en) 2008-09-01 2012-01-18 Lensvector Inc PREPARATION OF OPTOELECTRONIC LIQUID CRYSTAL COMPONENTS AT WAF LEVEL
US8098297B2 (en) 2008-09-03 2012-01-17 Sony Corporation Pre- and post-shutter signal image capture and sort for digital camera
KR20100028344A (ko) 2008-09-04 2010-03-12 삼성전자주식회사 휴대단말의 영상 편집 방법 및 장치
US9025136B2 (en) 2008-09-23 2015-05-05 Applied Materials, Inc. System and method for manufacturing three dimensional integrated circuits
JP5238429B2 (ja) 2008-09-25 2013-07-17 株式会社東芝 立体映像撮影装置および立体映像撮影システム
US8553093B2 (en) 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
WO2010037512A1 (en) 2008-10-02 2010-04-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intermediate view synthesis and multi-view data signal extraction
US9619917B2 (en) 2008-10-03 2017-04-11 Apple Inc. Depth of field for a camera in a media-editing application
US9064476B2 (en) 2008-10-04 2015-06-23 Microsoft Technology Licensing, Llc Image super-resolution using gradient profile prior
US8310525B2 (en) 2008-10-07 2012-11-13 Seiko Epson Corporation One-touch projector alignment for 3D stereo display
GB2476397B (en) 2008-10-15 2014-04-30 Spinella Ip Holdings Inc Digital processing method and system for determination of optical flow
US8416282B2 (en) 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
JP2010096723A (ja) 2008-10-20 2010-04-30 Funai Electric Co Ltd 物体の距離導出装置
US8436909B2 (en) 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
EP2348733A4 (en) 2008-10-27 2012-09-12 Lg Electronics Inc METHOD AND APPARATUS FOR THE SYNTHESIS OF VIRTUAL VISUALIZATION IMAGES
US8063975B2 (en) 2008-10-29 2011-11-22 Jabil Circuit, Inc. Positioning wafer lenses on electronic imagers
KR101502597B1 (ko) 2008-11-13 2015-03-13 삼성전자주식회사 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법
WO2010057081A1 (en) 2008-11-14 2010-05-20 The Scripps Research Institute Image analysis platform for identifying artifacts in samples and laboratory consumables
AU2008246243B2 (en) 2008-11-19 2011-12-22 Canon Kabushiki Kaisha DVC as generic file format for plenoptic camera
WO2010065344A1 (en) 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8013904B2 (en) 2008-12-09 2011-09-06 Seiko Epson Corporation View projection matrix based high performance low latency display pipeline
JP5311016B2 (ja) 2008-12-10 2013-10-09 コニカミノルタ株式会社 ステレオカメラユニット及びステレオマッチング方法
KR101200490B1 (ko) 2008-12-10 2012-11-12 한국전자통신연구원 영상 정합 장치 및 방법
US8149323B2 (en) 2008-12-18 2012-04-03 Qualcomm Incorporated System and method to autofocus assisted by autoexposure control
JP4631966B2 (ja) 2008-12-22 2011-02-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN101770060B (zh) 2008-12-27 2014-03-26 鸿富锦精密工业（深圳）有限公司 相机模组及其组装方法
US8405742B2 (en) 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
US8259212B2 (en) 2009-01-05 2012-09-04 Applied Quantum Technologies, Inc. Multiscale optical system
US20100177411A1 (en) 2009-01-09 2010-07-15 Shashikant Hegde Wafer level lens replication on micro-electrical-mechanical systems
WO2010081010A2 (en) 2009-01-09 2010-07-15 New York University Methods, computer-accessible medium and systems for facilitating dark flash photography
WO2010079685A1 (ja) 2009-01-09 2010-07-15 コニカミノルタホールディングス株式会社 動きベクトル生成装置および動きベクトル生成方法
US8315476B1 (en) 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US8300108B2 (en) 2009-02-02 2012-10-30 L-3 Communications Cincinnati Electronics Corporation Multi-channel imaging devices comprising unit cells
US20100194860A1 (en) 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
US8290301B2 (en) 2009-02-06 2012-10-16 Raytheon Company Optimized imaging system for collection of high resolution imagery
US8761491B2 (en) 2009-02-06 2014-06-24 Himax Technologies Limited Stereo-matching processor using belief propagation
KR101776955B1 (ko) 2009-02-10 2017-09-08 소니 주식회사 고체 촬상 장치와 그 제조 방법, 및 전자 기기
JP4915423B2 (ja) 2009-02-19 2012-04-11 ソニー株式会社 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体
WO2010095440A1 (ja) 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US8520970B2 (en) 2010-04-23 2013-08-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
KR20100099896A (ko) 2009-03-04 2010-09-15 삼성전자주식회사 메타데이터 생성 방법 및 장치, 그 메타데이터를 이용하여 영상을 처리하는 방법 및 장치
US8207759B2 (en) 2009-03-12 2012-06-26 Fairchild Semiconductor Corporation MIPI analog switch for automatic selection of multiple inputs based on clock voltages
JP2012521673A (ja) 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
US8450821B2 (en) 2009-03-26 2013-05-28 Micron Technology, Inc. Method and apparatus providing combined spacer and optical lens element
US8106949B2 (en) 2009-03-26 2012-01-31 Seiko Epson Corporation Small memory footprint light transport matrix capture
US7901095B2 (en) 2009-03-27 2011-03-08 Seiko Epson Corporation Resolution scalable view projection
JP4529010B1 (ja) 2009-03-30 2010-08-25 シャープ株式会社 撮像装置
JP5222205B2 (ja) 2009-04-03 2013-06-26 Ｋｄｄｉ株式会社 画像処理装置、方法及びプログラム
WO2010116370A1 (en) 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Camera systems having multiple image sensors combined with a single axis mechanical gimbal
US20100259610A1 (en) 2009-04-08 2010-10-14 Celsia, Llc Two-Dimensional Display Synced with Real World Object Movement
US8294099B2 (en) 2009-04-10 2012-10-23 Bae Systems Information And Electronic Systems Integration Inc. On-wafer butted microbolometer imaging array
JP5463718B2 (ja) 2009-04-16 2014-04-09 ソニー株式会社 撮像装置
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US20120249550A1 (en) 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US8908058B2 (en) 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
EP2244484B1 (en) 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
CN101527046B (zh) 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和***
KR101671021B1 (ko) 2009-04-30 2016-11-10 삼성전자주식회사 스테레오스코픽 영상 데이터 전송 장치 및 방법
US8358365B2 (en) 2009-05-01 2013-01-22 Samsung Electronics Co., Ltd. Photo detecting device and image pickup device and method thereon
US8271544B2 (en) 2009-05-01 2012-09-18 Creative Technology Ltd Data file having more than one mode of operation
DE102009003110A1 (de) 2009-05-14 2010-11-18 Robert Bosch Gmbh Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
KR20100130423A (ko) 2009-06-03 2010-12-13 삼성전자주식회사 웨이퍼-레벨 렌즈 모듈 및 이를 구비하는 촬상 모듈
US8872910B1 (en) 2009-06-04 2014-10-28 Masoud Vaziri Method and apparatus for a compact and high resolution eye-view recorder
US8745677B2 (en) 2009-06-12 2014-06-03 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
CN101931742B (zh) 2009-06-18 2013-04-24 鸿富锦精密工业（深圳）有限公司 影像感测模组及取像模组
US20100321640A1 (en) 2009-06-22 2010-12-23 Industrial Technology Research Institute Projection display chip
JP5254893B2 (ja) 2009-06-26 2013-08-07 キヤノン株式会社 画像変換方法及び装置並びにパターン識別方法及び装置
US8351726B2 (en) 2009-06-29 2013-01-08 DigitalOptics Corporation Europe Limited Adaptive PSF estimation technique using a sharp preview and a blurred image
WO2011008443A2 (en) 2009-06-29 2011-01-20 Lensvector Inc. Wafer level camera module with active optical element
JP2011030184A (ja) 2009-07-01 2011-02-10 Sony Corp 画像処理装置、及び、画像処理方法
US8212197B2 (en) 2009-07-02 2012-07-03 Xerox Corporation Image sensor with integration time compensation
JP2011017764A (ja) 2009-07-07 2011-01-27 Konica Minolta Opto Inc 撮像レンズ，撮像装置及び携帯端末
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US20110019243A1 (en) 2009-07-21 2011-01-27 Constant Jr Henry J Stereoscopic form reader
CN101964866B (zh) 2009-07-24 2013-03-20 鸿富锦精密工业（深圳）有限公司 计算摄像型数码相机
GB0912970D0 (en) 2009-07-27 2009-09-02 St Microelectronics Res & Dev Improvements in or relating to a sensor and sensor system for a camera
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
KR20120048669A (ko) 2009-08-03 2012-05-15 퀄컴 엠이엠에스 테크놀로지스, 인크. 도광체 조명용의 미세구조체
EP2293586A1 (en) 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
US8577183B2 (en) 2009-08-05 2013-11-05 Raytheon Company Resolution on demand
WO2011018678A1 (en) 2009-08-11 2011-02-17 Ether Precision, Inc. Method and device for aligning a lens with an optical system
WO2011017806A1 (en) 2009-08-14 2011-02-17 Genesis Group Inc. Real-time image and video matting
JP2011044801A (ja) 2009-08-19 2011-03-03 Toshiba Corp 画像処理装置
US8154632B2 (en) 2009-08-24 2012-04-10 Lifesize Communications, Inc. Detection of defective pixels in an image sensor
JP2011052064A (ja) 2009-08-31 2011-03-17 Toyobo Co Ltd ポリイミドおよびその製造方法
KR101680300B1 (ko) 2009-08-31 2016-11-28 삼성전자주식회사 액체 렌즈 및 그 제조방법
US9274699B2 (en) 2009-09-03 2016-03-01 Obscura Digital User interface for a large scale multi-user, multi-touch system
US8411146B2 (en) 2009-09-04 2013-04-02 Lockheed Martin Corporation Single camera color and infrared polarimetric imaging
RU2012113252A (ru) 2009-09-07 2013-10-20 Нокиа Корпорейшн Устройство
FR2950153B1 (fr) 2009-09-15 2011-12-23 Commissariat Energie Atomique Dispositif optique a membrane deformable a actionnement piezoelectrique
US20140076336A1 (en) 2009-09-17 2014-03-20 Ascentia Health, Inc. Ear insert for relief of tmj discomfort and headaches
US9497386B1 (en) 2009-09-22 2016-11-15 Altia Systems Inc. Multi-imager video camera with automatic exposure control
JP5859441B2 (ja) 2009-10-02 2016-02-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄビデオにおける追加のビューを生成するための視点の選択
KR101695809B1 (ko) 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8199165B2 (en) 2009-10-14 2012-06-12 Hewlett-Packard Development Company, L.P. Methods and systems for object segmentation in digital images
DE102009049387B4 (de) 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
WO2011046607A2 (en) 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
US8502909B2 (en) 2009-10-19 2013-08-06 Pixar Super light-field lens
WO2011056574A1 (en) 2009-10-26 2011-05-12 Olaf Andrew Hall-Holt Dental imaging system and method
WO2011053711A1 (en) 2009-10-30 2011-05-05 Invisage Technologies, Inc. Systems and methods for color binning
EP2494402B1 (en) 2009-10-30 2018-04-18 Hewlett-Packard Development Company, L.P. Stereo display systems
CN102667568A (zh) 2009-11-05 2012-09-12 柯尼卡美能达先进多层薄膜株式会社 摄像装置以及该摄像装置的制造方法
WO2011055655A1 (ja) 2009-11-05 2011-05-12 コニカミノルタオプト株式会社 撮像装置、光学ユニット、ウエハレンズ積層体及びウエハレンズ積層体の製造方法
JP5214811B2 (ja) 2009-11-13 2013-06-19 富士フイルム株式会社 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
TR200908688A2 (tr) 2009-11-17 2011-06-21 Vestel Elektron�K San. Ve T�C. A.�. Çoklu görüntülü videoda derinlik dengelemeli gürültü azaltımı.
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
JP5399215B2 (ja) 2009-11-18 2014-01-29 シャープ株式会社 多眼カメラ装置および電子情報機器
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011066275A2 (en) 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US8730338B2 (en) 2009-12-01 2014-05-20 Nokia Corporation Set of camera modules hinged on a body and functionally connected to a single actuator
JP5446797B2 (ja) 2009-12-04 2014-03-19 株式会社リコー 撮像装置
US8446492B2 (en) 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
JP5387377B2 (ja) 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9030530B2 (en) 2009-12-15 2015-05-12 Thomson Licensing Stereo-image quality and disparity/depth indications
KR101281961B1 (ko) 2009-12-21 2013-07-03 한국전자통신연구원 깊이 영상 편집 방법 및 장치
US20110153248A1 (en) 2009-12-23 2011-06-23 Yeming Gu Ophthalmic quality metric system
US8885067B2 (en) 2009-12-24 2014-11-11 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
JP4983905B2 (ja) 2009-12-25 2012-07-25 カシオ計算機株式会社 撮像装置、３ｄモデリングデータ生成方法、および、プログラム
KR101643607B1 (ko) 2009-12-30 2016-08-10 삼성전자주식회사 영상 데이터 생성 방법 및 장치
CN102118551A (zh) 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 成像装置
CN102117576A (zh) 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 电子相框
CN102131044B (zh) 2010-01-20 2014-03-26 鸿富锦精密工业（深圳）有限公司 相机模组
US8649008B2 (en) 2010-02-04 2014-02-11 University Of Southern California Combined spectral and polarimetry imaging and diagnostics
US8593512B2 (en) 2010-02-05 2013-11-26 Creative Technology Ltd Device and method for scanning an object on a working surface
US8326142B2 (en) 2010-02-12 2012-12-04 Sri International Optical image systems
JP5387856B2 (ja) 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US8648918B2 (en) 2010-02-18 2014-02-11 Sony Corporation Method and system for obtaining a point spread function using motion information
WO2011101035A1 (en) 2010-02-19 2011-08-25 Iplink Limited Processing multi-aperture image data
KR101802238B1 (ko) 2010-02-23 2017-11-29 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
KR20110097690A (ko) 2010-02-23 2011-08-31 삼성전자주식회사 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
CN102906623A (zh) 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
JP5776173B2 (ja) 2010-03-01 2015-09-09 株式会社リコー 撮像装置及び距離測定装置
US8860833B2 (en) 2010-03-03 2014-10-14 Adobe Systems Incorporated Blended rendering of focused plenoptic camera data
WO2011112633A1 (en) 2010-03-09 2011-09-15 Flir Systems, Inc. Imager with multiple sensor arrays
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US20110221950A1 (en) 2010-03-12 2011-09-15 Doeke Jolt Oostra Camera device, wafer scale package
EP2548071A1 (en) 2010-03-17 2013-01-23 Pelican Imaging Corporation Fabrication process for mastering imaging lens arrays
CN102428707B (zh) 2010-03-19 2015-03-11 松下电器产业株式会社 立体视用图像对位装置和立体视用图像对位方法
WO2011116345A1 (en) 2010-03-19 2011-09-22 Invisage Technologies, Inc. Dark current reduction in image sensors via dynamic electrical biasing
US8310538B2 (en) 2010-03-19 2012-11-13 Fujifilm Corporation Imaging apparatus, method, program, and recording medium used in the program
KR101671185B1 (ko) * 2010-03-22 2016-11-01 삼성전자주식회사 렌더링을 위한 빛 및 질감 추출 장치 및 방법, 그리고, 빛 및 질감을 이용한 렌더링 장치
JPWO2011118135A1 (ja) 2010-03-25 2013-07-04 パナソニック株式会社 送信装置、受信装置、送信方法および受信方法
US8558903B2 (en) 2010-03-25 2013-10-15 Apple Inc. Accelerometer / gyro-facilitated video stabilization
US8285033B2 (en) 2010-04-01 2012-10-09 Seiko Epson Corporation Bi-affinity filter: a bilateral type filter for color images
WO2011121117A1 (en) 2010-04-02 2011-10-06 Imec Virtual camera system
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US20110255786A1 (en) 2010-04-20 2011-10-20 Andrew Hunter Method and apparatus for determining flicker in the illumination of a subject
US8600186B2 (en) 2010-04-26 2013-12-03 City University Of Hong Kong Well focused catadioptric image acquisition
US9053573B2 (en) 2010-04-29 2015-06-09 Personify, Inc. Systems and methods for generating a virtual camera viewpoint for an image
US20110267264A1 (en) 2010-04-29 2011-11-03 Mccarthy John Display system with multiple optical sensors
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
US9256974B1 (en) 2010-05-04 2016-02-09 Stephen P Hines 3-D motion-parallax portable display software application
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
KR20110124473A (ko) 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
KR101756910B1 (ko) 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
US20130147979A1 (en) 2010-05-12 2013-06-13 Pelican Imaging Corporation Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain
JP5848754B2 (ja) 2010-05-12 2016-01-27 ペリカン イメージング コーポレイション 撮像装置アレイおよびアレイカメラのためのアーキテクチャ
JP5545016B2 (ja) 2010-05-12 2014-07-09 ソニー株式会社 撮像装置
WO2011142774A1 (en) 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
US8576293B2 (en) 2010-05-18 2013-11-05 Aptina Imaging Corporation Multi-channel imager
SG176327A1 (en) 2010-05-20 2011-12-29 Sony Corp A system and method of image processing
US8602887B2 (en) 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
US20120062697A1 (en) 2010-06-09 2012-03-15 Chemimage Corporation Hyperspectral imaging sensor for tracking moving targets
DE102010024666A1 (de) 2010-06-18 2011-12-22 Hella Kgaa Hueck & Co. Verfahren zur optischen Selbstdiagnose eines Kamerasystems und Vorrichtung zur Durchführung eines solchen Verfahrens
CN102184720A (zh) 2010-06-22 2011-09-14 上海盈方微电子有限公司 一种支持多层多格式输入的图像合成显示的方法及装置
US20110310980A1 (en) 2010-06-22 2011-12-22 Qualcomm Mems Technologies, Inc. Apparatus and methods for processing frames of video data across a display interface using a block-based encoding scheme and a tag id
KR20120000485A (ko) 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
EP2403234A1 (en) 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
CN101883291B (zh) 2010-06-29 2012-12-19 上海大学 感兴趣区域增强的视点绘制方法
US8493432B2 (en) 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
CN102959970B (zh) 2010-06-30 2015-04-15 富士胶片株式会社 在立体显示成像期间确定成像范围内障碍物的装置、方法和程序
JP5392199B2 (ja) 2010-07-09 2014-01-22 ソニー株式会社 画像処理装置および方法
GB2482022A (en) 2010-07-16 2012-01-18 St Microelectronics Res & Dev Method for measuring resolution and aberration of lens and sensor
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
US8386964B2 (en) 2010-07-21 2013-02-26 Microsoft Corporation Interactive image matting
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
US20120019700A1 (en) 2010-07-26 2012-01-26 American Technologies Network Corporation Optical system with automatic mixing of daylight and thermal vision digital video signals
US20120026342A1 (en) 2010-07-27 2012-02-02 Xiaoguang Yu Electronic system communicating with image sensor
US20120026451A1 (en) 2010-07-29 2012-02-02 Lensvector Inc. Tunable liquid crystal lens with single sided contacts
US8605136B2 (en) 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
CN102375199B (zh) 2010-08-11 2015-06-03 鸿富锦精密工业（深圳）有限公司 相机模组
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US8836793B1 (en) 2010-08-13 2014-09-16 Opto-Knowledge Systems, Inc. True color night vision (TCNV) fusion
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
JP5140210B2 (ja) 2010-08-31 2013-02-06 パナソニック株式会社 撮影装置および画像処理方法
GB2483434A (en) 2010-08-31 2012-03-14 Sony Corp Detecting stereoscopic disparity by comparison with subset of pixel change points
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
WO2012036901A1 (en) 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
US9565415B2 (en) 2010-09-14 2017-02-07 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
US9013634B2 (en) 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
WO2012039043A1 (ja) 2010-09-22 2012-03-29 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
US20120086803A1 (en) 2010-10-11 2012-04-12 Malzbender Thomas G Method and system for distance estimation using projected symbol sequences
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
JP5657343B2 (ja) 2010-10-28 2015-01-21 株式会社ザクティ 電子機器
US8531535B2 (en) 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
US9876953B2 (en) 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
US9137503B2 (en) 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
US9065991B2 (en) 2010-11-04 2015-06-23 Lensvector Inc. Methods of adjustment free manufacture of focus free camera modules
US20120113232A1 (en) 2010-11-10 2012-05-10 Sony Pictures Technologies Inc. Multiple camera system and method for selectable interaxial separation
WO2012064106A2 (en) 2010-11-12 2012-05-18 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
MY150361A (en) 2010-12-03 2013-12-31 Mimos Berhad Method of image segmentation using intensity and depth information
WO2012078126A1 (en) 2010-12-08 2012-06-14 Thomson Licensing System and method for trinocular depth acquisition with triangular sensor
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5963422B2 (ja) 2010-12-17 2016-08-03 キヤノン株式会社 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
US8682107B2 (en) 2010-12-22 2014-03-25 Electronics And Telecommunications Research Institute Apparatus and method for creating 3D content for oriental painting
US9177381B2 (en) 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
US8565709B2 (en) 2010-12-30 2013-10-22 Apple Inc. Digital signal filter
TWI535292B (zh) 2010-12-31 2016-05-21 派力肯影像公司 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理
JP5699609B2 (ja) 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
WO2012100230A1 (en) 2011-01-20 2012-07-26 Fivefocal, Llc Passively athermalized infrared imaging system and methods of manufacturing same
US8717467B2 (en) 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
US8581995B2 (en) 2011-01-25 2013-11-12 Aptina Imaging Corporation Method and apparatus for parallax correction in fused array imaging systems
JP5594477B2 (ja) 2011-01-26 2014-09-24 Ｎｌｔテクノロジー株式会社 画像表示装置、画像表示方法、及びプログラム
EP2668617A1 (en) 2011-01-27 2013-12-04 Metaio GmbH Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US20120200726A1 (en) 2011-02-09 2012-08-09 Research In Motion Limited Method of Controlling the Depth of Field for a Small Sensor Camera Using an Extension for EDOF
CA2767023C (en) 2011-02-09 2014-09-09 Research In Motion Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
US8698885B2 (en) 2011-02-14 2014-04-15 Intuitive Surgical Operations, Inc. Methods and apparatus for demosaicing images with highly correlated color channels
US20140176592A1 (en) 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
CN103370448B (zh) 2011-02-18 2016-08-10 东曹株式会社 电解二氧化锰及其制造方法、以及锂锰系复合氧化物的制造方法
WO2012117583A1 (ja) 2011-02-28 2012-09-07 富士フイルム株式会社 カラー撮像装置
US8406548B2 (en) 2011-02-28 2013-03-26 Sony Corporation Method and apparatus for performing a blur rendering process on an image
US8537245B2 (en) 2011-03-04 2013-09-17 Hand Held Products, Inc. Imaging and decoding device with quantum dot imager
CA2769358C (en) 2011-03-08 2016-06-07 Research In Motion Limited Quantum dot image sensor with dummy pixels used for intensity calculations
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
KR101792501B1 (ko) 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
US20120249853A1 (en) 2011-03-28 2012-10-04 Marc Krolczyk Digital camera for reviewing related images
US8824821B2 (en) 2011-03-28 2014-09-02 Sony Corporation Method and apparatus for performing user inspired visual effects rendering on an image
US8422770B2 (en) 2011-03-30 2013-04-16 Mckesson Financial Holdings Method, apparatus and computer program product for displaying normalized medical images
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
FR2974449A1 (fr) 2011-04-22 2012-10-26 Commissariat Energie Atomique Circuit integre imageur et dispositif de capture d'images stereoscopiques
US20120274626A1 (en) 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
US9170723B2 (en) 2011-05-04 2015-10-27 Sony Ericsson Mobile Communications Ab Method, graphical user interface, and computer program product for processing of a light field image
JP2014519741A (ja) 2011-05-11 2014-08-14 ペリカン イメージング コーポレイション アレイカメラ画像データを伝送および受信するためのシステムおよび方法
US8843346B2 (en) 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
CN102164298B (zh) 2011-05-18 2012-10-03 长春理工大学 全景成像***中基于立体匹配的元素图像获取方法
US8629901B2 (en) 2011-05-19 2014-01-14 National Taiwan University System and method of revising depth of a 3D image pair
US20120293489A1 (en) 2011-05-20 2012-11-22 Himax Technologies Limited Nonlinear depth remapping system and method thereof
JP5797016B2 (ja) 2011-05-30 2015-10-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5762142B2 (ja) 2011-05-31 2015-08-12 キヤノン株式会社 撮像装置、画像処理装置およびその方法
US8648919B2 (en) 2011-06-06 2014-02-11 Apple Inc. Methods and systems for image stabilization
US8823813B2 (en) 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
WO2012171185A1 (en) 2011-06-15 2012-12-20 Microsoft Corporation High resolution multispectral image capture
JP2013005259A (ja) 2011-06-17 2013-01-07 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
KR20140045458A (ko) 2011-06-28 2014-04-16 펠리칸 이매징 코포레이션 어레이 카메라와 함께 사용하는 광학 장치
US8773513B2 (en) 2011-07-01 2014-07-08 Seiko Epson Corporation Context and epsilon stereo constrained correspondence matching
KR101216123B1 (ko) 2011-07-08 2012-12-27 김호 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치
US9300946B2 (en) 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
JP2013024886A (ja) 2011-07-14 2013-02-04 Sanyo Electric Co Ltd 撮像装置
JP5780865B2 (ja) 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
US9363535B2 (en) 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
US9264689B2 (en) 2011-08-04 2016-02-16 Semiconductor Components Industries, Llc Systems and methods for color compensation in multi-view video
CN103918255B (zh) 2011-08-09 2016-06-22 三星电子株式会社 对多视点视频数据的深度图进行编码的方法和装置以及对编码的深度图进行解码的方法和装置
US8432435B2 (en) 2011-08-10 2013-04-30 Seiko Epson Corporation Ray image modeling for fast catadioptric light field rendering
US8866951B2 (en) 2011-08-24 2014-10-21 Aptina Imaging Corporation Super-resolution imaging systems
US9009952B2 (en) 2011-08-29 2015-04-21 Asm Technology Singapore Pte. Ltd. Apparatus for assembling a lens module and an image sensor to form a camera module, and a method of assembling the same
US8704895B2 (en) 2011-08-29 2014-04-22 Qualcomm Incorporated Fast calibration of displays using spectral-based colorimetrically calibrated multicolor camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
JP5879549B2 (ja) 2011-09-20 2016-03-08 パナソニックＩｐマネジメント株式会社 ライトフィールド撮像装置、および画像処理装置
EP2760209B1 (en) 2011-09-21 2017-07-12 FUJIFILM Corporation Image processing device, method, program and recording medium, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device
US8724893B2 (en) 2011-09-27 2014-05-13 Thomson Licensing Method and system for color look up table generation
US8908083B2 (en) 2011-09-28 2014-12-09 Apple Inc. Dynamic autofocus operations
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
JP5831105B2 (ja) 2011-09-30 2015-12-09 ソニー株式会社 撮像装置及び撮像方法
KR20140111642A (ko) 2011-10-11 2014-09-19 펠리칸 이매징 코포레이션 적응형 광학 엘리먼트들을 포함하는 렌즈 스택 어레이들
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US20130107061A1 (en) 2011-10-31 2013-05-02 Ankit Kumar Multi-resolution ip camera
JP5149435B1 (ja) 2011-11-04 2013-02-20 株式会社東芝 映像処理装置および映像処理方法
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
EP2590138B1 (en) 2011-11-07 2019-09-11 Flir Systems AB Gas visualization arrangements, devices, and methods
GB201119405D0 (en) 2011-11-10 2011-12-21 Univ East Anglia Spectral estimation method,system and reference target design system
EP2780755A4 (en) 2011-11-15 2015-09-02 Technion Res & Dev Foundation METHOD AND SYSTEM FOR LIGHT TRANSMISSION
US20130121559A1 (en) 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
US20130127988A1 (en) 2011-11-17 2013-05-23 Sen Wang Modifying the viewpoint of a digital image
US9661310B2 (en) 2011-11-28 2017-05-23 ArcSoft Hanzhou Co., Ltd. Image depth recovering method and stereo image fetching device thereof
JP6019568B2 (ja) 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
EP2600316A1 (en) 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
KR101862404B1 (ko) 2011-12-09 2018-05-29 엘지이노텍 주식회사 스테레오 영상의 노이즈 제거장치 및 방법
US9117295B2 (en) 2011-12-20 2015-08-25 Adobe Systems Incorporated Refinement of depth maps by fusion of multiple estimates
JP5414947B2 (ja) 2011-12-27 2014-02-12 パナソニック株式会社 ステレオ撮影装置
US8941722B2 (en) 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
WO2013119706A1 (en) 2012-02-06 2013-08-15 Pelican Imaging Corporation Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain
US9172889B2 (en) 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9230333B2 (en) 2012-02-22 2016-01-05 Raytheon Company Method and apparatus for image processing
JP5860304B2 (ja) 2012-02-23 2016-02-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6112824B2 (ja) 2012-02-28 2017-04-12 キヤノン株式会社 画像処理方法および装置、プログラム。
JP5924978B2 (ja) 2012-02-28 2016-05-25 キヤノン株式会社 画像処理装置および画像処理方法
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
EP2637139A1 (en) 2012-03-05 2013-09-11 Thomson Licensing Method and apparatus for bi-layer segmentation
CN104169965B (zh) 2012-04-02 2018-07-03 英特尔公司 用于多拍摄装置***中图像变形参数的运行时调整的***、方法和计算机程序产品
CN104350408B (zh) 2012-04-13 2018-04-06 自动化工程机械公司 使用连续运动扫描和时间插值的主动对准
US20130274596A1 (en) 2012-04-16 2013-10-17 Children's National Medical Center Dual-mode stereo imaging system for tracking and control in surgical and interventional procedures
US8994845B2 (en) 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
EP2845167A4 (en) 2012-05-01 2016-01-13 Pelican Imaging Corp MODULES OF SHOOTING DEVICES CONSISTING OF PI FILTER GROUPS
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2013164778A1 (en) 2012-05-02 2013-11-07 Koninklijke Philips N.V. Quality metric for processing 3d video
JP6064040B2 (ja) 2012-05-09 2017-01-18 ライトロ, インコーポレイテッドLytro, Inc. ライトフィールドの取り込み及び操作を改善するための光学系の最適化
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
JP2015527764A (ja) 2012-06-08 2015-09-17 ノキア コーポレイション マルチ・フレーム画像キャリブレータ
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
EP2873028A4 (en) 2012-06-28 2016-05-25 Pelican Imaging Corp SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS
JP5929553B2 (ja) 2012-06-28 2016-06-08 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US8792710B2 (en) 2012-07-24 2014-07-29 Intel Corporation Stereoscopic depth reconstruction with probabilistic pixel correspondence search
US9147251B2 (en) 2012-08-03 2015-09-29 Flyby Media, Inc. Systems and methods for efficient 3D tracking of weakly textured planar surfaces for augmented reality applications
US8988566B2 (en) 2012-08-09 2015-03-24 Omnivision Technologies, Inc. Lens array for partitioned image sensor having color filters
EP2885766A4 (en) * 2012-08-20 2017-04-26 Behavioral Recognition Systems, Inc. Method and system for detecting sea-surface oil
WO2014074202A2 (en) 2012-08-20 2014-05-15 The Regents Of The University Of California Monocentric lens designs and associated imaging systems having wide field of view and high resolution
EP4296963A3 (en) 2012-08-21 2024-03-27 Adeia Imaging LLC Method for depth detection in images captured using array cameras
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
US9218690B2 (en) * 2012-08-29 2015-12-22 Ge Aviation Systems, Llc Method for simulating hyperspectral imagery
CN104584545B (zh) 2012-08-31 2017-05-31 索尼公司 图像处理装置、图像处理方法、以及信息处理装置
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US9373088B2 (en) 2012-09-17 2016-06-21 The Board Of Trustees Of The Leland Stanford Junior University Brain machine interface utilizing a discrete action state decoder in parallel with a continuous decoder for a neural prosthetic device
US9143673B2 (en) 2012-09-19 2015-09-22 Google Inc. Imaging device with a plurality of pixel arrays
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
TW201415879A (zh) 2012-10-12 2014-04-16 Wintek Corp 影像擷取裝置
US9609190B2 (en) 2012-10-31 2017-03-28 Invisage Technologies, Inc. Devices, methods, and systems for expanded-field-of-view image and video capture
US9338370B2 (en) 2012-11-05 2016-05-10 Honeywell International Inc. Visual system having multiple cameras
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
KR101954192B1 (ko) 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
US9076205B2 (en) 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US9924142B2 (en) 2012-11-21 2018-03-20 Omnivision Technologies, Inc. Camera array systems including at least one bayer type camera and associated methods
CN113259565B (zh) 2012-11-28 2023-05-19 核心光电有限公司 多孔径成像***
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US9088369B2 (en) 2012-12-28 2015-07-21 Synergy Microwave Corporation Self injection locked phase locked looped optoelectronic oscillator
US8851370B2 (en) 2013-01-02 2014-10-07 Jpmorgan Chase Bank, N.A. System and method for secure card with on-board verification
US20140183334A1 (en) 2013-01-03 2014-07-03 Visera Technologies Company Limited Image sensor for light field device and manufacturing method thereof
US9282228B2 (en) 2013-01-05 2016-03-08 The Lightco Inc. Camera methods and apparatus using optical chain modules which alter the direction of received light
KR20140094395A (ko) 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
US9497380B1 (en) 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9853826B2 (en) 2013-02-25 2017-12-26 Qualcomm Incorporated Establishing groups of internet of things (IOT) devices and enabling communication among the groups of IOT devices
US20150002734A1 (en) 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US20140240469A1 (en) 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014160142A1 (en) 2013-03-13 2014-10-02 Pelican Imaging Corporation Systems and methods for using alignment to increase sampling diversity of cameras in an array camera module
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014149902A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Systems and methods for providing an array projector
WO2014144157A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
CN105165008B (zh) 2013-05-10 2017-11-21 皇家飞利浦有限公司 对与多视图再现设备一起使用的视频数据信号进行编码的方法
JP6201476B2 (ja) 2013-07-18 2017-09-27 凸版印刷株式会社 自由視点画像撮像装置およびその方法
KR102103983B1 (ko) 2013-07-31 2020-04-23 삼성전자주식회사 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
US9299188B2 (en) 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
US20160182786A1 (en) 2013-09-11 2016-06-23 Lytro, Inc. Hybrid light-field camera
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US20160210785A1 (en) 2013-10-03 2016-07-21 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
US20150098079A1 (en) 2013-10-09 2015-04-09 Hilti Aktiengesellschaft System and method for camera based position and orientation measurement
US20150104101A1 (en) 2013-10-14 2015-04-16 Apple Inc. Method and ui for z depth image segmentation
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
KR102135770B1 (ko) 2014-02-10 2020-07-20 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
GB2523149A (en) 2014-02-14 2015-08-19 Nokia Technologies Oy Method, apparatus and computer program product for image-driven cost volume aggregation
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
JP6211435B2 (ja) 2014-02-26 2017-10-11 株式会社アドバンテスト 半導体装置の製造方法
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US20160042548A1 (en) 2014-03-19 2016-02-11 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method
US10368054B2 (en) 2014-03-28 2019-07-30 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
GB2525660A (en) 2014-05-01 2015-11-04 Mastercard International Inc Methods, devices and systems for transaction initiation
US20150325048A1 (en) 2014-05-06 2015-11-12 Mobile R&D Inc. Systems, methods, and computer-readable media for generating a composite scene of a real-world location and an object
WO2015183824A1 (en) 2014-05-26 2015-12-03 Pelican Imaging Corporation Autofocus system for a conventional camera that uses depth information from an array camera
US9729865B1 (en) 2014-06-18 2017-08-08 Amazon Technologies, Inc. Object detection and tracking
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9992483B2 (en) 2014-09-03 2018-06-05 Intel Corporation Imaging architecture for depth camera mode with mode switching
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US9766461B2 (en) 2015-01-20 2017-09-19 Microsoft Technology Licensing, Llc Head-mounted display device with stress-resistant components
US20160267486A1 (en) 2015-03-13 2016-09-15 Radiius Corp Smartcard Payment System and Method
WO2016167814A1 (en) 2015-04-17 2016-10-20 Pelican Imaging Corporation Systems and methods for performing high speed video capture and depth estimation using array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3286914B1 (en) 2015-04-19 2019-12-25 FotoNation Limited Multi-baseline camera array system architectures for depth augmentation in vr/ar applications
JP6512928B2 (ja) 2015-04-28 2019-05-15 キヤノン株式会社 画像符号化装置、画像処理装置、画像符号化方法
US9679526B2 (en) 2015-06-30 2017-06-13 Nxp Usa, Inc. Display system, an integrated circuit for use in the display system, and a method of displaying at least two images on at least two screens
US20170011405A1 (en) 2015-07-09 2017-01-12 Mastercard International Incorporated Simultaneous multi-factor authentication systems and methods for payment transactions
JP6626295B2 (ja) 2015-09-09 2019-12-25 キヤノン株式会社 画像符号化装置、画像処理装置、画像符号化方法
US11257075B2 (en) 2015-10-20 2022-02-22 Paypal, Inc. Secure multi-factor user authentication on disconnected mobile devices
US20170142405A1 (en) 2015-10-21 2017-05-18 Praxik, LLC. Apparatus, Systems and Methods for Ground Plane Extension
AU2016374520C1 (en) 2015-12-14 2020-10-15 Motion Metrics International Corp. Method and apparatus for identifying fragmented material portions within an image
US20180308281A1 (en) * 2016-04-01 2018-10-25 draw, Inc. 3-d graphic generation, artificial intelligence verification and learning system, program, and method
US10546297B2 (en) 2016-06-30 2020-01-28 Paypal, Inc. Hardware and token based user authentication
US11199678B2 (en) 2016-09-14 2021-12-14 Fotonation Limited Optical systems for cameras incorporating lens elements formed separately and subsequently bonded to low CTE substrates
US20180189767A1 (en) 2016-12-29 2018-07-05 Fotonation Limited Systems and methods for utilizing payment card information with a secure biometric processor on a mobile device
US10643382B2 (en) 2017-04-04 2020-05-05 Intel Corporation Application of convolutional neural networks to object meshes
KR102351542B1 (ko) 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US10318889B2 (en) * 2017-06-26 2019-06-11 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10643383B2 (en) 2017-11-27 2020-05-05 Fotonation Limited Systems and methods for 3D facial modeling
CN109961406B (zh) 2017-12-25 2021-06-25 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备
US11024046B2 (en) 2018-02-07 2021-06-01 Fotonation Limited Systems and methods for depth estimation using generative models
US11315321B2 (en) 2018-09-07 2022-04-26 Intel Corporation View dependent 3D reconstruction mechanism
US11431884B2 (en) * 2019-09-16 2022-08-30 Meta Platforms Technologies, Llc Polarization capture device for identifying feature of object
EP3821267A4 (en) * 2019-09-17 2022-04-13 Boston Polarimetrics, Inc. SURFACE MODELING SYSTEMS AND METHODS USING POLARIZATION MARKERS
WO2021067665A2 (en) * 2019-10-03 2021-04-08 Photon-X, Inc. Enhancing artificial intelligence routines using 3d data
CN114746717A (zh) * 2019-10-07 2022-07-12 波士顿偏振测定公司 利用偏振进行表面法线感测的***和方法
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.

Also Published As

Publication number Publication date
US20220215266A1 (en) 2022-07-07
US11797863B2 (en) 2023-10-24
EP4085424A4 (en) 2024-03-27
JP2023511747A (ja) 2023-03-22
WO2021154459A1 (en) 2021-08-05
KR20220133973A (ko) 2022-10-05
EP4085424A1 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
US11797863B2 (en) Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US12008796B2 (en) Systems and methods for pose detection and measurement
US20230154105A1 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
Ichnowski et al. Dex-NeRF: Using a neural radiance field to grasp transparent objects
Zhang et al. All-weather deep outdoor lighting estimation
Wang et al. Learning indoor inverse rendering with 3d spatially-varying lighting
JP6246757B2 (ja) 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム
Kang et al. Learning efficient illumination multiplexing for joint capture of reflectance and shape.
KR20230004423A (ko) 편광을 사용한 표면 법선 감지 시스템 및 방법
Lombardi et al. Radiometric scene decomposition: Scene reflectance, illumination, and geometry from rgb-d images
JP7164797B2 (ja) 宝石学的特徴のマッピングおよびエンコーディング
CN114972617B (zh) 一种基于可导渲染的场景光照与反射建模方法
US20220019799A1 (en) Method and system for generating training data
Yu et al. Outdoor inverse rendering from a single image using multiview self-supervision
Mittal Neural radiance fields: Past, present, and future
KR101865886B1 (ko) 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템
Dana Capturing computational appearance: More than meets the eye
Ono et al. Practical BRDF reconstruction using reliable geometric regions from multi-view stereo
WO2022272166A1 (en) Systems and methods for generating and using visual datasets for training computer vision models
Kim et al. Deep representation of industrial components using simulated images
Joy et al. Multi-view Gradient Consistency for SVBRDF Estimation of Complex Scenes under Natural Illumination
Li et al. An efficient BRDF acquisition for glossy surface
Lee et al. Whole sky image synthesis for annotated machine learning datasets
Guarnera et al. BxDF material acquisition, representation, and rendering for VR and design
Cobzas et al. Wavelet-Based Inverse Light and Reflectance from Images of a Known Object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination