CN109643454B - 集成cmos感应的立体图形整合***及方法 - Google Patents

集成cmos感应的立体图形整合***及方法 Download PDF

Info

Publication number
CN109643454B
CN109643454B CN201780047332.7A CN201780047332A CN109643454B CN 109643454 B CN109643454 B CN 109643454B CN 201780047332 A CN201780047332 A CN 201780047332A CN 109643454 B CN109643454 B CN 109643454B
Authority
CN
China
Prior art keywords
pixel
switch
image
row
stereoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780047332.7A
Other languages
English (en)
Other versions
CN109643454A (zh
Inventor
金昌贤
朴俊荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhixin Guangdong Semiconductor Intelligent Technology Co ltd
Original Assignee
Zhixin Guangdong Semiconductor Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhixin Guangdong Semiconductor Intelligent Technology Co ltd filed Critical Zhixin Guangdong Semiconductor Intelligent Technology Co ltd
Publication of CN109643454A publication Critical patent/CN109643454A/zh
Application granted granted Critical
Publication of CN109643454B publication Critical patent/CN109643454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及集成一种CMOS传感器的立体图形整合***及方法，该CMOS传感器用于能够在模拟域中以高效能并行地处理在立体图像匹配运算中必不可少的立体图像校正和Census变换，将图像传感器和数字处理器集成在一个芯片上，并行处理图像采集和图像立体匹配的立体图形整合***，为了使同一物体在不同的位置中捕获的立体图像的像素彼此的位置相匹配，它包括在上述的立体图像中校正以某个图像为基准形成的另一个立体图像的像素的垂直方向位置的像素和具备在像素间设置的垂直方向位置校正开关的图像传感器。

Description

集成CMOS感应的立体图形整合***及方法
技术领域
本发明是关于一种集成CMOS传感器的立体图形整合***及方法，更加具体地来说是涉及集成用于能够在模拟域中以高效能并行地处理在立体图像匹配运算中必不可少的立体图像校正和Census变换的CMOS图像感应器的立体图形整合***及方法。
背景技术
通常深度信息广泛应用在类似于手写识别和物体识别的移动用户接口中。
获取深度信息的方式可分为主动传感和被动传感，主动传感具有测定光照射被反射回来的时间，然后计算距离的Time ofFlight传感器。
以被动传感为代表性的立体图形整合***计算两个相机图像的双目视差，能够区别出近物体和远物体，比起能动传感能用低功率驱动，适用于移动用户接口。
传统的立体图形整合***由立体图像传感器和数字处理器构成。
立体图像传感器由保持一定距离的两个相机构成，立体图形整合***如同人的双目一样在水平方向上比较两个图像再通过三角测量计算出位移。
为此，经过图像采集，图像校正，矢量转换，立体图像匹配过程，并且图像校正过程是为了快速立体图像匹配运算，是必须的。
与人们自然的深度理解方式不同，机器为了测定两个相同物体的相对距离以水平方向扫描两个图像。
在此过程中，一个物体的垂直方向位置在两个图像中不同的情况，由于不仅水平方向而且垂直方向扫描也要完成，所以运算成本增加。
像这样垂直方向的位置差异是根据相机的高度和视线方向的差异，镜头的歪曲必然发生。
两个图像放置在同一水平线上，为了快速的以水平方向执行立体图像匹配而进行的过程称之为图像校正，在校正的图像中为了准确地判断同一物体的位置，经历使图像变换为矢量值的矢量变换过程。
Census矢量变换是在立体图像匹配中作为广泛被使用的矢量变换方式，它通过一个像素的亮度和周边像素的亮度的大小比较来生成矢量。
通过此方式可以准确地测定同一物体的相对距离，为了测定相对距离，计算全部像素的两个立体图像的Census矢量。
紧接着，通过XOR运算计算水平方向的Census矢量的汉明距离。
由于汉明距离越小会呈现两个矢量相似度越高的物体，因此汉明距离最小的位置是同一物体的位置，在两个图像中通过计算两个矢量坐标差，可见此坐标的差越大，物体越近。
通过这一系列的过程，为了噪声的稳健，执行立体图像匹配。
然而，作为用户接口，只有拥有从图像捕获到最终输出不超过45ms的延迟，人们才能以平滑的实时接口来识别。
传统的立体图形整合***通过串行通信将每帧从外部相机元件传输到嵌入式数字处理器。但是在60fps的外部相机元件的输入/输出接口中，最少有16ms的延迟，这样作为实时用户接口的预处理，满足延迟时间的最大要求条件成为了一个大的制约的问题点。
现有相关的专利文献为：大韩民国公开专利公报公开号码第10-2011-0087303号
发明内容
本发明的目的在于提供集成CMOS感应的立体图形整合***及方法，在模拟域中以高效能并行地处理将CIS和立体图像匹配处理器集成在一个芯片上，组成的立体图像匹配加速器的立体图像匹配运算中必不可少的立体图像校正和Census变换，且在低功率中可以以低延迟来处理，所以是能将作为实时用户的输入/输出相机接口预处理被要求的延迟时间最小化的CMOS图像传感器，本发明还提供集成该CMOS图像传感器的立体图形整合***及方法。
本发明采用的技术是：
为了达成上述目的，集结本发明的CMOS图像传感器的立体图形整合***包括将图像感应器和数字处理器集结在一个芯片上，并行处理图像采集和立体图像匹配的立体图形整合***。为了使同一物体在不同的位置中捕获的立体图像的像素彼此的位置相匹配，在上述的立体图像中校正以某个图像为基准形成的另一个立体图像的像素的垂直方向位置的像素和具备在像素间设置的垂直方向位置校正开关的图像传感器。
更包括上述垂直方向位置校正的立体图像像素数据以水平线单位来选择，通过模拟运算Census变换的Census变换电路。
一个像素包括5个MOSFET，像素中同一列共享的控制信号是复位信号和选择信号；上述复位信号和选择信号连接到相邻行像素的开关各需要两个。具备连接到下排像素开关的第1像素和具备连接到上排像素开关的第2像素以先后顺序连接共享复位信号和选择信号，接着具备连接到上排像素开关的第3像素和具备连接到下排像素开关的第4像素以先后顺序连接能够共享上述复位信号和选择信号。
连接到第1像素下排像素的开关或连接到第3像素上排像素开关均由一对MOSFET构成并共享栅极输入，从第2像素上排开始连接的开关或者从第4像素下排开始连接的开关均由一对MOSFET构成并共享栅极输入。
连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是1，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值是0的话，则控制信号的连接指向下排的像素；连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是0，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值为1的话，则控制信号的连接可以指向同一排。
在模拟存储器中，存储一个帧中3列的图像信息，且每当读取新列时，存储新列的数据，然后存储的数据为了Census变换而被输入到3行3列的8个比较器中，变换后的8bitCensus变换值在数字处理器中经过7行7列聚合计算出汉明距离后，可以输出深度信息。
存储一个像素值的模拟存储器由1个电容器和5个MOSFET构成，接收1个写入信号和3个读取信号作为输入，3个读取信号在同一行之间被共享，其顺序排列不同，当读取信号为1的时候，在开关网络中使其可以映射到同一行的另一列，映射的像素信息和要在8个比较器中变换的像素信息比较后可以输出8bit变换输出。
上述开关网络为了对一列执行3个Census变换，在第一阶段可以选择3列中最左侧列，第二阶段中中间列，第三阶段中最右侧列。
集结用于达到上述目的的本发明的CMOS图像传感器的立体图像匹配方法包括将图像传感器和数字处理器集结在一个芯片上，并行处理图像采集和立体图像匹配的立体图像匹配方法，像素和像素间垂直方向位置校正开关，在设置的图像传感器中对于同一物体在不同位置拍摄的立体图像像素位置使其在相同位置处彼此匹配，在上述的立体图像中以某一个图像作为基准校正形成另一立体图像的像素垂直方向位置的校正阶段。
上述垂直方向位置校正的立体图像像素数据更包括通过Census变换，以水平线为单位被选择，通过模拟运算执行Census变换的转换阶段。
在上述校正步骤中包括依次连接具备连接到下排像素开关的第1像素和具备从上排像素起开始连接的开关的第2像素，共享复位信号和选择信号的阶段以及具备连接到上排像素开关的第3像素和具备从下排像素起开始连接的开关的第4像素，共享复位信号和选择信号的阶段。
在上述校正步骤中包括连接到第1像素的下排像素的开关或者连接到第3像素上排的开关共享栅极输入阶段以及从第2像素上排开始连接的开关或者从第4像素下排像素开始连接的开关共享栅极输入阶段。
在上述校正步骤中包括以下阶段：连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是1，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值为0的话，则控制信号的连接指向下排的像素的阶段；连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是0，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值为1的话，则控制信号的连接可以指向同一排的阶段。
在上述转换步骤中包括将一个帧中3列的图像信息存储在模拟存储器上的阶段和每当读取新列时，存储新列的数据的阶段，以及将存储的数据为了3行3列的Census变换输入到3行3列的8个比较器中的阶段。
在上述转换步骤中包括以下阶段：在由1个电容器和5个MOSFET构成的存储一个像素值的模拟存储器中，1个写入信号和3个读取信号作为输入来接收，3个读取信号在同一行之间被共享的阶段，其顺序排列不同，当读取信号为1的时候，在开关网络中使其可以映射到同一行的另一列，映射的像素信息和在8个比较器中要变换的像素信息比较后输出8bit变换输出的阶段。
在上述转换步骤中包括在开关网络中为了对一列执行3个Census变换，在第一阶段可以选择3列中最左列，第二阶段中中间列，第三阶段中最右列的阶段。
上述转换步骤后包括输入接收在数字处理器中变换的8bit Census变换值经过利用7行7列聚合计算出汉明距离之后输出深度信息的阶段。
与现有技术相比，本发明的有益效果是：
根据集结如上所述中本发明的CMOS图像感应器的立体图像整合***及方法，在模拟域中以高效能并行地处理立体图像校正和Census变换，而立体图像校正和Census变换是在使用将CIS和立体图像匹配处理器集成在一个芯片上组成的立体图像匹配加速器的立体图像匹配运算中必不可少的，在低功率中可以以低延迟来处理，所以可以最大限度的减少为实时用户的输入/输出相机接口预处理被要求的延迟时间。
附图说明
图1为根据本发明实施例的集成CMOS图像感应的立体图形整合***的框图；
图2为根据本发明实施例的集成CMOS图像感应的立体图形***像素间的开关和像素的电路图；
图3为在根据本发明实施例的集成CMOS图像感应的立体图形整合***中，实现为在校正图像之后对准图像的水平线的像素间开关的示例图；
图4为在根据本发明实施例的集成CMOS图像感应的立体图形整合***中3X3Census变换和用比较器实现3X3Census变换的电路图；
图5是用于说明根据本发明实施例的集成CMOS图像感应的立体图像匹配方法的流程图；
图中：100-图像感应器，200-开关解码器，300-输出电路，400-水平方向位置校正开关，500-Census变换电路，600-数字处理器。
具体实施方式
以下，使具有本发明所属技术领域的一般知识人能够容易地实施且详细的说明，参考本发明中可行的实施例附图做详细地说明。
根据本发明实施例的集成CMOS图像感应的立体图形整合***如图1所示，包括图像传感器(100)，开关解码器(200),输出电路(300)，水平方向位置校正开关(400)，Census变换电路(500)以及数字处理器(600)构成，整体电路通过数字处理器(600)的控制进行操作。
根据本发明立体图形整合***将上述图像传感器(100),开关解码器(200),输出电路(300)，水平方向位置校正开关(400)，Census变换电路(500)以及数字处理器(600)集成在一个芯片上，并行处理图像采集和立体图像匹配，展开为了图像采集，图像校正，匹配的Cost生成，Cost聚合以及匹配这些过程。
图像的采集为了立体图像的匹配使用两个图像传感器。即通过上述的图像传感器(100)，开关解码器(200),输出电路(300)，水平方向位置校正开关(400)，是集成Census变换电路(500)以及数字处理器(600)的相同的两个芯片的左芯片和右芯片来完成。
上述左右芯片相同，在两芯片中各自执行用于图像捕获，图像校正，匹配的Cost生成过程，并且Cost聚合和匹配过程执行将右芯片的Census转换值向左芯片移动。
上述图像传感器(100)作为CMOS图像传感器，是具有320X240的分辨率，并通过滚动快门方式实现，用于立体图像垂直方向校正，在像素和像素间具有垂直方向校正的开关。
上述垂直方向位置校正的开关被配置为配合校正的图像的变换矩阵可以编程，该校正图像是先前已经计算好了用于在焦点面中的立体像素校正的像素间的控制信号连接。
在图像传感器(100)中，一个像素如图2所示，包括5个MOSFET组成。
实际像素中，同列之间共享的控制信号是复位信号(RST)和选择信号(SEL),分别是所属列的二极管结点VDD复位，选择所属列的信号。
在本发明中，各自需要两个用于将上述复位信号和选择信号连接到下一行的像素的开关。
依次连接具备连接到下排像素的开关的第1像素(110)和具备从上排开始连接的开关的第2像素(120)共享复位信号和选择信号，紧接着依次连接具备连接到上排像素开关的第3像素(130)和具备从下排像素起开始连接的开关的第4像素(140)，共享复位信号和选择信号的阶段。
即第1像素(110)和第2像素(120)中具备的开关是向下方向转换开关，第3像素(130)和第4像素(140)中具备的开关是作为向上方转换开关具有相同结构，但是控制信号的连接是相反的。
图2中M4,M5,M6,M7分别表示开关，连接到第1像素(110)下排像素的开关或者连接到第3像素(130)上排像素的开关的M4和M5各由有一对MOSFET构成共享栅极输入，从第2像素(120)上排开始连接的开关或者从第4像素(140)下排开始连接的开关的M6和M7也均由一对MOSFET构成并共享栅极输入。
并且，M4和M5的输入以及M6和M7的输入始终为0或1，且彼此相反。
连接到第1像素(110)下排像素的开关或者连接到第3像素(130)上排像素的开关的M4和M5的栅极输入值为1，从第2像素(120)上排开始连接的开关或者从第4像素(140)下排开始连接的开关的M6和M7的栅极输入值为0的话，则控制信号的连接指向下排的像素。
或者，连接到第1像素(110)下排像素的开关或者连接到第3像素(130)上排像素的开关的M4和M5的栅极输入值为0，从第2像素(120)上排开始连接的开关或者从第4像素(140)下排开始连接的开关的M6和M7的栅极输入值为1的话，则控制信号的连接指向同一排。
在同一排中，像素按照第1像素(110)，第2像素(120)，第3像素(130)和第4像素(140)的顺序设置，采用上下开关交替出现的形态。
上述开关解码器(200)控制用于垂直方向校正开关的驱动输入信号。
上述输出电路(300)由Correlated Double Sampling电路和Single-Slope A/DConverter电路组成，通过在输出电路中被输出的图像可以预先计算立体图像匹配前的校正系数。
为了获得上述校正系数，首先像素间的垂直方向位置校正开关以相同的列连接，通过输出电路(300)获得未校正的图像后，在脱机状态下再通过Image Rectification(图像校正)运算法则可以获得。
在开关解码器(200)和垂直方向校正开关(400)上输入此处获得的校正系数，控制像素的输出使其和校正的图像在相同一排。
上述水平方向开关(400)在图像传感器(100)中执行不能执行水平方向的图像校正。
也就是说，在图像传感器(100)中，通过像素间的垂直方向位置校正开关，虽然可以执行在垂直方向上的校正，但是由于不能在水平方向上进行校正，所以为了水平方向的校正将图像传感器(100)的输出路径设计成了通过左右侧可以最大改变各8个空间。
如图3所示，左侧的图作为校正前的左右图像，水平线不匹配，是不能执行立体图像匹配的状态。
为此，如右上图所示，构成本发明的图像传感器(100)的像素使控制信号的连接改变成可以上下转换，因此如右下图所示，共享控制信号的像素在同一时间段输出，输出后可视为一排的校正图像被输出。
像这样提供了在像素间用于垂直方向的校正的垂直方向位置校正开关，这是本发明的特征。并且提供了用于水平方向的校正的水平方向位置校正开关。修正像素间的连接，一次性可以直接选择校正的图像的一排，通过该方法可以减少在立体图像匹配过程中由于是必不可少的修正过程引起的时间滞后(S110)。
另外，在像素间用于垂直方向的校正的垂直方向位置校正开关和改变上排的开关和改变下排的开关分开设置，并且将连接的开关设置在两个像素中，提高了图像感应器的面积效率。
Census变换电路(500)利用存储在模拟存储器上的校正的立体图像的像素数据，并且使用比较器电路执行Census变换。如图4所示，经由水平方向位置校正开关(400)被输出的校正图像的一排的像素数据通过输入传达，使其并行处理模拟Census变换。
模拟Census变换对于执行要变换的像素通过周边8个像素的信息和大小比较，输出具有0或1的值的8bit的输出值。
为此，需要用于存储3列数据的模拟存储器。
因此，上述的Census变换电路(500)由320X 3个的模拟存储器和8X107个的比较器电路构成。
一个帧中3列的图像信息存储在上述模拟存储器中(S120),每当读取新列时，新的数据以循环列队(Circular Queue)的形式存储，且存储的数据用于Census变换而被输入到3行3列的8个比较器中(S130).
存储一个像素值的模拟存储器由1个电容器和5个MOSFET构成，接收1个写入信号(WEN)和3个读取信号(REN)作为输入，3个读取信号在同一行之间被共享，其顺序排列不同，当读取信号为1的时候，在开关网络中使其可以映射到同一行的另一列。
1个写入信号决定将信息存储在模拟存储器的哪一列中。
模拟存储器由3列构成，每读取一列时，写入信号从0到2增加一步。
写入信号是2的时候，读取下一列的时候又回到了0。
这样，模拟存储器以先进先出形态的圆形列队(QUEUE)进行操作。
开关网络和3个读取信号起选择计算在9个像素中某个像素的Census变换值的作用。
读取信号也是如此，每读取一列时，它都会从0增加到2，再从新变成0。
开关网络以便在一列执行3次Census变换(每3列分配8个比较器)分为3个步骤被进行。
在步骤一中选择3列中最左列，步骤二中选择中间列，步骤3中选择最右列。
每次根据从数字处理器(600)到控制信号的预定顺序读取列时输入写入信号和读取信号。
结论，当每列进来的时候，写入信号映射储数据将被存储的位置，读取信号映射模拟存储器中将执行Census变换的列的位置，开关网络将映射模拟存储器中将执行Census变换的列的位置。
在本发明中，可以在没有A/D转换使用Census变换电路(500)的情况下进行Census变换，因此它的优点是不需要用于高速图像传感所需的SAR A/D转换器，就可以提高芯片面积的效率。
另外，传统上，数字存储器中全部读取一个帧的信息之后开始Census变换。本发明中，在图像传感器(100)中每列采样的值通过模拟计算可以立即执行Census变换，而且图像读取(sensing)和Census变换的Pipeline是可行的。
这样，整个进行的延迟时间同样有减少的效果。
通常，Census变换在图像传感器(100)中采样的模拟电压值转换为通过A/D转换器输出的图像数据存储在数字存储器中，再将其在处理器中从新引入和经历比较过程，然后执行Census变换。
然而，在本发明中，不需要这样的过程，采样的模拟电压值通过模拟比较器在模拟域名中可以处理。
在Census变换中，相邻像素的相关性值作为用于立体图像匹配的Cost值来使用。
在本发明中，如图4所示，3X 3Census变换的值作为Cost，在3X3Census变换中，对1个像素被8个像素值比较，所以每3列设置8个比较器和9个模拟存储器。
图像感应器(100)由320列(107*3＝321,最后一列即使计算了也不被存储)组成，所以一共需要107X 8个比较器。
然后，将映射的像素信息在8个比较器中要转换的像素的信息进行比较，并输出8bit的变换输出(S140)。
变换的8bit的Census变换值在数字处理器(600)中经过使用7X 7的聚合的汉明距离计算，输出深度信息(S150)。
随后，在左右侧校正的两个立体图像中，输入的Census变换值，在数字处理器(600)中计算并比较各像素的汉明距离后，算出位于最小距离的像素的汉明距离作为深度值(S160)。
即，比较左右图像的Census变换值用于匹配和聚合，然后，以左图的一个像素的Census变换值作为标准和位于右图相同列的像素的Census变换值比较依次求出差值。
此时，比较的右图的像素对应于以在左图中被选定的像素的坐标作为标准，在水平方向64像素的距离内的像素。
这些差值全部被存储在数字存储器中。
作为参考，因为需要比较达到64像素的距离，所以对于320X 240图像，需要(320X240X 8bit)X 64的存储器。
接着，7X 7聚合在64个的存储器中分别对于全部像素以一个像素为标准绘制7X 7盒子，并将加上全部周边值的值存储在相同坐标上。
为了存储该数据，作为数据格式，因为需要14bit，所以需要一共(320*240*14bit)*64的存储器。
然后，在64个的(320*240*14bit)存储器中,引入每个坐标值，选择对于该坐标具备最小值的存储器。
如上所述，各存储器对左图到比较的右图的像素距离全都不同。
因此，到所选存储器的像素距离是聚合两个视图的Census变换值的最小差值，也就是意味着该像素的深度。
集成如上所述的构成CMOS图像感应器的立体图像整合***如下所示进行操作。
首先，立体图像匹配开始的话，根据映射表输入校正系数，变更像素内垂直方向位置校正开关和水平方向位置校正开关的闭合状态(S110)。
接下来，选择各列将读取的电压信息存储在模拟存储器中(S120)，为了在模拟存储器中输入一列信息后读取下一列，像素内垂直方向位置校正开关和水平方向位置校正开关的闭合状态改变了。
然后，通过模拟Census变换获得的8bit变换输出传送到数字处理器后，下一列的信息新存储在模拟存储器中。
最后一列的Census变换完成的话(S140),在数字处理器中输出整体一个帧的深度信息(S150)，随后，将在左右校正的两个立体图像中输入的Census变换值与在数字处理器(600)中计算的每个像素的汉明距离进行比较后，计算直到最小距离的像素的汉明距离作为深度值完成立体图像匹配(S160)。
根据如上所述中的本发明，在模拟域中以高效能并行地处理立体图像校正和Census变换，而立体图像校正和Census变换是在使用将CIS和立体图像匹配处理器集成在一个芯片上组成的立体图像匹配加速器的立体图像匹配运算中必不可少的，在低功率中可以以低延迟来处理，所以可以最大限度的减少为实时用户的输入/输出相机接口预处理被要求的延迟时间。
一方面，根据本发明，为了将集成根据步骤S110乃至步骤S160的CMOS图像感应器的立体图像匹配方法编程化，便于计算机读取，也可以使其存储在光盘，存储器，ROM,EEPROM等记录介质中。
在上述说明中，提出了本发明的可行的实施例并做了说明，但是本发明不限于所公开的实施例，具有本发明所属的技术领域一般知识的人在不脱离本发明的技术性思想的范围内，可以进行许多变换，替换，变更和修改。
商业上使用的可行性：
集结本发明的CMOS图像感应器的立体图像整合***及方法，在模拟域中以高效能并行地处理立体图像校正和Census变换，而立体图像校正和Census变换是在使用将CIS和立体图像匹配处理器集成在一个芯片上组成的立体图像匹配加速器的立体图像匹配运算中必不可少的，并且在低功率中可以以低延迟来处理，所以可以将为实时用户的输入/输出相机接口预处理被要求的延迟时间最小化的效果，因此通常类似手写识别，物体识别这样的深度信息在作为必备的移动用户接口中广泛地被应用。

Claims (16)

1.集成CMOS感应的立体图形整合***，其特征在于，是一种将图像传感器和数字处理器集成在一个芯片中，并行处理图像采集和立体图像匹配的立体图像整合***；
将同一物体在不同位置中拍摄的立体图像的像素匹配到同一位置，在上述的立体图像中，以一个图像作为基准形成另一个立体图像的像素的垂直方向位置，包含具有在校正该垂直方向位置的像素和像素之间设置的垂直方向位置校正开关的图像传感器，集成以此图像传感器作为特征地CMOS图像传感器的立体图形整合***；
垂直方向位置校正的立体图像的像素数据作为每个水平线单位被选择，通过模拟计算，还包括Census变换的Census变换电路作为特征的CMOS图像传感器；
一个像素包含5个MOSFET，像素之间相同列共享的控制信号是复位信号和选择信号；上述复位信号和选择信号连接到相邻行像素的开关各需要两个，具备连接到下排像素开关的第1像素和具备连接到上排像素开关的第2像素以先后顺序连接共享复位信号和选择信号，接着具备连接到上排像素开关的第3像素和具备连接到下排像素开关的第4像素以先后顺序连接能够共享上述复位信号和选择信号。
2.根据权利要求1所述的集成CMOS感应的立体图形整合***，其特征在于，连接到第1像素下排像素的开关或连接到第3像素上排像素开关均由一对MOSFET构成并共享栅极输入，从第2像素上排开始连接的开关或者从第4像素下排开始连接的开关均由一对MOSFET构成并共享栅极输入。
3.根据权利要求2所述的集成CMOS感应的立体图形整合***，其特征在于，连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是1，从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值是0的话，则控制信号的连接指向下排的像素；连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是0，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值为1的话，则控制信号的连接指向同一排。
4.根据权利要求1所述的集成CMOS感应的立体图形整合***，其特征在于，在模拟存储器中，存储一个帧中3列的图像信息，每当读取新列时，存储新列的数据，且存储的数据为了Census变换而被输入到3行3列的8个比较器中，变换后的8bit Census变换值在数字处理器中经过7行7列集合计算出汉明距离后，输出深度信息。
5.根据权利要求4所述的集成CMOS感应的立体图形整合***，其特征在于，存储一个像素值的模拟存储器由1个电容器和5个MOSFET构成，接收1个写入信号和3个读取信号作为输入，3个读取信号在同一行之间被共享，其顺序排列不同，当读取信号为1的时候，在开关网络中使其映射到同一行的另一列，映射的像素信息和在8个比较器中变换的像素信息比较后输出8bit变换输出。
6.根据权利要求5所述的集成CMOS感应的立体图形整合***，其特征在于，上述开关网络为了对一列执行3个Census变换，在第一阶段选择3列中最左侧列，第二阶段中中间列，第三阶段中最右侧列；集成以此为特征的CMOS传感器的立体图形整合***。
7.集成CMOS感应的立体图形整合的方法，其特征在于，是一种将图像传感器和数字处理器集成在一个芯片中，并行处理图像采集和立体图像匹配的立体图形整合***，在像素之间设置垂直方向位置校正开关的图像传感器中，将同一物体在不同位置中拍摄的立体图像的像素匹配到同一位置，包含在上述的立体图像中，以一个图像作为基准形成另一个立体图像的像素的垂直方向位置的校正阶段；垂直方向位置校正的立体图像的像素数据作为每个水平线单位被选择，通过模拟计算，还包括Census变换的Census变换电路作为特征的CMOS图像传感器；
一个像素包含5个MOSFET，像素之间相同列共享的控制信号是复位信号和选择信号；上述复位信号和选择信号连接到相邻行像素的开关各需要两个，具备连接到下排像素开关的第1像素和具备连接到上排像素开关的第2像素以先后顺序连接共享复位信号和选择信号，接着具备连接到上排像素开关的第3像素和具备连接到下排像素开关的第4像素以先后顺序连接能够共享上述复位信号和选择信号。
8.根据权利要求7所述的集成CMOS感应的立体图形整合的方法，其特征在于，上述垂直方向位置校正的立体图像像素数据也包括通过Census变换，以水平线为单位被选择，通过模拟运算执行Census变换的转换阶段。
9.根据权利要求7所述的集成CMOS感应的立体图形整合的方法，其特征在于，在上述校正步骤中包括依次连接具备连接到下排像素开关的第1像素和具备从上排像素起开始连接的开关的第2像素，共享复位信号和选择信号的阶段以及具备连接到上排像素开关的第3像素和具备从下排像素起开始连接的开关的第4像素，共享复位信号和选择信号的阶段。
10.根据权利要求9所述的集成CMOS感应的立体图形整合的方法，其特征在于，在上述校正步骤中包括连接到第1像素的下排像素的开关或者连接到第3像素上排的开关共享栅极输入阶段以及从第2像素上排开始连接的开关或者从第4像素下排像素开始连接的开关共享栅极输入阶段。
11.根据权利要求10所述的集成CMOS感应的立体图形整合的方法，其特征在于，在上述校正步骤中包括连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是1，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值为0的话，则控制信号的连接指向下排的像素的阶段；连接到第1像素下排像素的开关或者连接到第3像素上排像素的开关的栅极输入值是0，并且从第2像素上排像素开始连接的开关或者从第4像素下排像素开始连接的开关的栅极输入值为1的话，则控制信号的连接指向同一排的阶段。
12.根据权利要求8所述的集成CMOS感应的立体图形整合的方法，其特征在于，在上述转换步骤中包括将一个帧中3列的图像信息存储在模拟存储器上的阶段和每当读取新列时，存储新列的数据的阶段，以及将存储的数据为了3行3列的Census变换输入到3行3列的8个比较器中的阶段。
13.根据权利要求12所述的集成CMOS感应的立体图形整合的方法，其特征在于，在上述转换步骤中包括在由1个电容器和5个MOSFET构成的存储一个像素值的模拟存储器中，1个写入信号和3个读取信号作为输入来接收，3个读取信号在同一行之间被共享的阶段，其顺序排列不同，当读取信号为1的时候，在开关网络中使其映射到同一行的另一列，将映射像素的信息与8个比较器中要转换的像素信息进行比较后输出8位转换输出的阶段。
14.根据权利要求13所述的集成CMOS感应的立体图形整合的方法，其特征在于，在上述转换步骤中包括在开关网络中为了对一列执行3个Census变换，在第一阶段选择3列中最左列，第二阶段中中间列，第三阶段中最右列的阶段。
15.根据权利要求12所述的集成CMOS感应的立体图形整合的方法，其特征在于，上述转换步骤后包括输入接收在数字处理器中变换的8bit Census变换值经过利用7行7列集合计算出汉明距离之后输出深度信息的阶段。
16.根据权利要求7-15之一所述的集成CMOS感应的立体图形整合的方法，其特征在于，所述方法被记录并用计算机可读的记录介质。
CN201780047332.7A 2016-08-10 2017-07-04 集成cmos感应的立体图形整合***及方法 Active CN109643454B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160102056A KR101841744B1 (ko) 2016-08-10 2016-08-10 Cmos 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법
KR10-2016-0102056 2016-08-10
PCT/KR2017/007098 WO2018030642A2 (ko) 2016-08-10 2017-07-04 Cmos 이미지 센서를 집적한 스테레오 이미지 정합 시스템 및 방법

Publications (2)

Publication Number Publication Date
CN109643454A CN109643454A (zh) 2019-04-16
CN109643454B true CN109643454B (zh) 2023-09-05

Family

ID=61162847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780047332.7A Active CN109643454B (zh) 2016-08-10 2017-07-04 集成cmos感应的立体图形整合***及方法

Country Status (3)

Country Link
KR (1) KR101841744B1 (zh)
CN (1) CN109643454B (zh)
WO (1) WO2018030642A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113573038A (zh) * 2020-04-29 2021-10-29 思特威(上海)电子科技股份有限公司 双目***及深度图获取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243343A (ja) * 2006-03-06 2007-09-20 Yamaha Corp 撮像装置
CN101276138A (zh) * 2008-04-30 2008-10-01 北京工业大学 一种基线长度自动调节的双目立体摄像机
CN101437171A (zh) * 2008-12-19 2009-05-20 北京理工大学 一种具有视频处理速度的三目立体视觉装置
CN101841730A (zh) * 2010-05-28 2010-09-22 浙江大学 一种基于fpga的实时立体视觉实现方法
CN103312994A (zh) * 2013-05-17 2013-09-18 中国科学院长春光学精密机械与物理研究所 实现面阵cmos传感器双向扫描清晰成像的方法
CN104243868A (zh) * 2014-09-29 2014-12-24 上海集成电路研发中心有限公司 高分辨率cmos图像传感器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4830270B2 (ja) 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
KR100813100B1 (ko) * 2006-06-29 2008-03-17 성균관대학교산학협력단 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
KR101622344B1 (ko) * 2014-12-16 2016-05-19 경북대학교 산학협력단 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243343A (ja) * 2006-03-06 2007-09-20 Yamaha Corp 撮像装置
CN101276138A (zh) * 2008-04-30 2008-10-01 北京工业大学 一种基线长度自动调节的双目立体摄像机
CN101437171A (zh) * 2008-12-19 2009-05-20 北京理工大学 一种具有视频处理速度的三目立体视觉装置
CN101841730A (zh) * 2010-05-28 2010-09-22 浙江大学 一种基于fpga的实时立体视觉实现方法
CN103312994A (zh) * 2013-05-17 2013-09-18 中国科学院长春光学精密机械与物理研究所 实现面阵cmos传感器双向扫描清晰成像的方法
CN104243868A (zh) * 2014-09-29 2014-12-24 上海集成电路研发中心有限公司 高分辨率cmos图像传感器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Improved-quality Real-time Stereo Vision Processor;Sang-Kyo Han等;《2009 22nd International Conference on VLSI Design》;20090109;正文第287-290页 *

Also Published As

Publication number Publication date
KR101841744B1 (ko) 2018-03-23
WO2018030642A3 (ko) 2018-08-09
CN109643454A (zh) 2019-04-16
WO2018030642A2 (ko) 2018-02-15
KR20180017749A (ko) 2018-02-21

Similar Documents

Publication Publication Date Title
US10764559B2 (en) Depth information acquisition method and device
US11272161B2 (en) System and methods for calibration of an array camera
US10542208B2 (en) Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
CN110335211B (zh) 深度图像的校正方法、终端设备以及计算机存储介质
JP5762211B2 (ja) 画像処理装置および画像処理方法、プログラム
CN103460242B (zh) 信息处理装置、信息处理方法、以及位置信息的数据结构
CN107077743A (zh) 用于阵列相机的动态校准的***和方法
CN106062507B (zh) 计测***、计测方法及视觉芯片
US20100182480A1 (en) Image processing apparatus, image matching method, and computer-readable recording medium
CN110035206B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20140192163A1 (en) Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
Seifi et al. Disparity-guided demosaicking of light field images
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
CN109643454B (zh) 集成cmos感应的立体图形整合***及方法
KR20180000696A (ko) 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치
US9538161B2 (en) System and method for stereoscopic photography
US20230368356A1 (en) Image processing device for drone, drone image processing method, and drone image processing processor
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP6332982B2 (ja) 画像処理装置およびその方法
JP5751117B2 (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
JP2011182325A (ja) 撮像装置
CN115457175A (zh) 一种图像生成方法、装置、电子设备及存储介质
JP2016024490A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230803

Address after: A3401, Building 11, Shenzhen Bay Science and Technology Ecological Park, No. 16 Community Science and Technology South Road, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Zhixin (Guangdong) Semiconductor Intelligent Technology Co.,Ltd.

Address before: No. 182,704 Banqiao Station Road, Pentang District, Gyeonggi Daocheng, South Korea (Sanpingdong)

Applicant before: UX FACTORY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant