CN110399759A - 用于拼接物体的连续图像的***和方法 - Google Patents
用于拼接物体的连续图像的***和方法 Download PDFInfo
- Publication number
- CN110399759A CN110399759A CN201910334228.7A CN201910334228A CN110399759A CN 110399759 A CN110399759 A CN 110399759A CN 201910334228 A CN201910334228 A CN 201910334228A CN 110399759 A CN110399759 A CN 110399759A
- Authority
- CN
- China
- Prior art keywords
- image
- digital picture
- digital
- splicing
- viewing area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 79
- 230000003287 optical effect Effects 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 42
- 238000013519 translation Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 235000005121 Sorbus torminalis Nutrition 0.000 description 4
- 244000152100 Sorbus torminalis Species 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- 241001074085 Scophthalmus aquosus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003678 scratch resistant effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1413—1D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/146—Methods for optical code recognition the method including quality enhancement steps
- G06K7/1491—Methods for optical code recognition the method including quality enhancement steps the method including a reconstruction step, e.g. stitching two pieces of bar code together to derive the full bar code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种***可以包括:一个运输设备,用于使至少一个物体移动,其中使所述物体的至少一个大体上平面表面在局部地位于观察区域附近的已知平面内移动,其中除了当所述至少一个大体上平面表面经过所述观察区域时,所述物体的大体上平面表面被遮挡;至少一个2D数字光学传感器,被配置成捕获在位于所述观察区域附近的已知平面内移动的至少一个物体的至少一个大体上平面表面的至少两个连续的2D数字图像;以及,一个控制器,***作性地耦合至所述2D数字光学传感器,所述控制器执行以下步骤:a)接收第一数字图像;b)接收第二数字图像;以及c)使用拼接算法拼接所述第一数字图像和所述第二数字图像,以生成经拼接的图像。
Description
技术领域
本发明涉及图像拼接的技术领域。具体地,本发明涉及在开窗传送机***(windowed conveyor system)中所生成的2D图像的高速拼接。
背景技术
执行物体的测量、检查、对准和/或符号体系(诸如,一维条形码和二维条形码)解码的视觉***被用在宽范围的应用和工业中。这些***基于图像传感器的使用,图像传感器获取物体的图像,且使用机载的或互连的视觉***处理器来处理这些所获取的图像。图像通常被捕获作为各自具有不同颜色和/或强度的图像像素的阵列。
这样的成像***的一般用途是在制造和物流操作中追踪和分拣沿着传送机移动的物体。通常,这样的成像***捕获被追踪的物体的所有侧,这导致在许多情况下捕获立方形物体的六个侧。在这样的***中,必需捕获物体的底,该底是物体的接触传送机的侧。
在一些情况下,行扫描摄像机可以被采用以解决物体移动和广视野问题。然而,这样的解决方案不适用于某些物体几何结构和行布置。此外,虽然行扫描图像传感器倾向于比常规格式的区域扫描传感器成本更低,但是使用行扫描图像传感器的总***成本可能显著更高,这是由于增大的计算要求和处理要求。例如,行扫描图像传感器要求在软件中逐行重新构建完整图像。此外,物体运动的对准和图像获取定时是决定性的。
区域扫描图像传感器快速对限定的区域成像,且允许比行扫描传感器更容易的设置和对准以及更大的灵活性。然而,即使用区域扫描图像传感器,由于诸如物体的大小、成像器的分辨率、传送机的几何结构等一些因素,仅能够捕获物体的局部视图。因此,可能需要某一处理来重新构建完整图像。
另一考虑是物体的哪些侧将被成像,因为***配置可能根据待被成像的是物体的底侧、顶侧还是其他侧而不同。例如,在一些应用中,物体的几个或所有侧将被成像,包括底侧。在其他应用中,仅要求将一个侧成像。例如,可以被成像的是底侧而不是顶侧,以便避免与将具有不同高度的物体成像有关的复杂性,所述物体可能与摄像机的距离不同。
在一些应用中,一个摄像机或多个摄像机可以被用来将物体的每个侧成像,而在其他应用中,两个或更多个摄像机可以被用来将物体的一个侧成像。在物体的一个侧将被成像的应用中,单个标准分辨率摄像机可能不会提供足够的分辨率和足够的覆盖区域,且两个或更多个摄像机可以被用来将物体的那个侧成像。
发明内容
本发明的实施方案可以在不同形状和大小的物体移动通过传送机***时提供它们的表面的高分辨率图像。这样的实施方案可能涉及使用一个或多个2D摄像机扫描在高速传送机带上移动的盒或其他物体的底侧的问题的解决方案。当前的***依赖于行扫描摄像机来对物体(诸如,盒)成像。
物流通道应用中对底侧的扫描是特别具有挑战性的,因为***的物理约束将盒的底侧的可见性限制为一次仅一个小切片(slice)。为了生成底侧的图像,小图像切片可以被获取(通过传送机带的两个区段之间的间隙),且之后被拼接。
在一个实施方案中,一种***可以包括:一个运输设备,用于使至少一个物体移动,其中使所述物体的至少一个大体上平面表面在局部地位于观察区域附近的已知平面内移动,其中除了当所述至少一个大体上平面表面经过所述观察区域时,所述物体的大体上平面表面被遮挡(occluded);至少一个2D数字光学传感器,被配置成捕获在位于所述观察区域附近的已知平面内移动的至少一个物体的至少一个大体上平面表面的至少两个连续的2D数字图像;以及,一个控制器,***作性地耦合至所述2D数字光学传感器,所述控制器执行以下步骤:a)接收第一数字图像,b)接收第二数字图像,以及c)使用拼接算法拼接所述第一数字图像和所述第二数字图像,以生成经拼接的图像。
在实施方案中,所述控制器可以重复地执行步骤a)至步骤c)。所述第一数字图像可以包括所捕获的数字图像或先前经拼接的图像的结果图像(resulting image)中的至少一个。移动通过所述已知平面的表面可以是所述物体的底表面或所述物体的侧表面中的一个,所述运输设备可以包括一个位于所述运输设备的对应表面上的观察区域,且所述2D数字图像可以通过所述观察区域捕获。所述运输设备可以包括传送机,且所述观察区域可以包括位于所述传送机中的光学窗、位于传送机表面中的间隙或位于两个传送机设备之间的间隙中的一个。
在实施方案中,所述***还可以包括一个光源,所述光源被配置成照亮位于所述观察区域中的一个或多个物体,其中所述控制器可以被耦合至所述光源,以控制来自所述光源的照明,且其中所述控制器使所述光源频闪。一个传感器可以被配置为检测所述运输设备上的物体的存在和不存在,且可以基于所述运输设备上的物体的存在或不存在来控制图像的获取。所述***还可以包括一个反射镜,且所述2D数字光学传感器可以通过所述反射镜捕获所述数字图像。所述控制器可以基于所述拼接图像对标记进行解码。
在实施方案中,所述拼接算法可以包括:确定待被用来对准所述第一数字图像和所述第二数字图像的2D坐标变换,使用所找到的2D坐标变换使所述第二数字图像扭曲(warp),以及使经扭曲的第二数字图像与所述第一数字图像混合。所述运输设备可以根据大体上线性运动运行,其中所述控制器可以包括所述运输设备的所述大体上线性运动的一个模型,且其中所述拼接算法可以使用所述运输设备的所述大体上线性运动的所述模型。所述***还可以包括一个运动编码器,基于所述运动编码器控制图像的获取,且其中确定图像变换可以进一步基于由所述运动编码器所生成的对物体平移的评估。所述***还可以包括一个光源,所述光源被配置成照亮位于所述观察区域中的一个或多个物体,其中所述控制器可以被耦合至所述光源,以基于由所述运动编码器所生成的对物体平移的评估来控制来自所述光源的照明,且其中所述控制器可以基于由所述运动编码器所生成的对物体平移的评估来使所述光源频闪。
在实施方案中,所述2D光学传感器可以被配置成捕获一个减小的视野,所述减小的视野通过手动来确定或通过分析在设置时间所获取的全图像来确定。可以通过使用针对具有已知特征图案的校准移动物体所捕获的多个数字图像切片的训练过程来评估近似2D坐标变换。所述***还可以包括多个2D数字光学传感器,每个2D数字光学传感器被配置成通过所述观察区域捕获与一个或多个物体相关联的多个连续的数字图像,且所述多个2D数字光学传感器被配置成大体上同时捕获数字图像。
在实施方案中,以下中的至少一个:来自一个摄像机的每个数字图像可以与由每个另外的摄像机大体上同时捕获的一个图像切片拼接在一起,以形成组合的图像切片,然后所述组合的图像切片可以被拼接在一起,以形成完整图像;来自每个摄像机的每个数字图像可以与来自该摄像机的连续捕获的数字图像中的一个数字图像拼接在一起,然后来自多个摄像机中的每个摄像机的经拼接的图像可以被拼接在一起,以形成完整图像;或者,来自每个摄像机的每个数字图像可以被直接拼接到来自所有摄像机的先前经拼接的图像的相同的结果图像。
在实施方案中,一种计算机实施的方法可以包括:通过运输设备使至少一个物体移动,其中所述物体的至少一个大体上平面表面在局部地位于观察区域附近的已知平面内移动,其中除了当所述物体的至少一个大体上平面表面经过所述观察区域时,所述物体的大体上平面表面被遮挡;通过至少一个2D数字光学传感器捕获在局部地位于观察区域附近的已知平面内平移的物体的表面的至少两个连续的2D数字图像;以及,使用拼接算法拼接第一数字图像和第二数字图像,以生成经拼接的图像。
在实施方案中,拼接可以被重复地执行,且可以包括确定待被用来对准所述第一数字图像和所述第二数字图像的2D坐标变换,使用所找到的2D坐标变换使所述第二数字图像扭曲,以及使经扭曲的第二数字图像与所述第一数字图像混合。所述控制器可以基于经拼接的图像对标记进行解码。可能存在捕获图像的多个2D数字光学传感器,且以下中的至少一个:来自一个2D数字光学传感器的每个数字图像可以与由每个另外的2D数字光学传感器大体上同时捕获的一个图像切片拼接在一起,以形成组合的图像切片,然后所述组合的图像切片可以被拼接在一起,以形成完整图像;来自每个2D数字光学传感器的每个数字图像可以与来自该2D数字光学传感器的连续捕获的数字图像中的一个数字图像拼接在一起,然后来自所述多个2D数字光学传感器中的每个2D数字光学传感器的经拼接的图像可以被拼接在一起,以形成完整图像;或者,来自每个2D数字光学传感器的每个数字图像可以被直接拼接到来自所有2D数字光学传感器的先前经拼接的图像的相同的结果图像。
在实施方案中,可以使用并行处理来执行拼接,或所述控制器基于经拼接的图像来对标记进行解码,且使用并行处理执行拼接和解码。
在实施方案中,拼接可以被重复地执行,且拼接可以包括确定待被用来对准所述第一数字图像和所述第二数字图像的2D坐标变换,使用所找到的2D坐标变换使所述第二数字图像扭曲,以及使经扭曲的第二数字图像与所述第一数字图像混合。所述控制器可以基于所述经拼接的图像来对标记进行解码。可以存在捕获图像的多个2D数字光学传感器,且可以存在以下中的至少一个:来自一个2D数字光学传感器的每个数字图像与由每个另外的2D数字光学传感器大体上同时捕获的一个图像切片拼接在一起,以形成组合的图像切片,然后所述组合的图像切片被拼接在一起,以形成完整图像;来自每个2D数字光学传感器的每个数字图像与来自该2D数字光学传感器的连续捕获的数字图像中的一个数字图像拼接在一起,然后来自所述多个2D数字光学传感器中的每个2D数字光学传感器的经拼接的图像被拼接在一起,以形成完整图像;或者,来自每个2D数字光学传感器的每个数字图像被直接拼接到来自所有2D数字光学传感器的先前经拼接的图像的相同的结果图像。可以使用并行处理来执行拼接,或者所述控制器可以基于经拼接的图像对标记进行解码,且可以使用并行处理来执行拼接和解码。
所述方法还可以包括控制来自光源的照明,所述光源被配置成基于由所述运动编码器所生成的对物体平移的评估来照亮在所述观察区域中的物体。所述方法还可以包括基于由所述运动编码器生成的对物体平移的评估来使所述光源频闪。所述方法还可以包括控制来自光源的照明,所述光源被配置成照亮位于所述观察区域中的物体。所述方法还可以包括使所述光源频闪。所述方法还可以包括使用传感器检测所述传送机设备上的物体的存在和不存在。所述方法还可以包括基于所述传送机设备上的物体的存在或不存在来控制图像的获取。所述方法还可以包括基于所述传送机设备上的物体的存在或不存来控制来自所述光源的照明。所述方法还可以包括基于2D数字摄像机距所述观察区域的固定距离来形成单个经拼接的图像。所述方法还可以包括用所述2D数字摄像机通过反射镜捕获数字图像。
所述传送机可以根据大体上线性运动运行。所述方法还可以包括对所述传送机的所述大体上线性运动建模。所述方法还可以包括使用所述传送机的所述大体上线性运动的模型来执行拼接。所述方法还可以包括使用多个2D数字摄像机大体上同时捕获多个数字图像,每个2D摄像机被配置成通过所述观察区域捕获与一个或多个物体相关联的多个连续的数字图像。所述方法还可以包括将来自一个摄像机的每个数字图像与由每个另外的摄像机大体上同时捕获的一个图像拼接在一起,以形成组合的图像,然后所述组合的图像被拼接在一起,以形成完整图像。所述方法还可以包括将来自每个摄像机的每个数字图像与来自该摄像机的连续捕获的数字图像中的一个数字图像拼接在一起,然后将来自所述多个摄像机的每个摄像机的经拼接的图像拼接在一起,以形成完整图像。
本文全文描述了许多其他实施方案。所有这些实施方案都意在在本文公开的本发明的范围内。尽管本文描述了多个实施方案,但是应理解,不必需要根据任一具体实施方案实现所有目的、优点、特征或概念。因此,例如,本领域技术人员将认识到,可以以实现或优化如本文教导或暗示的一个优点或一组优点而不必实现如本文可能教导或暗示的其他目的或优点的方式体现或实施本发明。
本文公开的方法和***可以以用于实现各个方面的任何装置来实施,且可以以机器可读介质的形式执行,所述机器可读介质包括一组指令,该组指令在由机器执行时使该机器执行本文公开的操作中的任何一个。本发明的这些和其他特征、方面和优点对于本领域技术人员来说将变得容易明了,且将参考下面的描述、所附权利要求和附图得以理解,本发明不限于任何具体公开实施方案。
附图说明
为了能够详细地理解本发明的上文记载的特征的方式,可以通过参考实施方案获得上文简要地概述的本发明的更具体的描述,其中所述实施方案中的一些被例示在附图中。然而,应注意,附图仅例示了本发明的典型实施方案,且本发明可以容许其他同样有效的实施方案。
图1例示了根据一个实施方案的***的俯视示意图的一个实施例。
图2例示了根据一个实施方案的***的仰视示意图的一个实施例。
图3是根据一个实施方案的通过双摄像机连续拼接***所获取的图像序列的一个实施例的示例性例示。
图4是根据一个实施方案的通过***所生成的经拼接的图像的一个实施例的示例性例示。
图5例示了根据一个实施方案的图像拼接过程的流程图的一个实施例。
图6例示了根据一个实施方案的特征提取过程的一个实施例。
图7a和图7b例示了根据一个实施方案的特征匹配的一个实施例。
图8例示了根据一个实施方案的校准图案的一个实施例。
图9例示了根据一个实施方案的校准过程的一个实施例。
图10例示了根据一个实施方案的双摄像机***的俯视示意图。
图11例示了根据一个实施方案的单摄像机侧成像***。
图12例示了根据一个实施方案的控制***的部件示意图。
本实施方案的其他特征将从下面的详细描述变得明了。
具体实施方式
在优选实施方案的以下详细描述中,参考了形成本发明的一部分的附图,且在附图中通过示例方式示出了可以实践本发明的具体实施方案。应理解,在不脱离本发明的范围的前提下,可以利用其他实施方案且可以做出结构改变。在不脱离本教导的实质和范围的前提下,可以对实施方案做出电气改变、机械改变、逻辑改变和结构改变。因此,不应在限制性意义上理解以下详细描述,且本公开内容的范围由所附权利要求及其等同物限定。
图1例示了根据一个实施方案的***的俯视示意图。该***可以包括运输设备(诸如,传送机120或机器人臂(未示出))、至少一个摄像机132和控制器/处理器1200。传送机120可以使物体110(诸如,包裹)横跨带、辊或其他传送机机构平移通过摄像机/成像器132的视野。同样地,机器人臂(未示出)可以例如用机器人手或爪或用抽吸设备等抓住或以其他方式保持物体110(诸如,包裹)。机器人臂可以使物体移动通过摄像机/成像器132的视野。无论什么类型的运输设备都可以在局部地位于观察区域(诸如,观察区域121)附近的已知平面内平移物体110。然而,在实施方案中,当物体110的平移不在观察区域中时,可能不在已知平面内。相反,在观察区域外部,运输设备可以在任何运动方向上或以任何运动形式平移物体110。尽管本文所描述的具体实施例中会涉及传送机或机器人臂,但是应理解,在实施方案中,运输设备可以包括传送机、机器人臂或能够运输物体的任何其他设备。
传送机120可以在其表面上具有观察区域121。例如,观察区域121可以包括窗,诸如玻璃窗或耐刮擦塑料窗,或观察区域121可以包括开口。尽管观察区域121可以具有任何大小,但是通常观察区域121的宽度(垂直于传送机的行进方向)尽可能大,以使得能够捕获每个物体110的整个底部。例如,在实施方案中,观察区域121的宽度可以近似等于传送机120的宽度,或仅略微更小以适应传送机120的结构。在观察区域121包括窗的实施方案中,该窗的长度(在传送机的行进方向上)可以相对大,但是不能太大而干扰物体在传送机上的行进。例如,典型的窗的长度可以是近似一英寸到两英寸。在观察区域121包括间隙的实施方案中,该间隙不可以太大而干扰物体在传送机上的行进。例如,相对大的间隙可能太大而使得物体通过该间隙掉落且离开传送机120。同样地,间隙可能太大而使得传送机上的物体可能具有由于前边缘略微下降且之后重新上升而造成的不均匀运动。在一些实施方案中,间隙可以由传送机120的一个区段中的开口提供,然而在其他实施方案中,间隙可以由传送机120的两个区段之间的间隔提供。这些仅仅是观察区域的实施例。在实施方案中,观察区域可以具有某一物理实施方式,诸如窗或间隙,然而在其他实施方案中,观察区域可以仅仅是某一空间区域,在该空间区域内,摄像机/成像器132可以捕获物体110的表面的图像,所述图像具有足够的质量和分辨率以便被处理,如下文所描述的。
在图1示出的实施例中,可以使物体在传送机120上平移,以便将物体的底表面成像。在此实施例中,物体的底表面位于传送机120的平面内。因此,传送机120的平面可以被视为形成已知平面。在实施方案中,可以结合重力来对物体的底表面成像,以确保物体的底表面位于该已知平面传送机120内。该已知平面于是可以形成这样的平面:直接地或通过该已知平面内的任何装置中的窗或间隙,物体的表面可以在该平面上成像。
在其他实施方案中,可以结合装置来对物体的任何表面成像,以确保物体的表面位于已知平面内或平行于已知平面。此已知平面于是可以形成这样的平面:直接地或通过该已知平面内的任何装置中的窗或间隙,物体的表面可以在该平面上成像。因此,实施方案可以对物体的底表面、顶表面或任何侧表面成像。此外,应注意,这样的表面自身可以不是完全平面的或平坦的。例如,在一些情况下,盒的表面可以是平面的,但是在一些情况下,盒的表面可以是有凹痕的、弯曲的或折叠的。在一些情况下,物体可以不是盒,而是可以为信封、袋或其他不规则形状的物体。重要的点是,物体的待被捕获的表面是大体上平面的,也就是说,是足够(sufficiently)平面的,以便摄像机以对于待被处理的图像而言足够的清晰度来捕获物体的表面的图像,如本文所描述的。
摄像机132可以通过观察区域121来捕获图像。摄像机132可以直接捕获图像,或它可以通过一系列反射镜(未示出)捕获图像。尽管在此实施例中示出了一个摄像机,但是在实施方案中,可以使用不止一个摄像机。例如,在宽度(垂直于传送机120的行进方向)太大而不能被一个摄像机捕获,或太大而不能被一个摄像机以足够的图像质量捕获的情况下,可以使用两个或更多个摄像机。实施方案可以适用于任何数目的摄像机。下文将更详细地描述这样的实施方案的一个实施例。
在使物体平移通过摄像机的视野时,摄像机132可以连续地捕获图像。可以以某一特定顺序捕获连续图像。不要求一个接一个地捕获连续图像,而不捕获中间图像。例如,在实施方案中,可以捕获少于每一个可能的图像,但是这样的图像仍是连续的。在实施方案中,序列中的一些图像可以被跳过,但是所得到的图像仍然是连续的。例如,在实施方案中,可以捕获(或跳过)每第n个图像以形成一个序列,或可以以不规则间隔捕获或跳过每一个图像。同样地,在实施方案中,可以处理每个所捕获的图像或可以处理(或跳过)每第n个所捕获的图像。术语连续的包含任何和所有这样的序列。
光源131可以伴随着摄像机以提供足够的照明,且照亮暗表面物体。例如,在实施方案中,光源131可以包括频闪仪(strobe)(诸如,频闪灯(strobe light)或频闪闪光灯(stroboscopic lamp)),该频闪仪可以产生如由控制器/处理器1200控制的闪光。这样的频闪灯可以包括间歇光源,诸如氙气闪光灯或闪光管,或它可以包括以间歇方式运行的更连续的光源,诸如发光二极管(LED)灯、白炽灯、卤素灯等。频闪灯的目的是在非常短的曝光时间内提供足够量的光,以使得在物体移动时,所获取的图像不具有运动模糊。与频闪灯相比,行扫描摄像机可能要求常亮的且可能不太节能的灯。每次闪光的强度和持续时间可以由控制器/处理器1200或其他曝光控制电路***基于一些因素来控制,所述因素可以包括被捕获的物体的反射率、来自可能存在于观察区域121中的任何窗的反射、传送机的速度等。在其他实施方案中,光源131可以包括固定的或恒定的照明。同样地,这样的照明的强度可以由控制器/处理器1200或其他曝光控制电路***基于一些因素来控制,所述因素可以包括被捕获的物体的反射率、来自可能存在于观察区域121中的任何窗的反射、传送机的速度等。光源131可以相对于窗与摄像机成不同的角度,以防止(由于防止反射而造成的)图像的一部分的过饱和,例如,如果存在于观察区域121中的窗由玻璃或其他透明材料制成,则这可能发生反射。在其他实施方案中,偏振光可以被用来防止反射问题。
在一些实施方案中,该***可以包括附接至传送机120的速度或平移传感器或编码器122。传感器/编码器122可以连接至控制器/处理器1200,以提供关于传送机120的速度和/或传送机120上的物体110的平移的信息。这样的速度和/或平移可以被周期性地测量或以其他方式重复地测量,以便检测速度和/或平移的改变。在实施方案中,传感器/编码器122可以是旋转编码器、轴角编码器(shaft encoder),或可以是能够将传送机120上的或附接至传送机120的轮、轴或轮轴的角位置或运动转换成可以由控制器所接收的模拟信号或数字代码的任何其他机电设备。控制器/处理器可以使用模数转换器将这样的模拟信号转换成数字表示。在实施方案中,编码器122可以提供绝对的或相对的速度或平移输出。
在实施方案中,编码器122可以确定传送机120上的物体的平移,且可以每当物体110或传送机120行进单位距离就输出一个或多个脉冲。例如,编码器122可以被布置成每当传送机120行进12英寸就提供一转旋转运动。编码器122可以被布置成每转提供多个脉冲,诸如每转提供24个脉冲。在此实施例中,对于传送机120的每半英寸的运动,可以出现来自编码器122的一个脉冲。在实施方案中,传送机120的每行程的旋转运动和每转的脉冲数目可以是固定的,或这些参数可以是可调节的或可编程的。
控制器/处理器1200可以被布置成使摄像机132在来自编码器122的每一脉冲或多个脉冲时捕获图像。每个这样的所捕获的图像可以被用来形成待被拼接的图像切片,如下文所描述的。由于图像分辨率是已知的或可以被确定,于是可以确定针对每一脉冲,每一单位运动的图像分辨率。例如,如果布置或确定摄像机132捕获一英寸长(在传送机的运动方向上)的图像,且摄像机132在该方向上具有每英寸200点的分辨率,且因为每半英寸出现编码器122的每一脉冲,则可以确定每100像素或半英寸捕获一个新的图像切片。此外,可以看到,如果每一图像切片是200像素或一英寸长,且每100像素或半英寸捕获一个新的图像切片,则每个新的图像切片与先前的图像切片重叠100像素或半英寸。应注意,在许多情况下,术语“点”和“像素”可以被等效地使用。还应注意,这些数字仅仅是实施例。在实施方案中,可以利用传送机120的每行程的旋转运动、每转的脉冲数目、总的摄像机132分辨率和每单位距离的摄像机132分辨率的任何值和组合。
图1的实施方案中所示出的控制器/处理器1200可以与摄像机132连接和通信。控制器/处理器1200可以从摄像机132接收图像数据,且执行图像拼接,以用于形成组合的图像。所接收的图像可以被存储在缓冲区中,以用于稍后处理,或可以被立即处理。在实施方案中,控制器/处理器1200可以接收图像流,且可以使用所捕获的图像来确定物体是否存在。例如,控制器/处理器1200可以对所捕获的图像执行背景检测,以确定物体是否存在于观察区域121中。当检测到物体存在于观察区域121中时,控制器/处理器1200可以执行图像拼接和/或附加图像捕获。在其他实施方案中,控制器/处理器1200可以从传感器140、141(诸如,光电传感器,诸如光电眼(photo eye))接收触发,以开始捕获图像和以使光源频闪。传感器可以包括光电眼,所述光电眼包括红外光或可见光发射器140和光电管、光电二极管或光电晶体管,以检测何时来自发射器140的光被阻挡以指示存在物体,或未被阻挡以指示不存在物体。控制器/处理器1200还可以连接至光电编码器122,以接收物体平移数据。
图2例示了根据一个实施方案的***的俯视示意图。在此实施例中,包裹110在观察区域121中部分可见。由摄像机132所捕获的单个图像可能不能够获取包裹110的整个底表面。通过将若干个图像拼接在一起,可以制作包裹110的整个底表面的合成图像。
图3例示了根据一个实施方案的通过双摄像机连续拼接***所获取的一个示例性图像序列300。每个条表示由摄像机所捕获的单个图像。左边的列示出了由第一摄像机所捕获的图像,且右边的列示出了由第二摄像机所捕获的图像。在此情况下,观察区域121是宽长方形。对于每个摄像机,所捕获的图像可能在图像之间重叠。此外,可能在两个摄像机之间的覆盖范围中存在重叠。在实施方案中,至少一个图像和紧跟着的图像可以被拼接,以形成输出图像。在实施方案中,一系列图像中的每个图像可以被连续拼接至先前经拼接的图像,以形成完整图像。
图4例示了根据本发明的一个实施方案的由该***所生成的拼接图像的一个实施例。在此图像中,可以看到包裹的整个表面。虽然该图像表现为如同单次捕获将表现的那样,但是多个图像被拼接以产生该图像。
图5例示了图像拼接操作的一个实施方案的流程图。该流程图中的操作可以例如通过控制器/处理器1200来执行。在一个实施方案中,过程500可以连续地拼接图像切片,以形成感兴趣的物体的完整结果图像。该过程开始于输入过程501,在输入过程501中,图像切片可以从每个摄像机被连续地获取,如上文所描述的,且图像切片可以被存储在存储缓冲区中,该存储缓冲区通常位于控制器/处理器1200中。在502中,该***从该缓冲区检索图像切片。然后,该***可以执行登记过程510,以找到将当前的图像切片对准至结果图像的2D坐标变换。然后,过程522可以被用来使用该2D坐标变换使当前的图像切片扭曲且使它混合到结果图像。然后可以对所有所获取的感兴趣的图像切片重复过程502至过程522,以产生最终的结果图像524。
关于2D坐标变换,数字图像是一个二维阵列,其中每个像素具有位置(坐标)和强度值(颜色或灰度级)。2D坐标变换使来自一个图像的位置与来自另一图像的位置相关。图像扭曲和混合过程应用该2D坐标变换,以确定结果图像中的每个像素处的强度值。
在过程512中,可以确定从缓冲区所检索到的图像切片是否是针对一个物体所获取的一系列切片中的第一切片。如果是,则过程500继续到514,在514中,恒等2D坐标变换(identity 2D coordinate system)可以被应用于图像切片。例如,该恒等变换可以导致将图像切片按原来的样子复制到步骤522中的结果图像。换言之,对于每个物体,第一图像切片可以被按原来的样子获取和复制到可能是空的结果图像的结果图像。当获取了下一图像切片时,可以应用图像扭曲,以将下一图像切片扭曲到结果图像,以便允许正确地执行拼接。
如果在过程512处确定从缓冲区所检索到的图像切片不是所获取的一系列切片中的第一切片,则过程500继续到过程520,在过程520中,可以确定将被用来将当前被处理的两个数字图像对准的2D坐标变换。然后,在过程522处,可以使用所找到的2D坐标变换使新检索到的数字图像扭曲,且经扭曲的数字图像可以与被处理的另一数字图像混合。
例如,在实施方案中,可以通过以关键点的形式从当前的图像切片提取特征来找到2D坐标变换。然后,所述关键点可以被用来搜索第二图像中的匹配关键点,在此过程中该第二图像可以通过包含所有先前拼接的图像切片的结果图像表示。在过程520处,对应组的匹配关键点可以被用来拟合将当前的图像切片对准至结果图像的2D坐标变换。例如,在一些实施方案中,通过从第一数字图像提取第一组特征、从第二数字图像提取第二组特征、匹配来自第一组特征和第二组特征中的至少一个提取特征以及基于匹配的特征确定图像变换,可以确定2D坐标变换。
特征提取的过程例如可以使用取向梯度直方图(HOG)特征来寻找具有丰富纹理的关键点。HOG特征映射是以n维特征向量作为其条目的阵列。每个特征向量描述一个称为图块(tile)的局部图像补片(image patch)。感兴趣的图像区域(ROI)(其可以是两个切片之间的重叠区域)首先被分成固定大小(例如,8像素×8像素)的非重叠图块。然后对于每个图块,在其像素上计算梯度取向的一维直方图。在每像素处使用例如有限差分滤波器来计算梯度幅度和取向。对于彩色图像,通常使用具有最大梯度幅度的彩色信道。然后,每像素处的梯度取向被量化成具有一个投票强度(voting strength)的“n”个取向区间(bin)中的一个,所述投票强度取决于其梯度幅度,以将此图块中的取向梯度直方图共同建立为长度为“n”的矢量。
简要地转到图6,例示了基于HOG特征提取关键点的一个实施例。图像ROI 602可以被分成非重叠图块,以计算HOG特征。然后,这些图块可以被分组成较大的区域603(虚线)。对于每个区域604(如所例示的),每个2图块×2图块可以被分组成一个补片,该补片具有位于此补片的中心处的一个候选关键点。例如,606和610分别是位于2图块×2图块的补片608和612的中心处的候选关键点。这些补片重叠且每个补片由其中心点和一个分数表示,该分数是在其图块的HOG特征中所确定的梯度取向和幅度的函数。对于每个区域,具有最大分数的补片可以被确定和被选择为关键点,条件是其分数超过预定阈值,否则此区域将不由任何关键点表示,这指示此区域不具有可以被用于对准的可靠关键点。这产生关键点在图像ROI上的分布,该图像ROI可以是来自特征提取过程的输出。图像ROI可以被限定为待被拼接的两个图像之间的重叠。区域的数目和大小可以基于一些因素(诸如,图像的分辨率、图像的总大小、图块的数目和大小、补片的数目和大小)预先确定。
返回至图5,过程520然后可以使用从当前的图像切片所提取的关键点来寻找结果图像中的匹配关键点。参考图7a,从新的图像切片704的图像ROI所提取的每个关键点可以被用来搜索包含所有先前经拼接的图像切片的结果拼接图像702中的对应的关键点。例如,在新的切片704中由708所表示的区域具有定中心在关键点716(关键点716作为在此区域中具有最大分数的选定关键点)处的补片714。该过程的目标是在结果图像702的区域706中寻找定中心在匹配补片726处的正确的匹配点724。例如,补片714在区域706的区域722内的模板匹配可以被用来寻找匹配补片726。
在一些实施方案中,每个特定的预定的物理距离获取一个新的图像切片,该物理距离通过图像分辨率映射到特定的已知变换,典型地是平移,如在2D坐标变换中,该2D坐标变换使每个图像切片与先前的图像切片从而与结果图像有关。
在实施方案中,可以根据大体上线性运动使物体平移。大体上线性运动是以大体上恒定的速度且在大体上一个方向上的运动。在以大体上恒定的速度使物体平移的实施方案中,可以通过以大体上固定的时间间隔获取图像而以特定的预定的物理距离获取新的图像切片。如果速度变化和间隔变化足够小以使得所得到的获取距离的变化足够小以致仍然可以成功地执行本文所描述的拼接和其他过程,则速度可以被视为是大体上恒定的,且时间间隔可以被视为是大体上固定的。当物体移动所沿着的线等参考线所指向的点或区域足够恒定以致仍然可以成功地执行本文所描述的拼接和其他过程时,运动可以被视为是在大体上一个方向上。线性运动的一个实施例是可以使物体在直的(线性)传送机上移动。然而,这仅仅是一个实施例。本技术可以同样适用于运动在大体上一个方向上发生的任何实施方案。在设置了编码器的实施方案中,可以基于由该编码器所提供的距离信息而以特定的预定的物理距离获取新的图像切片。
通过图像分辨率映射到特定的已知变换(典型地是平移)的变换在此可以被称为近似2D坐标变换,因为它基于理想获取设置。在实际设置中,此2D坐标变换可以将新的图像切片704中的关键点716映射到结果图像702中的点718,这可以不是完美匹配。这样的不匹配可能是由于例如物体的振动或摄像机获取的略微延迟。然后,相对小的搜索空间722可以被定中心在点718处,且模板匹配可以仅在此搜索空间内部执行以寻找对关键点716的正确匹配。在实施方案中,失配可能足够小或拼接准确度足够高,以允许解码物体上的标记或以允许进一步处理或分析图像。例如,物体上的可以被解码的标记可以包括1D或2D条形码等。同样地,物体上的文本可以被识别,或者物体的或物体上的其他特征可以被识别或被分析。此外,例如,在不具有用于细化的特征的物体(诸如,无装饰的硬纸板盒)的情况下,近似2D坐标变换可以按原来的样子使用而无需细化。在此情况下,近似2D坐标变换可能足够好以被用于对准,因为不具有清晰边缘的图像不要求完美对准。
应注意,可以使用连续处理、并行处理或两者的某一组合执行拼接和解码处理。例如,在实施方案中,可以并行地执行图像拼接。例如,多个图像对中的每个图像对可以被并行地拼接。同样地,在实施方案中,可以与对物体上的标记进行解码并行地,或者与对物体的图像进行其他进一步处理并行地执行图像拼接。可以使用许多已知的并行处理技术中的任一个来执行这样的并行拼接、解码和/或其他处理。
图7b例示了与关键点的提取相关的重要实例。图像704中的区域712例示了差关键点728的一个实施例。尽管定中心在点728处的补片730具有多个强边缘,但是它们都具有相同的方向。当近似2D坐标变换被应用于关键点728时,近似2D坐标变换将关键点728映射至非常接近正确匹配的点732,但是在搜索空间736内的搜索会产生完美匹配728的多个点,例如738和742。这解释了为什么关键点的选择基于使用HOG特征的分数,以不仅保证补片具有强边缘,而且保证补片具有多个不同方向。这意味着,关键点候选(诸如,728)将不被选择为关键点,另一区域(诸如,712)将不具有从其所提取的关键点,因为具有最大分数的关键点将不超过选择阈值。在图7中未示出的实施方案中,待被匹配的特征可以提取自每个图像且之后被匹配。例如,匹配方法可以是使用最小二乘拟合来匹配对应的关键点或使用已知的对准方法(诸如,归一化关联)来定位关键点的最佳对应位置中的一种。
返回至图5,过程520之后可以使用对应关键点的集合,该集合被计算以拟合将新的图像切片对准至结果图像的2D坐标变换。例如,随机样本一致性(RANSAC)方法可以被用来拟合准确变换,该准确变换过滤掉了由匹配问题所导致的任何异常值。在过程522处,可以使用所确定的2D坐标变换来使待被拼接的图像切片扭曲。2D坐标变换改变图像的空间配置。在此,2D坐标变换可以被用来校正待被拼接在一起的图像或图像切片的空间差异。例如,2D坐标变换可以被用来对准两个图像,以使得它们准备好被混合。优选地,所有重叠的像素可以被对准至两个图像中的完全相同的位置。然而,即使这是不可能的,2D坐标变换也可以提供对于成功地执行混合而言足够的对准。
当待被拼接的图像切片的至少一部分与被拼接到的图像重叠时,重叠部分可以被混合以形成结果图像。在一些实施方案中,所述切片与在移动方向上的平移大致对准。这将每个新的切片***成重叠区域和新的区域,如图7中例示的。重叠像素的混合可以使用允许结果图像和新的图像切片之间的无缝过渡的加权平均。例如,重叠区域的上部部分可以赋予结果图像较高的权重,该权重逐渐减小直至重叠区域的下部部分,该下部部分可以赋予新的切片较高的权重,使得在重叠区域的端部处,在每个新的切片的重叠区域和新的区域之间不存在任何接缝线。在实施方案中,可以利用其他类型的混合。
在对于当前的切片完成过程520之后,在524处,过程500可以循环回至502且获得另一待被处理的切片。如果不存在更多待被处理的切片,则在524处,可以输出经拼接的图像。应注意,在实施方案中,输出图像包括少至已经拼接的两个切片,或者多至已经拼接的一系列图像捕获中的所有切片。应注意,在使用不止一个摄像机的实施方案中,诸如图10中所示出的实施例,该***产生这样的图像切片:这些图像切片在两个摄像机133a、133b之间重叠,且在包裹沿着传送机120的平移中也重叠。在这样的实施方案中,由两个或更多个摄像机所捕获的图像也可以被拼接在一起。例如,来自每个摄像机的图像切片可以与来自该摄像机的其他图像切片拼接在一起,然后来自多个摄像机中的每个摄像机的所得到的经拼接的图像可以被拼接在一起,以形成最终的完整图像。在一些实施方案中,来自一个摄像机的每个图像切片可以与通过其他一个或多个摄像机大体上同时捕获的一个或多个图像切片拼接在一起,以形成经组合的图像切片,然后经组合的图像切片可以被拼接在一起,以形成完整图像。在一些实施方案中,从每个摄像机所捕获的每个图像切片可以被直接拼接至来自所有摄像机的先前经拼接的图像的相同的结果图像。可以用来拼接来自不同摄像机的图像或图像切片的拼接过程类似于上文所描述的用于拼接来自相同摄像机的图像切片的过程。
图8例示了可以被用来使用于该***的不同参数的计算自动化的示例性校准板800。该板可以包括一个棋盘图案,该棋盘图案包括多个黑白交替的正方形或方格图案802。这些交替的正方形可以具有固定的尺寸,诸如10mm×10mm。这些固定的尺寸可以提供以特定的固定工作距离确定图像分辨率的能力。此外,校准板或图案800可以包括数据矩阵基准点或图案804。这些数据矩阵基准点或图案804可以对关于该板的物理细节进行编码,所述物理细节诸如为方格图案的确切物理尺寸以及每个点相对于该板上所限定的固定物理坐标***的坐标参考。此外,它还可以被用来确定摄像机和物体之间的光路中存在或不存在反射镜。
设置过程可以被用来初始化图1中所例示的获取设置。此过程可以被用来设置和校准用来执行拼接过程500的硬件和软件。该设置过程开始于获取放置在观察窗上的固定校准板的且类似于图9中所例示的图像的至少一个图像。图9中的区域121对应于图1中表示观察区域的区域121。方格图案拐角提取自图像,且数据矩阵代码被解码,这提供了图像域中的准确的点对集合以及它们在物理域中的对应位置。此设置可以被用来自动地进行如下操作:
-寻找摄像机的有效视野,该有效视野限定了所获取的图像902中对应于观察区域的部分。图像传感器可以被设置成仅获取该部分,这在许多传感器是获取速度中的关键因素。
-确定有效视野中的视图是立体视图还是非立体视图。在许多实施方案中,视角可以被视为被捕获的图像的一种失真形式。因此,出于设置的目的,可能有利的是,通过物理校正设置或通过在获取之后使图像扭曲以校正立体效果来验证图像不包括这样的立体扭曲。
-在此工作距离以dpi计算图像的分辨率。
然后在设置过程之后,该***可以被锁定就位,所有部件定向可以被固定,包括相对于观察区域的摄像机定向,该定向限定了视角。
在拼接算法500中,且特别是在作为过程520的一部分的匹配过程中,参考近似2D坐标变换,该近似2D坐标变换可以通过允许用于每个关键点的匹配的小搜索空间来加速匹配过程。在一些实施方案中,此近似2D坐标变换可以是在移动方向上的简单平移,该简单平移可以通过将连贯获取之间的物理距离与在设置过程中所计算的图像分辨率相乘来计算。这样的变换可以基于大体上线性运动的平移来确定。如上文所描述的,当运动以大体上恒定的速度且在大体上一个方向上时,该运动可以被视为大体上线性运动。
例如,如果编码器被用于触发图像切片的获取且被设置成每转产生24个脉冲,其中一转是12英寸,则这导致物体每移动半英寸就获取一个新的图像切片。如果图像分辨率在设置过程中被计算为200dpi,则近似2D坐标变换是在移动方向上的仅100像素平移。在实施方案中,可以利用传送机120的每行程的旋转运动、每转的脉冲数目以及分辨率的任何值和组合。
在一些实施方案中,可以使用训练过程来建立个体图像切片的关系(评估近似2D坐标变换),该训练过程使用针对具有已知的特征图案的校准移动物体(诸如,图8中所示出的校准板或图案800)而获取的图像切片。在此训练过程中,可以通过分析方格图案802和横跨连贯的图像切片所获取的数据矩阵基准点804来确定与连贯的图案切片相关的近似2D坐标变换。
图10例示了根据一个示例实施方案的具有双摄像机***133的俯视示意图。尽管在此实施例中示出了两个摄像机,但是实施方案可以包括两个或更多个摄像机,且关于两个摄像机所描述的技术可以被应用于不止两个摄像机。此图中的***可以包括传送机120、两个摄像机133a、133b、光源131和控制器/处理器1200。传送机120使物体110(诸如,横跨传送机120的包裹)平移,该传送机可以包括观察区域121,该观察区域121可以包括开口、窗、间隙等。两个摄像机133a、133b可以经由反射镜135通过观察区域121捕获图像。例如,当宽度(垂直于传送机120的行进方向)太大而无法被一个摄像机捕获,或者太大而无法被一个摄像机以足够的图像质量捕获时,可以使用两个或更多个摄像机。实施方案可以适用于任何数目的摄像机。下文更详细地描述了这样的实施方案的一个实施例。在实施方案中,摄像机133a、133b可以被配置成大体上同时地捕获图像,例如在用于使摄像机133a、133b同时起作用的电子电路***的定时准确度内。
在此实施例中,该***产生这样的图像切片,所述图像切片在两个摄像机133a、133b之间重叠,且也在包裹沿着传送机120的平移中重叠。在这样的实施方案中,由两个或更多个摄像机所捕获的图像也可以被拼接在一起。在实施方案中,反射镜135的使用允许摄像机133a、133b被放置成使得它们不必直接面对观察区域121。控制器/处理器1200可以被布置成使摄像机133a、133b在相同的时间或在不同的时间捕获图像。
物体的一个侧表面可以被成像的一个实施方案的一个实施例被示出在图11中。在此实施例中,可以使物体110在传送机120上平移,以便对该物体的一个侧表面成像。在此实施例中,该物体的该侧表面平行于已知侧平面1104。已知侧平面1104可以例如使用附接至传送机120的侧壁来实施。这样的侧壁可以由透明材料(如示出的,诸如玻璃或透亮塑料等)制成,或侧壁可以由不透明材料(诸如,金属)制成。在实施方案中,这样的侧壁可以具有足够的高度,以使得必需在已知侧平面1104中包括观察区域121,诸如窗、间隙或开口。在实施方案中,摄像机132可以被定位或被瞄准,以便在观察区域121中或通过观察区域121对物体成像。在实施方案中,这样的侧壁可以足够低,以使得该物体的该侧表面可以被直接成像,而不使用窗、间隙或开口。在实施方案中,对准装置1102可以被用来确保物体110的一个侧表面与已知侧平面1104平行或对准。在实施方案中,可以例如使用机械装置(诸如,弹簧加载的折板(flap),如在此实施例中所示出的)来实施对准装置1102,以向物体110施加压力,从而使物体110的一个侧表面对准平行于已知侧平面1104。在实施方案中,可以例如使用机电装置以向物体110施加压力从而使物体110的一个侧表面对准平行于已知侧平面1104来实施对准装置1102。
图12例示了根据一个实施方案的控制器/处理器1200的部件示意图。控制器/处理器1200包括用于从摄像机接收图像的输入/输出接口1204。输入/输出接口1204还可以连接至编码器122或光源131,以控制它。输入/输出设备(包括但不限于键盘、显示器、指点设备(pointing device))可以直接或通过介于中间的输入/输出控制器而被耦合至该***。
控制器/处理器1200可以具有一个或多个CPU 1202A。在实施方案中,控制器/处理器1200具有由连接至通信网络1210的网络适配器1206所提供的网络能力。该网络适配器也可以通过介于中间的私有网络或公共网络而被耦合至其他数据处理***或存储设备。网络适配器1206允许在控制器/处理器1200和外部设备之间传输软件和数据。网络适配器的实施例可以包括调制解调器、网络接口(诸如,以太网卡)、通信端口或PCMCIA插槽和卡等。经由网络适配器所传输的软件和数据呈信号的形式,所述信号可以是例如电子信号、电磁信号、光学信号或能够由网络适配器所接收的其他信号。这些信号经由网络而被提供至网络适配器。此网络承载信号,且可以使用电线或电缆、纤维光学器件、电话线、蜂窝电话链路、RF链路和/或其他通信信道来实施。
控制器/处理器1200可以包含一个或多个计算机存储设备1208或一个或多个存储设备。存储设备1208可以包含摄像机数据捕获例程1212和图像拼接例程1214。与操作***1218一样,图像数据缓冲区1216也被包含在该存储设备中。
在实施方案中,本发明中所提供的例程可以采用计算机可用介质或计算机可读介质可访问的计算机程序产品的形式,所述计算机可用介质或计算机可读介质提供用于由计算机或任何指令执行***使用或与计算机或任何指令执行***结合使用的程序代码。出于此描述的目的,计算机可用介质或计算机可读介质可以是能够包含、存储、通信、传播或传输用于由指令执行***、装置或设备使用或与指令执行***、装置或设备结合使用的程序的任何装置。
所述介质可以是电子介质、磁介质、光学介质、电磁介质、红外介质、半导体***(或装置或设备)或传播介质。计算机可读介质的实施例包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘或光盘。
适合于存储和/或执行程序代码的数据处理***包括直接地耦合至存储器设备或通过***总线间接地耦合至存储器设备的至少一个处理器。所述存储器设备可以包括在程序代码的实际执行期间所采用的本地存储器、大容量存储器和高速缓冲存储器,所述高速缓冲存储器提供至少一些程序代码的临时存储,以减少在执行期间必须从大容量存储器检索代码的次数。
根据此示例性计算机***描述了多种软件实施方案。在阅读此描述之后,如何使用其他计算机***和/或计算机架构来实施本发明对于相关领域的普通技术人员将变得明了。
控制器/处理器1200可以包括显示接口(未示出),该显示接口转发图形、文本和其他数据(诸如,来自帧缓冲区(未示出)的其他数据),以用于在显示单元上显示。
在本公开内容中,术语“计算机程序介质”、“计算机可用介质”和“计算机可读介质”通常被用来指诸如主存储器和存储存储器、可移除存储驱动器以及安装在硬盘驱动器中的硬盘等的介质。
计算机程序(也称为计算机控制逻辑)被存储在主存储器和/或存储存储器中。这样的计算机程序在被执行时使得计算机***能够执行如本文所讨论的本发明的特征。特别地,计算机程序在被执行时使得一个或多个处理器能够执行上文所描述的操作。
从上文的描述可以看到,本发明提供了用于有效率地执行图像拼接的***、计算机程序产品和方法。除非明确说明,否则权利要求中以单数形式提及元件并非意在表示“一个且仅一个”,而是“一个或多个”。本领域的普通技术人员目前已知的或稍后已知的上文所描述的示例性实施方案的元件的所有结构和功能等同物意在由权利要求涵盖。本文中的权利要求元件不应根据35 U.S.C第112部分、第6段的规定来解释,除非使用短语“用于……的装置”或“用于……的步骤”明确记载该元件。
虽然本发明的前述书面描述使得普通技术人员能够制作和使用目前被认为是本发明最佳模式的内容,但是普通技术人员将理解和领会本文的具体实施方案、方法和实施例的替代、适配、变化、组合和等同物的存在。本领域技术人员将领会,在公开内容内仅是示例性的,且可以在本发明的范围内做出各种改型。此外,虽然可能已经仅关于若干个实施方式中的一个公开了教导的一个特定特征,但是这样的特征可以与其他实施方式的一个或多个其他特征组合,这对于任何给定的或特定的功能可能是期望的或有利的。此外,就在详细描述和权利要求中使用术语“包含(including)”、“包含(includes)”、“具有(having)”、“具有(has)”、“具有(with)”或其变体而言,这些术语意在以类似于术语“包括(comprising)”的方式是包含性的。
考虑到本文所公开的教导的说明和实践,教导的其他实施方案对于本领域技术人员将变得明了。因此,本发明不应由所描述的实施方案、方法和实施例限制,而应由在本发明的范围和实质内的所有实施方案和方法限制。因此,本发明不限于本文所例示的具体实施方案,而是仅由下面的权利要求限制。
Claims (22)
1.一种***,包括:
一个运输设备,用于使至少一个物体移动,其中使所述物体的至少一个大体上平面表面在局部地位于观察区域附近的一个已知平面内移动,其中除了当所述至少一个大体上平面表面经过所述观察区域时,所述物体的大体上平面表面被遮挡;
至少一个2D数字光学传感器,被配置成捕获在位于所述观察区域附近的已知平面内移动的至少一个物体的至少一个大体上平面表面的至少两个连续的2D数字图像;以及
一个控制器,***作性地耦合至所述2D数字光学传感器,所述控制器执行以下步骤:
a)接收第一数字图像;
b)接收第二数字图像;以及
c)使用拼接算法拼接所述第一数字图像和所述第二数字图像,以生成经拼接的图像。
2.根据权利要求1所述的***,其中控制器重复地执行步骤a)至步骤c)。
3.根据权利要求1所述的***,其中所述第一数字图像包括所捕获的数字图像或先前经拼接的图像的结果图像中的至少一个。
4.根据权利要求1所述的***,其中:
移动通过所述已知平面的表面是所述物体的底表面或所述物体的侧表面中的一个;
所述运输设备包括一个观察区域,该观察区域位于所述运输设备的一个对应表面上;以及
通过所述观察区域捕获所述2D数字图像。
5.根据权利要求1所述的***,其中所述运输设备包括一个传送机,且所述观察区域包括位于所述传送机中的光学窗、位于传送机表面中的间隙或位于两个传送机设备之间的间隙中的一个。
6.根据权利要求1所述的***,还包括一个光源,所述光源被配置成照亮位于所述观察区域中的一个或多个物体,其中所述控制器被耦合至所述光源,以控制来自所述光源的照明,且其中所述控制器使所述光源频闪。
7.根据权利要求6所述的***,还包括一个传感器,所述传感器被配置成检测所述运输设备上的物体的存在和不存在,且基于所述运输设备上的物体的存在或不存在来控制图像的获取。
8.根据权利要求1所述的***,还包括一个反射镜,且其中所述2D数字光学传感器通过所述反射镜来捕获数字图像。
9.根据权利要求1所述的***,其中所述控制器基于经拼接的图像来对标记进行解码。
10.根据权利要求1所述的***,其中所述拼接算法包括:
确定待被用来对准所述第一数字图像和所述第二数字图像的2D坐标变换;
使用所找到的2D坐标变换使所述第二数字图像扭曲;以及
使经扭曲的第二数字图像与所述第一数字图像混合。
11.根据权利要求10所述的***,其中所述运输设备根据大体上线性运动运行,其中所述控制器包括所述运输设备的所述大体上线性运动的一个模型,且其中所述拼接算法使用所述运输设备的所述大体上线性运动的所述模型。
12.根据权利要求10所述的***,还包括一个运动编码器,基于所述运动编码器控制图像的获取,且其中确定图像变换进一步基于由所述运动编码器所生成的对物体平移的评估。
13.根据权利要求12所述的***,还包括一个光源,所述光源被配置成照亮所述观察区域中的一个或多个物体,其中所述控制器被耦合至所述光源,以基于由所述运动编码器所生成的对物体平移的评估来控制来自所述光源的照明,且其中所述控制器基于由所述运动编码器所生成的对物体平移的评估来使所述光源频闪。
14.根据权利要求1所述的***,其中所述2D光学传感器被配置成捕获一个减小的视野,该减小的视野通过手动来确定或者通过分析在设置时间所获取的全图像来确定。
15.根据权利要求1所述的***,其中通过使用针对具有已知特征图案的校准移动物体所捕获的多个数字图像切片的训练过程来评估近似2D坐标变换。
16.根据权利要求1所述的***,还包括多个2D数字光学传感器,每个2D数字光学传感器被配置成通过所述观察区域捕获与一个或多个物体相关联的多个连续的数字图像,且所述多个2D数字光学传感器被配置成大体上同时地捕获数字图像。
17.根据权利要求16所述的***,其中以下中的至少一个:
来自一个摄像机的每个数字图像与由每个另外的摄像机大体上同时捕获的一个图像切片被拼接在一起,以形成组合的图像切片,然后所述组合的图像切片被拼接在一起,以形成完整图像;
来自每个摄像机的每个数字图像与来自该摄像机的连续捕获的数字图像中的一个数字图像被拼接在一起,然后来自多个摄像机中的每个摄像机的经拼接的图像被拼接在一起,以形成完整图像;或
来自每个摄像机的每个数字图像被直接拼接至来自所有摄像机的先前经拼接的图像的相同的结果图像。
18.一种计算机实施的方法,包括:
通过运输设备使至少一个物体移动,其中使所述物体的至少一个大体上平面表面在局部地位于观察区域附近的已知平面内移动,其中除了当所述物体的至少一个大体上平面表面经过所述观察区域时,所述物体的大体上平面表面被遮挡;
通过至少一个2D数字光学传感器捕获在局部地位于所述观察区域附近的已知平面内平移的物体的表面的至少两个连续的2D数字图像;以及
使用拼接算法拼接第一数字图像和第二数字图像,以生成经拼接的图像。
19.根据权利要求18所述的方法,其中拼接被重复地执行,且拼接包括:
确定待被用来对准所述第一数字图像和所述第二数字图像的2D坐标变换;
使用所找到的2D坐标变换使所述第二数字图像扭曲;以及
使经扭曲的第二数字图像与所述第一数字图像混合。
20.根据权利要求18所述的方法,其中所述控制器基于所述经拼接的图像来对标记进行解码。
21.根据权利要求18所述的方法,其中:
存在捕获图像的多个2D数字光学传感器;并且
其中以下中的至少一个:
来自一个2D数字光学传感器的每个数字图像与由每个另外的2D数字光学传感器大体上同时捕获的一个图像切片被拼接在一起,以形成组合的图像切片,然后所述组合的图像切片被拼接在一起,以形成完整图像;
来自每个2D数字光学传感器的每个数字图像与来自该2D数字光学传感器的连续捕获的数字图像中的一个数字图像被拼接在一起,然后来自所述多个2D数字光学传感器中的每个2D数字光学传感器的经拼接的图像被拼接在一起,以形成完整图像;或
来自每个2D数字光学传感器的每个数字图像被直接拼接到来自所有2D数字光学传感器的先前经拼接的图像的相同的结果图像。
22.根据权利要求18所述的方法,其中以下中的一个:
使用并行处理来执行拼接;或
所述控制器基于经拼接的图像来对标记进行解码,且使用并行处理执行拼接和解码。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/962,684 US10776972B2 (en) | 2018-04-25 | 2018-04-25 | Systems and methods for stitching sequential images of an object |
US15/962,684 | 2018-04-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110399759A true CN110399759A (zh) | 2019-11-01 |
Family
ID=66323661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910334228.7A Pending CN110399759A (zh) | 2018-04-25 | 2019-04-24 | 用于拼接物体的连续图像的***和方法 |
Country Status (4)
Country | Link |
---|---|
US (3) | US10776972B2 (zh) |
EP (2) | EP3828810A1 (zh) |
JP (1) | JP2019192248A (zh) |
CN (1) | CN110399759A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112748134A (zh) * | 2020-12-25 | 2021-05-04 | 北京航星机器制造有限公司 | 一种ct检测装置的ct检测方法及检测装置 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10776972B2 (en) * | 2018-04-25 | 2020-09-15 | Cognex Corporation | Systems and methods for stitching sequential images of an object |
CN111612690B (zh) * | 2019-12-30 | 2023-04-07 | 苏州纽迈分析仪器股份有限公司 | 一种图像拼接方法及*** |
EP4352695A1 (en) | 2021-06-10 | 2024-04-17 | Cognex Corporation | Methods, systems, and media for generating images of multiple sides of an object |
KR20240043743A (ko) | 2021-06-25 | 2024-04-03 | 코그넥스코오포레이션 | 오브젝트에 심볼을 할당하기 위한 시스템들 및 방법들 |
CN114088591B (zh) * | 2021-12-06 | 2024-05-10 | 上海易清智觉自动化科技有限公司 | 细颗粒粒度检测装置及方法 |
WO2023220593A1 (en) | 2022-05-09 | 2023-11-16 | Cognex Corporation | System and method for field calibration of a vision system |
WO2023220590A2 (en) | 2022-05-09 | 2023-11-16 | Cognex Corporation | Systems and methods for commissioning a machine vision system |
WO2023220594A1 (en) | 2022-05-09 | 2023-11-16 | Cognex Corporation | System and method for dynamic testing of a machine vision system |
DE102022120354A1 (de) * | 2022-08-11 | 2024-02-22 | Emhart Glass Sa | Inspektionsvorrichtung und -verfahren |
WO2024064924A1 (en) | 2022-09-22 | 2024-03-28 | Cognex Corporation | Systems and methods for configuring machine vision tunnels |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101542527A (zh) * | 2006-11-16 | 2009-09-23 | 维斯欧法姆有限公司 | 可组合图像的基于特征的配准 |
US20100165087A1 (en) * | 2008-12-31 | 2010-07-01 | Corso Jason J | System and method for mosaicing endoscope images captured from within a cavity |
US20130292470A1 (en) * | 2012-05-07 | 2013-11-07 | Datalogic ADC, Inc. | System and method for reading optical codes on bottom surface of items |
CN106056537A (zh) * | 2016-05-20 | 2016-10-26 | 沈阳东软医疗***有限公司 | 一种医学图像拼接方法及装置 |
CN106157246A (zh) * | 2016-06-28 | 2016-11-23 | 杭州电子科技大学 | 一种全自动的快速柱面全景图像拼接方法 |
CN106296587A (zh) * | 2016-08-19 | 2017-01-04 | 广东工业大学 | 轮胎模具图像的拼接方法 |
CN107403409A (zh) * | 2017-07-21 | 2017-11-28 | 苏州科达科技股份有限公司 | 图像拼接前的图像处理方法、装置及图像拼接方法及装置 |
US20180005392A1 (en) * | 2016-06-30 | 2018-01-04 | Datalogic ADC, Inc. | Item image stitching from multiple line-scan images for barcode scanning systems |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10226673A1 (de) | 2002-06-10 | 2004-01-08 | Bizerba Gmbh & Co. Kg | Vorrichtung zum Fördern und Bearbeiten von vereinzeltem Stückgut |
US20070237356A1 (en) * | 2006-04-07 | 2007-10-11 | John Dwinell | Parcel imaging system and method |
DE102006035266B4 (de) | 2006-07-31 | 2008-06-19 | Dr. August Oetker Nahrungsmittel Kg | Verfahren und Vorrichtung zur Bestimmung der Masse von Stückgut oder Pulver auf einer Fördereinrichtung |
US20090095047A1 (en) | 2007-10-16 | 2009-04-16 | Mehul Patel | Dimensioning and barcode reading system |
CN103443803B (zh) | 2011-01-24 | 2017-04-26 | 数据逻辑Adc公司 | 用于自动化检验的隧道或入口扫描器和扫描的方法 |
DK2546776T3 (en) | 2011-07-11 | 2013-07-08 | Sick Ag | Camera-based code reader and method for its adjusted manufacture |
DK2693363T3 (da) | 2012-07-31 | 2015-08-17 | Sick Ag | Kamerasystem og fremgangsmåde til registrering af en strøm af objekter |
DE102013110899B4 (de) | 2012-10-04 | 2019-07-04 | Cognex Corporation | Symbologie-Lesegerät mit Multicore-Prozessor und Systeme und Verfahren zum Betrieb desselben |
DE102016108452A1 (de) | 2016-05-06 | 2017-11-09 | Wipotec Wiege- Und Positioniersysteme Gmbh | Scannereinheit |
US10776972B2 (en) * | 2018-04-25 | 2020-09-15 | Cognex Corporation | Systems and methods for stitching sequential images of an object |
-
2018
- 2018-04-25 US US15/962,684 patent/US10776972B2/en active Active
-
2019
- 2019-04-08 EP EP21153793.1A patent/EP3828810A1/en active Pending
- 2019-04-08 EP EP19167804.4A patent/EP3561764B2/en active Active
- 2019-04-24 JP JP2019082792A patent/JP2019192248A/ja active Pending
- 2019-04-24 CN CN201910334228.7A patent/CN110399759A/zh active Pending
-
2020
- 2020-09-14 US US17/019,742 patent/US11727613B2/en active Active
-
2023
- 2023-06-28 US US18/342,956 patent/US20240177382A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101542527A (zh) * | 2006-11-16 | 2009-09-23 | 维斯欧法姆有限公司 | 可组合图像的基于特征的配准 |
US20100165087A1 (en) * | 2008-12-31 | 2010-07-01 | Corso Jason J | System and method for mosaicing endoscope images captured from within a cavity |
US20130292470A1 (en) * | 2012-05-07 | 2013-11-07 | Datalogic ADC, Inc. | System and method for reading optical codes on bottom surface of items |
CN106056537A (zh) * | 2016-05-20 | 2016-10-26 | 沈阳东软医疗***有限公司 | 一种医学图像拼接方法及装置 |
CN106157246A (zh) * | 2016-06-28 | 2016-11-23 | 杭州电子科技大学 | 一种全自动的快速柱面全景图像拼接方法 |
US20180005392A1 (en) * | 2016-06-30 | 2018-01-04 | Datalogic ADC, Inc. | Item image stitching from multiple line-scan images for barcode scanning systems |
CN106296587A (zh) * | 2016-08-19 | 2017-01-04 | 广东工业大学 | 轮胎模具图像的拼接方法 |
CN107403409A (zh) * | 2017-07-21 | 2017-11-28 | 苏州科达科技股份有限公司 | 图像拼接前的图像处理方法、装置及图像拼接方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112748134A (zh) * | 2020-12-25 | 2021-05-04 | 北京航星机器制造有限公司 | 一种ct检测装置的ct检测方法及检测装置 |
CN112748134B (zh) * | 2020-12-25 | 2023-04-11 | 北京航星机器制造有限公司 | 一种ct检测装置的ct检测方法及检测装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3561764B2 (en) | 2023-11-15 |
EP3561764A1 (en) | 2019-10-30 |
US11727613B2 (en) | 2023-08-15 |
US20190333259A1 (en) | 2019-10-31 |
US20240177382A1 (en) | 2024-05-30 |
US20210074045A1 (en) | 2021-03-11 |
US10776972B2 (en) | 2020-09-15 |
JP2019192248A (ja) | 2019-10-31 |
EP3561764B1 (en) | 2021-02-17 |
EP3828810A1 (en) | 2021-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110399759A (zh) | 用于拼接物体的连续图像的***和方法 | |
US11087484B2 (en) | Camera apparatus and method of detecting a stream of objects | |
JP7329143B2 (ja) | 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法 | |
CN105469418B (zh) | 基于摄影测量的大视场双目视觉标定装置及方法 | |
KR101656635B1 (ko) | 어종 판별 장치 및 어종 판별 방법 | |
US9064187B2 (en) | Method and system for item identification | |
CN105512587A (zh) | 用于追踪光代码的***和方法 | |
US11948042B2 (en) | System and method for configuring an ID reader using a mobile device | |
JP2001524228A (ja) | 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法 | |
EP0647479A2 (en) | Parcel sorting system | |
CN106529365B (zh) | 自动计价机 | |
JP6275622B2 (ja) | 走行面上の複数の製品の位置と三次元的な形状を非接触で検出する方法およびスキャナ | |
US11995851B2 (en) | Optical surface encoder | |
CN109743497B (zh) | 一种数据集采集方法、***及电子装置 | |
JP2023514833A (ja) | 視野よりも長い移動物体の3次元スキャンのためのシステムおよび方法 | |
JP6975423B2 (ja) | 全周画像生成装置および全周画像生成方法 | |
US20200134851A1 (en) | System and Method for Item Location, Delineation, and Measurement | |
CN113163116A (zh) | 多光源图像采集方法、装置、存储介质及设备 | |
Demuynck et al. | Edge based 3D Object localization for fast and precise industrial Machine Vision Applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |