CN116866522B - 一种远程监控方法 - Google Patents
一种远程监控方法 Download PDFInfo
- Publication number
- CN116866522B CN116866522B CN202310846783.4A CN202310846783A CN116866522B CN 116866522 B CN116866522 B CN 116866522B CN 202310846783 A CN202310846783 A CN 202310846783A CN 116866522 B CN116866522 B CN 116866522B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- feature
- cameras
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012544 monitoring process Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种远程监控方法,选择目标区域并以每三个摄像头为一组构建呈三角分布的摄像头组;各个摄像头组将采集的图像数据传输到监控中心,并使每组摄像头中的独立摄像头进行数据同步;在监控中心将接收到的图像数据进行立体图像合成,得到立体图像数据;将合成得到的立体图像数据传输至显示设备中进行解码和显示,形成远程立体监控图像;该远程监控方法采用立体图像监控的方式,能够避免监控区域出现死角或盲区,同时也能够更为准确的获取目标物体在立体空间中的运动和姿态信息,并且还能够方式目标物体被其他结构遮挡,保证监控结果准确性。
Description
技术领域
本发明涉及一种远程监控方法。
背景技术
远程监控是指通过网络或其他通信方式实时观察和控制特定地点、设备或环境的过程。远程监控可以为用户提供实时的监测,无论身在何处,只要有网络连接,就可以通过远程设备进行监控。
现有的远程监控方法多为针对于平面图像的监控,平面图像监控通常使用单个摄像头或有限数量的摄像头进行观察,视角受到限制,可能导致监控区域存在死角或盲区,无法全面覆盖目标区域,且平面图像监控无法准确获取目标物体在立体空间中的运动和姿态信息,这限制了对目标物体行为分析和状态判断的能力,再者,当目标物体被其他物体或结构遮挡时,平面图像监控难以获取到目标物体的完整信息,导致监控结果的不准确性。
发明内容
针对现有技术中的不足,本发明的目的是提供一种采用立体图像监控的方式,能够避免监控区域出现死角或盲区,同时也能够更为准确的获取目标物体在立体空间中的运动和姿态信息,并且还能够方式目标物体被其他结构遮挡,保证监控结果准确性的远程监控方法。
本发明解决其技术问题所采用的技术方案是:
一种远程监控方法,
选择目标区域并以每三个摄像头为一组构建呈三角分布的摄像头组;
各个摄像头组将采集的图像数据传输到监控中心,并使每组摄像头中的独立摄像头进行数据同步;
在监控中心将接收到的图像数据进行立体图像合成,得到立体图像数据;
将合成得到的立体图像数据传输至显示设备中进行解码和显示,形成远程立体监控图像。
该摄像头组中的各个独立摄像头朝向于同一方向,并形成可捕捉共同场景的重叠区域。
采用时间戳的方式对每组摄像头中的独立摄像头进行数据同步,以形成同步图像数据。
在监控中心将接收到的图像数据进行立体图像合成的方法为:
通过捕捉标定板并使用摄像头标定方法来对三个摄像头的图像进行校准;
从每个摄像头的图像中提取特征点或特征描述子,然后使用特征匹配算法将每个图像与其他两个图像进行匹配;
根据特征匹配的结果,计算每个特征点在不同摄像头之间的视差;
利用视差信息,根据三角测量原理,计算每个像素点的深度值,得到深度图;
使用深度图和原始图像数据,进行立体图像的生成。
通过捕捉标定板并使用摄像头标定方法来对三个摄像头的图像进行校准的方法为:
选择一具有特定标记的黑白相间的方格板作为标定板,并将标定板放置在目标区域内;
在不同的位置和角度下用每个摄像头拍摄多张包含标定板的图像;
使用角点检测算法从每张图像中提取标定板的角点坐标,该角点为标定板上黑白交界处的点;
对于所有图像,通过匹配角点,找到对应的角点对;
使用角点对和摄像头的已知几何关系,进行摄像头标定;
根据摄像头标定结果,计算校正参数,使用校正参数对摄像头图像进行畸变校正,以去除图像中的畸变,得到校准图像。
从每个摄像头的图像中提取特征点或特征描述子的方法为:
使用OpenCV库的SIFT算法,导入cv2模块;
使用cv2.imread()函数读取图像文件;
使用cv2.xfeatures2d.SIFT_create()创建SIFT特征提取器对象;
使用SIFT特征提取器的detectAndCompute()方法,同时检测关键点并计算特征描述子;
keypoints,descriptors=sift.detectAndCompute(image,None)
其中,image为输入的图像数据,keypoints为关键点列表,descriptors为对应的特征描述子;
对于每个摄像头的图像,重复上述步骤,分别提取关键点和特征描述子。
使用特征匹配算法将每个图像与其他两个图像进行匹配的方法为:
导入cv2模块匹配算法库;
根据提取的关键点和特征描述子文件中加载每个摄像头的关键点和特征描述子;
使用cv2.BFMatcher_create()创建匹配器对象;
使用Brute-Force匹配器的match()方法进行特征匹配;
matches=matcher.match(descriptors1,descriptors2)
其中,descriptors1为第一个图像的特征描述子,descriptors2为第二个图像的特征描述子,matches为匹配结果列表;
基于距离阈值进行匹配筛选,去除距离过大的匹配对,只保留距离最短的N个匹配对;
对于每个图像,重复上述步骤,分别与其他两个图像进行特征匹配。
计算每个特征点在不同摄像头之间的视差的方法为:
从特征匹配的结果中获取匹配点对,其中每个匹配点对包含了两个图像中的对应特征点的坐标;
将每个图像点的像素坐标转换为归一化坐标,即从图像平面转换到摄像头坐标系,根据两个图像点的归一化坐标、摄像头投影矩阵,使用三角化算法计算其三维坐标;
对于每个匹配点对的三维坐标,通过将其转换到相邻摄像头的坐标系中,计算两个视图中特征点的水平位移,根据摄像头标定参数,将水平位移转换为以像素为单位的视差值。
计算每个像素点的深度值,得到深度图的方法为:
设置摄像头的内参矩阵和基线长度,内参矩阵包括摄像头焦距、主点坐标等参数,而基线长度指两个摄像头之间的距离;
根据像素坐标和视差值,计算出特征点在摄像头坐标系下的坐标;
利用摄像头的内参矩阵将特征点从摄像头坐标系转换到世界坐标系下;
根据摄像头之间的基线长度,通过三角测量原理计算出特征点的深度值;
对于每个像素点,根据计算得到的深度值构建深度图像,深度图像是一个与原始图像大小相同的图像,每个像素点的值表示对应特征点的深度值。
进行立体图像的生成的方法为:
设置摄像头的内参矩阵和基线长度;
通过校准摄像头确保深度图像和原始图像具有相同的坐标系和分辨率,使深度图像中的每个像素点与原始图像中的相应像素点对齐;
遍历深度图像中的每个像素点;
对于每个像素点,根据深度值计算视差值,并使用缩放或映射关系将深度值映射到合适的视差范围内;
根据视差值和原始图像中对应的像素位置,在原始图像中找到对应的像素,并将该像素复制到立体图像的对应位置,并使用插值的方法处理非整数视差值;
重复以上步骤,直到遍历完深度图像中的所有像素点。
本发明的有益效果是:
立体感受:通过构建呈三角分布的摄像头组,可以获取目标区域的立体图像数据。这样,监控中心和显示设备就能够提供更为逼真的立体图像,增强用户对监控场景的真实感受。
全方位覆盖:以每三个摄像头为一组构建的摄像头组使得监控区域得到更全面的覆盖。这样,无论目标物体出现在哪个位置,都能够通过摄像头组中的某个摄像头进行捕捉,降低遗漏目标的概率。
数据同步:在每组摄像头中,各个独立摄像头进行数据同步,确保获取到的图像数据在时间上是一致的。这样,后续的图像合成处理可以更加准确地将多个视角的图像进行融合,得到高质量的立体图像。
远程监控能力:通过将采集到的图像数据传输至监控中心和显示设备,实现远程监控。这样,监控人员可以随时远程查看目标区域的立体图像,无需身临其境即可获取全面的监控信息。
提高识别和分析准确性:立体图像数据提供了更多的空间信息,可以增强目标物体的识别和分析准确性。
具体实施方式
以下结合对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。在下列段落中以举例方式更具体地描述本发明。根据下面说明和权利要求书,本发明的优点和特征将更清楚。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例
一种远程监控方法,
选择目标区域并以每三个摄像头为一组构建呈三角分布的摄像头组;
各个摄像头组将采集的图像数据传输到监控中心,并使每组摄像头中的独立摄像头进行数据同步;
在监控中心将接收到的图像数据进行立体图像合成,得到立体图像数据;
将合成得到的立体图像数据传输至显示设备中进行解码和显示,形成远程立体监控图像。
该摄像头组中的各个独立摄像头朝向于同一方向,并形成可捕捉共同场景的重叠区域,通过各个独立摄像头朝向同一方向,在不同的角度上观察同一场景,这样可以获得多个视角的图像数据,通过重叠区域的图像数据,可以更好地还原目标区域的完整场景,利用图像拼接和融合算法,可以将多个摄像头采集到的图像数据进行合成,生成更宽广且完整的监控画面。
采用时间戳的方式对每组摄像头中的独立摄像头进行数据同步,以形成同步图像数据,通过时间同步,可以将每个独立摄像头采集到的图像数据进行精确对齐和合成,利用时间戳找到同时刻录制的图像帧,并将它们进行配准、融合等处理,得到更高质量的合成图像。
在监控中心将接收到的图像数据进行立体图像合成的方法为:
通过捕捉标定板并使用摄像头标定方法来对三个摄像头的图像进行校准;
从每个摄像头的图像中提取特征点或特征描述子,然后使用特征匹配算法将每个图像与其他两个图像进行匹配;
根据特征匹配的结果,计算每个特征点在不同摄像头之间的视差;
利用视差信息,根据三角测量原理,计算每个像素点的深度值,得到深度图;
使用深度图和原始图像数据,进行立体图像的生成。
通过捕捉标定板并使用摄像头标定方法,可以准确地校准每个摄像头的内外参数。这样就能够消除图像中的畸变,并得到精确的摄像头相对位置和姿态信息,为后续的图像处理和深度计算提供准确的基础。
通过从每个摄像头的图像中提取特征点或特征描述子,再使用特征匹配算法将每个图像与其他两个图像进行匹配,可以准确地找到在不同摄像头视角下共有的特征点。这样可以提供可靠的视差信息,为深度图计算提供准确的数据。
通过计算每个特征点在不同摄像头之间的视差,并利用三角测量原理,可以计算每个像素点的深度值。这样可以生成精确的深度图,提供了场景中各个点的距离信息,使得后续的深度分析和立体感知变得可行。
通过深度图和原始图像数据,可以进行立体图像的生成。将深度信息与原始图像叠加,可以得到更加真实、立体感强的图像效果。这对于需要进行三维形状分析、虚拟现实应用等方面非常有用。
通过校准和深度图生成,可以将多个摄像头的图像融合起来,提供更全面、准确的视觉信息。这样可以支持更广泛的应用,例如目标跟踪、行为分析、三维重建等。
通过捕捉标定板并使用摄像头标定方法来对三个摄像头的图像进行校准的方法为:
选择一具有特定标记的黑白相间的方格板作为标定板,并将标定板放置在目标区域内;
在不同的位置和角度下用每个摄像头拍摄多张包含标定板的图像;
使用角点检测算法从每张图像中提取标定板的角点坐标,该角点为标定板上黑白交界处的点;
对于所有图像,通过匹配角点,找到对应的角点对;
使用角点对和摄像头的已知几何关系,进行摄像头标定;
根据摄像头标定结果,计算校正参数,使用校正参数对摄像头图像进行畸变校正,以去除图像中的畸变,得到校准图像。
通过拍摄包含标定板的图像,并提取标定板的角点坐标,可以准确地进行摄像头标定。标定结果可以提供摄像头的内外参数信息,包括焦距、畸变系数等,从而为后续的图像处理和计算提供准确的基础。
根据摄像头的标定结果,计算校正参数。应用这些参数对摄像头图像进行畸变校正,可以去除图像中的畸变,使得图像中的直线变得更加直观、准确,提高图像质量。
经过校正后,可以得到准确的校准图像。这些图像具有更真实的颜色、对比度和形状,可以为后续的图像分析、视觉识别等任务提供更可靠的数据。
通过摄像头标定,可以得到摄像头之间的几何关系,包括位置和姿态。这样确保了不同摄像头之间的图像一致性,为后续的多视角融合、立体重建等应用提供可靠的基础。
这个方案只需要使用黑白相间的方格板和摄像头进行图像拍摄,然后通过计算和校正来获得标定结果。整个过程相对简单,易于实施,并且不需要复杂的设备或软件。
从每个摄像头的图像中提取特征点或特征描述子的方法为:
使用OpenCV库的SIFT算法,导入cv2模块;
使用cv2.imread()函数读取图像文件;
使用cv2.xfeatures2d.SIFT_create()创建SIFT特征提取器对象;
使用SIFT特征提取器的detectAndCompute()方法,同时检测关键点并计算特征描述子;
keypoints,descriptors=sift.detectAndCompute(image,None)
其中,image为输入的图像数据,keypoints为关键点列表,descriptors为对应的特征描述子;
对于每个摄像头的图像,重复上述步骤,分别提取关键点和特征描述子。
SIFT是一种常用的特征提取算法,具有良好的尺度不变性和旋转不变性。它可以有效地检测图像中的稳定关键点,并生成与之相对应的特征描述子,通过使用SIFT特征提取器的detectAndCompute()方法,可以同时获得图像中的关键点列表和对应的特征描述子。关键点可以用于后续的特征匹配和对象识别等任务,而特征描述子则可以用于计算相似性和进行图像匹配。
对于每个摄像头的图像,都可以重复上述步骤,提取关键点和特征描述子,这样可以获得多个摄像头角度下的特征信息,用于后续的立体匹配、三维重建和多视角分析等应用。
OpenCV是一个强大的开源计算机视觉库,其中包含了丰富的图像处理和计算算法。通过导入cv2模块,可以使用OpenCV提供的SIFT算法及其他功能,方便快捷地进行图像处理和分析,使用OpenCV的SIFT算法进行特征提取,可以灵活选择适合的参数和配置。同时,OpenCV提供了丰富的图像处理函数和工具,使得整个流程相对简单和易于实施。
使用特征匹配算法将每个图像与其他两个图像进行匹配的方法为:
导入cv2模块匹配算法库;
根据提取的关键点和特征描述子文件中加载每个摄像头的关键点和特征描述子;
使用cv2.BFMatcher_create()创建匹配器对象;
使用Brute-Force匹配器的match()方法进行特征匹配;
matches=matcher.match(descriptors1,descriptors2)
其中,descriptors1为第一个图像的特征描述子,descriptors2为第二个图像的特征描述子,matches为匹配结果列表;
基于距离阈值进行匹配筛选,去除距离过大的匹配对,只保留距离最短的N个匹配对;
对于每个图像,重复上述步骤,分别与其他两个图像进行特征匹配。
通过使用Brute-Force匹配器和特征描述子进行匹配,可以在多个摄像头图像之间找到相对应的特征点。这样可以准确地识别和匹配同一场景或物体在不同摄像头下的特征,通过match()方法,可以得到每个图像对应的匹配结果列表。这些结果表示了两个图像之间的特征点匹配程度,可以用于后续的图像配准、目标追踪以及立体视觉等应用,基于距离阈值对匹配结果进行筛选,可以去除距离过大的匹配对。这样可以排除不可靠的匹配,并只保留距离最短的N个匹配对。通过控制阈值和N的值,可以根据具体需求进行灵活调整。
对于每个图像,都可以重复上述步骤,与其他两个图像进行特征匹配。这样可以得到每个图像与其他图像之间的匹配结果,进一步提高匹配的准确性和可靠性,导入cv2模块,可以使用OpenCV提供的匹配算法和工具。通过使用cv2.BFMatcher_create()创建匹配器对象,并调用match()方法进行特征匹配,可以快速实现特征匹配的功能。
计算每个特征点在不同摄像头之间的视差的方法为:
从特征匹配的结果中获取匹配点对,其中每个匹配点对包含了两个图像中的对应特征点的坐标;
将每个图像点的像素坐标转换为归一化坐标,即从图像平面转换到摄像头坐标系,根据两个图像点的归一化坐标、摄像头投影矩阵,使用三角化算法计算其三维坐标;
对于每个匹配点对的三维坐标,通过将其转换到相邻摄像头的坐标系中,计算两个视图中特征点的水平位移,根据摄像头标定参数,将水平位移转换为以像素为单位的视差值。
通过将特征点的像素坐标转换为归一化坐标,并使用两个摄像头的摄像头投影矩阵,可以进行三角化算法来计算匹配点对的三维坐标。这样可以得到物体或场景在三维空间中的位置信息;利用摄像头的标定参数,可以将匹配点对的三维坐标转换到相邻摄像头的坐标系中。这样可以获取两个视图中特征点的水平位移;通过计算特征点的水平位移,并结合摄像头的标定参数,可以将水平位移转换为以像素为单位的视差值。视差值是用于测量深度信息的重要指标,可以用于立体视觉、距离估计和三维重建等应用。
通过特征匹配和三角化算法,可以获取匹配点对的三维坐标,并进一步计算出视差值。这些结果可以用于精确的三维重建和测距,提供高质量的空间信息,该方案适用于多个摄像头之间的特征匹配和三维重建,可用于多视图立体视觉、三维重建、物体跟踪等领域。
计算每个像素点的深度值,得到深度图的方法为:
设置摄像头的内参矩阵和基线长度,内参矩阵包括摄像头焦距、主点坐标等参数,而基线长度指两个摄像头之间的距离;
根据像素坐标和视差值,计算出特征点在摄像头坐标系下的坐标;
利用摄像头的内参矩阵将特征点从摄像头坐标系转换到世界坐标系下;
根据摄像头之间的基线长度,通过三角测量原理计算出特征点的深度值;
对于每个像素点,根据计算得到的深度值构建深度图像,深度图像是一个与原始图像大小相同的图像,每个像素点的值表示对应特征点的深度值。
通过设置摄像头的内参矩阵,包括焦距、主点坐标等参数,可以准确描述摄像头的成像特性。这样可以提高深度计算的准确性和可靠性,基线长度指两个摄像头之间的距离,是在三角测量中非常重要的参数。通过恰当设置基线长度,可以更准确地计算出特征点的深度值。这样有助于实现更精确的三维重建和深度估计。
通过根据像素坐标和视差值,可以计算出特征点在摄像头坐标系下的坐标。这样可以将特征点从图像平面转换到摄像头坐标系,为后续的世界坐标系转换做准备,利用摄像头的内参矩阵,可以将特征点从摄像头坐标系转换到世界坐标系下。这样可以将特征点的位置信息表示为相对于世界坐标系的真实三维坐标,为后续的应用提供准确的空间定位。
通过计算得到的特征点深度值,可以构建深度图像。深度图像是一个与原始图像大小相同的图像,每个像素点的值表示对应特征点的深度值。深度图像是一种直观的可视化工具,可以用于三维重建、遥感分析等应用。
进行立体图像的生成的方法为:
设置摄像头的内参矩阵和基线长度;
通过校准摄像头确保深度图像和原始图像具有相同的坐标系和分辨率,使深度图像中的每个像素点与原始图像中的相应像素点对齐;
遍历深度图像中的每个像素点;
对于每个像素点,根据深度值计算视差值,并使用缩放或映射关系将深度值映射到合适的视差范围内;
根据视差值和原始图像中对应的像素位置,在原始图像中找到对应的像素,并将该像素复制到立体图像的对应位置,并使用插值的方法处理非整数视差值;
重复以上步骤,直到遍历完深度图像中的所有像素点。
通过准确设置摄像头的内参矩阵和基线长度,可以提高深度图像的准确性和可靠性。这些参数是深度计算的重要参考,正确的设置可以获得更精确的深度值,校准摄像头以确保深度图像和原始图像具有相同的坐标系和分辨率,可以保证每个像素点在深度图像和原始图像中的位置对应一致。这样可以方便地将深度信息与视觉信息进行关联,实现更好的立体感知效果。
通过根据深度值计算视差值,并将深度值映射到合适的视差范围内,可以更好地表达深度信息。视差值是立体图像中对应特征点间的水平位移,与深度值存在一定的关系,通过适当的缩放或映射关系,可以使深度信息更容易理解和处理,根据视差值和原始图像中对应的像素位置,在原始图像中找到相应的像素,并将其复制到立体图像中的对应位置。对于非整数视差值,可以使用插值的方法进行处理,以保持图像的连续性和平滑性。这样可以得到更真实的立体图像效果。
该方案可以适用于遍历深度图像中的每个像素点,并处理每个像素点的视差和深度信息。这种算法的可扩展性较高,可以应用于大规模图像处理任务,并且可以通过优化算法和并行计算等方式提高处理效率。
本发明的有益效果是:
立体感受:通过构建呈三角分布的摄像头组,可以获取目标区域的立体图像数据。这样,监控中心和显示设备就能够提供更为逼真的立体图像,增强用户对监控场景的真实感受。
全方位覆盖:以每三个摄像头为一组构建的摄像头组使得监控区域得到更全面的覆盖。这样,无论目标物体出现在哪个位置,都能够通过摄像头组中的某个摄像头进行捕捉,降低遗漏目标的概率。
数据同步:在每组摄像头中,各个独立摄像头进行数据同步,确保获取到的图像数据在时间上是一致的。这样,后续的图像合成处理可以更加准确地将多个视角的图像进行融合,得到高质量的立体图像。
远程监控能力:通过将采集到的图像数据传输至监控中心和显示设备,实现远程监控。这样,监控人员可以随时远程查看目标区域的立体图像,无需身临其境即可获取全面的监控信息。
提高识别和分析准确性:立体图像数据提供了更多的空间信息,可以增强目标物体的识别和分析准确性。
本发明的上述实施例并不是对本发明保护范围的限定,本发明的实施方式不限于此,凡此种种根据本发明的上述内容,按照本领域的普通技术知识和惯用手段,在不脱离本发明上述基本技术思想前提下,对本发明上述结构做出的其它多种形式的修改、替换或变更,均应落在本发明的保护范围之内。
Claims (4)
1.一种远程监控方法,其特征在于,
选择目标区域并以每三个摄像头为一组构建呈三角分布的摄像头组;其中该摄像头组中的各个独立摄像头朝向于同一方向,并形成可捕捉共同场景的重叠区域,并且通过所述重叠区域的图像数据,可以还原目标区域的完整场景;
各个摄像头组将采集的图像数据传输到监控中心,并使每组摄像头中的独立摄像头进行数据同步;
在监控中心将接收到的图像数据进行立体图像合成,得到立体图像数据;
将合成得到的立体图像数据传输至显示设备中进行解码和显示,形成远程立体监控图像;
其中,在监控中心将接收到的图像数据进行立体图像合成的方法为:
通过捕捉标定板并使用摄像头标定方法来对三个摄像头的图像进行校准;
从每个摄像头的图像中提取特征点或特征描述子,然后使用特征匹配算法将每个图像与其他两个图像进行匹配;
根据特征匹配的结果,计算每个特征点在不同摄像头之间的视差;
利用视差信息,根据三角测量原理,计算每个像素点的深度值,得到深度图;
使用深度图和原始图像数据,进行立体图像的生成;
而通过捕捉标定板并使用摄像头标定方法来对三个摄像头的图像进行校准的方法为:
选择一具有特定标记的黑白相间的方格板作为标定板,并将标定板放置在目标区域内;
在不同的位置和角度下用每个摄像头拍摄多张包含标定板的图像;
使用角点检测算法从每张图像中提取标定板的角点坐标,该角点为标定板上黑白交界处的点;
对于所有图像,通过匹配角点,找到对应的角点对;
使用角点对和摄像头的已知几何关系,进行摄像头标定;
根据摄像头标定结果,计算校正参数,使用校正参数对摄像头图像进行畸变校正,以去除图像中的畸变,得到校准图像;
从每个摄像头的图像中提取特征点或特征描述子的方法为:
使用OpenCV库的SIFT算法,导入cv2模块;
使用cv2.imread()函数读取图像文件;
使用cv2.xfeatures2d.SIFT_create()创建SIFT特征提取器对象;
使用SIFT特征提取器的detectAndCompute()方法,同时检测关键点并计算特征描述子;
keypoints, descriptors = sift.detectAndCompute(image, None)
其中,image为输入的图像数据,keypoints为关键点列表,descriptors为对应的特征描述子;
对于每个摄像头的图像,重复上述步骤,分别提取关键点和特征描述子;
使用特征匹配算法将每个图像与其他两个图像进行匹配的方法为:
导入cv2模块匹配算法库;
根据提取的关键点和特征描述子文件中加载每个摄像头的关键点和特征描述子;
使用cv2.BFMatcher_create()创建匹配器对象;
使用Brute-Force匹配器的match()方法进行特征匹配;
matches = matcher.match(descriptors1, descriptors2)
其中,descriptors1为第一个图像的特征描述子,descriptors2为第二个图像的特征描述子,matches为匹配结果列表;
基于距离阈值进行匹配筛选,去除距离过大的匹配对,只保留距离最短的N个匹配对;
对于每个图像,重复上述步骤,分别与其他两个图像进行特征匹配;
计算每个特征点在不同摄像头之间的视差的方法为:
从特征匹配的结果中获取匹配点对,其中每个匹配点对包含了两个图像中的对应特征点的坐标;
将每个图像点的像素坐标转换为归一化坐标,即从图像平面转换到摄像头坐标系,根据两个图像点的归一化坐标、摄像头投影矩阵,使用三角化算法计算其三维坐标;
对于每个匹配点对的三维坐标,通过将其转换到相邻摄像头的坐标系中,计算两个视图中特征点的水平位移,根据摄像头标定参数,将水平位移转换为以像素为单位的视差值。
2.根据权利要求1所述的远程监控方法,其特征在于,采用时间戳的方式对每组摄像头中的独立摄像头进行数据同步,以形成同步图像数据。
3.根据权利要求1所述的远程监控方法,其特征在于,计算每个像素点的深度值,得到深度图的方法为:
设置摄像头的内参矩阵和基线长度,内参矩阵包括摄像头焦距、主点坐标,而基线长度指两个摄像头之间的距离;
根据像素坐标和视差值,计算出特征点在摄像头坐标系下的坐标;
利用摄像头的内参矩阵将特征点从摄像头坐标系转换到世界坐标系下;
根据摄像头之间的基线长度,通过三角测量原理计算出特征点的深度值;
对于每个像素点,根据计算得到的深度值构建深度图像,深度图像是一个与原始图像大小相同的图像,每个像素点的值表示对应特征点的深度值。
4.根据权利要求3所述的远程监控方法,其特征在于,进行立体图像的生成的方法为:
设置摄像头的内参矩阵和基线长度;
通过校准摄像头确保深度图像和原始图像具有相同的坐标系和分辨率,使深度图像中的每个像素点与原始图像中的相应像素点对齐;
遍历深度图像中的每个像素点;
对于每个像素点,根据深度值计算视差值,并使用缩放或映射关系将深度值映射到合适的视差范围内;
根据视差值和原始图像中对应的像素位置,在原始图像中找到对应的像素,并将该像素复制到立体图像的对应位置,并使用插值的方法处理非整数视差值;
重复以上步骤,直到遍历完深度图像中的所有像素点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310846783.4A CN116866522B (zh) | 2023-07-11 | 2023-07-11 | 一种远程监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310846783.4A CN116866522B (zh) | 2023-07-11 | 2023-07-11 | 一种远程监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116866522A CN116866522A (zh) | 2023-10-10 |
CN116866522B true CN116866522B (zh) | 2024-05-17 |
Family
ID=88226435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310846783.4A Active CN116866522B (zh) | 2023-07-11 | 2023-07-11 | 一种远程监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116866522B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521816A (zh) * | 2011-11-25 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种云数据中心机房实时宽场景监控合成方法 |
CN102939763A (zh) * | 2010-06-14 | 2013-02-20 | 高通股份有限公司 | 计算三维图像的视差 |
CN103096032A (zh) * | 2012-04-17 | 2013-05-08 | 北京明科全讯技术有限公司 | 一种全景监控***及方法 |
CN105979203A (zh) * | 2016-04-29 | 2016-09-28 | 中国石油大学(北京) | 一种多摄像机协同监控方法及装置 |
CN106534780A (zh) * | 2016-11-11 | 2017-03-22 | 广西师范大学 | 三维全景视频监控装置及其视频图像处理方法 |
CN109089099A (zh) * | 2018-09-05 | 2018-12-25 | 广州维纳斯家居股份有限公司 | 图像处理方法、装置、设备及存储介质 |
DE102018115176B3 (de) * | 2018-06-25 | 2019-08-01 | Sick Ag | Stereokamera und Verfahren zum Ausrichten |
CN115272271A (zh) * | 2022-08-09 | 2022-11-01 | 郑州芯视道机器人技术有限公司 | 一种基于双目立体视觉的管道缺陷检测与定位测距*** |
CN115880344A (zh) * | 2022-11-18 | 2023-03-31 | 浙江大学 | 一种双目立体匹配数据集视差真值获取方法 |
-
2023
- 2023-07-11 CN CN202310846783.4A patent/CN116866522B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102939763A (zh) * | 2010-06-14 | 2013-02-20 | 高通股份有限公司 | 计算三维图像的视差 |
CN102521816A (zh) * | 2011-11-25 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种云数据中心机房实时宽场景监控合成方法 |
CN103096032A (zh) * | 2012-04-17 | 2013-05-08 | 北京明科全讯技术有限公司 | 一种全景监控***及方法 |
CN105979203A (zh) * | 2016-04-29 | 2016-09-28 | 中国石油大学(北京) | 一种多摄像机协同监控方法及装置 |
CN106534780A (zh) * | 2016-11-11 | 2017-03-22 | 广西师范大学 | 三维全景视频监控装置及其视频图像处理方法 |
DE102018115176B3 (de) * | 2018-06-25 | 2019-08-01 | Sick Ag | Stereokamera und Verfahren zum Ausrichten |
CN109089099A (zh) * | 2018-09-05 | 2018-12-25 | 广州维纳斯家居股份有限公司 | 图像处理方法、装置、设备及存储介质 |
CN115272271A (zh) * | 2022-08-09 | 2022-11-01 | 郑州芯视道机器人技术有限公司 | 一种基于双目立体视觉的管道缺陷检测与定位测距*** |
CN115880344A (zh) * | 2022-11-18 | 2023-03-31 | 浙江大学 | 一种双目立体匹配数据集视差真值获取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116866522A (zh) | 2023-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
CN109348119B (zh) | 一种全景监控*** | |
EP1433335B1 (en) | 3d video conferencing system | |
CN103345736A (zh) | 一种虚拟视点绘制方法 | |
KR20160121798A (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
CN103337094A (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
WO2020063987A1 (zh) | 三维扫描方法、装置、存储介质和处理器 | |
Zou et al. | A method of stereo vision matching based on OpenCV | |
JP2010109783A (ja) | 電子カメラ | |
CN108958469B (zh) | 一种基于增强现实的在虚拟世界增加超链接的方法 | |
JP2008140271A (ja) | 対話装置及びその方法 | |
CN106023307B (zh) | 基于现场环境的快速重建三维模型方法及*** | |
CN105262949A (zh) | 一种多功能全景视频实时拼接方法 | |
CN113965721B (zh) | 图像与深度传输监视***的对齐方法 | |
CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
WO2010061860A1 (ja) | ステレオマッチング処理システム、ステレオマッチング処理方法、及び記録媒体 | |
JPH05303629A (ja) | 形状合成方法 | |
CN115294207A (zh) | 智慧校园监控视频与三维gis模型的融合调度***及方法 | |
CN117456114B (zh) | 基于多视图的三维图像重建方法及*** | |
CN117196955A (zh) | 一种全景图像拼接方法及终端 | |
CN110705487B (zh) | 掌纹采集设备、方法及其图像采集装置 | |
CN116866522B (zh) | 一种远程监控方法 | |
CN112215749A (zh) | 基于柱面投影的图像拼接方法、***、设备及存储介质 | |
CN107103620B (zh) | 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法 | |
CN104463958A (zh) | 基于视差图融合的三维超分辨率方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |