CN116309672B - 一种基于led标靶的夜间桥梁动挠度测量方法与装置 - Google Patents

一种基于led标靶的夜间桥梁动挠度测量方法与装置 Download PDF

Info

Publication number
CN116309672B
CN116309672B CN202310581503.1A CN202310581503A CN116309672B CN 116309672 B CN116309672 B CN 116309672B CN 202310581503 A CN202310581503 A CN 202310581503A CN 116309672 B CN116309672 B CN 116309672B
Authority
CN
China
Prior art keywords
image
gray
threshold
frame image
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310581503.1A
Other languages
English (en)
Other versions
CN116309672A (zh
Inventor
梁亚斌
翟国华
谭志森
冯谦
周艳兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute Of Earthquake Engineering Co ltd
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Original Assignee
Wuhan Institute Of Earthquake Engineering Co ltd
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute Of Earthquake Engineering Co ltd, Shenzhen Technology Institute of Urban Public Safety Co Ltd filed Critical Wuhan Institute Of Earthquake Engineering Co ltd
Priority to CN202310581503.1A priority Critical patent/CN116309672B/zh
Publication of CN116309672A publication Critical patent/CN116309672A/zh
Application granted granted Critical
Publication of CN116309672B publication Critical patent/CN116309672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于LED标靶的夜间桥梁动挠度测量方法与装置，在进行夜间桥梁动挠度测量的过程中，先设置LED标靶进行录制，获取桥梁振动视频，对每一帧图像的灰度阈值进行迭代求解，在多轮迭代中缩小灰度阈值范围，找到正确的图像中前景光斑与背景之间的阈值，从而对前景光斑与背景进行准确分割，避免由于环境因素导致光斑提取产生误差，使得桥梁动挠度测量结果更加准确。

Description

一种基于LED标靶的夜间桥梁动挠度测量方法与装置
技术领域
本发明涉及桥梁结构监测技术领域，特别是涉及一种基于LED标靶的夜间桥梁动挠度测量方法与装置。
背景技术
视觉传感技术通过工业相机、数码相机等图像采集设备获得结构振动视频后，通过结构在每一帧图像位置得到结构的像素位移，再通过比例因子实现像素距离到实际距离的转换，得到结构的实际位移。相较于使用加速度传感器、微波雷达、激光雷达等设备进行测量，视觉传感技术不仅测量成本低，而且能够实现多点动态监测，因此受到了国内外学者的广泛关注。
但在实际工程中，为了避免日常交通的干扰，许多桥梁的安全检查都要在夜间进行。在夜间，主要的挑战之一是桥梁上自然纹理的可见度和分辨率不足，此时使用普通标靶或无标靶视觉传感技术很难进行准确测量的，因此多使用LED标靶进行测量，测量时通过计算光斑中心变化得到桥梁测点。常见的检测光斑中心的算法有灰度质心法、圆拟合法、Hough法及高斯曲面拟合法，其中灰度质心法原理简单，计算速度快，因此应用广泛，但该方法在使用时首先要对光斑图像进行阈值分割，常用的OTSU法(最大类间方差法)在面对LED标靶成像过程中的强光、雾气、伪影等现象的干扰时，会将一部分背景错分为前景，导致光斑提取产生误差，影响后续通过灰度质心法计算光斑中心，造成桥梁动挠度测量失败。
鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
发明内容
本发明要解决的技术问题是如何将LED标靶的图像中的前景与背景准确分割，减小光斑提取的过程中产生的误差。
本发明采用如下技术方案：
第一方面，提供一种基于LED标靶的夜间桥梁动挠度测量方法，包括：
在桥梁测点位置设置LED标靶，得到第一预设图像集合，并获得所述第一预设图像集合的每一帧图像；
对所述每一帧图像的灰度阈值进行迭代求解，从而缩小所述每一帧图像的灰度阈值范围，并通过缩小后的每一帧图像的阈值范围确定每一帧图像的最终阈值；
根据所述每一帧图像的最终阈值对应将所述每一帧图像进行分割得到最终前景；
根据所述最终前景得到桥梁动挠度变化。
优选的，所述对所述每一帧图像的灰度阈值进行迭代求解，从而缩小所述每一帧图像的灰度阈值范围，并通过缩小后的每一帧图像的阈值范围确定每一帧图像的最终阈值，具体包括：
获取第i帧图像，当i=1时，第i帧图像的初始阈值thi设为0；当i＞1时，获取第i帧图像的灰度直方图Hi和第i-1帧图像的灰度直方图Hi-1，判断所述Hi同所述Hi-1之间的关系系数是否大于预设系数，当所述关系系数大于所述预设系数时，则第i帧图像的初始阈值thi设为第i-1帧图像的最终阈值，若所述关系系数小于或者等于所述预设系数，则第i帧图像的初始阈值thi设为0；
每一轮迭代中，根据所述初始阈值thi将所述第i帧图像进行阈值化得到初始前景，判断所述初始前景是否符合第一判断条件和第二判断条件，当不符合所述第一判断条件和第二判断条件中的一个或者多个时，则根据第i帧图像的灰度直方图Hi以及初始阈值thi得到第i帧图像的穷举灰度范围OTSUgray，并根据所述穷举灰度范围OTSUgray得到第i帧图像的更新阈值thnew，将初始阈值更新为thi=thnew，将更新后的初始阈值thi输入至下一轮迭代中，直至所述初始前景同时满足第一判断条件和第二判断条件时，将初始阈值thi作为第i帧图像最终阈值输出。
优选的，所述Hi同所述Hi-1之间的关系系数的计算公式如下：
；
其中，所述d(Hi-1，Hi)为Hi同所述Hi-1之间的关系系数，，N为图像像素点个数，I为图像所有像素点坐标的集合。
优选的，所述判断所述初始前景是否符合第一判断条件和第二判断条件，具体包括：
所述第一判断条件为：根据所述初始前景得到光斑圆形度，判断所述光斑圆形度是否小于预设数值；
所述第二判断条件为：根据所述第i帧图像的初始前景得到第i帧图像的光斑面积Ai，根据所述第i-1帧图像的最终前景得到第i-1帧图像的光斑面积Ai-1，并判断所述第i帧图像的光斑面积Ai是否小于第i-1帧图像的光斑面积Ai-1的预设倍数。
优选的，所述根据第i帧图像的灰度直方图Hi以及初始阈值thi得到第i帧图像的穷举灰度范围OTSUgray，具体包括：
取得所述第i帧图像的灰度直方图Hi中像素数量占比小于预设比例的所有灰度值，所述取得的所有灰度值中的最大灰度值为img_graymax，所述取得的所有灰度值中的最小灰度值为img_graymin，将所述img_graymin同所述第i帧图像的初始阈值thi比较，当所述img_graymax大于所述thi时，所述img_graymin保持不变，当所述img_graymin小于或等于所述thi时，则令img_graymin=thi，得到所述第i帧图像的穷举灰度范围OTSUgray，所述OTSUgray如下：
。
优选的，所述根据所述穷举灰度范围得到第i帧图像的更新阈值thnew，具体包括：
遍历所述第i帧图像的穷举灰度范围并带入目标函数公式，当目标函数取最大值时，对应的灰度值th即为所述第i帧图像的更新阈值thnew；
所述目标函数公式为：
；
其中：为目标函数；所述/>，为所述第i帧图像的初始前景像素灰度均值；所述L为灰度值最大值；所述/>为所述第i帧图像的初始前景像素中灰度值为i的概率；所述/>，为第i帧图像的初始前景像素中灰度值小于th的像素点概率；所述，为第i帧图像的初始前景像素中灰度值大于th的像素点概率；所述，为第i帧图像的初始前景像素中灰度值小于th的像素点灰度均值；所述，为第i帧图像的初始前景像素中灰度值大于th的像素点方差；所述/>，为第i帧图像的初始前景像素中灰度值大于th的像素点灰度均值。
优选的，所述在桥梁测点位置设置LED标靶，得到第一预设图像集合，还包括：
对所述第一预设图像集合进行双边滤波降噪，从而将所述第一预设图像集合中的每一帧图像进行降噪锐化，减少每一帧图像中前景与背景之间的干扰；
所述双边滤波降噪公式为：
；
；
其中，所述K(i,j)为进行双边滤波降噪后输出的图像，所述I(i,j)为原始输入图像，所述W(i,j)为归一化参数，所述为像素点周围的5x5邻域范围，所述Ws(i,j)为空间邻近度权值，所述Wr(i,j)为灰度相似度权值，其中：
；
；
其中，所述为空间域因子，所述/>为灰度域因子，所述空间域因子通过像素点的邻域半径来表示，所述灰度域因子通过邻域灰度标准差来表示；所述f(i,j)为图像点灰度值，所述f(x,y)为图像坐标；所述f(x,y)为所述图像点f(i,j)的5x5邻域点灰度值，所述x和y为所述图像点f(i,j)的5x5邻域点图像坐标。
优选的，所述根据所述最终前景得到桥梁动挠度变化包括：
根据所述每一帧图像的最终前景获得每一帧图像的光斑中心，根据所述光斑中心的位移得到桥梁测点像素位移；
通过所述LED标靶大小得到测点比例因子，所述桥梁测点像素位移通过所述比例因子计算得到桥梁测点实际位移，从而得到桥梁动挠度变化。
优选的，所述根据所述每一帧图像的最终前景获得每一帧图像的光斑中心，公式如下：
；
其中，所述i和j为像素坐标，所述Iij为像素坐标(i,j)处的灰度值，所述m为图像水平方向的像素点个数，所述n为竖直方向的像素点个数，所述x和y为光斑中心的坐标；
所述通过所述LED标靶大小得到测点比例因子，公式如下：
；
其中，所述SF为测点比例因子，所述dknown为LED标靶实际尺寸；所述Iknown为LED标靶实际尺寸在图像上对应的像素长度。
第二方面，一种基于LED标靶的夜间桥梁动挠度测量装置，包括至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行所述的基于LED标靶的夜间桥梁动挠度测量方法。
本发明实施例提供一种LED标靶的夜间桥梁动挠度测量方法与装置，在进行夜间桥梁动挠度测量的过程中，先设置LED标靶进行录制，逐帧获取图像，对每一帧图像的灰度阈值范围进行迭代，在多轮迭代中缩小灰度阈值范围，找到更准确的图像中前景与背景之间的阈值，从而对前景与背景进行准确分割，避免由于环境因素导致光斑提取产生误差，使得桥梁动挠度测量结果更加准确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的方法流程图；
图2是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的无干扰光斑图和无干扰光斑灰度图；
图3是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的雾气干扰光斑图和雾气干扰光斑灰度图；
图4是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的迭代流程图；
图5是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的存在环境干扰时的光斑成像图以及现有的OSTU阈值法的成像图；
图6是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的OSTU阈值法的成像图同迭代阈值法的成像图的对比图；
图7是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的流程图；
图8是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法在振动测量中的悬臂梁结构与LED标靶位置示意图；
图9是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的工况1LED标靶动挠度测量结果；
图10是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的工况2LED标靶动挠度测量结果；
图11是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的工况3LED标靶动挠度测量结果；
图12是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量方法的误差计算结果图；
图13是本发明实施例提供的一种LED标靶的夜间桥梁动挠度测量装置的装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。
本发明中术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请中，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连。此外，术语“耦接”可以是实现信号传输的电性连接的方式。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种基于LED标靶的夜间桥梁动挠度测量方法，方法流程包括：
步骤101中，在桥梁测点位置设置LED标靶，得到第一预设图像集合，并获得所述第一预设图像集合的每一帧图像。
本实施例中，所述LED标靶为LED灯，在实际工程中，为了避免对日常交通造成干扰，许多桥梁的安全检查都要在夜间进行，而LED标靶用于在夜间测量过程中设置于桥梁的预设测量点，再通过对LED标靶进行视频录制，通过对视频逐帧计算LED标靶的光斑的位移，从而测量桥梁的测点位置的动挠度；其中录制的视频可以看作每一帧图像叠加起来的图片合集，因此所述第一预设图像集合即可视为录制得到的视频，包括视频中每一帧的图像。
步骤102中，对所述每一帧图像的灰度阈值进行迭代求解，从而缩小所述每一帧图像的灰度阈值范围，并通过缩小后的每一帧图像的阈值范围确定每一帧图像的最终阈值。
步骤103中，根据所述每一帧图像的最终阈值对应将所述每一帧图像进行分割得到最终背景与最终前景。
步骤104中，根据所述最终前景得到桥梁动挠度变化。
对于检测获得的每一帧图像，都需要单独对光斑自身的像素点进行计算，再通过不同帧数图像上光斑中心的位移，从而得到LED标靶的位移，因此需要将每一帧图像中的光斑和除去光斑的其他位置相分离，准确地找出每一帧图像中光斑的像素点，本实施例中将光斑称为前景，除去光斑以外的位置称为背景。
所述阈值即为前景与背景之间的临界灰度值，大于等于该阈值的灰度值对应的像素点归为前景，小于该阈值的灰度值对应的像素点归为背景；所述灰度阈值范围即为阈值存在的范围区间。
如图2所示，为无干扰光斑图像和无干扰光斑灰度图，所述无干扰光斑灰度图的X轴为灰度值，Y轴为灰度值对应的像素点的数量，根据无干扰光斑灰度图可以看到峰值集中于灰度值较低的位置，其像素点数量超过3000，即代表图中大部分的黑色的背景，而在灰度值较高的位置存在一个较低的峰值，即代表无干扰光斑图像中少部分的白色前景，可以看到两处峰值位置集中，说明整个无干扰光斑图像的全部像素点中绝大部分只有前景与背景两种灰度，前景与背景之间轮廓分明，基本可以准确识别出光斑；而本图像的所述灰度阈值范围即为左右两侧的两个峰值之间的，像素点数量极少的灰度值的范围，再通过本实施例的迭代对该灰度阈值范围缩小，从而得出准确的最终阈值。
如图3所示，为雾气干扰光斑图像和雾气干扰光斑图像灰度图，所述雾气干扰光斑灰度图的X轴为灰度，Y轴为灰度值对应的像素点的数量，根据雾气干扰光斑灰度图可以看出，在灰度值较低的位置的最大峰值对应的像素点数量仅超过1200，相比于无干扰光斑灰度图中的最大峰值大大减少，除开灰度图最右侧代表前景的峰值，代表背景的最高峰值的右侧还有多个其他峰值，所述多个其他峰值就是雾气干扰光斑图像中光斑周边的干扰位置，这些干扰位置存在一定亮度，灰度值低于光斑灰度但高于背景灰度，因此这些灰度值不能被纳入进灰度阈值范围内，本图像的灰度阈值范围即为中间靠右位置的像素点数量极少的灰度值区间，再通过本实施例的迭代对该灰度阈值范围缩小，从而得出准确的最终阈值。
现有技术中，常与灰度质心法搭配使用的OTSU法被认为是图像分割中阈值选取的最佳算法之一，计算简单，并且不受图像亮度和对比度的影响，因此在数字图像处理上得到了广泛的应用。但在面对伪影、强光干涉和雾气干扰等问题时，光斑图像通过OTSU法无法正确的提取到光斑，这是因为在LED标靶成像过程中的伪影，强光干扰，雾气等因素会产生介于较暗背景与较亮的光斑之间的中间灰度值，而OTSU法求阈值时所依赖的类间方差公式中大部分系数与灰度值概率有关，即某一部分像素越多，对类间方差影响越大，而光斑像素个数相对较少，在受到中间灰度影响时，只进行一次阈值计算会将一部分中间灰度背景错分为前景光斑，并且现有技术中通常将灰度阈值范围设置为整个灰度区间，即0到255，在整个区间内计算阈值，这样一来计算效率较慢，二来将干扰区域的灰度值也纳入计算范围内，导致最终阈值出错，将前景和背景错误分割，影响最终的测量结果。
本实施例在进行夜间桥梁动挠度测量的过程中，先设置LED标靶进行录制，逐帧获取图像，对每一帧图像的灰度阈值范围进行迭代，在多轮迭代中缩小灰度阈值范围，多次对前景像素求阈值来逼近真正的阈值，找到更准确的图像中前景与背景之间的阈值，从而对前景与背景进行准确分割，避免由于环境因素导致光斑提取产生误差，使得桥梁动挠度测量结果更加准确。
由于除开光斑发生位移以及外界干扰出现、消失的那几帧以外，相邻帧数的图像上的光斑基本不会有较大差别，因此为了节省迭代过程中的算力，可以将变化不大的相邻帧数图像的初始阈值视为一致，并在此基础上进行迭代来缩小灰度阈值范围，因此本实施例设计以下设计：
所述迭代的流程如图4所示，如下：
步骤401中，获取第i帧图像和第i-1帧图像，以及第i帧图像的灰度直方图Hi和第i-1帧图像的灰度直方图Hi-1。
步骤402中，判断所述Hi同所述Hi-1之间的关系系数d(Hi-1，Hi)是否大于预设系数；若是，则跳转至步骤403，若不是，跳转至步骤404。
步骤403中，当所述关系系数大于所述预设系数，则将第i帧图像的初始阈值thi设为第i-1帧图像的最终阈值，并跳转至步骤405。
步骤404中，当所述关系系数小于或者等于所述预设系数，则第i帧图像的初始阈值thi设为0，并跳转至步骤409。
获取第i帧图像，当i=1时，将第i帧图像的初始阈值thi设为0；当i＞1时，获取第i帧图像的灰度直方图Hi和第i-1帧图像的灰度直方图Hi-1。
其中，本实施例中所述预设系数为0.95，当相邻两帧图像的相关系数大于0.95时，代表所述相邻两帧图像的光斑基本一致，后一帧的初始阈值thi能够沿用上一帧图像的最终阈值，避免将初始阈值从0开始迭代，提高了迭代效率，并在此阈值的基础上进行进一步迭代来缩小灰度阈值范围，得到更精确的阈值；而当相邻两帧图像的相关系数小于或等于0.95时，说明该相邻两帧图像的光斑发生了较大变化，此时需要将初始阈值设定为0开始迭代。
所述Hi同所述Hi-1之间的关系系数的计算公式如下：
；
其中，所述d(Hi-1，Hi)为Hi同所述Hi-1之间的关系系数，，，N为图像像素点个数，I为图像所有像素点坐标的集合。
每一轮迭代流程如下：
步骤405中，根据所述初始阈值thi将所述第i帧图像进行阈值分割得到初始前景。
步骤406中，判断所述初始前景是否符合第一判断条件，若是，跳转至步骤407，若不是，跳转至步骤409。
步骤407中，判断所述初始前景是否符合第二判断条件，若是，跳转至步骤408，若不是，跳转至步骤409。
步骤408中，将初始阈值thi作为最终阈值输出。
步骤409中，根据第i帧图像的灰度直方图Hi以及初始阈值thi得到第i帧图像的穷举灰度范围OTSUgray。
步骤410中，根据所述穷举灰度范围OTSUgray得到第i帧图像的更新阈值thnew。
步骤411中，将初始阈值更新为thi=thnew，并跳转至步骤405。
其中，所述第一判断条件为：根据所述初始前景得到所述光斑圆形度，判断所述光斑圆形度是否小于预设数值；这是由于光斑多为圆形或椭圆，因此将阈值化后的初始前景圆形度作为迭代停止条件，在前景为圆形或椭圆形时代表得到正确的前景图像。
所述光斑圆形度公式如下：
；
其中：F为初始前景周长，A为初始前景面积；当前景像素为理想圆时，roundness=1。
此外，为防止伪影、强光和雾气干扰像素分布于光斑周围，导致误判，增加了帧间面积一致性约束，即认为前后帧光斑不会发生很大变化。若图像圆形度满足要求，但前景面积与上一帧相差较大，即认为发生误判，继续对前景像素求阈值迭代，此时迭代终止条件变为前景面积与上一帧面积相近。
所述第二判断条件，根据所述第i帧图像的初始前景得到第i帧图像的光斑面积Ai，并判断所述第i帧图像的光斑面积Ai是否小于第i-1帧图像的光斑面积Ai-1的预设倍数。
当所述第一判断条件和第二判断条件都满足后，即认为得到了正确的光斑图像阈值。
通过上述对于图2和图3的说明可知，前景与背景之间的临界灰度值所对应的像素点极少，因此可以获取整个图像中像素点占比少于一定比例的灰度值，从而得到灰度阈值范围，最终阈值必然在处于该灰度阈值范围内，因此本实施例涉及以下设计：
所述根据第i帧图像的灰度直方图Hi以及初始阈值thi得到第i帧图像的穷举灰度范围OTSUgray，具体包括：
取得所述第i帧图像的灰度直方图Hi中像素数量占比小于预设比例的所有灰度值，所述取得的所有灰度值中的最大灰度值为img_graymax，所述取得的所有灰度值中的最小灰度值为img_graymin，将所述img_graymin同所述第i帧图像的初始阈值thi比较，当所述img_graymax大于所述thi时，所述img_graymin保持不变，当所述img_graymin小于或等于所述thi时，则令img_graymin=thi，得到所述第i帧图像的穷举灰度范围OTSUgray，所述OTSUgray如下：
。
本实施例中所述预设比例为0.2%，即像素点数量占比低于0.2%的灰度值都可能是该图像的最终阈值，这些灰度值中的最大灰度值即为穷举灰度范围的上限img_graymax，而这些灰度值中的最小灰度值可能会小于初始阈值thi，初始阈值thi本身用于在条件判断前进行前景和背景的分割，后续迭代过程中灰度阈值范围的最小值只会比初始阈值thi大，因此当按照预设比例选出的灰度值中的最小灰度值小于初始阈值thi，该最小灰度值不予采用，而是选择初始阈值thi作为穷举灰度范围的下限img_graymin。
获得穷举灰度范围后，再通过遍历该范围中的所有灰度找到更新阈值thnew，因此本实施例涉及以下设计：
所述根据所述穷举灰度范围得到第i帧图像的更新阈值thnew，具体包括：
遍历 并带入目标函数公式，当目标函数取最大值时，对应的灰度值th即为所述第i帧图像的更新阈值thnew；
所述目标函数公式为：
；
其中：为目标函数；所述/>，为所述第i帧图像的初始前景像素灰度均值；所述L为灰度值最大值；所述/>为所述第i帧图像的初始前景像素中灰度值为i的概率；所述/>，为第i帧图像的初始前景像素中灰度值小于th的像素点概率；所述，为第i帧图像的初始前景像素中灰度值大于th的像素点概率；所述，为第i帧图像的初始前景像素中灰度值小于th的像素点灰度均值；所述，为第i帧图像的初始前景像素中灰度值大于th的像素点方差；所述/>，为第i帧图像的初始前景像素中灰度值大于th的像素点灰度均值。
所述目标函数公式是在OTSU法类间方差公式上进行改进得到的，通过分析光斑的灰度直方图可知，正确分割得到的光斑像素点亮度均匀，灰度值相差较小，即前景类间方差最小，因此在最大类间方差的基础上结合前景类内方差最小的假设得到了更加适合于光斑图像的目标函数。
得到更新阈值thnew后，将初始阈值thi设为thnew，并进入下一轮迭代，直至初始阈值thi分割得到的前景光斑同时满足第一判断条件和第二判断条件，即代表该初始阈值thi为最终阈值。
由于直接得到的视频图像往往噪点较多，前景与背景之间锐化度不够，界限不够分明，会对后续测量造成干扰，因此本实施例设计以下设计：
所述在桥梁测点预设位置设置LED标靶，得到第一预设图像集合，还包括：
对所述第一预设图像集合进行双边滤波降噪，从而将所述第一预设图像集合中的每一帧图像进行降噪锐化，减少每一帧图像中前景与背景之间的干扰；
所述双边滤波降噪公式为：
；
；
其中，所述K(i,j)为进行双边滤波降噪后输出的图像，所述I(i,j)为原始输入图像，所述W(i,j)为归一化参数，所述为像素点周围的5x5邻域范围，所述Ws(i,j)为空间邻近度权值，所述Wr(i,j)为灰度相似度权值，其中：
；
；
其中，所述为空间域因子，所述/>为灰度域因子，所述空间域因子通过像素点的邻域半径来表示，所述灰度域因子通过邻域灰度标准差来表示；所述f(i,j)为图像点灰度值，所述f(x,y)为图像坐标；所述f(x,y)为所述图像点f(i,j)的5x5邻域点灰度值，所述x和y为所述图像点f(i,j)的5x5邻域点图像坐标。
当通过所述最终阈值将每一帧图像分割为最终前景和最终背景后，还需要将最终前景对应为光斑中心，通过该光斑中心的位移来代表整个光斑的位移，因此本实施例还涉及以下设计：
根据所述每一帧图像的最终前景获得每一帧图像的光斑中心，根据所述光斑中心的位移得到桥梁测点像素位移。
本实施例通过灰度质心法求最终阈值分割后的前景的光斑中心，公式如下：
；
其中，所述Iij为像素坐标(i,j)处的灰度值，所述m为图像水平方向的像素点个数，所述n为竖直方向的像素点个数，所述x和y为光斑中心的坐标。
得到所述光斑中心后，获得光斑中心的位移量，但由于之前的所有计算都是在图像尺寸上进行的，并非桥梁的实际尺寸，因此还需要根据比例进行还原，故本实施例还涉及以下设计：
通过所述LED标靶大小得到测点比例因子，所述桥梁测点像素位移通过所述比例因子计算得到桥梁测点实际位移，从而得到桥梁动挠度变化。
通过LED标靶大小得到测点比例因子公式具体如下：
；
其中，所述dknown为LED标靶实际尺寸；所述Iknown为LED标靶实际尺寸在图像上对应的像素长度。
根据所述测点比例因子将光斑中心的位移量进行还原，从而得到桥梁实际的动挠度。
对无干扰、强光干涉和雾气干扰的光斑图像传统OTSU法错误的阈值分割与迭代OTSU法正确的阈值分割结果分别如图5和图6所示。
实施例2:
本发明实施例2提供了一种基于LED标靶的夜间桥梁动挠度测量方法，在实施例1的基础上，于实际情景展现该方法在振动测量过程中的运用。
基于LED标靶的结构振动视觉测量方法流程图如附图7所示，先对振动视频进行双边滤波降噪，之后根据LED标靶位置选取感兴趣区域（Region of Interest，简写为：ROI），然后基于感兴趣区域使用所提出的迭代OTSU法结合灰度质心法计算得到LED标靶像素位移，之后通过已知LED标靶大小计算测点比例因子，最后把LED标靶像素位移通过比例因子转换为实际位移，最后通过比例因子将LED标靶像素位移转换为实际位移，得到桥梁测点动挠度变化。
下面以简支梁模型的振动测量为例，说明本发明所提供方法在桥梁动挠度测量中的应用。
对一个一端固定、一端自由、悬臂长96cm并且截面高度2cm的简支梁，通过固定在悬臂梁自由端的离心电机施加外激励，LED标靶固定于距离自由端28cm的位置，然后使用单反相机平行拍摄悬臂梁结构振动视频，物距2m，悬臂梁结构与LED标靶位置示意图如附图8所示，视频帧率为60fps，图像为1280720的尺寸大小。
实验共设置三种工况：
工况一：无干扰，工况二：强光干涉，工况三：雾气干扰；对振动视频分别使用OTSU法和迭代OTSU法进行阈值化后计算位移提取结果，并与激光位移传感器数据进行对比，并计算均值误差（AFSE）和标准均方根误差（NRMSE），计算公式如下：
；
；
其中：xi为视觉传感数据，yi为激光位移传感器数据，ymax为激光位移传感器数据最大值，ymin激光位移传感器数据最大、最小值，n为数据量。
工况一、工况二和工况三的LED标靶动挠度测量结果分别如图9、图10和图11所示；误差计算结果如图12所示；结果表明，在引入强光与雾气的不利条件后，OTSU法动挠度测量结果逐渐偏移实际值，而所本实施例提出的迭代OTSU法则能够准确提取LED标靶位移，测量结果与激光位移传感器一致。
本实施例提供的一种基于LED标靶的夜间桥梁动挠度测量方法，有益效果包括：
在提取光斑位移过程中，能够消除强光干涉、伪影、雾气干扰等不利条件对光斑图像的影响，计算得到正确的阈值，成功跟踪LED标靶位移。本发明所提出的方法计算简洁、应用方便，可以准确地计算得到夜间桥梁动挠度变化曲线。
实施例3:
如图13所示，是本发明实施例的基于LED标靶的夜间桥梁动挠度测量装置的装置示意图。本实施例的基于LED标靶的夜间桥梁动挠度测量装置包括一个或多个处理器81以及存储器82。其中，图13中以一个处理器81为例。
处理器81和存储器82可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器82作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序和非易失性计算机可执行程序，如上述实施例中的基于LED标靶的夜间桥梁动挠度测量方法。处理器81通过运行存储在存储器82中的非易失性软件程序和指令，从而执行基于LED标靶的夜间桥梁动挠度测量方法。
存储器82可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器82可选包括相对于处理器81远程设置的存储器，这些远程存储器可以通过网络连接至处理器81。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器82中，当被所述一个或者多个处理器81执行时，执行上述实施例中的基于LED标靶的夜间桥梁动挠度测量方法，例如，执行以上描述的图1至图12所示的各个步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于LED标靶的夜间桥梁动挠度测量方法，其特征在于，包括：
在桥梁测点位置设置LED标靶，得到第一预设图像集合，并获得所述第一预设图像集合的每一帧图像；
对所述每一帧图像的灰度阈值进行迭代求解，从而缩小所述每一帧图像的灰度阈值范围，并通过缩小后的每一帧图像的阈值范围确定每一帧图像的最终阈值；
获取第i帧图像，当i=1时，第i帧图像的初始阈值thi设为0；当i＞1时，获取第i帧图像的灰度直方图Hi和第i-1帧图像的灰度直方图Hi-1，判断所述Hi同所述Hi-1之间的关系系数是否大于预设系数，当所述关系系数大于所述预设系数时，则第i帧图像的初始阈值thi设为第i-1帧图像的最终阈值，若所述关系系数小于或者等于所述预设系数，则第i帧图像的初始阈值thi设为0；
每一轮迭代中，根据所述初始阈值thi将所述第i帧图像进行阈值化得到初始前景，判断所述初始前景是否符合第一判断条件和第二判断条件，当不符合所述第一判断条件和第二判断条件中的一个或者多个时，则根据第i帧图像的灰度直方图Hi以及初始阈值thi得到第i帧图像的穷举灰度范围OTSUgray，并根据所述穷举灰度范围OTSUgray得到第i帧图像的更新阈值thnew，将初始阈值更新为thi=thnew，将更新后的初始阈值thi输入至下一轮迭代中，直至所述初始前景同时满足第一判断条件和第二判断条件时，将初始阈值thi作为第i帧图像最终阈值输出；
根据所述每一帧图像的最终阈值对应将所述每一帧图像进行分割得到最终前景；
根据所述最终前景得到桥梁动挠度变化。
2.根据权利要求1所述的基于LED标靶的夜间桥梁动挠度测量方法，其特征在于，所述Hi同所述Hi-1之间的关系系数的计算公式如下：
；
其中，所述d(Hi-1，Hi)为Hi同所述Hi-1之间的关系系数，，N为图像像素点个数，I为图像所有像素点坐标的集合。
3.根据权利要求1所述的基于LED标靶的夜间桥梁动挠度测量方法，其特征在于，所述判断所述初始前景是否符合第一判断条件和第二判断条件，具体包括：
所述第一判断条件为：根据所述初始前景得到光斑圆形度，判断所述光斑圆形度是否小于预设数值；
所述第二判断条件为：根据所述第i帧图像的初始前景得到第i帧图像的光斑面积Ai，根据所述第i-1帧图像的最终前景得到第i-1帧图像的光斑面积Ai-1，并判断所述第i帧图像的光斑面积Ai是否小于第i-1帧图像的光斑面积Ai-1的预设倍数。
4.根据权利要求1所述的基于LED标靶的夜间桥梁动挠度测量方法，其特征在于，所述根据第i帧图像的灰度直方图Hi以及初始阈值thi得到第i帧图像的穷举灰度范围OTSUgray，具体包括：
取得所述第i帧图像的灰度直方图Hi中像素数量占比小于预设比例的所有灰度值，所述取得的所有灰度值中的最大灰度值为img_graymax，所述取得的所有灰度值中的最小灰度值为img_graymin，将所述img_graymin同所述第i帧图像的初始阈值thi比较，当所述img_graymax大于所述thi时，所述img_graymin保持不变，当所述img_graymin小于或等于所述thi时，则令img_graymin=thi，得到所述第i帧图像的穷举灰度范围OTSUgray，所述OTSUgray如下：
。
5.根据权利要求4所述的基于LED标靶的夜间桥梁动挠度测量方法，其特征在于，所述根据所述穷举灰度范围得到第i帧图像的更新阈值thnew，具体包括：
遍历所述第i帧图像的穷举灰度范围并带入目标函数公式，当目标函数取最大值时，对应的灰度值th即为所述第i帧图像的更新阈值thnew；
所述目标函数公式为：
；
其中：为目标函数；所述/>，为所述第i帧图像的初始前景像素灰度均值；所述L为灰度值最大值；所述/>为所述第i帧图像的初始前景像素中灰度值为i的概率；所述/>，为第i帧图像的初始前景像素中灰度值小于th的像素点概率；所述，为第i帧图像的初始前景像素中灰度值大于th的像素点概率；所述，为第i帧图像的初始前景像素中灰度值小于th的像素点灰度均值；所述，为第i帧图像的初始前景像素中灰度值大于th的像素点方差；所述/>，为第i帧图像的初始前景像素中灰度值大于th的像素点灰度均值。
6.根据权利要求1所述的基于LED标靶的夜间桥梁动挠度测量方法，其特征在于，所述在桥梁测点位置设置LED标靶，得到第一预设图像集合，还包括：
对所述第一预设图像集合进行双边滤波降噪，从而将所述第一预设图像集合中的每一帧图像进行降噪锐化，减少每一帧图像中前景与背景之间的干扰；
所述双边滤波降噪公式为：
；
；
其中，所述K(i,j)为进行双边滤波降噪后输出的图像，所述I(i,j)为原始输入图像，所述W(i,j)为归一化参数，所述为像素点周围的5x5邻域范围，所述Ws(i,j)为空间邻近度权值，所述Wr(i,j)为灰度相似度权值，其中：
；
；
其中，所述为空间域因子，所述/>为灰度域因子，所述空间域因子通过像素点的邻域半径来表示，所述灰度域因子通过邻域灰度标准差来表示；所述f(i,j)为图像点灰度值，所述i和j为图像坐标；所述f(x,y)为所述图像点f(i,j)的5x5邻域点灰度值，所述x和y为所述图像点f(i,j)的5x5邻域点图像坐标。
7.根据权利要求1所述的基于LED标靶的夜间桥梁动挠度测量方法，其特征在于，所述根据所述最终前景得到桥梁动挠度变化包括：
根据所述每一帧图像的最终前景获得每一帧图像的光斑中心，根据所述光斑中心的位移得到桥梁测点像素位移；
通过所述LED标靶大小得到测点比例因子，所述桥梁测点像素位移通过所述比例因子计算得到桥梁测点实际位移，从而得到桥梁动挠度变化。
8.根据权利要求7所述的基于LED标靶的夜间桥梁动挠度测量方法，其特征在于，所述根据所述每一帧图像的最终前景获得每一帧图像的光斑中心，公式如下：
；
其中，所述i和j为像素坐标，所述Iij为像素坐标(i,j)处的灰度值，所述m为图像水平方向的像素点个数，所述n为竖直方向的像素点个数，所述x和y为光斑中心的坐标；
所述通过所述LED标靶大小得到测点比例因子，公式如下：
；
其中，所述SF为测点比例因子，所述dknown为LED标靶实际尺寸；所述Iknown为LED标靶实际尺寸在图像上对应的像素长度。
9.一种基于LED标靶的夜间桥梁动挠度测量装置，其特征在于，包括至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行权利要求1-8中任一项所述的基于LED标靶的夜间桥梁动挠度测量方法。
CN202310581503.1A 2023-05-23 2023-05-23 一种基于led标靶的夜间桥梁动挠度测量方法与装置 Active CN116309672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310581503.1A CN116309672B (zh) 2023-05-23 2023-05-23 一种基于led标靶的夜间桥梁动挠度测量方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310581503.1A CN116309672B (zh) 2023-05-23 2023-05-23 一种基于led标靶的夜间桥梁动挠度测量方法与装置

Publications (2)

Publication Number Publication Date
CN116309672A CN116309672A (zh) 2023-06-23
CN116309672B true CN116309672B (zh) 2023-08-01

Family

ID=86820785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310581503.1A Active CN116309672B (zh) 2023-05-23 2023-05-23 一种基于led标靶的夜间桥梁动挠度测量方法与装置

Country Status (1)

Country Link
CN (1) CN116309672B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446483A (zh) * 2008-12-30 2009-06-03 重庆大学 光电跟踪宏像素迭代质心法
WO2017113146A1 (zh) * 2015-12-28 2017-07-06 苏州中启维盛机器人科技有限公司 光斑成像装置
EP3712841A1 (en) * 2019-03-22 2020-09-23 Ricoh Company, Ltd. Image processing method, image processing apparatus, and computer-readable recording medium
WO2022141178A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 图像处理方法及装置
CN115205317A (zh) * 2022-09-15 2022-10-18 山东高速集团有限公司创新研究院 一种桥梁监测光电标靶图像光斑中心点提取方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6693646B1 (en) * 1999-04-28 2004-02-17 Microsoft Corporation Method and system for iterative morphing
JP2016084579A (ja) * 2014-10-23 2016-05-19 国立研究開発法人産業技術総合研究所 構造物のたわみ量分布監視方法及び監視装置
CN108286948A (zh) * 2017-01-09 2018-07-17 南京理工大学 一种基于图像处理的桥梁挠度检测方法
CN106952269B (zh) * 2017-02-24 2019-09-20 北京航空航天大学 近邻可逆的视频前景物体序列检测分割方法及***
KR101917619B1 (ko) * 2018-02-23 2018-11-13 (주)카이센 교량 처짐 계측 시스템
CN108775872A (zh) * 2018-06-26 2018-11-09 南京理工大学 基于自动变焦实时图像处理的桥梁挠度检测方法
CN115797411B (zh) * 2023-01-17 2023-05-26 长江勘测规划设计研究有限责任公司 一种利用机器视觉在线识别水电站电缆桥架形变的方法
CN116124393A (zh) * 2023-02-16 2023-05-16 武汉地震工程研究院有限公司 一种离轴测量时桥梁多点动挠度测量方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446483A (zh) * 2008-12-30 2009-06-03 重庆大学 光电跟踪宏像素迭代质心法
WO2017113146A1 (zh) * 2015-12-28 2017-07-06 苏州中启维盛机器人科技有限公司 光斑成像装置
EP3712841A1 (en) * 2019-03-22 2020-09-23 Ricoh Company, Ltd. Image processing method, image processing apparatus, and computer-readable recording medium
WO2022141178A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 图像处理方法及装置
CN115205317A (zh) * 2022-09-15 2022-10-18 山东高速集团有限公司创新研究院 一种桥梁监测光电标靶图像光斑中心点提取方法

Also Published As

Publication number Publication date
CN116309672A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN109272489B (zh) 基于背景抑制与多尺度局部熵的红外弱小目标检测方法
CN111681197B (zh) 一种基于Siamese网络结构的遥感图像无监督变化检测方法
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
US7526140B2 (en) Model-based localization and measurement of miniature surface mount components
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
EP2079054A1 (en) Detection of blobs in images
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及***
CN113313107B (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN115171218A (zh) 一种基于图像识别技术的物资送样异常行为识别***
CN116563262A (zh) 基于多模态的建筑裂缝检测算法
Zhixin et al. Adaptive centre extraction method for structured light stripes
CN113705433A (zh) 一种基于可见光航拍图像的电力线检测方法
CN116309672B (zh) 一种基于led标靶的夜间桥梁动挠度测量方法与装置
KR101129220B1 (ko) 레인지 영상의 노이즈 제거장치 및 방법
CN109784229B (zh) 一种地面建筑物数据融合的复合识别方法
CN112084957A (zh) 一种移动目标滞留检测方法及***
CN113834447B (zh) 一种户外复杂环境下高动态激光光条自适应成像处理方法
CN115690190B (zh) 基于光流图像和小孔成像的运动目标检测与定位方法
CN111473944B (zh) 观测流场中存在复杂壁面的piv数据修正方法、装置
Huang et al. Tracking camouflaged objects with weighted region consolidation
CN111062887B (zh) 基于改进的Retinex算法的图像清晰度判定方法
CN113469038A (zh) 一种摔倒检测方法、装置和摔倒检测设备
CN117115174B (zh) 一种钳子外形自动检测方法及***
CN113487502B (zh) 一种坑洼图像的阴影去除方法
CN118097581B (zh) 一种道路边缘识别控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant