CN116433894A - 一种仪表盘指针的识别方法及识别装置 - Google Patents
一种仪表盘指针的识别方法及识别装置 Download PDFInfo
- Publication number
- CN116433894A CN116433894A CN202310330257.2A CN202310330257A CN116433894A CN 116433894 A CN116433894 A CN 116433894A CN 202310330257 A CN202310330257 A CN 202310330257A CN 116433894 A CN116433894 A CN 116433894A
- Authority
- CN
- China
- Prior art keywords
- pointer
- instrument panel
- image
- frame
- expected value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 238000009877 rendering Methods 0.000 claims abstract description 51
- 230000000694 effects Effects 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000007621 cluster analysis Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000035772 mutation Effects 0.000 claims description 3
- 238000012797 qualification Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 238000003064 k means clustering Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种仪表盘指针的识别方法及识别装置。该识别方法包括如下步骤:根据仪表盘的预设信息,设置仪表盘预期值和识别区域,并设置感兴趣区域的内容;采集待测仪表盘的图像,并对采集后的图像进行处理;对滤除非感兴趣区域的内容后的图像进行仪表盘读数圆环信息、指针信息、仪表盘显示数值中的一种或多种检测;汇总所有检测结果,形成最终检测报告并输出给检测人员,以供其对结果进行分析。本发明通过帧间差分方法对指针附近颜色渲染效果进行检测,弥补了现有技术中对颜色渲染效果进行自动化检测的空缺,降低了人工检测的成本,并且自动化检测相比于人眼检测,大幅提高了检测的准确性和泛化性。
Description
技术领域
本发明涉及一种仪表盘指针的识别方法,同时也涉及相应的识别装置,属于图像识别技术领域。
背景技术
在现有技术中,通常在显示屏上显示仪表盘内容以便于使用者观看。例如,在汽车的控制台上显示仪表盘或其他信息,可以获得良好的用户使用体验。随着近年来渲染技术不断在汽车仪表盘上的应用,液晶仪表盘作为汽车***的关键组件之一。如何检测汽车仪表盘的显示正确与否、如何检测其动态显示是否流畅以及显示的指针是否符合预期,成为汽车仪表盘检测的难题。
在公开号为CN104197900A的中国专利申请中,公开了一种汽车仪表指针刻度识别方法。该方法首先根据汽车仪表彩色运动指针的颜色特征,利用HSI颜色空间中的色调提取方法提取出运动指针;然后通过改进差分算法消除仪表背景中与运动指针同颜色的像素,提取出运动指针;接着利用交线法确定运动指针的旋转中心并判断出运动指针指向;最后利用角度法计算出运动指针读数。该方法省去了图像前期处理时的大量运算,减少了图像原始信息的丢失,并提高了运动指针的识别速度与精度。
另外,在公开号为CN111382738A的中国专利申请中,公开了一种指针式仪表的读数方法及装置。该方法包括如下步骤:将待读数的指针式仪表图像输入至预先训练的指针式仪表指针检测模型,以识别指针所处的位置;根据指针所处的位置建立坐标系,并根据指针在坐标系中的位置,计算出指针在坐标系中偏转的角度;根据预先获取的指针式仪表的参数信息以及指针在坐标系中偏转的角度,确定出待读数的指针式仪表图像的读数。
发明内容
本发明所要解决的首要技术问题在于提供一种仪表盘指针的识别方法。
本发明所要解决的另一技术问题在于提供一种仪表盘指针的识别装置。
为实现上述技术目的,本发明采用以下的技术方案:
根据本发明实施例的第一方面,提供一种仪表盘指针的识别方法,包括如下步骤:
S1:根据仪表盘的预设信息,设置仪表盘预期值和识别区域,并设置感兴趣区域的内容;
S2:采集待测仪表盘的图像,并对采集后的图像进行处理;
S3:对滤除非感兴趣区域的内容后的图像进行仪表盘读数圆环信息、指针信息、仪表盘显示数值中的一种或多种检测;
S4:汇总步骤S3中所有检测结果,形成最终检测报告并输出给检测人员,以供其对结果进行分析。
其中较优地,对待测仪表盘的图像进行逐帧采集,并将非感兴趣区域的内容滤除,保留所有图像中的第一感兴趣区域的内容,再对最后一帧图像单独保存一张第二感兴趣区域的内容。
其中较优地,步骤S3还包括:
S31:根据仪表盘读数圆环背景颜色预期值、仪表盘读数圆环位置预期值,对滤除非第一感兴趣区域的内容后的图像进行仪表盘读数圆环信息检测,并输出检测结果;
S32:根据预设信息中的指针颜色,通过逐帧检测的方法对指针颜色进行聚类分析,判断指针颜色动态变化趋势并进行方差统计,输出检测结果;
当逐帧检测的聚类中心占比的变化趋势发生改变时,则指针颜色动态变化趋势不合理;当逐帧检测的聚类中心占比的变化趋势未发生改变时,则指针颜色动态变化趋势合理;
当聚类中心的占比方差小于等于0.05时或聚类中心的RGB数值方差小于等于0.05时,则指针颜色动态变化没有发生突变;当聚类中心的占比方差大于0.05时或聚类中心的RGB数值方差大于0.05时,则指针颜色动态变化发生突变;
S33:根据指针显示位置预期值、指针附近颜色渲染效果预期值,对滤除非第一感兴趣区域的内容后的图像进行指针显示位置、指针附近颜色渲染效果检测,并输出检测结果;
若在第一感兴趣区域范围内出现指针,则符合指针显示位置预期值,输出检测结果为指针显示位置合格报告;若在第一感兴趣区域范围内没有出现指针,则不符合指针显示位置预期值,输出检测结果为指针显示位置不合格报告;
S34:根据指针最终位置预期值,对滤除非第一感兴趣区域的内容后的图像中的最后一帧图像进行指针最终位置检测,并输出检测结果;
若指针读数符合指针最终位置预期值,则输出指针最终位置合格报告;若指针读数不符合指针最终位置预期值,则输出指针最终位置不合格报告;
S35:根据仪表盘显示数值预期值,对滤除非第二感兴趣区域的内容后的图像中的最后一帧图像进行仪表盘显示数值检测,并输出检测结果;
若识别到的数值符合仪表盘显示数值预期值,则输出检测结果为仪表盘显示数值合格报告;若识别到的数值不符合仪表盘显示数值预期值,则输出检测结果为仪表盘显示数值不合格报告。
其中较优地,在步骤S33中通过帧间差分方法对指针附近颜色渲染效果是否符合指针附近颜色渲染效果预期值进行检测。
其中较优地,所述帧间差分方法包括逐帧差分和原始帧差分。
其中较优地,在步骤S34中使用滤除非第一感兴趣区域的内容后的图像中的最后一帧图像,以预设的仪表盘中心为坐标原点建立直角坐标系,检测最后一帧图像中指针位置,根据建立的直角坐标系得到最后一帧图像中指针的坐标,再根据坐标确定指针所在的象限,并将坐标与原点连接,得到连线与计算连线的斜率,即指针读数,检测其位置是否符合指针最终位置预期值;
其中,指针读数的计算方法如下:
其中,N为指针读数,M为所述仪表盘的量程,α为指针与零刻度线间的夹角;θ为仪表盘的零刻度线与y轴的夹角,也为仪表盘的满刻度线与y轴的夹角,则2θ为仪表盘的零刻度线与满刻度线之间的夹角;360°-2θ为指针在满量程时对应的角度。
根据本发明实施例的第二方面,提供一种仪表盘指针的识别装置,包括图像采集装置、图像处理装置和控制器,其中,所述控制器配置为用于执行如前述的仪表盘指针的识别方法。
与现有技术相比较,本发明通过帧间差分方法对指针附近颜色渲染效果进行检测,弥补了现有技术中对颜色渲染效果进行自动化检测的空缺,降低了人工检测的成本,并且自动化检测相比于人眼检测,大幅提高了检测的准确性和泛化性。
附图说明
图1为本发明实施例提供的仪表盘指针的识别方法的流程图;
图2(a)和图2(b)为本发明实施例中,待测仪表盘的感兴趣区域示意图;
图3为本发明实施例中,K均值聚类算法计算结果图;
图4为本发明实施例中,指针附近颜色渲染效果示意图、逐帧差分示意图、原始帧差分示意图;
图5为本发明实施例中,仪表盘中心为坐标原点的直角坐标系示意图;
图6为本发明实施例中,非圆形仪表盘的示意图;
图7为本发明实施例中,仪表盘指针的识别装置示意图;
图8为本发明实施例中,用于实现仪表盘指针的识别方法的电子设备示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
<第一实施例>
如图1所示,本发明的第一实施例公开了一种仪表盘指针的识别方法,包括如下步骤:
S1:根据仪表盘的预设信息,设置仪表盘预期值、识别区域,并设置感兴趣区域(Region of Interest,简写为ROI)内容。
其中,预设信息包括仪表盘中心、指针颜色、数值显示位置。
其中,仪表盘预期值包括:仪表盘读数圆环信息预期值、指针信息预期值、仪表盘显示数值预期值。
其中,仪表盘读数圆环信息预期值包括仪表盘读数圆环背景颜色预期值、仪表盘读数圆环位置预期值。
其中,仪表盘读数圆环位置预期值为仪表盘读数圆环***到仪表盘中心的半径减去仪表盘读数圆环内围到仪表盘中心的半径。
其中,指针信息预期值包括指针显示位置预期值、指针附近颜色渲染效果预期值、指针最终位置预期值。
其中,识别区域可为扇形区域。
如图2(a)和图2(b)所示,其中,感兴趣区域包括第一感兴趣区域1、第二感兴趣区域2。
其中,第一感兴趣区域1的内容包括:仪表盘读书圆环信息1、指针信息2;第二感兴趣区域2的内容包括:仪表盘显示数值。
其中,仪表盘读数圆环信息包括仪表盘读数圆环的背景颜色、仪表盘读数圆环位置。
其中,指针信息包括指针显示位置、指针附近颜色渲染效果、指针最终位置。
S2:采集待测仪表盘的图像,并对采集后的图像进行处理。
对待测仪表盘的图像进行逐帧采集,并将非感兴趣区域的内容滤除,保留所有图像中的第一感兴趣区域1的内容,再对最后一帧图像单独保存一张第二感兴趣区域2的内容。
可选的,通过低电压差分信号(Low-Voltage Differential Signaling,简写为LVDS)协议和/或摄像机拍摄对待测仪表盘的图像进行逐帧采集。
其中,使用摄像机对图像进行逐帧采集时,摄像机与仪表盘需形成刚性连接,即摄像机和待测仪表盘的相对位置固定且不会发生偏移。
S3:对滤除非感兴趣区域的内容后的图像进行仪表盘读数圆环信息、指针信息、仪表盘显示数值中的一种或多种检测,具体包括步骤S31~S34。
S31:根据仪表盘读数圆环背景颜色预期值、仪表盘读数圆环位置预期值,对滤除非第一感兴趣区域1的内容后的图像进行仪表盘读数圆环信息检测,并输出检测结果。
其中,若仪表盘读数圆环背景颜色符合仪表盘读数圆环背景颜色预期值,则输出检测结果为仪表盘读数圆环背景颜色检测合格,若仪表盘读数圆环背景颜色不符合仪表盘读数圆环背景颜色预期值,则输出检测结果为仪表盘读数圆环背景颜色检测不合格。
其中,若仪表盘读数圆环位置符合仪表盘读数圆环位置预期值,则输出检测结果为仪表盘读数圆环位置检测合格,若仪表盘读数圆环位置不符合仪表盘读数圆环位置预期值,则输出检测结果为仪表盘读数圆环位置检测不合格。
可选的,通过Open CV对仪表盘读数圆环背景颜色是否符合仪表盘读数圆环背景颜色预期值进行检测。
可选的,通过仪表盘读数圆环背景颜色的像素RGB数值对仪表盘读数圆环背景颜色是否符合仪表盘读数圆环背景颜色预期值进行检测。
S32:根据预设信息中的指针颜色,通过逐帧检测的方法对指针颜色进行聚类分析,判断指针颜色动态变化趋势并进行方差统计,输出检测结果。
所述聚类分析的算法使用K均值聚类算法(k-means clustering algorithm),K为聚类中心的个数。
其中,因为仪表盘的颜色变化并不复杂,所以根据实践经验,K的取值范围为5~7(K为整数),若前三个聚类中心可以解释90%的图像,为了提升效率,则将K的值设定为5。
如图3所示,将逐帧采集的图像进行K均值聚类算法计算后,得到各聚类中心的占比变化趋势和RGB数值变化趋势,判定指针颜色动态变化趋势是否合理;再通过方差统计,计算聚类中心的占比方差和/或聚类中心的RGB数值方差,判定指针颜色动态变化是否发生突变。
因为每一个聚类中心占比的变化趋势不应在变化过程中发生改变,所以当逐帧检测的聚类中心占比的变化趋势发生改变时,则指针颜色动态变化趋势不合理;当逐帧检测的聚类中心占比的变化趋势未发生改变时,则指针颜色动态变化趋势合理。
在本发明的一个实施例中,聚类中心的占比方差统计的阈值设定为0.05。其中,占比方差统计的阈值根据图像变化的剧烈程度来确定,本发明仅以0.05为例进行说明,具体情况根据实际场景而定,本发明对此不予限制。
RGB数值方差使用灰度计算和灰度方差统计的方法进行检验,其灰度计算公式为:
bright=0.299*R+0.587*G+0.114*B
其中,灰度方差统计的阈值根据图像颜色的复杂度来确定,本发明仅以0.05为例进行说明,具体情况根据实际场景而定,本发明对此不予限制。
当聚类中心的占比方差小于等于0.05时或聚类中心的RGB数值方差小于等于0.05时,则指针颜色动态变化没有发生突变;当聚类中心的占比方差大于0.05时或聚类中心的RGB数值方差大于0.05时,则指针颜色动态变化发生突变。
本发明通过逐帧检测的方法对指针颜色进行聚类分析,首先检测了指针颜色动态变化的合理性,使得后续步骤的检测结果更为准确、有效。
S33:根据指针显示位置预期值、指针附近颜色渲染效果预期值,对滤除非第一感兴趣区域1的内容后的图像进行指针显示位置、指针附近颜色渲染效果检测,并输出检测结果。
其中,根据预设的指针颜色,若在第一感兴趣区域1范围内出现指针,则符合指针显示位置预期值,输出检测结果为指针显示位置合格,若在第一感兴趣区域1范围内没有出现指针,则不符合指针显示位置预期值,输出检测结果为指针显示位置不合格。
可选的,通过Open CV对第一感兴趣区域1范围内是否出现指针进行检测。
可选的,通过指针颜色的像素RGB数值对第一感兴趣区域1范围内是否出现指针进行检测。
在本发明的一个实施例中,通过帧间差分方法对指针附近颜色渲染效果是否符合指针附近颜色渲染效果预期值进行检测。其中,帧间差分方法包括逐帧差分、原始帧差分。
如图4所示,使用逐帧差分时,若后一帧滤除非第一感兴趣区域1的内容后的图像中的指针位置相比前一帧滤除非第一感兴趣区域1的内容后的图像中的指针位置左移,即指针附近颜色渲染效果逐帧左移,则指针附近颜色渲染效果符合指针附近颜色渲染效果预期值,输出检测结果为指针附近颜色渲染效果合格,即渲染合理;若指针附近颜色渲染效果没有出现左移,则指针附近颜色渲染效果不符合指针附近颜色渲染效果预期值,输出检测结果为指针附近颜色渲染效果不合格,即渲染不合理。
使用原始帧差分时,若滤除非第一感兴趣区域1的内容后的图像中的指针位置逐渐左移,指针附近颜色渲染效果范围随指针位置左移而逐渐向左扩大,则指针附近颜色渲染效果符合指针附近颜色渲染效果预期值,输出检测结果为指针附近颜色渲染效果合格,即渲染合理;若滤除非第一感兴趣区域1的内容后的图像中的指针位置逐渐左移,指针附近颜色渲染效果范围没有随指针位置左移而逐渐向左扩大,则指针附近颜色渲染效果不符合指针附近颜色渲染效果预期值,输出检测结果为指针附近颜色渲染效果不合格,即渲染不合理。
其中,指针位置变化的方向根据仪表盘中数值由小到大的书写方向而定。
可选的,通过Open CV对指针附近渲染的颜色进行捕捉。
可选的,通过指针附近渲染的颜色的像素RGB数值对指针附近渲染的颜色进行捕捉。
本发明通过帧间差分方法对指针附近颜色渲染效果进行检测,该方法可以逐帧检测渲染过程中是否足够流畅、无卡顿,以及渲染的合理性,并且弥补了现有技术中对颜色渲染效果进行自动化检测的空缺,降低了人工检测的成本,并且自动化检测相比于人眼检测,大幅提高了检测的准确性和泛化性。
S34:根据指针最终位置预期值,对滤除非第一感兴趣区域1的内容后的图像中的最后一帧图像进行指针最终位置检测,并输出检测结果。
使用滤除非第一感兴趣区域1的内容后的图像中的最后一帧图像,以预设的仪表盘中心为坐标原点建立直角坐标系,检测最后一帧图像中指针位置,根据建立的直角坐标系得到最后一帧图像中指针的坐标,再根据坐标确定指针所在的象限,并将坐标与原点连接,得到连线与计算连线的斜率,即指针读数,判断其位置是否符合指针最终位置预期值。
可选的,通过Open CV对最后一帧图像中指针位置进行检测。
可选的,通过指针像素RGB数值对最后一帧图像中指针位置进行检测。
其中,该直角坐标系包括四个象限。
如图5所示,指针读数的计算方法如下:
其中,N为指针读数,M为所述仪表盘的量程,α为指针与零刻度线210间的夹角;θ为仪表盘的零刻度线210与y轴的夹角,也为仪表盘的满刻度线220与y轴的夹角,则2θ为仪表盘的零刻度线210与满刻度线220之间的夹角;360°-2θ为指针在满量程时对应的角度。
若指针读数符合指针最终位置预期值,则输出指针最终位置合格报告,若指针读数不符合指针最终位置预期值,则输出指针最终位置不合格报告。
本发明通过对指针颜色的检测,返回指针所在位置的坐标,与圆心的坐标。通过两点确定一条直线的方法来确定指针斜率及角度的方法来验证其合理性,有效地提升地指针角度检测的精度。并基于仪表盘轮廓的圆心建立直角坐标系,根据指针相对于直角坐标系的斜率和象限位置信息获取指针信息,能够识别各种仪表盘,特别是如图6所示的非圆形仪表盘。在提高仪表盘识别的准确性的同时,进一步提高仪表盘及指针识别的泛化性,具有实际应用价值。
S35:根据仪表盘显示数值预期值,对滤除非第二感兴趣区域2的内容后的图像中的最后一帧图像进行仪表盘显示数值检测,并输出检测结果。
通过光学字符识别(简写为OCR)对仪表盘显示数值进行检测,若识别到的数值符合仪表盘显示数值预期值,则输出检测结果为仪表盘显示数值合格,若识别到的数值不符合仪表盘显示数值预期值,则输出检测结果为仪表盘显示数值不合格。
其中,S34的指针读数与S35的仪表盘显示数值相同,因此这两种检测方式可互相校验。
可选的,通过车辆控制器局域网络(Controller Area Network,简写为CAN)接口读出的车辆速度,并以该车辆速度对步骤S33、步骤S34的结果进行校验。
本发明通过将检测结果与最初设置的仪表盘预期值、识别区域、感兴趣区域进行对比,有效检测出渲染过程中的指针颜色表达的合理性。
S4:汇总步骤S3中所有检测结果,形成最终检测报告并输出给检测人员,以供其对结果进行分析。
在本发明的一个实施例中,以车辆上显示仪表信息的显示屏为例进行说明,仅为说明本发明实施例提供的仪表盘指针的识别方法,并未限定该识别方法仅仅应用于车辆显示屏的仪表盘检测。需要强调的是,该仪表盘指针的识别方法能够应用于对各种仪表盘的检测和识别,具有广泛的应用前景。
需要说明的是,指针的渲染检测,不仅需要检测其最终的表达是否合理,还要求检测的过程中表达得足够流畅、无卡顿。因此,本发明首先通过逐帧检测对指针颜色进行聚类分析,看指针颜色的第一聚类和第一聚类RGB动态变化的合理性。再通过帧间差分的检测方法,可以有效地分析渲染的合理性。最终通过最初设置的仪表盘预期值、识别区域、感兴趣区域,可以有效地检测出渲染过程中的指针颜色表达是否合理。
<第二实施例>
如图7所示,本发明的第二实施例提供了一种仪表盘指针的识别装置,包括图像采集装置、图像处理装置和控制器。
其中,所述控制器被配置为:通过所述图像采集装置对显示屏进行图像采集并获取仪表图像;
在本发明的一个实施例中,仪表盘指针的识别装置利用图像采集装置采集待测仪表盘的仪表图像。该图像采集装置为摄像头,响应于控制器的指令采集仪表图像并传输至控制器。图像处理装置用于对仪表图像进行数据处理和识别。具体地,包括对仪表图像进行清洗,使用逐帧差分或者是原始帧差分的方式来判断渲染实现是否合理。通过预置指针颜色返回与预置圆心位置做指针位置分析。具体实施方式参见前述实施例,在此不再赘述。
其中,控制器进一步被配置为:
根据预设的仪表盘映射表和所述位置信息获取所述仪表图像中仪表盘的指针读数;
对所述仪表图像进行光学字符识别获取所述仪表盘的显示数据,判断所述显示数据与所述指针读数是否一致并输出判断结果。
通过预设的仪表盘映射表,根据指针的位置获取指针读数,从而完成仪表盘的读数识别。同时,通过使用光学字符识别方法识别仪表盘的显示数据,并根据识别的指针读出的数据与显示屏显示的数据进行比对,若两者一致则进一步验证了对仪表图像的识别准确度。
其中,该仪表盘指针的识别装置还包括用于切换所述显示屏显示内容的页面切换装置,所述控制器进一步被配置为:通过所述页面切换装置切换所述显示屏的显示内容。
通过能够触发显示屏显示内容切换的页面切换装置对显示屏的显示内容进行切换,例如将显示屏的显示内容从文字信息、图像信息或视频信息切换为仪表盘显示,从而便于仪表盘识别装置对显示屏上显示的仪表盘进行采集、并对采集的图像进行识别。
在本发明的不同实施例中,对于页面切换装置不作具体限定,可以为通过有线或无线网络与显示屏连接的切换装置,可以为通过车辆自身的CAN接口连接的切换装置,以能够实现对显示屏的显示内容进行切换为设计准则,在此不再赘述。
在本发明的一个实施例中,该仪表盘指针的识别装置还包括用于记录识别信息的日志单元,所述控制器进一步被配置为:通过所述日志单元记录所述判断结果。
通过日志单元记录对仪表图像识别的结果,例如记录前述实施例中的显示数据、以及指针读出数据的比对结果。值得说明的是,本发明对日志单元不作具体限定,可以记录仪表识别装置对显示屏的识别结果,也可以通过连接车辆的日志接口获取车辆的运行记录,例如获取车辆传感器的感测数据等,在此不再赘述。
<第三实施例>
如图8所示,本发明的第三实施例提供一种用于实现仪表盘指针的识别方法的电子设备。图8显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,***存储器28,连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***34可以用于读写不可移动的、非易失性磁介质(图8未显示,通常称为“硬盘驱动器”)。尽管图8中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图8所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图8中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器单元16通过运行存储在***存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的一种仪表盘指针的识别方法。
与现有技术相比较,本发明通过帧间差分方法对指针附近颜色渲染效果进行检测,弥补了现有技术中对颜色渲染效果进行自动化检测的空缺,降低了人工检测的成本,并且自动化检测相比于人眼检测,大幅提高了检测的准确性和泛化性。
上面对本发明所提供的仪表盘指针的识别方法及识别装置进行了详细的说明。对本领域的一般技术人员而言,在不背离本发明实质内容的前提下对它所做的任何显而易见的改动,都将构成对本发明专利权的侵犯,将承担相应的法律责任。
Claims (10)
1.一种仪表盘指针的识别方法,其特征在于包括如下步骤:
S1:根据仪表盘的预设信息,设置仪表盘预期值和识别区域,并设置感兴趣区域的内容;
S2:采集待测仪表盘的图像,并对采集后的图像进行处理;
S3:对滤除非感兴趣区域的内容后的图像进行仪表盘读数圆环信息、指针信息、仪表盘显示数值中的一种或多种检测;
S4:汇总步骤S3中所有检测结果,形成最终检测报告并输出给检测人员,以供其对结果进行分析。
2.如权利要求1所述的识别方法,其特征在于:
对待测仪表盘的图像进行逐帧采集,并将非感兴趣区域的内容滤除,保留所有图像中的第一感兴趣区域的内容,再对最后一帧图像单独保存一张第二感兴趣区域的内容。
3.如权利要求1所述的识别方法,其特征在于步骤S3还包括:
S31:根据仪表盘读数圆环背景颜色预期值、仪表盘读数圆环位置预期值,对滤除非第一感兴趣区域的内容后的图像进行仪表盘读数圆环信息检测,并输出检测结果;
S32:根据预设信息中的指针颜色,通过逐帧检测的方法对指针颜色进行聚类分析,判断指针颜色动态变化趋势并进行方差统计,输出检测结果;其中,
当逐帧检测的聚类中心占比的变化趋势发生改变时,则指针颜色动态变化趋势不合理;当逐帧检测的聚类中心占比的变化趋势未发生改变时,则指针颜色动态变化趋势合理;
当聚类中心的占比方差小于等于0.05时或聚类中心的RGB数值方差小于等于0.05时,则指针颜色动态变化没有发生突变;当聚类中心的占比方差大于0.05时或聚类中心的RGB数值方差大于0.05时,则指针颜色动态变化发生突变;
S33:根据指针显示位置预期值、指针附近颜色渲染效果预期值,对滤除非第一感兴趣区域的内容后的图像进行指针显示位置、指针附近颜色渲染效果检测,并输出检测结果;
若在第一感兴趣区域范围内出现指针,则符合指针显示位置预期值,输出检测结果为指针显示位置合格报告;若在第一感兴趣区域范围内没有出现指针,则不符合指针显示位置预期值,输出检测结果为指针显示位置不合格报告;
S34:根据指针最终位置预期值,对滤除非第一感兴趣区域的内容后的图像中的最后一帧图像进行指针最终位置检测,并输出检测结果;
若指针读数符合指针最终位置预期值,则输出指针最终位置合格报告;若指针读数不符合指针最终位置预期值,则输出指针最终位置不合格报告;
S35:根据仪表盘显示数值预期值,对滤除非第二感兴趣区域2的内容后的图像中的最后一帧图像进行仪表盘显示数值检测,并输出检测结果;
若识别到的数值符合仪表盘显示数值预期值,则输出检测结果为仪表盘显示数值合格报告;若识别到的数值不符合仪表盘显示数值预期值,则输出检测结果为仪表盘显示数值不合格报告。
4.如权利要求3所述的识别方法,其特征在于:在步骤S33中通过帧间差分方法对指针附近颜色渲染效果是否符合指针附近颜色渲染效果预期值进行检测。
5.如权利要求4所述的识别方法,其特征在于所述帧间差分方法包括逐帧差分和原始帧差分。
6.如权利要求3所述的识别方法,其特征在于:在步骤S34中使用滤除非第一感兴趣区域的内容后的图像中的最后一帧图像,以预设的仪表盘中心为坐标原点建立直角坐标系,检测最后一帧图像中指针位置,根据建立的直角坐标系得到最后一帧图像中指针的坐标,再根据坐标确定指针所在的象限,并将坐标与原点连接,得到连线与计算连线的斜率,即指针读数,检测其位置是否符合指针最终位置预期值。
8.如权利要求3所述的识别方法,其特征在于:
步骤S34的指针读数与步骤S35的仪表盘显示数值相同。
9.一种仪表盘指针的识别装置,其特征在于包括图像采集装置、图像处理装置和控制器,其中,所述控制器被配置为执行如权利要求1~8中任意一项所述的仪表盘指针的识别方法。
10.一种电子设备,其特征在于包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1~8中任意一项所述的仪表盘指针的识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310330257.2A CN116433894A (zh) | 2023-03-30 | 2023-03-30 | 一种仪表盘指针的识别方法及识别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310330257.2A CN116433894A (zh) | 2023-03-30 | 2023-03-30 | 一种仪表盘指针的识别方法及识别装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116433894A true CN116433894A (zh) | 2023-07-14 |
Family
ID=87091959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310330257.2A Pending CN116433894A (zh) | 2023-03-30 | 2023-03-30 | 一种仪表盘指针的识别方法及识别装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116433894A (zh) |
-
2023
- 2023-03-30 CN CN202310330257.2A patent/CN116433894A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977191B (zh) | 问题地图检测方法、装置、电子设备和介质 | |
CN108764352B (zh) | 重复页面内容检测方法和装置 | |
CN102508574B (zh) | 基于投影屏幕的多点触控检测方法及多点触控*** | |
CN109835260B (zh) | 一种车辆信息显示方法、装置、终端和存储介质 | |
CN107909022B (zh) | 一种视频处理方法、装置、终端设备和存储介质 | |
CN111986159B (zh) | 太阳能电池片的电极缺陷检测方法、设备及存储介质 | |
CN112257676A (zh) | 一种指针式仪表读数方法、***以及巡检机器人 | |
CN112149667A (zh) | 一种基于深度学习的指针式仪表的自动读数的方法 | |
CN110211518A (zh) | 电路装置和电子设备 | |
CN112001886A (zh) | 一种温度检测方法、装置、终端及可读存储介质 | |
WO2014090090A1 (zh) | 角度测量方法和装置 | |
CN109934873B (zh) | 标注图像获取方法、装置及设备 | |
CN112419229A (zh) | 一种显示屏线状缺陷检测方法、装置及存储介质 | |
CN108156452A (zh) | 一种检测传感器的方法、装置、设备及存储介质 | |
WO2023208214A1 (zh) | 一种仪表盘识别方法、识别装置、存储介质和计算机设备 | |
CN110111018A (zh) | 评估车辆感测能力的方法、装置、电子设备及存储介质 | |
CN114299478A (zh) | 结合rpa和ai的图像处理方法、装置及电子设备 | |
CN113554022A (zh) | 电力仪器检测试验数据的自动获取方法及装置 | |
CN116433894A (zh) | 一种仪表盘指针的识别方法及识别装置 | |
CN109141457B (zh) | 导航评估方法、装置、计算机设备和存储介质 | |
CN116310263A (zh) | 一种指针式航空地平仪示数自动读取实现方法 | |
CN113807191B (zh) | 一种非侵入式可视化测试脚本自动录制方法 | |
CN112559340A (zh) | 一种画面测试方法、装置、设备及存储介质 | |
CN111982468B (zh) | 一种视场角的测量方法、设备、***及计算机存储介质 | |
CN111124862B (zh) | 智能设备性能测试方法、装置及智能设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |