CN117475291B - 画面信息识别方法、装置、电子设备和计算机可读介质 - Google Patents

画面信息识别方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN117475291B
CN117475291B CN202311811181.1A CN202311811181A CN117475291B CN 117475291 B CN117475291 B CN 117475291B CN 202311811181 A CN202311811181 A CN 202311811181A CN 117475291 B CN117475291 B CN 117475291B
Authority
CN
China
Prior art keywords
picture
service
information
service picture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311811181.1A
Other languages
English (en)
Other versions
CN117475291A (zh
Inventor
姜明
王艺霖
杨栋
刘强
高志芳
李志超
闫春春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN COMMUNICATION AND BROADCASTING GROUP CO Ltd
Original Assignee
TIANJIN COMMUNICATION AND BROADCASTING GROUP CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN COMMUNICATION AND BROADCASTING GROUP CO Ltd filed Critical TIANJIN COMMUNICATION AND BROADCASTING GROUP CO Ltd
Priority to CN202311811181.1A priority Critical patent/CN117475291B/zh
Publication of CN117475291A publication Critical patent/CN117475291A/zh
Application granted granted Critical
Publication of CN117475291B publication Critical patent/CN117475291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/95Pattern authentication; Markers therefor; Forgery detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0499Feedforward networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了画面信息识别方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:获取业务画面信息识别模型;对实时业务画面图像进行信息识别,以生成识别结果信息;生成业务画面判定公式;确定画面判定结果值;获取实际画面判定结果;确定是否对业务画面信息识别模型和/或业务画面判定公式进行调整;响应于确定进行模型调整,对业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型;响应于确定进行调整,对业务画面判定公式进行公式调整,得到调整后业务画面判定公式;将更新后业务画面信息识别模型和调整后业务画面判定公式进行存储。该实施方式可以精准、有效地识别出业务画面图像是否存在画面异常。

Description

画面信息识别方法、装置、电子设备和计算机可读介质
技术领域
本公开的实施例涉及计算机技术领域,具体涉及画面信息识别方法、装置、电子设备和计算机可读介质。
背景技术
目前,随着图像数据的数量越来越多,对于图像数据的真实性和完整性的保护变得尤为重要。对图像数据的调整能够在一定程度上保护图像数据的真实性和完整性。对于异常信息的画面的确定,通常采用的方式为:通过相关技术人员人为对比实时业务画面图像是否存在异常信息。
然而,发明人发现,当采用上述方式,经常会存在如下技术问题:
业务画面图像可能存在大量的业务信息(例如航班信息),相关技术人员人为确定异常信息存在准确性较低且效率较低的问题。
继续的,在对业务画面信息进行识别的过程,进一步存在如下技术问题:
针对业务画面信息的识别,仅从主体信息的角度进行信息识别,且相关的识别模型的模型结构较为复杂,导致针对航班领域业务画面的识别不够高效,快捷。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了画面信息识别方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种画面信息识别方法,包括:获取预先训练的业务画面信息识别模型;根据上述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息;根据预设的多个业务画面判定指标,生成业务画面判定公式;基于上述业务画面判定公式和上述识别结果信息,确定画面判定结果值;获取针对上述实时业务画面图像的实际画面判定结果;根据上述画面判定结果值和上述实际画面判定结果,确定是否对上述业务画面信息识别模型和/或上述业务画面判定公式进行调整;响应于确定对上述业务画面信息识别模型进行模型调整,对上述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型;响应于确定对上述业务画面判定公式进行调整,对上述业务画面判定公式进行公式调整,得到调整后业务画面判定公式;将上述更新后业务画面信息识别模型和上述调整后业务画面判定公式进行存储。
第二方面,本公开的一些实施例提供了一种画面信息识别装置,包括:第一获取单元,被配置成获取预先训练的业务画面信息识别模型;识别单元,被配置成根据上述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息;生成单元,被配置成根据预设的多个业务画面判定指标,生成业务画面判定公式;第一确定单元,被配置成基于上述业务画面判定公式和上述识别结果信息,确定画面判定结果值;第二获取单元,被配置成获取针对上述实时业务画面图像的实际画面判定结果;第二确定单元,被配置成根据上述画面判定结果值和上述实际画面判定结果,确定是否对上述业务画面信息识别模型和/或上述业务画面判定公式进行调整;更新单元,被配置成响应于确定对上述业务画面信息识别模型进行模型调整,对上述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型;调整单元,被配置成响应于确定对上述业务画面判定公式进行调整,对上述业务画面判定公式进行公式调整,得到调整后业务画面判定公式;存储单元,被配置成将上述更新后业务画面信息识别模型和上述调整后业务画面判定公式进行存储。
第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的画面信息识别方法可以精准、有效地识别出业务画面图像是否存在画面异常。具体来说,造成画面异常不够精准和高效地原因在于:业务画面图像可能存在大量的业务信息(例如航班信息),相关技术人员人为确定异常信息存在准确性较低且效率较低的问题。基于此,本公开的一些实施例的画面信息识别方法,首先,获取业务画面信息识别模型。其次,根据上述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息。在这里,获取图像数据的指标数值,为之后确定被篡改图像数据做准备。再次,根据预设的多个业务画面判定指标,生成业务画面判定公式。在这里,生成被篡改图像检测公式,提升被篡改图像检测的准确性。然后,基于上述业务画面判定公式和上述识别结果信息,确定画面判定结果值。在这里,检测出被篡改的图像数据,为画面信息识别提供数据基础。接着,获取针对上述实时业务画面图像的实际画面判定结果,以用于后续确定画面判定结果值的判断精准性。再接着,根据上述画面判定结果值和上述实际画面判定结果,确定是否对上述业务画面信息识别模型和/或上述业务画面判定公式进行调整。进而,响应于确定对上述业务画面信息识别模型进行模型调整,对上述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型,以保障后续更新后业务画面信息识别模型可以识别出更为精准地识别结果,进一步提高后续业务画面图像对应画面判定结果值的精准性。进一步的,响应于确定对上述业务画面判定公式进行调整,对上述业务画面判定公式进行公式调整,得到调整后业务画面判定公式,以保障后续调整后业务画面判定公式可以识别出更为精准地确定出画面判断结果值。最后,将上述更新后业务画面信息识别模型和上述调整后业务画面判定公式进行存储。综上,通过业务画面信息识别模型和业务画面判定公式,可以精准、有效地识别出业务画面图像是否存在画面异常。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的画面信息识别方法的一些实施例的流程图;
图2是根据本公开的画面信息识别装置的一些实施例的结构示意图;
图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
参考图1,示出了根据本公开的画面信息识别方法的一些实施例的流程100。该画面信息识别方法,包括以下步骤:
步骤101,获取预先训练的业务画面信息识别模型。
在一些实施例中,上述画面信息识别方法的执行主体(例如,电子设备)可以通过有线连接方式或者无线连接方式来获取预先训练的业务画面信息识别模型。其中,业务画面信息可以是业务画面图像的信息。业务画面图像可以是图像内容包含业务信息的图像。业务信息可以是描述业务的相关信息。在实践中,针对轨道交通领域,业务信息通常包括但不限于以下至少一项:当前列车的车次,当前列车的出发时间,当前列车的出发地点,当前列车的目的地,当前列车的候车状态,后续列车的列表。业务画面信息识别模型可以是能够对业务画面图像数据进行业务信息识别的神经网络模型。在实践中,上述业务画面信息识别模型可以是卷积神经网络模型。实践中,业务画面信息识别模型可以是识别航班画面是否出现信息错误的神经网络模型。
需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
在一些实施例的一些可选的实现方式中,上述获取业务画面信息识别模型,可以包括以下步骤:
第一步,根据预设的业务画面图像标注模板信息,对多个待标注业务画面图像中的每个待标注业务画面图像进行区域标注,以生成区域标注业务画面图像,得到区域标注业务画面图像集。其中,业务画面图像可以是图像内容包含业务信息的图像。在实践中,针对航空领域,业务信息通常包括但不限于以下至少一项:当前航班的飞机编号,当前航班的起飞时间,当前航班的目的地,当前航班候机状态,当前时间,后续航班信息,禁止携带的物品介绍信息。上述预设的业务画面图像标注模板信息可以是预先设置的对业务画面图像进行标注的模板的信息。在实践中,预设的业务画面图像标注模板信息通常包括但不限于以下至少一项:业务画面图像中标注的区域的类型、业务画面图像中标注的区域的位置坐标、业务画面图像中标注的区域的业务信息。待标注业务画面图像可以是还未进行标注的业务画面图像。区域标注业务画面图像可以是标注过后的业务画面图像。上述区域标注业务画面图像集可以是区域标注业务画面图像的集合。
作为示例,上述执行主体可以根据业务画面图像中标注的区域的类型和业务画面图像中标注的区域的位置坐标,对多个待标注业务画面图像中的每个待标注业务画面图像进行区域标注,以生成区域标注业务画面图像,得到区域标注业务画面图像集。
第二步,对上述区域标注业务画面图像集中的每个区域标注业务画面图像进行图像文本识别,以生成文本信息,作为区域文本信息,得到区域文本信息集。其中,区域文本信息可以是业务画面图像中标注的区域的业务信息。上述区域文本信息集可以是区域文本信息的集合。
作为示例,上述执行主体可以基于光学字符识别模型,对上述区域标注业务画面图像集中的每个区域标注业务画面图像进行图像文本识别,以生成每个区域标注业务画面图像对应的文本信息,作为区域文本信息,得到区域文本信息集。
第三步,对上述区域标注业务画面图像集中的每个区域标注业务画面图像进行高斯滤波,以生成滤波后的区域标注业务画面图像,作为滤波业务画面图像,得到滤波业务画面图像集。其中,滤波后的区域标注业务画面图像可以是经过图像数据清洗后的区域标注业务画面图像。
作为示例,上述执行主体可以基于高斯滤波器,对上述区域标注业务画面图像集中的每个区域标注业务画面图像进行高斯滤波,以生成滤波后的区域标注业务画面图像,作为滤波业务画面图像,得到滤波业务画面图像集。
第四步,对于上述滤波业务画面图像集中的每个滤波业务画面图像,执行以下第一训练步骤:
第一子步骤,对上述滤波业务画面图像进行三次不同的卷积,以生成三个不同的滤波业务画面图像数据,分别作为第一业务画面图像数据、第二业务画面图像数据、第三业务画面图像数据。其中,业务画面图像数据可以是经过卷积核卷积后的上述滤波业务画面图像的数据。在实践中,业务画面图像数据可以是以矩阵形式表示的业务画面图像数据。上述第一业务画面图像数据、上述第二业务画面图像数据、上述第三业务画面图像数据可以是经过三个不同的卷积核卷积后的上述滤波业务画面图像的数据。
第二子步骤,对上述第二业务画面图像数据进行转置,以生成转置后的第二业务画面图像数据。
第三子步骤,将上述转置后的第二业务画面图像数据与上述第三业务画面图像数据进行矩阵乘法,得到相乘后的业务画面图像数据。
第四子步骤,基于归一化指数函数,对上述相乘后的业务画面图像数据进行归一化,以生成归一化后的业务画面图像数据,作为注意力得分数据。其中,注意力得分可以是注意力机制的得分。上述注意力得分数据可以是注意力得分的数据。在实践中,上述注意力得分数据可以是矩阵形式的注意力得分数据。
第五子步骤,将上述注意力得分数据与上述第一业务画面图像数据进行数据融合,以生成融合注意力的业务画面图像数据,作为融合业务画面图像数据。
作为示例,上述执行主体可以将上述注意力得分数据与上述第一业务画面图像数据进行矩阵乘法,以生成矩阵相乘后的业务画面图像数据,作为融合业务画面图像数据。
第六子步骤,基于多层感知机,对上述融合业务画面图像数据进行标注区域预测,以生成预测的标注区域坐标概率信息,以及对上述融合业务画面图像数据进行区域文本预测,以生成预测的区域文本概率信息。其中,上述预测的标注区域坐标概率信息可以是业务画面图像数据中的区域的坐标为预设的业务画面图像标注模板信息中对应的标注区域坐标的概率信息。上述预测的区域文本概率信息可以是上述预测的标注区域坐标表示的区域中的业务信息为上述区域文本信息集中对应的区域文本信息的概率。
作为示例,首先,上述执行主体可以基于多层感知机,对上述融合业务画面图像数据中的每个像素点进行标注区域预测,以生成预测的标注区域坐标概率信息。其次,上述执行主体可以对上述融合业务画面图像数据中的预测的标注区域进行区域文本预测,以生成预测的区域文本概率信息。
第七子步骤,确定上述预测的标注区域坐标概率信息与上述预设的业务画面图像标注模板信息中对应的标注区域坐标的概率信息之间的误差,作为位置损失。其中,上述预设的业务画面图像标注模板信息中对应的标注区域坐标的概率信息可以是将上述预设的业务画面图像标注模板信息中对应的标注区域坐标作为预测目标的概率。其中,预测目标可以是上述预测的标注区域坐标的预测目标。在实践中,上述预设的业务画面图像标注模板信息中对应的标注区域坐标的信息可以是100%。
作为示例,上述执行主体可以对上述预测的标注区域坐标概率信息与上述预设的业务画面图像标注模板信息中对应的标注区域坐标的概率信息进行差值确定,以生成上述预测的标注区域坐标与上述预设的业务画面图像标注模板信息中对应的标注区域坐标之间的误差,作为位置损失。
第八子步骤,确定上述预测的区域文本概率信息与上述区域文本信息集中对应的区域文本信息的概率之间的误差,作为内容损失。其中,上述内容损失可以是预测概率与目标概率之间的差值。其中,预测概率可以是上述预测的区域文本概率信息。目标概率可以是上述区域文本信息集中对应的区域文本信息作为预测目标的概率。在实践中,目标概率可以是100%。
作为示例,上述执行主体可以对预测概率与目标概率进行差值确定,以生成上述预测的区域文本信息与上述区域文本信息集中对应的区域文本信息的之间的误差,作为内容损失。
第九子步骤,根据预设的加权系数,对上述位置损失和上述内容损失进行加权求和,得到加权后的损失,作为综合损失,以及保存上述综合损失和所得到的模型,分别作为候选模型损失和候选业务画面信息识别模型,其中,候选业务画面信息识别模型包括:卷积层、转置层、矩阵乘法层、归一化层、融合层、预测层。所得到的模型可以是经过上述第一子步骤-第八子步骤训练得到的模型。在实践中,所得到的模型可以是卷积神经网络。上述候选模型损失可以是上述综合损失。上述候选业务画面信息识别模型可以是上述所得到的模型。
第十子步骤,根据上述候选模型损失,对上述候选业务画面信息识别模型进行反向传播。
第五步,从所得到的候选模型损失集中选取值最小的候选模型损失,以及将上述值最小的候选模型损失对应的候选业务画面信息识别模型确定为业务画面信息识别模型。
步骤102,根据上述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息。
在一些实施例中,上述执行主体可以根据上述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息。其中,上述识别结果信息通常包括:业务信息、标注区域坐标。其中,标注区域坐标可以是业务信息在实时业务画面图像中的位置坐标。业务信息可以是相关业务的业务内容信息。实践中,业务信息可以是航班信息。
作为示例,上述执行主体可以将实施业务画面图像输入上述业务画面信息识别模型,得到识别结果信息。
在一些实施例的一些可选的实现方式中,上述业务画面信息识别模型是基于机场登机口业务画面信息的识别模型。上述业务画面信息识别模型包括:主体分割模型、文字识别模型、底色分类模型、字体信息确定模型。其中,主体分割模型可以是对业务画面信息进行主体分割的神经网络模型。文字识别模型可以是识别文字的神经网络模型。底色分类模型可以是确定画面底色的神经网络模型。字体信息确定模型可以是确定字体大小和字体颜色的神经网络模型。其中,主体分割模型可以轻量级的图像主体分割模型。文字识别模型、底色分类模型、字体信息确定模型均可以是轻量级的多层卷积神经网络模型。
可选地,根据上述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息,包括:
第一步,对上述实时业务画面图像进行分辨率大小调整,以调整成固定分辨率的图像,得到目标图像。其中,固定分辨率可以是预先确定的分辨率。
第二步,依据预先确定的图像区域坐标集,对目标图像进行分割,以生成分割图像集。其中,图像区域坐标集中的图像区域坐标对应画面中的某一画面模块。
第三步,将上述分割图像集中的每个分割图像输入至主体分割模型,以生成主体信息,得到主体信息集。
第四步,将上述主体信息集中的每个主体信息输入至文字识别模型,以生成文字识别信息,得到文字识别信息集。
第五步,从航班数据库中调取针对上述业务画面信息的航班数据。
第六步,确定文字识别信息集和上述航班数据之间的数据差异信息。
第七步,响应于确定不存在数据差异,确定实时业务画面图像对应的文字不存在错误。
第八步,响应于确定存在数据差异,定位针对实时业务画面图像的数据差异位置,得到至少一个数据差异位置。
第九步,确定上述至少一个数据差异位置对应至少一个画面信息的信息重要级别。其中,信息重要级别包括:第一级别、第二级别和第三级别。第一级别对应的信息重要程度高于第二级别对应的信息重要程度。第二级别对应的信息重要程度高于第三级别对应的信息重要程度。
第十步,针对信息重要级别为第一级别的画面信息,向航班终端发起一级预警信息,以供航班终端对第一级别的画面信息进行处理,以及针对信息重要级别为第二级别的画面信息,向航班终端发起二级预警信息,以供航班终端对第二级别的画面信息进行处理,以及,针对信息重要级别为第三级别的画面信息,向航班终端发起三级预警信息,以供航班终端对第三级别的画面信息进行处理。
第十一步,将分割图像集中的每个分割图像输入至底色分类模型和字体信息确定模型,以生成底色信息和字体信息。其中,底色信息可以包括:分割图像对应的图像底色颜色信息和底色颜色区域范围。字体信息可以包括:字体大小信息、字体颜色信息和字***置信息。
第十二步,对上述底色信息和字体信息进行信息校验,以生成信息校验结果。
第十三步,响应于确定信息校验结果表征底色信息和/或字体信息存在错误,向航班终端发起四级预警信息,以供航班终端对第四级别的画面信息进行处理。其中,第四级别的画面信息可以是底色和/或字体存在错误的图像。
第十四步,生成针对信息校验结果和上述数据差异信息的识别结果。
上述第一步至第十四步,作为本公开的一个发明点,解决了背景技术提及的技术问题二,即“针对业务画面信息的识别,仅从主体信息的角度进行信息识别,且相关的识别模型的模型结构较为复杂,导致针对航班领域业务画面的识别不够高效,快捷。”。因此,本公开通过轻量级的图像主体分割模型不仅可以精准地确定业务画面信息的主体信息,相对于市面上的复杂的分割模型,大大提高了分割效率,除此之外,还通过文字识别模型、底色分类模型、字体信息确定模型来进一步校验业务画面信息的画面精准性。
步骤103,根据预设的多个业务画面判定指标,生成业务画面判定公式。
在一些实施例中,上述执行主体可以根据预设的多个业务画面判定指标,生成业务画面判定公式。其中,上述预设的多个业务画面判定指标可以是预先设置的多个用于确定业务画面图像是否被篡改的指标。在实践中,上述业务画面判定指标可以包括但不限于以下至少一项:动态区域的总数、静态区域的总数、存在问题的动态区域数目、存在问题的静态区域数目。其中,动态区域可以是业务画面图像中会发生动态改变的区域。静态区域可以是业务画面图像中以静态方式显示的区域。动态区域的图像内容可以是包含业务信息的图像内容。静态区域的图像内容可以是包含业务信息的图像内容。存在问题的动态区域可以是使用业务画面信息识别模型未检测出的动态区域或业务信息存在问题的动态区域。存在问题的静态区域可以是使用业务画面信息识别模型未检测出的静态区域或业务信息存在问题的静态区域。业务信息存在问题可以是图像内容显示的业务信息与数据库中存储的对应的业务信息不一致的问题。上述业务画面判定公式可以是用于判定业务画面图像是否被篡改的公式。
作为示例,首先,上述执行主体可以通过德尔菲法确定预设的多个业务画面判定指标对应的权重,得到权重集。其次,根据上述权重集,与上述预设的多个业务画面判定指标组合,以生成业务画面判定公式。
在一些实施例的一些可选的实现方式中,上述根据预设的多个业务画面判定指标,生成业务画面判定公式,可以包括以下步骤:
第一步,将多个业务画面图像确定为业务画面图像集。其中,多个业务画面图像可以是数据库中的多个业务画面图像。
作为示例,上述执行主体可以将数据库中的多个业务画面图像确定为业务画面图像集。
第二步,对上述业务画面图像集中的每个业务画面图像进行标注,以生成标注后的业务画面图像,得到标注后的业务画面图像集,其中,标注后的业务画面图像包括:标注为动态区域的区域图像、标注为静态区域的区域图像,其中,区域图像是标注后的业务画面图像的部分图像。
作为示例,上述执行主体可以根据预设的业务画面图像标注模板信息,对上述业务画面图像集中的每个业务画面图像进行标注,以生成标注后的业务画面图像,得到标注后的业务画面图像集。
第三步,对上述标注后的业务画面图像集中的每个标注后的业务画面图像进行异常判定,以生成判定后的业务画面图像,得到判定后的业务画面图像集,其中,判定后的业务画面图像包括但不限于以下至少一项:不存在异常的动态区域图像、不存在异常的静态区域图像、存在异常的动态区域图像、存在异常的静态区域图像。
作为示例,首先,上述执行主体可以根据预设的业务画面图像标注模板信息,确定上述标注后的业务画面图像集中的每个标注后的业务画面图像中的区域图像的类型,以生成类型组,得到类型组集。其中,标注后的业务画面图像中的区域图像的类型通常包括:动态区域图像类型、静态区域图像类型。其次,对上述标注后的业务画面图像集中的每个标注后的业务画面图像中的区域图像进行文本识别,以生成区域图像对应的文本信息,得到区域图像对应的文本信息组集。再次,将上述区域图像对应的文本信息组集中的区域图像对应的文本信息组中的区域图像对应的文本信息与数据库中对应的区域文本信息进行比较,以生成比较后的区域文本信息,得到比较后的区域文本信息组集。最后,根据上述比较后的区域文本信息组集和上述类型组集,确定上述标注后的业务画面图像集中的每个标注后的业务画面图像的区域图像异常情况,以生成确定后的业务画面图像,作为判定后的业务画面图像,得到判定后的业务画面图像集。其中,区域图像异常情况通常包括:动态区域图像不存在异常的情况、静态区域图像不存在异常的情况、动态区域图像存在异常的情况、静态区域图像存在异常的情况。
第四步,根据上述多个业务画面判定指标,确定上述判定后的业务画面图像集中每个判定后的业务画面图像对应的指标数据,得到指标数据集。其中,指标数据通常包括但不限于以下至少一项:动态区域的总数、静态区域的总数、存在异常的动态区域数目、存在异常的静态区域数目。上述指标数据集可以是指标数据的集合。
作为示例,上述执行主体可以根据上述预设的多个业务画面判定指标,对上述判定后的业务画面图像集中每个判定后的业务画面图像中的指标数据进行数量确定,得到指标数据集。
第五步,根据上述指标数据集,确定上述多个业务画面判定指标中的每个业务画面判定指标对应的权重值,以生成权重值集。其中,权重值可以是业务画面判定公式中的业务画面判定指标的系数。上述权重值集可以是权重值的集合。
作为示例,上述执行主体可以根据上述指标数据,通过熵权法,确定上述多个业务画面判定指标中的每个业务画面判定指标对应的权重值,以生成权重值集。
第六步,将上述多个业务画面判定指标和上述权重值集进行对应组合,以生成业务画面判定公式。
步骤104,基于上述业务画面判定公式和上述识别结果信息,确定画面判定结果值。
在一些实施例中,上述执行主体可以基于上述业务画面判定公式和上述识别结果信息,确定画面判定结果值。其中,上述画面判定结果值可以是对业务画面图像内容进行判定后生成的数值。在实践中,上述画面判定结果值可以是根据上述业务画面判定公式计算得到的数值。
作为示例,首先,上述执行主体可以根据上述识别结果信息,生成预设的多个业务画面判定指标对应的指标数值,得到指标数值集。其次,将上述指标数值集代入上述画面判定公式,得到画面判定结果值。
在一些实施例的一些可选的实现方式中,上述基于上述业务画面判定公式和上述识别结果信息,确定画面判定结果值,可以包括以下步骤:
第一步,根据预设的分类类别,对预设的业务画面图像标注模板信息中的标注区域进行分类,得到模板分类结果,其中,上述预设的分类类别包括:标注的动态区域的类别、标注的静态区域的类别。其中,上述标注的动态区域的类别可以是业务画面图像中的区域图像内容会出现变化的区域的类别。上述标注的静态区域的类别可以是业务画面图像中的区域图像内容不会出现变化的区域的类别。
作为示例,上述执行主体可以将预设的业务画面图像标注模板信息中的标注区域按照预设的分类类别进行分类,得到模板分类结果。
第二步,确定上述模板分类结果中标注的动态区域的总数和标注的静态区域的总数,分别作为动态区域总数和静态区域总数。
作为示例,上述执行主体可以对上述模板分类结果进行整理,以生成标注的动态区域总数和标注的静态区域总数,分别作为动态区域总数和静态区域总数。
第三步,根据预设的分类类别,对上述识别结果信息中识别的标注区域坐标进行分类,得到分类结果。
作为示例,上述执行主体可以对上述识别结果信息中识别的标注区域坐标按照预设的分类类别进行分类,得到分类结果。
第四步,对上述分类结果中标注的动态区域和标注的静态区域进行数目整理,以生成标注的动态区域的数目和标注的静态区域的数目,分别作为识别动态区域数目和识别静态区域数目。其中,上述识别动态区域数目可以是通过业务画面信息识别模型识别出的动态区域的数目。上述识别静态区域数目可以是通过业务画面信息识别模型识别出的静态区域的数目。
作为示例,上述执行主体可以对上述分类结果进行整理,以生成上述分类结果中标注的动态区域数目和标注的静态区域数目,分别作为识别动态区域数目和识别静态区域数目。
第五步,根据上述动态区域总数和上述识别动态区域数目,确定未识别到的动态区域数目,作为未识别动态区域数目。其中,上述未识别动态区域数目可以是通过业务画面信息识别模型未识别出的动态区域的数目。
作为示例,上述执行主体可以对上述动态区域总数和上述识别动态区域数目求差值,以生成未识别到的动态区域数目,作为未识别动态区域数目。
第六步,根据上述静态区域总数和上述识别静态区域数目,确定未识别到的静态区域数目,作为未识别静态区域数目。其中,上述未识别静态区域数目可以是通过业务画面信息识别模型未识别出的静态区域的数目。
作为示例,上述执行主体可以对上述静态区域总数和上述识别静态区域数目求差值,以生成未识别到的静态区域数目,作为未识别静态区域数目。
第七步,确定与数据库中对应的区域文本信息存在差异的上述分类结果中标注的动态区域的区域文本信息的数目,作为信息差异动态区域数目。
作为示例,首先,上述执行主体可以将上述分类结果中标注的动态区域的区域文本信息与数据库中对应的区域文本信息相比较,得到至少一个存在差异的标注的动态区域。其次,对上述至少一个存在差异的标注的动态区域进行数量确定,得到信息差异动态区域数目。
第八步,确定与数据库中对应的区域文本信息存在差异的上述分类结果中标注的静态区域的区域文本信息的数目,作为信息差异静态区域数目。
作为示例,首先,上述执行主体可以将上述分类结果中标注的静态区域的区域文本信息与数据库中对应的区域文本信息进行比较,得到至少一个存在差异的标注的静态区域。其次,对上述至少一个存在差异的标注的静态区域进行数量统计,得到信息差异静态区域数目。
第九步,将上述未识别动态区域数目和上述信息差异动态区域数目进行整合,得到整合后的动态区域数目,作为异常动态区域数目。其中,上述异常动态区域数目可以是未识别动态区域数目和信息差异动态区域数目的总和。
作为示例,上述执行主体可以将上述未识别动态区域数目和上述信息差异动态区域数目进行相加,得到整合后的动态区域数目,作为异常动态区域数目。
第十步,将上述未识别静态区域数目和上述信息差异静态区域数目进行整合,得到整合后的静态区域数目,作为异常静态区域数目。其中,异常静态区域数目可以是未识别静态区域数目和信息差异静态区域数目的总和。
作为示例,上述执行主体可以将上述未识别静态区域数目和上述信息差异静态区域数目进行相加,得到整合后的静态区域数目,作为异常静态区域数目。
第十一步,将上述动态区域总数、上述静态区域总数、上述异常动态区域数目和上述异常静态区域数目代入上述业务画面判定公式,以生成画面判定结果值。
步骤105,获取针对上述实时业务画面图像的实际画面判定结果。
在一些实施例中,上述执行主体可以通过有线方式或无线方式来获取针对上述实时业务画面图像的实际画面判定结果。其中,实际画面判断结果可以是业务画面图像中是否存在业务信息错误的判断结果。实践中,实际画面判定结果可以后续根据实际业务所获取的真实画面判定结果。
步骤106,根据上述画面判定结果值和上述实际画面判定结果,确定是否对上述业务画面信息识别模型和/或上述业务画面判定公式进行调整。
在一些实施例中,上述执行主体可以根据上述画面判定结果值和上述实际画面判定结果,确定是否对上述业务画面信息识别模型和/或上述业务画面判定公式进行调整。
作为示例,上述执行主体可以确定画面判断结果值和实际画面判定结果之间的信息差异。响应于确定信息差异对应的差异程度大于预设程度,确定对上述业务画面信息识别模型和/或上述业务画面判定公式进行调整。响应于确定信息差异对应的差异程度小于或等于预设程度,确定不对上述业务画面信息识别模型和/或上述业务画面判定公式进行调整。
步骤107,响应于确定对上述业务画面信息识别模型进行模型调整,对上述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型。
在一些实施例中,响应于确定对上述业务画面信息识别模型进行模型调整,上述执行主体可以对上述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型。
作为示例,上述执行主体可以根据信息差异,生成对应的损失值。然后,根据损失值,对上述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型。
在一些实施例的一些可选的实现方式中,在上述根据上述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息之后,上述方法还可以包括以下步骤:
第一子步骤,获取多个业务画面图像,作为业务画面图像集。其中,预设条件可以是对比结果为相同的条件。
作为示例,上述执行主体可以从数据库中获取多个业务画面图像,作为业务画面图像集。
第二子步骤,确定上述业务画面图像集中的每个业务画面图像与上述实时业务画面图像之间的相似度,得到相似度集。其中,相似度可以是余弦相似度。
作为示例,上述执行主体可以将上述业务画面图像集中的每个业务画面图像转换成特征向量表示,得到特征向量表示集。其次,将上述实时业务画面图像转换成特征向量表示,得到向量化的实时业务画面图像。最后,确定上述向量化的实时业务画面图像与上述特征向量表示集中的每个特征向量表示的相似度,得到相似度集。
第三子步骤,筛选出上述相似度集中相似度大于第二预设阈值的多个相似度,得到筛选后相似度集。其中,上述第二预设阈值可以是用于划分与上述实时业务画面图像是否相似的预先设置的阈值。在实践中,上述预设第二阈值可以是85%。
第四子步骤,选取上述筛选后相似度集中的每个筛选后相似度对应的业务画面图像,得到选取后业务画面图像集。其中,筛选后相似度对应的业务画面图像可以是上述业务画面图像集中的业务画面图像,且该业务画面图像与上述实时业务画面图像的相似度等于筛选后相似度。
第五子步骤,根据上述选取后业务画面图像集,对上述业务画面信息识别模型进行再次训练,以生成更新后业务画面信息识别模型。
作为示例,上述执行主体可以将上述选取后业务画面图像集输入上述业务画面信息识别模型,以及再次训练业务画面信息识别模型,以生成更新后业务画面信息识别模型。
步骤108,响应于确定对上述业务画面判定公式进行调整,对上述业务画面判定公式进行公式调整,得到调整后业务画面判定公式。
在一些实施例中,响应于确定对上述业务画面判定公式进行调整,上述执行主体可以对上述业务画面判定公式进行公式调整,得到调整后业务画面判定公式。
作为示例,上述执行主体可以根据信息差异,生成对应的损失值。然后,根据损失值,对业务画面判定公式进行公式调参,以生成调整后业务画面判定公式。
在一些实施例的一些可选的实现方式中,上述对上述业务画面判定公式进行公式调整,得到调整后业务画面判定公式,包括以下步骤:
第一步,将上述画面判定结果值与第一预设阈值进行比较,得到比较结果。其中,上述第一预设阈值可以是预设的用于判定实时业务画面图像是否被篡改的阈值。例如,第一预设阈值可以是5。上述比较结果通常包括:上述画面判定结果值大于等于第一预设阈值的结果、上述画面判定结果值小于第一预设阈值的结果。
第二步,响应于上述比较结果与实际结果存在差异,获取与上述实时业务画面图像相似度大于第二预设阈值的多个业务画面图像,作为相似业务画面图像集。其中,实际结果可以是实时业务画面图像的篡改判定数值与第一预设阈值进行比较所得到的结果。响应于实时业务画面图像被篡改,实时业务画面图像的篡改判定数值可以是预设的小于第一预设阈值的数值。响应于实时业务画面图像未被篡改,实时业务画面图像的篡改判定数值可以是预设的大于等于第一预设阈值的数值。
作为示例,首先,上述执行主体可以响应于上述比较结果与实际结果存在差异,将述实时业务画面图像向量化,得到向量化后的实时业务画面图像。其次,从数据库中获取多个业务画面图像。再次,将多个业务画面图像向量化,得到向量化后的业务画面图像集。然后,确定上述向量化后的实时业务画面图像与上述向量化后的业务画面图像集中的每个向量化后的业务画面图像的相似度,得到相似度集。接着,选取相似度集中大于第二预设阈值的相似度,得到至少一个选取后相似度。最后,选取与上述至少一个相似度中每个相似度对应的业务画面图像,得到选取后业务画面图像集,作为相似业务画面图像集。
第三步,获取上述相似业务画面图像集中每个相似业务画面图像对应的类别信息,得到类别信息集。其中,相似业务画面图像对应的类别信息可以是相似业务画面图像属于设置的类别的信息。设置的类别通常包括但不限于以下至少一项:第一类业务画面图像类别、第二类业务画面图像类别。其中,第一类业务画面图像可以是不存在篡改情况的业务画面图像。第二类业务画面图像可以是存在篡改情况的业务画面图像。上述类别信息集可以是相似业务画面图像对应的类别信息的集合。
作为示例,上述执行主体可以从数据库中获取上述相似业务画面图像集中每个相似业务画面图像对应的类别信息,得到类别信息集。
第四步,对上述相似业务画面图像集中的每个相似业务画面图像进行指标数据提取,以生成相似业务画面图像对应的指标数据,作为相似图像指标数据,得到相似图像指标数据集。其中,相似图像指标数据通常包括但不限于以下至少一项:动态区域图像总数、静态区域图像总数、存在异常的动态区域图像数、存在异常的静态区域图像数。相似图像指标数据集可以是相似图像指标数据的集合。
作为示例,上述执行主体可以根据上述预设的多个业务画面判定指标,对上述相似业务画面图像集中的每个相似业务画面图像进行指标数据提取,以生成相似业务画面图像对应的指标数据,作为相似图像指标数据,得到相似图像指标数据集。
第五步,对相似图像指标数据集中的每个相似图像指标数据向量化,以生成向量化后的指标数据,得到向量化后的指标数据集。
作为示例,上述执行主体可以将相似图像指标数据集中的每个相似图像指标数据转换成向量形式,以生成向量化后的指标数据,得到向量化后的指标数据集。例如,相似图像指标数据包括:动态区域图像总数7个、静态区域图像总数2个、存在异常的动态区域图像数2、存在异常的静态区域图像数0个,则向量化后的指标数据可以表示为[7,2,2,0]。
第六步,对于上述向量化后的指标数据集中的每个向量化后的指标数据,执行以下第二训练步骤:
第一子步骤,对二分类线性分类器进行随机初始化。其中,上述二分类线性分类器可以是多层感知机。二分类可以是将输入线性分类器中的数据划分为两个类别。在实践中,二分类通常以将输入数据转换为类别概率的方式实现。
作为示例,上述执行主体可以对二分类线性分类器中的参数进行随机初始化。其中,二分类线性分类器中的参数可以包括但不限于以下至少一项:权重矩阵,偏置向量。
第二子步骤,将上述向量化后的指标数据输入初始化后的二分类线性分类器,以生成上述向量化后的指标数据对应的各个类别的概率,作为分类概率集。其中,上述向量化后的指标数据对应的各个类别的概率可以是相似业务画面图像属于各个类别的概率。其中,各个类别可以是上述设置的类别。
作为示例,上述执行主体可以将上述向量化后的指标数据输入多层感知机,以生成上述向量化后的指标数据对应的各个类别的概率,作为分类概率集。
第三子步骤,根据上述分类概率集,确定上述向量化后的指标数据对应的相似业务画面图像的类别,作为预测的类别信息。其中,预测的类别信息可以是相似业务画面图像属于某个类别的信息。
作为示例,上述执行主体可以将上述分类概率集中最大的分类概率对应的类别确定为上述向量化后的指标数据对应的相似业务画面图像的类别,作为预测的类别信息。
第四子步骤,确定上述预测的类别信息与上述类别信息集中对应的类别信息的误差,作为类别损失,以及保存上述类别损失和初始化后的二分类线性分类器的权重矩阵,分别作为候选类别损失和候选权重矩阵。
作为示例,首先,上述执行主体可以响应于上述预测的类别信息与上述类别信息集中对应的类别信息相同,将上述预测的类别信息对应的分类概率与上述类别信息集中对应的类别作为目标类别的概率进行差值确定,得到上述预测的类别信息与上述类别信息集中对应的类别信息的误差,作为类别损失。其中,上述类别信息集中对应的类别作为目标类别的概率可以是100%。其次,保存上述类别损失和上述二分类线性分类器的权重矩阵,分别作为候选类别损失和候选权重矩阵。
作为又一个示例,首先,上述执行主体可以响应于上述预测的类别信息与上述类别信息集中对应的类别信息不相同,将上述预测的类别信息对应的分类概率确定为上述预测的类别信息与上述类别信息集中对应的类别信息的误差,作为类别损失。其次,保存上述类别损失和上述二分类线性分类器的权重矩阵,分别作为候选类别损失和候选权重矩阵。
第五子步骤,根据上述候选类别损失,对上述二分类线性分类器进行反向传播。
作为示例,上述执行主体可以基于反向传播算法,根据上述候选类别损失,对上述二分类线性分类器进行反向传播。
第七步,从所得到的候选类别损失集中选取值最小的候选类别损失,作为最小类别损失。
第八步,从所得到的候选权重矩阵集中选取与上述最小类别损失对应的候选权重矩阵,得到选取后的权重矩阵。
第九步,从上述选取后的权重矩阵中识别一行数据,作为上述预设的多个业务画面判定指标对应的系数,以及将上述预设的多个业务画面判定指标中的每个业务画面判定指标与对应的系数组合,以生成组合后的业务画面判定公式,作为更新后的业务画面判定公式。
步骤109,将上述更新后业务画面信息识别模型和上述调整后业务画面判定公式进行存储。
在一些实施例中,上述执行主体可以将上述更新后业务画面信息识别模型和上述调整后业务画面判定公式绑定存储于目标数据库。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的画面信息识别方法可以精准、有效地识别出业务画面图像是否存在画面异常。具体来说,造成画面异常不够精准和高效地原因在于:业务画面图像可能存在大量的业务信息(例如航班信息),相关技术人员人为确定异常信息存在准确性较低且效率较低的问题。基于此,本公开的一些实施例的画面信息识别方法,首先,获取业务画面信息识别模型。其次,根据上述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息。在这里,获取图像数据的指标数值,为之后确定被篡改图像数据做准备。再次,根据预设的多个业务画面判定指标,生成业务画面判定公式。在这里,生成被篡改图像检测公式,提升被篡改图像检测的准确性。然后,基于上述业务画面判定公式和上述识别结果信息,确定画面判定结果值。在这里,检测出被篡改的图像数据,为画面信息识别提供数据基础。接着,获取针对上述实时业务画面图像的实际画面判定结果,以用于后续确定画面判定结果值的判断精准性。再接着,根据上述画面判定结果值和上述实际画面判定结果,确定是否对上述业务画面信息识别模型和/或上述业务画面判定公式进行调整。进而,响应于确定对上述业务画面信息识别模型进行模型调整,对上述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型,以保障后续更新后业务画面信息识别模型可以识别出更为精准地识别结果,进一步提高后续业务画面图像对应画面判定结果值的精准性。进一步的,响应于确定对上述业务画面判定公式进行调整,对上述业务画面判定公式进行公式调整,得到调整后业务画面判定公式,以保障后续调整后业务画面判定公式可以识别出更为精准地确定出画面判断结果值。最后,将上述更新后业务画面信息识别模型和上述调整后业务画面判定公式进行存储。综上,通过业务画面信息识别模型和业务画面判定公式,可以精准、有效地识别出业务画面图像是否存在画面异常
进一步参考图2,作为对上述各图所示方法的实现,本公开提供了一种画面信息识别装置的一些实施例,这些装置实施例与图1所示的那些方法实施例相对应,该画面信息识别装置具体可以应用于各种电子设备中。
如图2所示,一种画面信息识别装置200包括:第一获取单元201、识别单元202、生成单元203、第一确定单元204、第二获取单元205、第二确定单元206、更新单元207、调整单元208和存储单元209。其中,第一获取单元201,被配置成获取预先训练的业务画面信息识别模型;识别单元202,被配置成根据上述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息;生成单元203,被配置成根据预设的多个业务画面判定指标,生成业务画面判定公式;第一确定单元204,被配置成基于上述业务画面判定公式和上述识别结果信息,确定画面判定结果值;第二获取单元205,被配置成获取针对上述实时业务画面图像的实际画面判定结果;第二确定单元206,被配置成根据上述画面判定结果值和上述实际画面判定结果,确定是否对上述业务画面信息识别模型和/或上述业务画面判定公式进行调整;更新单元207,被配置成响应于确定对上述业务画面信息识别模型进行模型调整,对上述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型;调整单元208,被配置成响应于确定对上述业务画面判定公式进行调整,对上述业务画面判定公式进行公式调整,得到调整后业务画面判定公式;存储单元209,被配置成将上述更新后业务画面信息识别模型和上述调整后业务画面判定公式进行存储。
可以理解的是,该画面信息识别装置200中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于画面信息识别装置200及其中包含的单元,在此不再赘述。
下面参考图3,其示出了适于用来实现本公开的一些实施例的电子设备(例如,电子设备)300的结构示意图。图3示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取预先训练的业务画面信息识别模型;根据上述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息;根据预设的多个业务画面判定指标,生成业务画面判定公式;基于上述业务画面判定公式和上述识别结果信息,确定画面判定结果值;获取针对上述实时业务画面图像的实际画面判定结果;根据上述画面判定结果值和上述实际画面判定结果,确定是否对上述业务画面信息识别模型和/或上述业务画面判定公式进行调整;响应于确定对上述业务画面信息识别模型进行模型调整,对上述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型;响应于确定对上述业务画面判定公式进行调整,对上述业务画面判定公式进行公式调整,得到调整后业务画面判定公式;将上述更新后业务画面信息识别模型和上述调整后业务画面判定公式进行存储。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、识别单元、生成单元、确定单元和调整单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取业务画面信息识别模型的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种画面信息识别方法,包括:
获取预先训练的业务画面信息识别模型;
根据所述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息;
根据预设的多个业务画面判定指标,生成业务画面判定公式,
其中,所述根据预设的多个业务画面判定指标,生成业务画面判定公式,包括:
将多个业务画面图像确定为业务画面图像集;
对所述业务画面图像集中的每个业务画面图像进行标注,以生成标注后的业务画面图像,得到标注后的业务画面图像集,其中,标注后的业务画面图像包括:标注为动态区域的区域图像、标注为静态区域的区域图像,其中,区域图像是标注后的业务画面图像的部分图像;
对所述标注后的业务画面图像集中的每个标注后的业务画面图像进行异常判定,以生成判定后的业务画面图像,得到判定后的业务画面图像集,其中,判定后的业务画面图像包括以下至少一项:不存在异常的动态区域图像、不存在异常的静态区域图像、存在异常的动态区域图像、存在异常的静态区域图像;
根据所述多个业务画面判定指标,确定所述判定后的业务画面图像集中每个判定后的业务画面图像对应的指标数据,得到指标数据集;
根据所述指标数据集,确定所述多个业务画面判定指标中的每个业务画面判定指标对应的权重值,以生成权重值集;
将所述多个业务画面判定指标和所述权重值集进行对应组合,以生成业务画面判定公式;
基于所述业务画面判定公式和所述识别结果信息,确定画面判定结果值,
其中,所述基于所述业务画面判定公式和所述识别结果信息,确定画面判定结果值,包括:
根据预设的分类类别,对预设的业务画面图像标注模板信息中的标注区域进行分类,得到模板分类结果,其中,所述预设的分类类别包括:标注的动态区域的类别、标注的静态区域的类别;
确定所述模板分类结果中标注的动态区域的总数和标注的静态区域的总数,分别作为动态区域总数和静态区域总数;
根据预设的分类类别,对所述识别结果信息中识别的标注区域坐标进行分类,得到分类结果;
对所述分类结果中标注的动态区域和标注的静态区域进行数目整理,以生成标注的动态区域的数目和标注的静态区域的数目,分别作为识别动态区域数目和识别静态区域数目;
根据所述动态区域总数和所述识别动态区域数目,确定未识别到的动态区域数目,作为未识别动态区域数目;
根据所述静态区域总数和所述识别静态区域数目,确定未识别到的静态区域数目,作为未识别静态区域数目;
确定与数据库中对应的区域文本信息存在差异的所述分类结果中标注的动态区域的区域文本信息的数目,作为信息差异动态区域数目;
确定与数据库中对应的区域文本信息存在差异的所述分类结果中标注的静态区域的区域文本信息的数目,作为信息差异静态区域数目;
将所述未识别动态区域数目和所述信息差异动态区域数目进行整合,得到整合后的动态区域数目,作为异常动态区域数目;
将所述未识别静态区域数目和所述信息差异静态区域数目进行整合,得到整合后的静态区域数目,作为异常静态区域数目;
将所述动态区域总数、所述静态区域总数、所述异常动态区域数目和所述异常静态区域数目代入所述业务画面判定公式,以生成画面判定结果值;
获取针对所述实时业务画面图像的实际画面判定结果;
根据所述画面判定结果值和所述实际画面判定结果,确定是否对所述业务画面信息识别模型和/或所述业务画面判定公式进行调整;
响应于确定对所述业务画面信息识别模型进行模型调整,对所述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型;
响应于确定对所述业务画面判定公式进行调整,对所述业务画面判定公式进行公式调整,得到调整后业务画面判定公式;
将所述更新后业务画面信息识别模型和所述调整后业务画面判定公式进行存储。
2.根据权利要求1所述的方法,其中,所述获取预先训练的业务画面信息识别模型,包括:
根据预设的业务画面图像标注模板信息,对多个待标注业务画面图像中的每个待标注业务画面图像进行区域标注,以生成区域标注业务画面图像,得到区域标注业务画面图像集;
对所述区域标注业务画面图像集中的每个区域标注业务画面图像进行图像文本识别,以生成文本信息,作为区域文本信息,得到区域文本信息集;
对所述区域标注业务画面图像集中的每个区域标注业务画面图像进行高斯滤波,以生成滤波后的区域标注业务画面图像,作为滤波业务画面图像,得到滤波业务画面图像集;
对于所述滤波业务画面图像集中的每个滤波业务画面图像,执行以下第一训练步骤:
对所述滤波业务画面图像进行三次不同的卷积,以生成三个不同的滤波业务画面图像数据,分别作为第一业务画面图像数据、第二业务画面图像数据、第三业务画面图像数据;
对所述第二业务画面图像数据进行转置,以生成转置后的第二业务画面图像数据;
将所述转置后的第二业务画面图像数据与所述第三业务画面图像数据进行矩阵乘法,得到相乘后的业务画面图像数据;
基于归一化指数函数,对所述相乘后的业务画面图像数据进行归一化,以生成归一化后的业务画面图像数据,作为注意力得分数据;
将所述注意力得分数据与所述第一业务画面图像数据进行数据融合,以生成融合注意力的业务画面图像数据,作为融合业务画面图像数据;
基于多层感知机,对所述融合业务画面图像数据进行标注区域预测,以生成预测的标注区域坐标概率信息,以及对所述融合业务画面图像数据进行区域文本预测,以生成预测的区域文本概率信息;
确定所述预测的标注区域坐标概率信息与所述预设的业务画面图像标注模板信息中对应的标注区域坐标的概率信息之间的误差,作为位置损失;
确定所述预测的区域文本概率信息与所述区域文本信息集中对应的区域文本信息的概率之间的误差,作为内容损失;
根据预设的加权系数,对所述位置损失和所述内容损失进行加权求和,得到加权后的损失,作为综合损失,以及保存所述综合损失和所得到的模型,分别作为候选模型损失和候选业务画面信息识别模型,其中,候选业务画面信息识别模型包括:卷积层、转置层、矩阵乘法层、归一化层、融合层、预测层;
根据所述候选模型损失,对所述候选业务画面信息识别模型进行反向传播;
从所得到的候选模型损失集中选取值最小的候选模型损失,以及将所述值最小的候选模型损失对应的候选业务画面信息识别模型确定为业务画面信息识别模型。
3.根据权利要求1所述的方法,其中,所述对所述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型,包括:
获取多个业务画面图像,作为业务画面图像集;
确定所述业务画面图像集中的每个业务画面图像与所述实时业务画面图像之间的相似度,得到相似度集;
筛选出所述相似度集中相似度大于第二预设阈值的多个相似度,得到筛选后相似度集;
选取所述筛选后相似度集中的每个筛选后相似度对应的业务画面图像,得到选取后业务画面图像集;
根据所述选取后业务画面图像集,对所述业务画面信息识别模型进行再次训练,以生成更新后业务画面信息识别模型。
4.根据权利要求1所述的方法,其中,所述对所述业务画面判定公式进行公式调整,得到调整后业务画面判定公式,包括:
将所述画面判定结果值与第一预设阈值进行比较,得到比较结果;
响应于所述比较结果与实际结果存在差异,获取与所述实时业务画面图像相似度大于第二预设阈值的多个业务画面图像,作为相似业务画面图像集;
获取所述相似业务画面图像集中每个相似业务画面图像对应的类别信息,得到类别信息集;
对所述相似业务画面图像集中的每个相似业务画面图像进行指标数据提取,以生成相似业务画面图像对应的指标数据,作为相似图像指标数据,得到相似图像指标数据集;
对所述相似图像指标数据集中的每个相似图像指标数据向量化,以生成向量化后的指标数据,得到向量化后的指标数据集;
对于所述向量化后的指标数据集中的每个向量化后的指标数据,执行以下第二训练步骤:
对二分类线性分类器进行随机初始化;
将所述向量化后的指标数据输入初始化后的二分类线性分类器,以生成所述向量化后的指标数据对应的各个类别的概率,作为分类概率集;
根据所述分类概率集,确定所述向量化后的指标数据对应的相似业务画面图像的类别,作为预测的类别信息;
确定所述预测的类别信息与所述类别信息集中对应的类别信息的误差,作为类别损失,以及保存所述类别损失和初始化后的二分类线性分类器的权重矩阵,分别作为候选类别损失和候选权重矩阵;
根据所述候选类别损失,对所述二分类线性分类器进行反向传播;
从所得到的候选类别损失集中选取值最小的候选类别损失,作为最小类别损失;
从所得到的候选权重矩阵集中选取与所述最小类别损失对应的候选权重矩阵,得到选取后的权重矩阵;
从所述选取后的权重矩阵中识别一行数据,作为所述预设的多个业务画面判定指标对应的系数,以及将所述预设的多个业务画面判定指标中的每个业务画面判定指标与对应的系数组合,以生成组合后的业务画面判定公式,作为更新后的业务画面判定公式。
5.一种画面信息识别装置,包括:
第一获取单元,被配置成获取预先训练的业务画面信息识别模型;
识别单元,被配置成根据所述业务画面信息识别模型,对实时业务画面图像进行信息识别,以生成识别结果信息;
生成单元,被配置成根据预设的多个业务画面判定指标,生成业务画面判定公式,
其中,所述根据预设的多个业务画面判定指标,生成业务画面判定公式,包括:
将多个业务画面图像确定为业务画面图像集;
对所述业务画面图像集中的每个业务画面图像进行标注,以生成标注后的业务画面图像,得到标注后的业务画面图像集,其中,标注后的业务画面图像包括:标注为动态区域的区域图像、标注为静态区域的区域图像,其中,区域图像是标注后的业务画面图像的部分图像;
对所述标注后的业务画面图像集中的每个标注后的业务画面图像进行异常判定,以生成判定后的业务画面图像,得到判定后的业务画面图像集,其中,判定后的业务画面图像包括以下至少一项:不存在异常的动态区域图像、不存在异常的静态区域图像、存在异常的动态区域图像、存在异常的静态区域图像;
根据所述多个业务画面判定指标,确定所述判定后的业务画面图像集中每个判定后的业务画面图像对应的指标数据,得到指标数据集;
根据所述指标数据集,确定所述多个业务画面判定指标中的每个业务画面判定指标对应的权重值,以生成权重值集;
将所述多个业务画面判定指标和所述权重值集进行对应组合,以生成业务画面判定公式;
第一确定单元,被配置成基于所述业务画面判定公式和所述识别结果信息,确定画面判定结果值,其中,所述基于所述业务画面判定公式和所述识别结果信息,确定画面判定结果值,包括:
根据预设的分类类别,对预设的业务画面图像标注模板信息中的标注区域进行分类,得到模板分类结果,其中,所述预设的分类类别包括:标注的动态区域的类别、标注的静态区域的类别;
确定所述模板分类结果中标注的动态区域的总数和标注的静态区域的总数,分别作为动态区域总数和静态区域总数;
根据预设的分类类别,对所述识别结果信息中识别的标注区域坐标进行分类,得到分类结果;
对所述分类结果中标注的动态区域和标注的静态区域进行数目整理,以生成标注的动态区域的数目和标注的静态区域的数目,分别作为识别动态区域数目和识别静态区域数目;
根据所述动态区域总数和所述识别动态区域数目,确定未识别到的动态区域数目,作为未识别动态区域数目;
根据所述静态区域总数和所述识别静态区域数目,确定未识别到的静态区域数目,作为未识别静态区域数目;
确定与数据库中对应的区域文本信息存在差异的所述分类结果中标注的动态区域的区域文本信息的数目,作为信息差异动态区域数目;
确定与数据库中对应的区域文本信息存在差异的所述分类结果中标注的静态区域的区域文本信息的数目,作为信息差异静态区域数目;
将所述未识别动态区域数目和所述信息差异动态区域数目进行整合,得到整合后的动态区域数目,作为异常动态区域数目;
将所述未识别静态区域数目和所述信息差异静态区域数目进行整合,得到整合后的静态区域数目,作为异常静态区域数目;
将所述动态区域总数、所述静态区域总数、所述异常动态区域数目和所述异常静态区域数目代入所述业务画面判定公式,以生成画面判定结果值;
第二获取单元,被配置成获取针对所述实时业务画面图像的实际画面判定结果;
第二确定单元,被配置成根据所述画面判定结果值和所述实际画面判定结果,确定是否对所述业务画面信息识别模型和/或所述业务画面判定公式进行调整;
更新单元,被配置成响应于确定对所述业务画面信息识别模型进行模型调整,对所述业务画面信息识别模型进行模型更新,得到更新后业务画面信息识别模型;
调整单元,被配置成响应于确定对所述业务画面判定公式进行调整,对所述业务画面判定公式进行公式调整,得到调整后业务画面判定公式;
存储单元,被配置成将所述更新后业务画面信息识别模型和所述调整后业务画面判定公式进行存储。
6.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
7.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN202311811181.1A 2023-12-27 2023-12-27 画面信息识别方法、装置、电子设备和计算机可读介质 Active CN117475291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311811181.1A CN117475291B (zh) 2023-12-27 2023-12-27 画面信息识别方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311811181.1A CN117475291B (zh) 2023-12-27 2023-12-27 画面信息识别方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN117475291A CN117475291A (zh) 2024-01-30
CN117475291B true CN117475291B (zh) 2024-03-08

Family

ID=89635068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311811181.1A Active CN117475291B (zh) 2023-12-27 2023-12-27 画面信息识别方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN117475291B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762049A (zh) * 2021-05-11 2021-12-07 腾讯科技(深圳)有限公司 内容识别方法、装置、存储介质和终端设备
CN115130711A (zh) * 2021-03-26 2022-09-30 腾讯科技(深圳)有限公司 一种数据处理方法、装置、计算机及可读存储介质
CN116994069A (zh) * 2023-09-22 2023-11-03 武汉纺织大学 一种基于多模态信息的图像解析方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130711A (zh) * 2021-03-26 2022-09-30 腾讯科技(深圳)有限公司 一种数据处理方法、装置、计算机及可读存储介质
CN113762049A (zh) * 2021-05-11 2021-12-07 腾讯科技(深圳)有限公司 内容识别方法、装置、存储介质和终端设备
CN116994069A (zh) * 2023-09-22 2023-11-03 武汉纺织大学 一种基于多模态信息的图像解析方法及***

Also Published As

Publication number Publication date
CN117475291A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
EP3940591A1 (en) Image generating method, neural network compression method, and related apparatus and device
US11657602B2 (en) Font identification from imagery
CN112651978B (zh) 舌下微循环图像分割方法和装置、电子设备、存储介质
CN112949415B (zh) 图像处理方法、装置、设备和介质
CN105426356B (zh) 一种目标信息识别方法和装置
CN112380921A (zh) 一种基于车联网的道路检测方法
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN113313053B (zh) 图像处理方法、装置、设备、介质及程序产品
CN114612835A (zh) 一种基于YOLOv5网络的无人机目标检测模型
CN112464717A (zh) 一种遥感图像目标检测方法、***、电子设备和存储介质
CN112507888A (zh) 建筑物识别方法及装置
US11423262B2 (en) Automatically filtering out objects based on user preferences
CN112288701A (zh) 一种智慧交通图像检测方法
CN114495113A (zh) 文本分类方法和文本分类模型的训练方法、装置
CN115294405B (zh) 农作物病害分类模型的构建方法、装置、设备及介质
CN117475291B (zh) 画面信息识别方法、装置、电子设备和计算机可读介质
CN111860623A (zh) 基于改进ssd神经网络的统计树木数量的方法及***
Yaman et al. Image processing and machine learning‐based classification method for hyperspectral images
CN113780239B (zh) 虹膜识别方法、装置、电子设备和计算机可读介质
CN116152576A (zh) 图像处理方法、装置、设备及存储介质
CN113344121B (zh) 训练招牌分类模型和招牌分类的方法
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
CN116958615A (zh) 图片识别方法、装置、设备和介质
CN114579876A (zh) 虚假信息检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant