CN114898282A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN114898282A
CN114898282A CN202110113954.3A CN202110113954A CN114898282A CN 114898282 A CN114898282 A CN 114898282A CN 202110113954 A CN202110113954 A CN 202110113954A CN 114898282 A CN114898282 A CN 114898282A
Authority
CN
China
Prior art keywords
image
target
area
sample
reference number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110113954.3A
Other languages
English (en)
Inventor
宋庆宇
王昌安
王亚彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110113954.3A priority Critical patent/CN114898282A/zh
Publication of CN114898282A publication Critical patent/CN114898282A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了图像处理方法及装置。方法包括：获取目标图像处理模型和目标图像，目标图像处理模型利用第一损失函数和第二损失函数训练得到，第一损失函数基于样本图像中的各个样本像素点分别对应的预测群体密度确定，第二损失函数基于样本图像中的各个第一图像区域分别对应的预测群体对象数量确定；调用目标图像处理模型对目标图像进行处理，得到目标群体密度图；基于目标群体密度图，确定目标图像对应的目标群体对象数量。基于上述过程，训练得到目标图像处理模型的过程中关注的信息较丰富，能够缓解训练目标与图像处理模型的最终使用目标不一致的现象，根据目标图像处理模型得到的目标群体密度图确定出的目标群体对象数量的准确度较高。

Description

图像处理方法及装置
技术领域
本申请实施例涉及人工智能技术领域，特别涉及一种图像处理方法及装置。
背景技术
随着人工智能(Artificial Intelligence，AI)技术的发展，利用人工智能技术分析出图像对应的群体对象数量(即图像中包含的群体对象的数量)，在视频监控、公共安全等领域发挥着重要的作用。目前，利用人工智能技术分析出图像对应的群体对象数量的实现方式为：调用图像处理模型对图像进行处理，得到图像对应的群体密度图，进而根据群体密度图确定出图像对应的群体对象数量。其中，群体密度图用于指示图像中的各个像素点分别对应的群体密度。
相关技术中，图像处理模型直接利用基于样本图像中的各个样本像素点分别对应的预测群体密度确定的损失函数训练得到。在此种方式下，在训练得到图像处理模型的过程中，仅仅关注根据图像处理模型能否准确地预测出样本图像中的各个样本像素点分别对应的群体密度，关注的信息较局限。
图像处理模型的最终使用目标是准确预测出能够准确确定图像对应的群体对象数量的群体密度图，在仅仅关注根据图像处理模型能否准确地预测出各个样本像素点分别对应的群体密度的训练方式下，容易出现训练目标与最终使用目标不一致的现象，导致根据训练好的图像处理模型得到的群体密度图确定出的图像对应的群体对象数量的准确度较低，调用训练好的图像处理模型对图像进行处理的处理效果较差。
发明内容
本申请实施例提供了一种图像处理方法及装置，可用于提高确定出的图像对应的群体对象数量的准确度。所述技术方案如下：
一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
获取目标图像处理模型和待处理的目标图像，所述目标图像处理模型利用第一损失函数和第二损失函数训练得到，所述第一损失函数基于样本图像中的各个样本像素点分别对应的预测群体密度确定，所述第二损失函数基于所述样本图像中的各个第一图像区域分别对应的预测群体对象数量确定；
调用所述目标图像处理模型对所述目标图像进行处理，得到所述目标图像对应的目标群体密度图；
基于所述目标群体密度图，确定所述目标图像对应的目标群体对象数量，所述目标图像对应的目标群体对象数量用于指示所述目标图像中包含的群体对象的数量。
另一方面，提供了一种图像处理装置，所述装置包括：
获取单元，用于获取目标图像处理模型和待处理的目标图像，所述目标图像处理模型利用第一损失函数和第二损失函数训练得到，所述第一损失函数基于样本图像中的各个样本像素点分别对应的预测群体密度确定，所述第二损失函数基于所述样本图像中的各个第一图像区域分别对应的预测群体对象数量确定；
调用单元，用于调用所述目标图像处理模型对所述目标图像进行处理，得到所述目标图像对应的目标群体密度图；
确定单元，用于基于所述目标群体密度图，确定所述目标图像对应的目标群体对象数量，所述目标图像对应的目标群体对象数量用于指示所述目标图像中包含的群体对象的数量。
在一种可能实现方式中，所述获取单元，还用于获取样本图像和所述样本图像对应的标准群体密度图，所述标准群体密度图用于指示所述样本图像中的各个样本像素点分别对应的标准群体密度；
所述调用单元，还用于调用初始图像处理模型对所述样本图像进行处理，得到所述样本图像对应的预测群体密度图，所述预测群体密度图用于指示所述样本图像中的各个样本像素点分别对应的预测群体密度；
所述确定单元，还用于基于所述各个样本像素点分别对应的预测群体密度和所述各个样本像素点分别对应的标准群体密度，确定第一损失函数；
所述装置还包括：
划分单元，用于将所述样本图像划分为第一参考数量的第一图像区域；
所述确定单元，还用于确定所述第一参考数量的第一图像区域分别对应的预测群体对象数量和所述第一参考数量的第一图像区域分别对应的标准群体对象数量；
所述确定单元，还用于基于所述第一参考数量的第一图像区域分别对应的预测群体对象数量和所述第一参考数量的第一图像区域分别对应的标准群体对象数量，确定第二损失函数；
所述装置还包括：
训练单元，用于利用所述第一损失函数和所述第二损失函数对所述初始图像处理模型进行训练，得到所述目标图像处理模型。
在一种可能实现方式中，所述确定单元，还用于基于所述第一参考数量的第一图像区域分别对应的预测群体对象数量和所述第一参考数量的第一图像区域分别对应的标准群体对象数量，在所述第一参考数量的第一图像区域中，确定第一目标区域；确定所述第一目标区域中的候选像素点；基于所述候选像素点对应的预测群体密度和所述候选像素点对应的标准群体密度，确定第二损失函数。
在一种可能实现方式中，所述确定单元，还用于对于所述第一参考数量的第一图像区域中的任一第一图像区域，响应于所述任一第一图像区域对应的预测群体对象数量大于所述任一第一图像区域对应的标准群体对象数量，将第一类型作为所述任一第一图像区域对应的区域类型；响应于所述任一第一图像区域对应的预测群体对象数量小于所述任一第一图像区域对应的标准群体对象数量，将第二类型作为所述任一第一图像区域对应的区域类型；在所述第一参考数量的第一图像区域中，将对应的区域类型为第一类型和对应的区域类型为第二类型的第一图像区域确定为第一目标区域。
在一种可能实现方式中，所述第一目标区域的数量为至少一个，所述确定单元，还用于将任一第一目标区域划分为第二参考数量的第二图像区域，确定所述第二参考数量的第二图像区域分别对应的预测群体对象数量和所述第二参考数量的第二图像区域分别对应的标准群体对象数量；基于所述第二参考数量的第二图像区域分别对应的预测群体对象数量和所述第二参考数量的第二图像区域分别对应的标准群体对象数量，确定所述第二参考数量的第二图像区域分别对应的区域类型；将对应的区域类型与所述任一第一目标区域对应的区域类型相同的第二图像区域作为第二目标区域，所述第二目标区域的数量为至少一个；响应于任一第二目标区域由单个样本像素点构成，将构成所述任一第二目标区域的样本像素点作为所述任一第一目标区域中的一个候选像素点。
在一种可能实现方式中，所述确定单元，还用于响应于所述任一第二目标区域由至少两个样本像素点构成，将所述任一第二目标区域划分为第三参考数量的第三图像区域，确定所述第三参考数量的第三图像区域分别对应的预测群体对象数量和所述第三参考数量的第三图像区域分别对应的标准群体对象数量；基于所述第三参考数量的第三图像区域分别对应的预测群体对象数量和所述第三参考数量的第三图像区域分别对应的标准群体对象数量，确定所述第三参考数量的第三图像区域分别对应的区域类型；将对应的区域类型与所述任一第二目标区域对应的区域类型相同的第三图像区域作为第三目标区域，所述第三目标区域的数量为至少一个；响应于任一第三目标区域由单个样本像素点构成，将构成所述任一第三目标区域的样本像素点作为所述任一第一目标区域中的一个候选像素点。
在一种可能实现方式中，所述确定单元，还用于对于所述第一参考数量的第一图像区域中的任一第一图像区域，在所述预测群体密度图中确定所述任一第一图像区域对应的子预测群体密度图；在所述标准群体密度图中确定所述任一第一图像区域对应的子标准群体密度图；基于所述任一第一图像区域对应的子预测群体密度图，确定所述任一第一图像区域对应的预测群体对象数量；基于所述任一第一图像区域对应的子标准群体密度图，确定所述任一第一图像区域对应的标准群体对象数量。
在一种可能实现方式中，所述获取单元，还用于基于所述样本图像对应的至少一个头部中心点的标注信息，生成至少一个第一基础图，任一第一基础图的尺寸与所述样本图像的尺寸相同；对所述至少一个第一基础图进行叠加处理，得到第二基础图；利用目标高斯核对所述第二基础图进行高斯卷积处理，得到所述样本图像对应的标准群体密度图。
在一种可能实现方式中，所述目标群体密度图用于指示所述目标图像中的各个目标像素点分别对应的目标群体密度；所述确定单元，用于对所述目标图像中的各个目标像素点分别对应的目标群体密度进行汇总处理，得到所述目标图像对应的目标群体对象数量。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现上述任一所述的图像处理方法。
另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以实现上述任一所述的图像处理方法。
另一方面，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述任一所述的图像处理方法。
本申请实施例提供的技术方案至少带来如下有益效果：
在本申请实施例中，目标图像处理模型利用第一损失函数和第二损失函数训练得到，其中，第一损失函数用于关注根据图像处理模型能否准确预测出样本图像中各个样本像素点分别对应的预测群体密度，第二损失函数用于关注根据图像处理模型能否准确预测出样本图像中的各个第一图像区域分别对应的预测群体对象数量。训练得到目标图像处理模型的过程中关注的信息较丰富，能够缓解训练目标与图像处理模型的最终使用目标不一致的现象，根据目标图像处理模型得到的目标群体密度图确定出的目标群体对象数量的准确度较高，调用目标图像处理模型对目标图像进行处理的处理效果较好。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法的实施环境的示意图；
图2是本申请实施例提供的一种图像处理方法的流程图；
图3是本申请实施例提供的一种调用目标图像处理模型对目标图像进行处理，得到目标图像对应的目标群体密度图的实现过程的示意图；
图4是本申请实施例提供的一种卷积特征Pi的获取过程的示意图；
图5是本申请实施例提供的一种图像本身、图像对应的真实群体密度图以及利用目标图像处理模型得到的图像对应的目标群体密度图的可视化图；
图6是本申请实施例提供的一种训练得到目标图像处理模型的方法的流程图；
图7是本申请实施例提供的一种基于任一第一目标区域确定第二目标区域的过程的示意图；
图8是本申请实施例提供的一种确定第一目标区域中的候选像素点的过程的可视化图；
图9是本申请实施例提供的一种图像处理装置的示意图；
图10是本申请实施例提供的一种图像处理装置的示意图；
图11是本申请实施例提供的一种终端的结构示意图；
图12是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供的图像处理方法涉及人工智能技术领域。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例提供的图像处理方法涉及计算机视觉技术和机器学习技术。
计算机视觉(Computer Vision，CV)技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(Three Dimensional，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
在示例性实施例中，本申请实施例中提供的图像处理方法在区块链***中实现，本申请实施例提供的图像处理方法中涉及的图像以及图像的处理结果(如，群体密度图、群体对象数量等)均保存在区块链***中的区块链上，图像以及图像的处理结果的安全性和可靠性较高。
本申请实施例提供了一种图像处理方法，请参考图1，其示出了本申请实施例提供的图像处理方法的实施环境的示意图。该实施环境包括：终端11和服务器12。
本申请实施例提供的图像处理方法既可以应用于终端11，也可以应用于服务器12，本申请实施例对此不加以限定。示例性地，对于本申请实施例提供的图像处理方法应用于终端11的情况，待处理的目标图像可以是指终端11本地存储的图像，也可以是指从服务器12或者其他设备(如，图像采集设备)中获取的图像，在获取目标群体密度图和目标图像对应的目标群体对象数量后，终端11能够对目标群体密度图和目标图像对应的目标群体对象数量进行可视化展示，也可以将目标群体密度图和目标图像对应的目标群体对象数量发送至服务器12进行存储。
示例性地，对于本申请实施例提供的图像处理方法应用于服务器12的情况，待处理的目标图像可以是指服务器12本地存储的图像，也可以是指从终端11或者其他设备(如，图像采集设备)中获取的图像，在获取目标群体密度图和目标图像对应的目标群体对象数量后，服务器12能够将目标群体密度图和目标图像对应的目标群体对象数量发送至终端11进行可视化展示。
在一种可能实现方式中，终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(Personal Computer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视、智能音箱等。服务器12可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。
本领域技术人员应能理解上述终端11和服务器12仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
基于图1所示的实施环境，本申请实施例提供一种图像处理方法，该方法应用于电子设备中，该电子设备为终端或服务器。如图2所示，本申请实施例提供的图像处理方法包括如下步骤201至步骤203：
在步骤201中，获取目标图像处理模型和待处理的目标图像，目标图像处理模型利用第一损失函数和第二损失函数训练得到，第一损失函数基于样本图像中的各个样本像素点分别对应的预测群体密度确定，第二损失函数基于样本图像中的各个第一图像区域分别对应的预测群体对象数量确定。
目标图像处理模型是指用于对图像进行处理，输出图像对应的群体密度图的模型。群体密度图用于指示图像中的群体对象的分布情况，根据群体密度图能够确定出图像对应的群体对象数量。群体是由群体对象构成的，本申请实施例对群体对象的类型不加以限定，示例性地，群体对象的类型为人，或者，群体对象的类型为动物(如，狗，羊等)。当群体对象的类型为人时，群体是指人群。当群体对象的类型为动物是，群体是指动物群。
目标图像处理模型是指训练好的图像处理模型。示例性地，目标图像处理模型可以预先训练得到并存储在电子设备中，此种情况下，获取目标图像处理模型的方式为：直接在存储中提取目标图像处理模型。当然，示例性地，获取目标图像处理模型的方式还可以为：通过实时训练的方式得到目标图像处理模型。无论哪种方式，均需要训练得到目标图像处理模型。
本申请实施例中，目标图像处理模型是利用第一损失函数和第二损失函数训练得到的，其中，第一损失函数基于样本图像中的各个样本像素点分别对应的预测群体密度确定，第二损失函数基于样本图像中的各个第一图像区域分别对应的预测群体对象数量确定。
样本图像是指在训练得到目标图像处理模型的过程中利用的具有头部中心点标注信息的图像。基于样本图像中的各个样本像素点分别对应的预测群体密度确定的第一损失函数用于关注图像处理模型能否准确预测出样本像素点对应的群体密度。样本图像中的各个第一图像区域是指对样本图像进行划分后得到的图像区域，基于样本图像中的各个第一图像区域分别对应的预测群体对象数量确定的第二损失函数用于关注图像处理模型能否准确预测出样本图像中的区域对应的群体对象数量。
在利用第一损失函数和第二损失函数训练得到目标图像处理模型的过程中，不仅关注图像处理模型能否准确预测出样本像素点对应的群体密度，还关注图像处理模型能否准确预测出样本图像中的区域对应的群体对象数量。基于此，训练得到目标图像处理模型的过程关注的信息较丰富，有利于缓解损失函数最小化这一训练目标与准确预测出能够准确确定图像对应的群体对象数量的群体密度图这一最终使用目标不一致的现象，利用训练得到的目标图像处理模型获取的群体密度图的可靠性较高，从而能够提高利用群体密度图确定出的图像对应的群体对象数量的准确度。利用第一损失函数和第二损失函数训练得到目标图像处理模型的过程将在图6所示的实施例中进行详细介绍，此处暂不赘述。
目标图像是指需要由电子设备进行处理，以推测出对应的群体对象数量的图像。在示例性实施例中，目标图像中可以包括一个或者多个群体对象，电子设备可以对目标图像进行处理，确定目标图像中包含的群体对象的数量。在另一些实施例中，目标图像中还可以不包括群体对象，电子设备在对其进行处理后，能够确定出群体对象数量为0。电子设备可以通过多种方式获取待处理的目标图像，该电子设备为终端或服务器。
在示例性实施例中，当电子设备为终端时，终端获取待处理的目标图像的方式包括但不限于以下几种：终端利用图像采集装置采集待处理的目标图像；或者，终端从目标网站下载图像作为待处理的目标图像；或者，终端从图像数据库中提取图像作为待处理的目标图像；再或者，终端响应于图像导入操作，获取导入的图像作为待处理的目标图像。
在示例性实施例中，当电子设备为服务器时，服务器获取待处理的目标图像的方式包括但不限于以下几种：服务器接收终端利用图像采集装置采集并发送的图像作为待处理的目标图像；或者，服务器从目标网站下载图像作为待处理的目标图像；或者，服务器从图像数据库中提取图像作为待处理的目标图像。
需要说明的是，上述仅提供了待处理的目标图像的几种可能获取方式，当然，终端或服务器还可以通过其他方式获取待处理的目标图像，本申请实施例对待处理的目标图像的获取方式不加以限定。
本申请实施例对待处理的目标图像的来源场景不加以限定，示例性地，待处理的目标图像的来源场景为监控场景(如，地铁监控场景、商场监控场景、街道监控场景等)。在监控场景下，待处理的目标图像可以是指通过监控设备采集到的监控视频流中的视频帧图像，或者为监控设备的摄像头拍摄到的图像。
在步骤202中，调用目标图像处理模型对目标图像进行处理，得到目标图像对应的目标群体密度图。
在获取目标图像处理模型和目标图像后，调用目标图像处理模型对目标图像进行处理，以得到目标图像对应的目标群体密度图。目标群体密度图用于指示目标图像中的群体对象的分布情况，示例性地，目标图像中的群体对象的分布情况利用目标图像中的各个目标像素点分别对应的目标群体密度表示，也就是说，目标群体密度图用于指示目标图像中的各个目标像素点分别对应的目标群体密度。群体密度用于指示单位像素点所在位置处的平均群体对象数量，也就是说，任一目标像素点对应的目标群体密度用于指示该任一目标像素点所在的位置处的平均群体对象数量。
示例性地，目标群体密度图的尺寸与目标图像的尺寸相同，以便于根据目标群体密度图直接确定出目标图像中的各个目标像素点分别对应的目标群体密度。在示例性实施例中，本申请实施例中的目标图像和目标群体密度图均是二维的，目标群体密度图的尺寸与目标图像的尺寸相同是指目标群体密度图的宽与目标图像的宽相同，且目标群体密度图的高与目标图像的高相同。
本申请实施例对调用目标图像处理模型对目标图像进行处理，得到目标图像对应的目标群体密度的具体实现方式不加以限定，可以根据目标图像处理模型的模型结构的不同而有所不同。
在一种可能实现方式中，调用目标图像处理模型对目标图像进行处理，得到目标图像对应的目标群体密度图的实现方式为：调用目标图像处理模型对目标图像进行特征提取，得到目标图像对应的目标卷积特征；对目标卷积特征进行预测处理，得到目标图像对应的目标群体密度图。在示例性实施例中，对目标图像进行特征提取的过程可以由目标图像处理模型中的特征提取模型执行，对目标卷积特征进行预测处理的过程可以由目标图像处理模型中的预测处理模型执行，本申请实施例对特征提取模型和预测处理模型的模型结构不加以限定。
示例性地，特征提取模型可视为图像处理模型的主干网络模型，本申请实施例对特征提取模型的模型结构不加以限定，只要能够对图像进行特征提取即可。示例性地，特征提取模型的模型结构为U型结构；或者，特征提取模型的模型结构为NASNet(NeuralArchitecture Search Network，神经架构搜索网络)结构；再或者，特征提取模型的模型结构为直接在对应任务上使用神经网络结构搜索的方法获取的网络结构。预测处理模型用于根据目标卷积特征预测出图像对应的群体密度图，预测处理模型的模型结构可以为较为简单的模型结构，示例性地，预测处理模型由依次连接的至少一个卷积层构成。
本申请实施例提供的图像处理方法可视为一种基于深度学习技术的群体密度估计方法。基于深度学习技术的群体密度估计方法一般都是以单张图像为输入，通过图像处理模型提取图像特征，进而基于图像特征获取群体密度图。群体密度估计任务通常既需要具有高语义信息的上下文特征，也需要局部的细节信息，所以图像处理模型的主流网络模型通常使用先下采样处理然后上采样处理的网络结构，以获得同时具有高级语义信息和细节信息的高分辨率特征，最后执行预测处理过程输出群体密度图。在先下采样处理然后上采样处理的网络结构中，引入跳跃链接来为上采样处理过程引入细节信息。
接下来，结合图3，介绍一种调用目标图像处理模型对目标图像进行处理，得到目标图像对应的目标群体密度图的实现过程。在调用目标图像处理模型对目标图像进行处理的过程中，先执行下采样处理过程，再执行上采样处理过程，最后执行预测处理过程。接下来，结合图3，对这三个处理过程分别进行介绍。
下采样处理过程为：对目标图像进行第一卷积处理，得到第一卷积特征V1；对第一卷积特征V1进行第一池化处理，得到第一池化特征，对第一池化特征进行第二卷积处理，得到第二卷积特征V2；对第二卷积特征V2进行第二池化处理，得到第二池化特征，对第二池化特征进行第三卷积处理，得到第三卷积特征V3；对第三卷积特征V3进行第三池化处理，得到第三池化特征，对第三池化特征进行第四卷积处理，得到第四卷积特征V4；对第四卷积特征V4进行第四池化处理，得到第四池化特征，对第四池化特征进行第五卷积处理，得到第五卷积特征V5。至此，完成下采样处理过程。
在上述下采样处理的过程中，不同的卷积处理过程利用的卷积核的大小可以相同，也可以不同，本申请实施例对此不加以限定。示例性地，不同的卷积处理过程利用的卷积核的大小均为3×3，但是不同的卷积处理过程利用的卷积核的数量不同。示例性地，在下采样处理的过程中，下采样步长分别为{1,2,4,8,16}，得到的卷积特征分别为{V1,V2,V3,V4,V5}。也就是说，第一卷积特征V1的尺寸与目标图像的尺寸相同，第二卷积特征V2的尺寸是目标图像的尺寸的1/2，第三卷积特征V3的尺寸是目标图像的尺寸的1/4；第四卷积特征V4的尺寸是目标图像的尺寸的1/8；第五卷积特征V5的尺寸是目标图像的尺寸的1/16。
需要说明的是，卷积特征为二维特征，卷积特征的尺寸是目标图像的尺寸的1/a(a为不小于1的正数)是指卷积特征的宽为目标图像的宽的1/a，且卷积特征的高为目标图像的高的1/a。
在上述下采样处理的过程中，不同的池化处理过程利用的池化方式可以相同，也可以不同。例如，不同的池化处理过程利用的池化方式均为最大池化。
上采样处理过程：对第五卷积特征V5进行第六卷积处理，得到第六卷积特征P5；将第六卷积特征P5上采样至与第四卷积特征V4相同的尺寸，将上采样后的第六卷积特征与第四卷积特征V4进行拼接，得到第一拼接特征，对第一拼接特征进行第七卷积处理，得到第七卷积特征P4；将第七卷积特征P4上采样至与第三卷积特征V3相同的尺寸，将上采样后的第七卷积特征与第三卷积特征V3进行拼接，得到第二拼接特征，对第二拼接特征进行第八卷积处理，得到第八卷积特征P3；将第八卷积特征P3上采样至与第二卷积特征V2相同的尺寸，将上采样后的第八卷积特征与第二卷积特征V2进行拼接，得到第三拼接特征，对第三拼接特征进行第九卷积处理，得到第九卷积特征P2；将第九卷积特征P2上采样至与第一卷积特征V1相同的尺寸，将上采样后的第九卷积特征与第一卷积特征V1进行拼接，得到第四拼接特征，对第四拼接特征进行目标卷积处理，得到目标卷积特征P1。
在上述上采样处理的过程中，不同的卷积处理过程利用的卷积核的大小可以相同，也可以不同，本申请实施例对此不加以限定。示例性地，在卷积处理过程中，除利用卷积核进行卷积外，还可以执行利用激活函数进行激活等操作，本申请实施例对此不加以限定。示例性地，不同的上采样过程利用的上采样方式可以相同，也可以不同。示例性地，不同的上采样过程利用的上采样方式均为最近邻插值法，或者，不同的上采样过程利用的上采样方式均为双线性插值法等。示例性地，进行拼接的两个特征具有相同的尺寸，本申请实施例对将两个特征进行拼接的方式不加以限定，示例性地，将两个特征进行拼接的方式为将两个特征在通道维度进行拼接。
示例性地，下采样处理过程可视为编码过程，上采样处理过程可视为解码过程。在解码过程中，除P5是通过简单地对V5进行卷积处理得到的外，P1、P2、P3和P4中的任一卷积特征Pi(i＝1,2,3或4)是根据Vi和Pi+1这两个特征得到的。卷积特征Pi的获取过程可以如图4所示。首先，利用最近邻插值法等方式将卷积特征Pi+1上采样至与Vi相同的尺寸，然后将上采样后的特征与Vi进行拼接，得到拼接特征，对拼接特征进行连续地两次3×3卷积(Conv3)以及ReLU(Rectified Linear Unit，线性整流函数)激活后，得到卷积特征Pi。其中，对拼接特征进行连续地两次3×3卷积以及ReLU激活的操作均包含在对拼接特征进行卷积处理的过程中。
在上述上采样处理的过程中，第六卷积特征P5的尺寸与第五卷积特征V5的尺寸相同；第七卷积特征P4的尺寸与第四卷积特征V4的尺寸相同；第八卷积特征P3的尺寸与第三卷积特征V3的尺寸相同；第九卷积特征P2的尺寸与第二卷积特征V2的尺寸相同；目标卷积特征P1的尺寸与第一卷积特征V1的尺寸相同。对于第一卷积特征V1的尺寸与目标图像的尺寸相同的情况，目标卷积特征P1的尺寸同样与目标图像的尺寸相同。
在图3所示的过程中，对目标卷积特征进行预测处理的过程为：依次利用两个卷积层对目标卷积特征进行处理，得到目标图像对应的目标群体密度图。其中，第一个卷积层的卷积核大小为3×3，记为Conv3；第二个卷积层的卷积核大小为1×1，记为Conv1。示例性地，目标群体密度图的尺寸与目标图像的尺寸相同。
需要说明的是，上述图3所示的调用目标图像处理模型对目标图像进行处理，得到目标图像对应的目标群体密度图的实现过程仅为一种举例，本申请实施例并不局限于此。调用目标图像处理模型对目标图像进行处理，得到目标图像对应的目标群体密度图的过程可以根据目标图像处理模型的模型结构灵活调整。
在步骤203中，基于目标群体密度图，确定目标图像对应的目标群体对象数量，目标图像对应的目标群体对象数量用于指示目标图像中包含的群体对象的数量。
目标群体密度图用于指示目标图像中的各个目标像素点分别对应的目标群体密度，任一目标像素点对应的目标群体密度用于指示该任一目标像素点所在的位置处的平均群体对象数量。基于此，根据目标群体密度图能够直接确定出目标图像中包含的群体对象的数量，即确定出目标图像对应的目标群体对象数量。
在一种可能实现方式中，基于目标群体密度图，确定目标图像对应的目标群体对象数量的过程为：对目标图像中的各个目标像素点分别对应的目标群体密度进行汇总处理，得到目标图像对应的目标群体对象数量。
在示例性实施例中，对目标图像中的各个目标像素点分别对应的目标群体密度进行汇总处理，得到目标图像对应的目标群体对象数量的过程为：对目标图像中的各个目标像素点分别对应的目标群体密度进行加和，得到总群体密度；基于总群体密度，确定目标图像对应的目标群体对象数量。
在一种可能实现方式中，基于总群体密度，确定目标图像对应的目标群体对象数量的方式为：将总群体密度直接作为目标图像对应的目标群体对象数量。在此种情况下，目标群体对象数量的取值可能为小数。在另一种可能实现方式中，基于总群体密度，确定目标图像对应的目标群体对象数量的方式为：确定与总群体密度对应的整数值，将该与总群体密度对应的整数值作为目标图像对应的目标群体对象数量。
本申请实施例对确定与总群体密度对应的整数值的方式不加以限定，示例性地，确定与总群体密度对应的整数值的方式为四舍五入取整；或者，确定与总群体密度对应的整数值的方式为向上取整；再或者，确定与总群体密度对应的整数值的方式为向下取整。
基于本申请实施例提供的图像处理方法能够自动推理出图像对应的总群体对象数量，在视频监控、公共安全等领域发挥着重要的作用。本申请提供的图像处理方法能够应用于任意群体对象数量统计场景中，例如，监控场景。
示例性地，本申请实施例能够应用在图像处理开放平台上，以单张图像作为输入，输出图像对应的群体密度图。然后根据群体密度图确定出图像对应的总群体对象数量，还能够确定出图像中的各个区域的群体密集程度。其中，群体对象数量以图像中的群体对象的头部中心点的数量来统计。
示例性地，对于任一图像而言，该图像本身、该图像对应的真实群体密度图以及利用目标图像处理模型得到的该图像对应的目标群体密度图的可视化图分别如图5中的(1)、图5中的(2)和图5中的(3)所示。在真实群体密度图和目标群体密度图中，利用不同的颜色代表不同的群体密度数值。对于图像中的某一区域，该区域中的颜色越接近背景颜色，说明该区域的群体密集程度越低；该区域中的颜色与背景颜色差异越大，说明该区域的群体密集程度越高。根据图5中的(2)可知，根据真实群体密度图确定出的群体对象数量为553；根据图5中的(3)可知，根据目标群体密度图确定出的群体对象数量为551。
在本申请实施例中，目标图像处理模型利用第一损失函数和第二损失函数训练得到，其中，第一损失函数用于关注根据图像处理模型能否准确预测出样本图像中各个样本像素点分别对应的预测群体密度，第二损失函数用于关注根据图像处理模型能否准确预测出样本图像中的各个第一图像区域分别对应的预测群体对象数量。训练得到目标图像处理模型的过程中关注的信息较丰富，能够缓解训练目标与图像处理模型的最终使用目标不一致的现象，根据目标图像处理模型得到的目标群体密度图确定出的目标群体对象数量的准确度较高，调用目标图像处理模型对目标图像进行处理的处理效果较好。
在调用目标图像处理模型对目标图像进行处理之前，需要先训练得到目标图像处理模型。如图6所示，训练得到目标图像处理模型的方法包括如下步骤601至步骤606：
在步骤601中，获取样本图像和样本图像对应的标准群体密度图，标准群体密度图用于指示样本图像中的各个样本像素点分别对应的标准群体密度。
样本图像是指用于对初始图像处理模型进行训练的图像，示例性地，样本图像是指包含至少一个群体对象的图像。在示例性实施例中，样本图像还可以是指不包含群体对象的图像，以提高图像处理模型的鲁棒性。本申请实施例对样本图像的来源不加以限定，示例性地，样本图像为视频监控设备采集的监控视频中的图像。此外，本申请实施例对样本图像的尺寸不加以限定，可以根据经验设置。
样本图像可以是指电子设备本地存储的图像，也可以是指电子设备通过有线或无线通信从其他设备中获取的图像，本申请实施例对此不加以限定。在获取样本图像后，进一步获取样本图像对应的标准群体密度图。标准群体密度图用于指示样本图像中的各个样本像素点分别对应的标准群体密度。任一样本像素点对应的标准群体密度用于指示该任一样本像素点所在的位置处的真实平均群体对象数量。示例性地，任一样本像素点对应的标准群体密度利用该任一样本像素点在标准群体密度图中对应的像素值表示。根据标准群体密度图确定的每个样本像素点对应的标准群体密度即为样本像素点对应的真实群体密度。
以该标准群体密度图作为“真值”，对图像处理模型进行训练，使得训练后的图像处理模型能够对样本图像进行处理，输出该标准群体密度图，或者输出非常接近该标准群体密度图的群体密度图。
在一种可能实现方式中，获取样本图像对应的标准群体密度图的过程包括以下步骤6011至步骤6013：
步骤6011：基于样本图像对应的至少一个头部中心点的标注信息，生成至少一个第一基础图，任一第一基础图的尺寸与样本图像的尺寸相同。
样本图像对应的至少一个头部中心点的标注信息用于指示出样本图像中包含的至少一个群体对象的头部中心点在样本图像中的位置。头部中心点是指头部的几何中心。样本图像对应的至少一个头部中心点的标注信息用于为图像处理模型的训练过程提供监督信息。
在示例性实施例中，样本图像对应的至少一个头部中心点的标注信息与样本图像存在绑定关系，此种情况下，在获取样本图像的同时能够获取样本图像对应的至少一个头部中心点的标注信息。在示例性实施例中，样本图像对应的至少一个头部中心点的标注信息在获取样本图像后，由专业人员对样本图像中包含的群体对象的头部中心点的位置进行标注得到。
在获取样本图像对应的至少一个头部中心点的标注信息后，基于样本图像对应的至少一个头部中心点的标注信息，生成至少一个第一基础图。每个第一基础图的尺寸均与样本图像的尺寸相同。基于每个头部中心点的标注信息均生成一个第一基础图。基于任一头部中心点的标注信息生成的一个第一基础图是指只标识出该任一头部中心点的位置的图。
在一种可能实现方式中，基于任一头部中心点的标注信息，生成一个第一基础图的方式为：将该任一头部中心点的标注信息指示的位置处的像素值标记为1，将其他位置处的像素值标记为0，得到一个第一基础图。
示例性地，根据任一头部中心点的标注信息得到的一个第一基础图能够反映每个像素点是否包含该任一头部中心点，如果包含，则该像素点的像素值为1。如果不包含，则该像素点的像素值为0。在此仅以“1”代表包含，“0”代表不包含为例进行说明，当然，也可以设置“0”代表包含，“1”代表不包含，本申请实施例对此不加以限定。
根据每个头部中心点的标注信息，均能够生成一个第一基础图，进而得到至少一个第一基础图。需要说明的是，不同的第一基础图的尺寸均与样本图像的尺寸相同。
步骤6012：对至少一个第一基础图进行叠加处理，得到第二基础图。
每个第一基础图均用于标识出一个头部中心点的位置，在得到至少一个第一基础图后，对至少一个第一基础图进行叠加处理，得到第二基础图。第二基础图能够标识出全部的头部中心点的位置。
示例性地，假设该任一头部中心点的位置为xi，则基于该任一头部中心点的标注信息生成的一个第一基础图可以表示为δ(x-xi)，在δ(x-xi)表示的第一基础图中，只有位置xi处的像素值为1，其他位置处的像素值均为0。假设样本图像中的头部的数量为N(N为不小于1的整数)，则对基于N个头部中心点的标注信息生成的N个第一基础图进行叠加处理，得到的第二基础图可以表示为
Figure BDA0002920073460000181
可以注意到，对第二基础图进行积分即可得到样本图像对应的群体对象数量。
步骤6013：利用目标高斯核对第二基础图进行高斯卷积处理，得到样本图像对应的标准群体密度图。
第二基础图中将群体密度集中在头部中心点处，电子设备可以对第二基础图进行高斯卷积处理，将群体密度分散到头部中心点周围的像素点中，进而确定出样本图像的每个样本像素点对应的真实群体密度。每个头部对周围像素点的密度的贡献值按高斯函数衰减，所以利用目标高斯卷积核对第二基础图进行高斯卷积处理，将处理后得到的图称为样本图像对应的标准群体密度图。示例性地，目标高斯卷积核是归一化的，对标准群体密度图进行积分同样能够得到样本图像中包含的群体对象的总数量。示例性地，对标准群体密度图进行积分是指对标准群体密度图指示出的各个样本像素点分别对应的标准群体密度进行加和。
目标高斯核可以是指固定高斯核，也可以是指几何自适应高斯核，本申请实施例对此不加以限定。对于目标高斯核为固定高斯核的情况，固定高斯核的作用区域范围大小σ根据经验设置，或者根据应用场景灵活调整，本申请实施例对此不加以限定，例如，σ＝4。对于目标高斯核为几何自适应高斯核的情况，几何自适应高斯核的作用区域范围大小σ根据头部中心点与邻近头部中心点的平均距离自适应确定。
示例性地，以第二基础图表示为
Figure BDA0002920073460000182
为例，将目标高斯卷积核表示为Gσ，则利用目标高斯卷积核对第二基础图进行高斯卷积处理，得到样本图像对应的标准群体密度图的过程可以表示为Dgt＝Gσ×H(x)，其中，Dgt是指标准群体密度。
在步骤602中，调用初始图像处理模型对样本图像进行处理，得到样本图像对应的预测群体密度图，预测群体密度图用于指示样本图像中的各个样本像素点分别对应的预测群体密度。
初始图像处理模型是指待训练的图像处理模型，预测群体密度图是指调用初始图像处理模型对样本图像进行处理后得到的群体密度图。样本图像对应的预测群体密度图用于指示样本图像中的各个样本像素点分别对应的预测群体密度。任一样本像素点对应的预测群体密度用于指示利用初始图像处理模型预测出的该任一样本像素点所在的位置处的预测平均群体对象数量。
调用初始图像处理模型对样本图像进行处理，得到样本图像对应的预测群体密度图的过程参见图2所示的实施例中的步骤202，此处不再赘述。
在步骤603中，基于各个样本像素点分别对应的预测群体密度和各个样本像素点分别对应的标准群体密度，确定第一损失函数。
标准群体密度图用于指示样本图像中的各个样本像素点分别对应的标准群体密度，预测群体密度图用于指示样本图像中的各个样本像素点分别对应的预测群体密度，在获取标准群体密度图和预测群体密度图后，能够基于各个样本像素点分别对应的预测群体密度和各个样本像素点分别对应的标准群体密度，确定第一损失函数。第一损失函数用于体现各个样本像素点分别对应的预测群体密度和各个样本像素点分别对应的标准群体密度之间的差异，本申请实施例对基于各个样本像素点分别对应的预测群体密度和各个样本像素点分别对应的标准群体密度，确定第一损失函数的方式不加以限定。
示例性地，基于各个样本像素点分别对应的预测群体密度和各个样本像素点分别对应的标准群体密度，确定第一损失函数的方式为：计算各个样本像素点分别对应的预测群体密度和各个样本像素点分别对应的标准群体密度之间的L2范数损失函数，将计算得到的L2范数损失函数作为第一损失函数。
示例性地，计算各个样本像素点分别对应的预测群体密度和各个样本像素点分别对应的标准群体密度之间的L2范数损失函数的过程基于公式1实现：
Figure BDA0002920073460000191
其中，
Figure BDA0002920073460000192
表示各个样本像素点分别对应的预测群体密度和各个样本像素点分别对应的标准群体密度之间的L2范数损失函数，也即第一损失函数；Dgt表示标准群体密度图；Dest表示预测群体密度图；G表示样本图像中的全部样本像素点构成的集合；p∈G表示p为集合G中的样本像素点。
在步骤604中，将样本图像划分为第一参考数量的第一图像区域，确定第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应的标准群体对象数量。
第一图像区域是指对样本图像进行划分后得到的图像区域，对样本图像进行划分后，得到第一参考数量的第一图像区域，本申请实施例对第一参考数量不加以限定，第一参考数量根据经验设置，或者根据应用场景灵活调整，示例性地，第一参考数量为4。示例性地，不同的第一图像区域的尺寸可以相同，也可以不同，本申请实施例对此不加以限定。示例性地，不同的第一图像区域的尺寸相同。也就是说，将样本图像平均划分为第一参考数量的第一图像区域。
由于第一参考数量的第一图像区域是对样本图像进行划分得到的，所以第一参考数量的第一图像区域之间没有重叠，且第一参考数量的第一图像区域合并起来即为样本图像。
在将样本图像划分为第一参考数量的第一图像区域后，确定第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应的标准群体对象数量。在一种可能实现方式中，确定第一参考数量的第一图像区域中的任一第一图像区域对应的预测群体对象数量和该任一第一图像区域对应的标准群体对象数量的方式为：在预测群体密度图中确定该任一第一图像区域对应的子预测群体密度图；在标准群体密度图中确定该任一第一图像区域对应的子标准群体密度图；基于该任一第一图像区域对应的子预测群体密度图，确定该任一第一图像区域对应的预测群体对象数量；基于该任一第一图像区域对应的子标准群体密度图，确定该任一第一图像区域对应的标准群体对象数量。
任一第一图像区域是通过对样本图像进行划分得到的，预测群体密度图的尺寸与样本图像的尺寸相同，将在预测群体密度图中所处的位置与该任一第一图像区域在样本图像中所处的位置相同的子预测群体密度图作为该任一第一图像区域对应的子预测群体密度图；将在标准群体密度图中所处的位置与该任一第一图像区域在样本图像中所处的位置相同的子标准群体密度图作为该任一第一图像区域对应的子标准群体密度图。
在一种可能实现方式中，任一第一图像区域对应的子预测群体密度图用于指示该任一第一图像区域中的各个样本像素点分别对应的预测群体密度，基于该任一第一图像区域对应的子预测群体密度图，确定该任一第一图像区域对应的预测群体对象数量的方式为：对该任一第一图像区域中的各个样本像素点分别对应的预测群体密度进行汇总处理，得到该任一第一图像区域对应的预测群体对象数量。示例性地，对该任一第一图像区域中的各个样本像素点分别对应的预测群体密度进行汇总处理的过程是指计算该任一第一图像区域中的各个样本像素点分别对应的预测群体密度的和的过程。
在一种可能实现方式中，任一第一图像区域对应的子标准群体密度图用于指示该任一第一图像区域中的各个样本像素点分别对应的标准群体密度，基于该任一第一图像区域对应的子标准群体密度图，确定该任一第一图像区域对应的标准群体对象数量的方式为：对该任一第一图像区域中的各个样本像素点分别对应的标准群体密度进行汇总处理，得到该任一第一图像区域对应的标准群体对象数量。示例性地，对该任一第一图像区域中的各个样本像素点分别对应的标准群体密度进行汇总处理的过程是指计算该任一第一图像区域中的各个样本像素点分别对应的标准群体密度的和的过程。
本申请实施例从任一第一图像区域的角度介绍了确定该任一第一图像区域对应的预测群体对象数量和该任一第一图像区域对应的标准群体对象数量的方式，根据确定任一第一图像区域对应的预测群体对象数量和该任一第一图像区域对应的标准群体对象数量的方式，能够确定第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应标准群体对象数量，进而执行步骤605。
在步骤605中，基于第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应的标准群体对象数量，确定第二损失函数。
在确定第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应的标准群体对象数量后，基于第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应的标准群体对象数量，确定第二损失函数。第二损失函数用于关注根据图像处理模型能否准确预测出各个第一图像区域分别对应的群体对象数量。
在一种可能实现方式中，基于第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应的标准群体对象数量，确定第二损失函数的过程包括以下步骤6051至步骤6053：
步骤6051：基于第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应的标准群体对象数量，在第一参考数量的第一图像区域中，确定第一目标区域。
第一目标区域是指需要进一步进行处理的第一图像区域。在一种可能实现方式中，该步骤6051的实现方式为：对于第一参考数量的第一图像区域中的任一第一图像区域，响应于任一第一图像区域对应的预测群体对象数量大于任一第一图像区域对应的标准群体对象数量，将第一类型作为该任一第一图像区域对应的区域类型；响应于任一第一图像区域对应的预测群体对象数量小于任一第一图像区域对应的标准群体对象数量，将第二类型作为任一第一图像区域对应的区域类型；在第一参考数量的第一图像区域中，将对应的区域类型为第一类型和对应的区域类型为第二类型的第一图像区域作为第一目标区域。
对应的区域类型为第一类型的第一图像区域可视为过预测的第一图像区域，对应的区域类型为第二类型的第一图像区域可视为欠预测的第一图像区域。过预测的第一图像区域和欠预测的第一图像区域均为预测群体对象数量的准确度较差的第一图像区域。将过预测的第一图像区域和欠预测的第一图像区域作为第一目标区域，进而根据第一目标区域获取第二损失函数，有利于更进一步提高图像处理模型对图像区域对应的群体对象数量的预测准确度。
在示例性实施例中，对于任一第一图像区域而言，该任一第一图像区域对应的预测群体对象数量还可能与该任一图像区域对应的标准群体对象数量相同，此时将第三类型作为该任一第一图像区域对应的区域类型。对应的区域类型为第三类型的第一图像区域可视为准确预测地第一图像区域，获取第二损失函数的过程无需关注准确预测地第一图像区域。
步骤6052：确定第一目标区域中的候选像素点。
在确定出第一目标区域后，进一步确定第一目标区域中的候选像素点。候选像素点是指第一目标区域中对导致第一目标区域的预测群体对象数量的准确度较差这一结果的贡献较大的样本像素点。在示例性实施例中，将候选像素点称为困难像素点。在训练图像处理模型的过程中，对候选像素点给与更多的关注，有利于进一步提高图像处理模型的训练效果。
需要说明的是，第一目标区域的数量可能为一个或多个，本申请实施例对此不加以限定。对于第一目标区域的数量为多个的情况，确定第一目标区域中的候选像素点是指分别确定各个第一目标区域中的候选像素点。一种可能实现方式中，确定任一第一目标区域中的候选像素点的过程包括以下步骤1至步骤5：
步骤1：将任一第一目标区域划分为第二参考数量的第二图像区域，确定第二参考数量的第二图像区域分别对应的预测群体对象数量和第二参考数量的第二图像区域分别对应的标准群体对象数量。
第一目标区域的数量为至少一个，本申请实施例以任一第一目标区域为例介绍确定该任一第一目标区域中的候选像素点的过程。第二参考数量的第二图像区域是对该任一第一目标区域进行划分得到的，本申请实施例对第二参考数量不加以限定，第二参考数量可以与第一参考数量相同，也可以与第一参考数量不同。示例性地，第二参考数量与第一参考数量均为4，也就是说，将任一第一目标区域划分为4个第二图像区域。示例性地，不同的第二图像区域的尺寸可以相同，也可以不同，本申请实施例对此不加以限定。在示例性实施例中，不同的第二图像区域的尺寸相同。也就是说，将任一第一目标区域平均划分为第二参考数量的第二图像区域。
由于第二参考数量的第二图像区域是对该任一第一目标区域进行划分得到的，所以第二参考数量的第二图像区域之间没有重叠，且第二参考数量的第二图像区域合并起来即为该任一第一目标区域。
在得到第二参考数量的第二图像区域后，确定第二参考数量的第二图像区域分别对应的预测群体对象数量和第二参考数量的第二图像区域分别对应的标准群体对象数量。示例性地，确定第二参考数量的第二图像区域中的任一第二图像区域对应的预测群体对象数量和该任一第二图像区域对应的标准群体对象数量的实现过程为：在该任一第一目标区域对应的子预测群体密度图中确定该任一第二图像区域对应的子预测群体密度图；在该任一目标区域对应的子标准群体密度图中确定该任一第二图像区域对应的子标准群体密度图；基于该任一第二图像区域对应的子预测群体密度图，确定任一第二图像区域对应的预测群体对象数量；基于任一第二图像区域对应的子标准群体密度图，确定任一第二图像区域对应的标准群体对象数量。
任一第一目标区域对应的子预测群体密度图是在样本图像对应的预测群体密度图中确定的，任一第一目标区域对应的子标准密度图是在样本图像对应的标准群体密度图中确定的。在示例性实施例中，任一第一目标区域对应的子预测群体密度图的尺寸与该任一第一目标区域的尺寸相同，在该任一第一目标区域对应的子预测群体密度图中确定该任一第二图像区域对应的子预测群体密度图的方式为：根据与将该任一第一目标区域划分为第二参考数量的第二图像区域的方式相同的划分方式将该任一第一目标区域对应的子预测群体密度图划分为第二参考数量的子预测群体密度图；将在该任一第一目标区域对应的子预测群体密度图中所处的位置与该任一第二图像区域在该任一第一目标区域中所处的位置相同的子预测群体密度图作为该任一第二图像区域对应的子预测群体密度图。
例如，假设第二参考数量为4，该任一第二图像区域是该任一第一目标区域中处于左上角的第二图像区域，则将该任一第一目标区域对应的子预测群体密度图中处于左上角的子预测群体密度图作为该任一第二图像区域对应的子预测群体密度图。
需要说明的是，在该任一第一目标区域对应的子标准群体密度图中确定该任一第二图像区域对应的子标准群体密度图的方式可以参见在该任一第一目标区域对应的子预测群体密度图中确定该任一第二图像区域对应的子预测群体密度图的方式，此处不再赘述。
在示例性实施例中，在将任一第一目标区域划分为第二参考数量的第二图像区域后，可以根据第二参考数量的第二图像区域在该任一第一目标区域中所处的位置对第二参考数量的第二图像区域进行编号，以便于根据编号快速确定某一第二图像区域在该任一目标区域中所处的位置。
本申请实施例对编号方式不加以限定，只要处于不同位置的第二图像区域具有不同的编号即可。示例性地，编号方式为从左到右、从上到下顺序编号。示例性地，编号方式还可以为将第二图像区域的中心点的坐标作为第二图像区域的编号。示例性地，对于第二参考数量的第二图像区域是对该任一第一目标区域进行平均划分得到的尺寸相同的区域的情况，编号方式还可以为根据第二图像区域所处位置对应的行数和列数进行编号，例如，任一第二图像区域的编号可以表示为(m，n)，该编号说明该任一第二图像区域在该任一第一目标区域中处于第m行第n列的位置。
步骤2：基于第二参考数量的第二图像区域分别对应的预测群体对象数量和第二参考数量的第二图像区域分别对应的标准群体对象数量，确定第二参考数量的第二图像区域分别对应的区域类型。
在一种可能实现方式中，该步骤2的实现方式为：对于第二参考数量的第二图像区域中的任一第二图像区域，响应于该任一第二图像区域对应的预测群体对象数量大于该任一第二图像区域对应的标准群体对象数量，将第一类型作为该任一第二图像区域对应的区域类型；响应于该任一第二图像区域对应的预测群体对象数量小于该任一第二图像区域对应的标准群体对象数量，将第二类型作为该任一第二图像区域对应的区域类型；响应于该任一第二图像区域对应的预测群体对象数量等于该任一第二图像区域对应的标准群体对象数量，将第三类型作为该任一第二图像区域对应的区域类型。根据此种方式，能够确定第二参考数量的第二图像区域分别对应的区域类型。
步骤3：将对应的区域类型与任一第一目标区域对应的区域类型相同的第二图像区域作为第二目标区域，第二目标区域的数量为至少一个。
任一第一目标区域对应的区域类型可能为第一类型，也可能为第二类型。当该任一第一目标区域对应的区域类型为第一类型时，将第二参考数量的第二图像区域中对应的区域类型为第一类型的第二图像区域作为第二目标区域。当该任一第一目标区域对应的区域类型为第二类型时，将第二参考数量的第二图像区域中对应的区域类型为第二类型的第二图像区域作为第二目标区域。
也就是说，若该任一第一目标区域为过预测的区域，则将过预测的第二图像区域作为第二目标区域；若该任一第一目标区域为欠预测的区域，则将欠预测的第二图像区域作为第二目标区域。第二目标区域是指需要进一步处理以确定用于为第二损失函数提供数据依据的候选像素点的区域。
第二图像区域可视为该任一目标区域中的子区域，对于过预测的区域，将该区域中的过预测的子区域作为需要进一步处理的区域；对于欠预测的区域，将该区域中的欠预测子区域作为需要进一步处理的区域。
示例性地，在过预测的区域中，过预测的子区域会导致大的群体对象计数误差；在欠预测的区域中，欠预测的子区域会导致大的群体对象计数误差。因此，如果对过预测的区域中的过预测的子区域以及欠预测的区域中的欠预测的子区域进行更多的优化，总体的群体对象计数误差可能会进一步减小。更具体地说，以过预测的区域为例，如果将过预测的区域平均划分为四个较小的子区域，则至少有一个过预测的子区域，过预测的子区域对总体过预测问题的贡献较大，应进一步优化。相反，欠预测的子区域以及正确预测的子区域在一定程度上有助于缓解父区域的过预测问题，从而在确定候选像素点的过程中被忽略。
第二目标区域的数量为至少一个，第二目标区域的具体数量与实际情况有关。在确定出至少一个第二目标区域后，分别对每个第二目标区域进行进一步地处理。对于任一第二目标区域，处理过程为：判断该任一第二目标区域是否由单个样本像素点构成，若该任一第二目标区域由单个样本像素点构成，执行步骤4；若该任一第二目标区域由至少两个样本像素点构成，执行步骤5。
需要说明的是，第二参考数量的第二图像区域中可能存在对应的区域类中与该任一第一目标区域对应的区域类型不同的第二图像区域，此类第二图像区域可视为对应的群体对象数量预测准确的区域，在后续确定候选像素点的过程中，不考虑此类第二图像区域。
示例性地，假设任一第一目标区域对应的区域类型为第一类型，即该任一第一目标区域对应的预测群体对象数量大于该任一目标区域对应的标准群体对象数量，假设第二参考数量为4，基于该任一第一目标区域确定第二目标区域的过程如图7所示。将该任一第一目标区域划分为4个第二图像区域，根据该任一第一目标区域对应的子预测群体密度图，确定4个第二图像区域分别对应的预测群体对象数量，根据图7可知，位于左上角、右上角、左下角和右下角的4个第二图像区域对应的预测群体对象数量分别为15.53、17.51、12.87和15.88。
根据该任一第一目标区域对应的子标准群体密度图，确定4个第二图像区域分别对应的标准群体对象数量，根据图7可知，位于左上角、右上角、左下角和右下角的4个第二图像区域对应的标准群体对象数量分别为16.27、17.91、12.92和11.65。根据4个第二图像区域分别对应的预测群体对象数量和4个第二图像区域分别对应的标准群体对象数量，能够确定出位于左上角的第二图像区域对应的区域类型为第二类型，位于右上角的第二图像区域对应的区域类型为第二类型，位于左下角的第二图像区域对应的区域类型为第二类型，位于右下角的第二图像区域对应的区域类型为第一类型。由于任一第一目标区域对应的区域类型为第一类型，所以将位于右下角的第二图像区域作为第二目标区域。在确定第二目标区域后，若第二目标区域由至少两个样本像素点构成，基于该第二目标区域循环执行上述过程。
步骤4：响应于任一第二目标区域由单个样本像素点构成，将构成任一第二目标区域的样本像素点作为该任一第一目标区域中的一个候选像素点。
确定任一第一目标区域中的候选像素点的过程可视为针对该任一第一目标区域的搜索过程。当任一第二目标区域由单个样本像素点构成时，说明针对该任一第一目标区域中的搜索过程已达到像素级，此时，将构成该任一第二目标区域的样本像素点作为该任一第一目标区域中的一个候选像素点。
步骤5：响应于任一第二目标区域由至少两个样本像素点构成，将任一第二目标区域划分为第三参考数量的第三图像区域，确定第三参考数量的第三图像区域分别对应的预测群体对象数量和第三参考数量的第三图像区域分别对应的标准群体对象数量；基于第三参考数量的第三图像区域分别对应的预测群体对象数量和第三参考数量的第三图像区域分别对应的标准群体对象数量，确定第三参考数量的第三图像区域分别对应的区域类型；将对应的区域类型与任一第二目标区域对应的区域类型相同的第三图像区域作为第三目标区域，第三目标区域的数量为至少一个；响应于任一第三目标区域由单个样本像素点构成，将构成任一第三目标区域的样本像素点作为该任一第一目标区域中的一个候选像素点。
当任一第二目标区域由至少两个样本像素点构成时，说明需要进一步针对该任一第二目标区域进行搜索，继续搜索的过程即为步骤5的过程。步骤5的实现方式参见步骤1至步骤4，此处不再赘述。
需要说明的是，第三参考数量可能与第一参考数量和/或第二参考数量相同，也可能与第一参考数量和第二参考数量均不相同，本申请实施例对此不加以限定。
示例性地，在执行步骤5的过程中，若发现任一第三目标区域由至少两个样本像素点构成，则继续针对该任一第三目标区域进行搜索，直至目标区域退化到像素级，将构成像素级的目标区域的样本像素点作为该任一第一目标区域中的候选像素点。在步骤5中，仅以任一第三目标区域为例进行说明，对于至少一个第三目标区域中的各个第三目标区域，处理方式均与任一第三目标区域相同。在对至少一个第三目标区域均处理完毕后，基于至少一个第三目标区域确定出的候选像素点即为基于该任一第二目标区域确定出的该任一第一目标区域中的候选像素点。
需要说明的是，步骤4和步骤5，仅以任一第二目标区域为例介绍了基于该任一第一目标区域确定出该任一第一目标区域中的候选像素点的过程，对于至少一个第二目标区域中的各个第二目标区域，处理方式均与任一第二目标区域相同。在对至少一个第二目标区域均处理完毕后，基于至少一个第二目标区域确定出的候选像素点即为该任一第一目标区域中最终确定出的候选像素点。
需要进一步说明的是，步骤1至步骤5，仅以任一第一目标区域为例介绍了确定该任一第一目标区域中的候选像素点的过程，对于至少一个第一目标区域中的各个第一目标区域，处理方式均与任一第一目标区域相同。在对至少一个第一目标区域均处理完毕后，得到至少一个第一目标区域中的候选像素点，进而执行步骤6053。
示例性地，确定第一目标区域中的候选像素点的过程的可视化图如图8所示。在图8中，利用不同的颜色标识不同类型的区域。在第一类型的区域中，仅关注第一类型的子区域；在第二类型的区域中，仅关注第二类型的子区域。针对每个第一类型的区域和每个第二类型的区域，迭代执行搜索过程，直至达到像素级，得到第一目标区域中的候选像素点。
示例性地，以某一区域为第一类型的区域(即过预测的区域)，将该区域平均划分为4个子区域为例，对该区域进行搜索，确定该区域中的候选像素点的算法如下：
Input:ε←the estimated heatmap for an over-estimated region R//输入：过预测的区域R对应的预测群体密度图ε
D←the ground-truth heatmap for the over-estimated region R/过预测的区域R对应的标准群体密度图D
Output:H←the set of the most hard pixels in R//输出过预测的区域R中的候选像素点H
1
Figure BDA0002920073460000281
//将H初始化为空集
2 PRA_SEARCH(R,ε,D,H)//利用(R,ε,D,H)执行搜索过程
/*already at pixel level*///已经处于像素级
3 if|ε|＝|D|＝1then//ε和D均仅用于指示一个像素点对应的群体密度
4 H←H∪{ε}//将H和ε指示的像素点的并集作为新的H
5 return//返回
/*evenly divide R into four sub-regions Ri*///将R平均划分为4个子区域Ri
6{R1,R2,R3,R4}←divide(R)//将R划分为{R1,R2,R3,R4}
7{ε1,ε2,ε3,ε4}←divide(ε)//将ε划分为{ε1,ε2,ε3,ε4}
8{D1,D2,D3,D4}←divide(D)//将D划分为{D1,D2,D3,D4}
/*determine the over-estimated sub-regions*///确定出过预测的子区域
9 for i←1to 4do//i的取值从1到4
10 if sum(εi)>sum(Di)then//若基于εi确定的预测群体对象数量大于基于Di确定的标准群体对象数量，则执行下一步
11 PRA_SEARCH(Ri,εi,Di,Hi)//process with the over-estimated sub-regionRi//利用(Ri,εi,Di,Hi)执行搜索过程(也即基于过预测的Ri执行搜索过程)
12 return H//返回H
上述搜索算法的构思为：在样本图像经过初始图像处理模型的处理得到预测群体密度图之后，首先将样本图像划分为四个大小相同的图像区域，然后针对每个区域迭代寻找困难样本(即候选像素点)。具体地，对于其中任意一个图像区域，如果预测群体对象数量大于标准群体对象数量，就对该图像区域中的四个子区域中的过预测的子区域重复这个搜索过程，直到子区域退化为像素级区域。相反地，如果某个图像区域中的预测群体对象数量小于标准群体对象数量，就对该图像区域中的四个子区域中的欠预测的子区域重复这个搜索过程，直到子区域退化为像素级区域。当所有的图像区域的搜索都退化为像素级区域时，确定出的所有候选像素点会进一步地被优化。
步骤6053：基于候选像素点对应的预测群体密度和候选像素点对应的标准群体密度，确定第二损失函数。
在确定出候选像素点后，基于候选像素点对应的预测群体密度和候选像素点对应的标准群体密度，确定第二损失函数。示例性地，若区域A是区域B中的一个子区域，则称区域B为区域A的父区域。由于候选像素点是在考虑父区域为过预测的区域还是欠预测的区域的情况下，在样本图像的各个样本像素点中确定出的，所以能够直接根据样本图像对应的预测群体密度图确定出候选像素点对应的预测群体密度，并且能够直接根据样本图像对应的标准群体密度图确定出候选像素点对应的标准群体密度。
需要说明的是，步骤6052中确定出的候选像素点的数量可能为一个，也可能为多个。对于候选像素点的数量为多个的情况，基于各个候选像素点分别对应的预测群体密度和各个候选像素点分别对应的标准群体密度，确定第二损失函数。
本申请实施例对基于候选像素点对应的预测群体密度和候选像素点对应的标准群体密度，确定第二损失函数的方式不加以限定。示例性地，基于候选像素点对应的预测群体密度和候选像素点对应的标准群体密度，确定第二损失函数的方式为：计算候选像素点对应的预测群体密度和候选像素点对应的标准群体密度之间的L2范数损失函数，将计算得到的L2范数损失函数作为第二损失函数。
示例性地，计算候选像素点对应的预测群体密度和候选像素点对应的标准群体密度之间的L2范数损失函数的过程基于公式2实现：
Figure BDA0002920073460000301
其中，
Figure BDA0002920073460000302
表示候选像素点对应的预测群体密度和候选像素点对应的标准群体密度之间的L2范数损失函数，也即第二损失函数；Dgt表示标准群体密度图；Dest表示预测群体密度图；H表示全部的候选像素点构成的集合；p∈H表示p为集合H中的候选像素点。
在步骤606中，利用第一损失函数和第二损失函数对初始图像处理模型进行训练，得到目标图像处理模型。
在基于步骤603确定第一损失函数以及基于步骤605确定第二损失函数后，利用第一损失函数和第二损失函数对初始图像处理模型进行训练。利用第一损失函数和第二损失函数对初始图像处理模型进行训练能够在关注全部的样本像素点的基础上，对候选像素点给予更多的关注，从而能够有针对性地优化候选像素点的预测结果。由于候选像素点为导致区域对应的预测群体对象数量不准确的样本像素点，所以有针对性地优化候选像素点的预测结果，能够进一步提高预测出的群体对象数量的准确度，从而缓解图像处理模型的训练目标和图像处理模型的最终使用目标不一致的现象。
在一种可能实现方式中，利用第一损失函数和第二损失函数对初始图像处理模型进行训练，得到目标图像处理模型的过程为：基于第一损失函数和第二损失函数，确定目标损失函数；利用目标损失函数对初始图像处理模型进行训练，得到目标图像处理模型。本申请实施例对基于第一损失函数和第二损失函数，确定目标损失函数的方式不加以限定。示例性地，基于第一损失函数和第二损失函数，确定目标损失函数的过程基于公式3实现：
Figure BDA0002920073460000311
其中，
Figure BDA0002920073460000312
表示目标损失函数；
Figure BDA0002920073460000313
表示第一损失函数；
Figure BDA0002920073460000314
表示第二损失函数；γ表示对第二损失函数添加的权重系数，γ的取值根据经验设置，或者根据应用场景灵活调整，本申请实施例对此不加以限定，示例性地，γ的取值为1。
在基于公式3确定目标损失函数的过程中，在得到所有的候选像素点后，将所有的样本像素点和候选像素点一起进行优化，候选像素点通过权重系数γ被给予了更多的关注，从而可以针对性地优化这些候选像素点。
需要说明的是，确定目标损失函数所依据的样本图像的数量可以为一个，也可以为多个，本申请实施例对此不加以限定。
在确定目标损失函数后，利用目标损失函数对初始图像处理模型进行训练，以得到目标图像处理模型。示例性地，利用目标损失函数对初始图像处理模型进行训练，得到目标图像处理模型的过程为：利用目标损失函数更新初始图像处理模型的参数，得到第一图像处理模型；响应于训练过程满足终止条件，将第一图像处理模型作为目标图像处理模型；响应于训练过程不满足终止条件，利用样本图像和第一图像处理模型，继续获取更新后的目标损失函数，然后利用更新后的目标损失函数更新第一图像处理模型的参数，得到第二图像处理模型，以此类推，直至训练过程满足终止条件，将训练过程满足终止条件时得到图像处理模型作为目标图像处理模型。
利用样本图像和第一图像处理模型，继续获取更新后的目标损失函数的过程参见步骤601至步骤606，此处不再赘述。需要说明的是，获取用于对第一图像处理模型进行更新的目标损失函数所依据的样本图像可以与获取用于对初始图像处理模型进行更新的目标损失函数所依据的样本图像部分或全部相同，也可以与获取用于对初始图像处理模型进行更新的目标损失函数所依据的样本图像完全不同，本申请实施例对此不加以限定。
在一种可能实现方式中，训练过程满足终止条件包括但不限于以下任一种情况：目标损失函数收敛；目标损失函数减小到损失函数阈值；对图像处理模型的参数的更新次数达到次数阈值。损失函数阈值和次数阈值根据经验设置，或者根据应用场景灵活调整，本申请实施例对此不加以限定。
在得到目标图像处理模型后，即可利用目标图像处理模型对待处理的图像进行处理，以较为准确地推测出待处理的图像对应的群体密度图，进而利用推测出的群体密度图较为准确地确定出待处理的图像对应的群体对象数量。
本申请实施例中利用一种新的损失函数来训练图像处理模型，以缓解训练目标与最终使用目标不一致的问题，即训练损失最小化并不一定能保证推理时计数精度最高这个问题。具体地，在传统的依据各个样本像素点确定的L2损失函数(即第一损失函数)的基础上，额外考虑一种从区域级到像素级的金字塔区域感知损失函数(即第二损失函数)。区域感知损失函数是根据困难样本(即候选像素点)确定的，能够对困难样本给予更多的权重关注。困难样本是迭代地根据父区域中预测群体对象数量是大于标准群体对象数量还是小于标准群体对象数量来相应地筛选出的，通过考虑区域感知损失函数，能够对这些困难样本进行进一步的优化。此种区域感知损失函数的引入，可以很好地缓解训练目标与最终使用目标不一致的问题。
在选择困难样本的过程中，自上而下地考虑到了父区域是过预测还是欠预测，对于过预测的区域，该区域中的过预测的子区域会被选为困难子区域，而对于欠预测的区域，该区域中的欠预测的子区域会被选为困难子区域。以上选择过程是自上往下，从样本图像划分为的图像区域开始迭代地进行的，直到最后筛选出所有的困难样本。每次在筛选困难样本的过程中考虑父区域的预测结果，能够缓解优化时像素级最接近和推理时全图群体对象数量最接近之间不一致的问题，从而有利于提升模型预测精度。
参见图9，本申请实施例提供了一种图像处理装置，该装置包括：
获取单元901，用于获取目标图像处理模型和待处理的目标图像，目标图像处理模型利用第一损失函数和第二损失函数训练得到，第一损失函数基于样本图像中的各个样本像素点分别对应的预测群体密度确定，第二损失函数基于样本图像中的各个第一图像区域分别对应的预测群体对象数量确定；
调用单元902，用于调用目标图像处理模型对目标图像进行处理，得到目标图像对应的目标群体密度图；
确定单元903，用于基于目标群体密度图，确定目标图像对应的目标群体对象数量，目标图像对应的目标群体对象数量用于指示目标图像中包含的群体对象的数量。
在一种可能实现方式中，获取单元901，还用于获取样本图像和样本图像对应的标准群体密度图，标准群体密度图用于指示样本图像中的各个样本像素点分别对应的标准群体密度；
调用单元902，还用于调用初始图像处理模型对样本图像进行处理，得到样本图像对应的预测群体密度图，预测群体密度图用于指示样本图像中的各个样本像素点分别对应的预测群体密度；
确定单元903，还用于基于各个样本像素点分别对应的预测群体密度和各个样本像素点分别对应的标准群体密度，确定第一损失函数；
参见图10，该装置还包括：
划分单元904，用于将样本图像划分为第一参考数量的第一图像区域；
确定单元903，还用于确定第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应的标准群体对象数量；
确定单元903，还用于基于第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应的标准群体对象数量，确定第二损失函数；
参见图10，该装置还包括：
训练单元905，用于利用第一损失函数和第二损失函数对初始图像处理模型进行训练，得到目标图像处理模型。
在一种可能实现方式中，确定单元903，还用于基于第一参考数量的第一图像区域分别对应的预测群体对象数量和第一参考数量的第一图像区域分别对应的标准群体对象数量，在第一参考数量的第一图像区域中，确定第一目标区域；确定第一目标区域中的候选像素点；基于候选像素点对应的预测群体密度和候选像素点对应的标准群体密度，确定第二损失函数。
在一种可能实现方式中，确定单元903，还用于对于第一参考数量的第一图像区域中的任一第一图像区域，响应于任一第一图像区域对应的预测群体对象数量大于任一第一图像区域对应的标准群体对象数量，将第一类型作为任一第一图像区域对应的区域类型；响应于任一第一图像区域对应的预测群体对象数量小于任一第一图像区域对应的标准群体对象数量，将第二类型作为任一第一图像区域对应的区域类型；在第一参考数量的第一图像区域中，将对应的区域类型为第一类型和对应的区域类型为第二类型的第一图像区域确定为第一目标区域。
在一种可能实现方式中，第一目标区域的数量为至少一个，确定单元903，还用于将任一第一目标区域划分为第二参考数量的第二图像区域，确定第二参考数量的第二图像区域分别对应的预测群体对象数量和第二参考数量的第二图像区域分别对应的标准群体对象数量；基于第二参考数量的第二图像区域分别对应的预测群体对象数量和第二参考数量的第二图像区域分别对应的标准群体对象数量，确定第二参考数量的第二图像区域分别对应的区域类型；将对应的区域类型与任一第一目标区域对应的区域类型相同的第二图像区域作为第二目标区域，第二目标区域的数量为至少一个；响应于任一第二目标区域由单个样本像素点构成，将构成任一第二目标区域的样本像素点作为任一第一目标区域中的一个候选像素点。
在一种可能实现方式中，确定单元903，还用于响应于任一第二目标区域由至少两个样本像素点构成，将任一第二目标区域划分为第三参考数量的第三图像区域，确定第三参考数量的第三图像区域分别对应的预测群体对象数量和第三参考数量的第三图像区域分别对应的标准群体对象数量；基于第三参考数量的第三图像区域分别对应的预测群体对象数量和第三参考数量的第三图像区域分别对应的标准群体对象数量，确定第三参考数量的第三图像区域分别对应的区域类型；将对应的区域类型与任一第二目标区域对应的区域类型相同的第三图像区域作为第三目标区域，第三目标区域的数量为至少一个；响应于任一第三目标区域由单个样本像素点构成，将构成任一第三目标区域的样本像素点作为任一第一目标区域中的一个候选像素点。
在一种可能实现方式中，确定单元903，还用于对于第一参考数量的第一图像区域中的任一第一图像区域，在预测群体密度图中确定任一第一图像区域对应的子预测群体密度图；在标准群体密度图中确定任一第一图像区域对应的子标准群体密度图；基于任一第一图像区域对应的子预测群体密度图，确定任一第一图像区域对应的预测群体对象数量；基于任一第一图像区域对应的子标准群体密度图，确定任一第一图像区域对应的标准群体对象数量。
在一种可能实现方式中，获取单元901，还用于基于样本图像对应的至少一个头部中心点的标注信息，生成至少一个第一基础图，任一第一基础图的尺寸与样本图像的尺寸相同；对至少一个第一基础图进行叠加处理，得到第二基础图；利用目标高斯核对第二基础图进行高斯卷积处理，得到样本图像对应的标准群体密度图。
在一种可能实现方式中，目标群体密度图用于指示目标图像中的各个目标像素点分别对应的目标群体密度；确定单元903，用于对目标图像中的各个目标像素点分别对应的目标群体密度进行汇总处理，得到目标图像对应的目标群体对象数量。
在本申请实施例中，目标图像处理模型利用第一损失函数和第二损失函数训练得到，其中，第一损失函数用于关注根据图像处理模型能否准确预测出样本图像中各个样本像素点分别对应的预测群体密度，第二损失函数用于关注根据图像处理模型能否准确预测出样本图像中的各个第一图像区域分别对应的预测群体对象数量。训练得到目标图像处理模型的过程中关注的信息较丰富，能够缓解训练目标与图像处理模型的最终使用目标不一致的现象，根据目标图像处理模型得到的目标群体密度图确定出的目标群体对象数量的准确度较高，调用目标图像处理模型对目标图像进行处理的处理效果较好。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图11是本申请实施例提供的一种终端的结构示意图。该终端可以是：智能手机、平板电脑、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端包括有：处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1101所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中，终端还可选包括有：***设备接口1103和至少一个***设备。处理器1101、存储器1102和***设备接口1103之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1103相连。具体地，***设备包括：射频电路1104、显示屏1105、摄像头组件1106、音频电路1107、定位组件1108和电源1109中的至少一种。
***设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和***设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和***设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1104包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置在终端的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在另一些实施例中，显示屏1105可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。可选地，摄像头组件1106包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。
定位组件1108用于定位终端的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件1108可以是基于美国的GPS(Global PositioningSystem，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源1109用于为终端中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。
加速度传感器1111可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1112可以检测终端的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1113可以设置在终端的侧边框和/或显示屏1105的下层。当压力传感器1113设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时，由处理器1101根据用户对显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1114用于采集用户的指纹，由处理器1101根据指纹传感器1114采集到的指纹识别用户的身份，或者，由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1101授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时，指纹传感器1114可以与物理按键或厂商Logo集成在一起。
光学传感器1115用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115采集的环境光强度，控制显示屏1105的显示亮度。具体地，当环境光强度较高时，调高显示屏1105的显示亮度；当环境光强度较低时，调低显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115采集的环境光强度，动态调整摄像头组件1106的拍摄参数。
接近传感器1116，也称距离传感器，通常设置在终端的前面板。接近传感器1116用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与终端的正面之间的距离逐渐变小时，由处理器1101控制显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与终端的正面之间的距离逐渐变大时，由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图11中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图12是本申请实施例提供的一种服务器的结构示意图，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)1201和一个或多个存储器1202，其中，该一个或多个存储器1202中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器1201加载并执行，以实现上述各个方法实施例提供的图像处理方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行，以实现上述任一种图像处理方法。
在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以实现上述任一种图像处理方法。
在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一种图像处理方法。
需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以上示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取目标图像处理模型和待处理的目标图像，所述目标图像处理模型利用第一损失函数和第二损失函数训练得到，所述第一损失函数基于样本图像中的各个样本像素点分别对应的预测群体密度确定，所述第二损失函数基于所述样本图像中的各个第一图像区域分别对应的预测群体对象数量确定；
调用所述目标图像处理模型对所述目标图像进行处理，得到所述目标图像对应的目标群体密度图；
基于所述目标群体密度图，确定所述目标图像对应的目标群体对象数量，所述目标图像对应的目标群体对象数量用于指示所述目标图像中包含的群体对象的数量。
2.根据权利要求1所述的方法，其特征在于，所述获取目标图像处理模型和待处理的目标图像之前，所述方法还包括：
获取样本图像和所述样本图像对应的标准群体密度图，所述标准群体密度图用于指示所述样本图像中的各个样本像素点分别对应的标准群体密度；
调用初始图像处理模型对所述样本图像进行处理，得到所述样本图像对应的预测群体密度图，所述预测群体密度图用于指示所述样本图像中的各个样本像素点分别对应的预测群体密度；
基于所述各个样本像素点分别对应的预测群体密度和所述各个样本像素点分别对应的标准群体密度，确定第一损失函数；
将所述样本图像划分为第一参考数量的第一图像区域，确定所述第一参考数量的第一图像区域分别对应的预测群体对象数量和所述第一参考数量的第一图像区域分别对应的标准群体对象数量；
基于所述第一参考数量的第一图像区域分别对应的预测群体对象数量和所述第一参考数量的第一图像区域分别对应的标准群体对象数量，确定第二损失函数；
利用所述第一损失函数和所述第二损失函数对所述初始图像处理模型进行训练，得到所述目标图像处理模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一参考数量的第一图像区域分别对应的预测群体对象数量和所述第一参考数量的第一图像区域分别对应的标准群体对象数量，确定第二损失函数，包括：
基于所述第一参考数量的第一图像区域分别对应的预测群体对象数量和所述第一参考数量的第一图像区域分别对应的标准群体对象数量，在所述第一参考数量的第一图像区域中，确定第一目标区域；
确定所述第一目标区域中的候选像素点；
基于所述候选像素点对应的预测群体密度和所述候选像素点对应的标准群体密度，确定第二损失函数。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一参考数量的第一图像区域分别对应的预测群体对象数量和所述第一参考数量的第一图像区域分别对应的标准群体对象数量，在所述第一参考数量的第一图像区域中，确定第一目标区域，包括：
对于所述第一参考数量的第一图像区域中的任一第一图像区域，响应于所述任一第一图像区域对应的预测群体对象数量大于所述任一第一图像区域对应的标准群体对象数量，将第一类型作为所述任一第一图像区域对应的区域类型；
响应于所述任一第一图像区域对应的预测群体对象数量小于所述任一第一图像区域对应的标准群体对象数量，将第二类型作为所述任一第一图像区域对应的区域类型；
在所述第一参考数量的第一图像区域中，将对应的区域类型为第一类型和对应的区域类型为第二类型的第一图像区域确定为第一目标区域。
5.根据权利要求4所述的方法，其特征在于，所述第一目标区域的数量为至少一个，所述确定所述第一目标区域中的候选像素点，包括：
将任一第一目标区域划分为第二参考数量的第二图像区域，确定所述第二参考数量的第二图像区域分别对应的预测群体对象数量和所述第二参考数量的第二图像区域分别对应的标准群体对象数量；
基于所述第二参考数量的第二图像区域分别对应的预测群体对象数量和所述第二参考数量的第二图像区域分别对应的标准群体对象数量，确定所述第二参考数量的第二图像区域分别对应的区域类型；
将对应的区域类型与所述任一第一目标区域对应的区域类型相同的第二图像区域作为第二目标区域，所述第二目标区域的数量为至少一个；
响应于任一第二目标区域由单个样本像素点构成，将构成所述任一第二目标区域的样本像素点作为所述任一第一目标区域中的一个候选像素点。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
响应于所述任一第二目标区域由至少两个样本像素点构成，将所述任一第二目标区域划分为第三参考数量的第三图像区域，确定所述第三参考数量的第三图像区域分别对应的预测群体对象数量和所述第三参考数量的第三图像区域分别对应的标准群体对象数量；
基于所述第三参考数量的第三图像区域分别对应的预测群体对象数量和所述第三参考数量的第三图像区域分别对应的标准群体对象数量，确定所述第三参考数量的第三图像区域分别对应的区域类型；
将对应的区域类型与所述任一第二目标区域对应的区域类型相同的第三图像区域作为第三目标区域，所述第三目标区域的数量为至少一个；
响应于任一第三目标区域由单个样本像素点构成，将构成所述任一第三目标区域的样本像素点作为所述任一第一目标区域中的一个候选像素点。
7.根据权利要求2-6任一所述的方法，其特征在于，所述确定所述第一参考数量的第一图像区域分别对应的预测群体对象数量和所述第一参考数量的第一图像区域分别对应的标准群体对象数量，包括：
对于所述第一参考数量的第一图像区域中的任一第一图像区域，在所述预测群体密度图中确定所述任一第一图像区域对应的子预测群体密度图；在所述标准群体密度图中确定所述任一第一图像区域对应的子标准群体密度图；
基于所述任一第一图像区域对应的子预测群体密度图，确定所述任一第一图像区域对应的预测群体对象数量；
基于所述任一第一图像区域对应的子标准群体密度图，确定所述任一第一图像区域对应的标准群体对象数量。
8.根据权利要求2-6任一所述的方法，其特征在于，所述样本图像对应的标准群体密度图的获取方式，包括：
基于所述样本图像对应的至少一个头部中心点的标注信息，生成至少一个第一基础图，任一第一基础图的尺寸与所述样本图像的尺寸相同；
对所述至少一个第一基础图进行叠加处理，得到第二基础图；
利用目标高斯核对所述第二基础图进行高斯卷积处理，得到所述样本图像对应的标准群体密度图。
9.根据权利要求1-6任一所述的方法，其特征在于，所述目标群体密度图用于指示所述目标图像中的各个目标像素点分别对应的目标群体密度；所述基于所述目标群体密度图，确定所述目标图像对应的目标群体对象数量，包括：
对所述目标图像中的各个目标像素点分别对应的目标群体密度进行汇总处理，得到所述目标图像对应的目标群体对象数量。
10.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取目标图像处理模型和待处理的目标图像，所述目标图像处理模型利用第一损失函数和第二损失函数训练得到，所述第一损失函数基于样本图像中的各个样本像素点分别对应的预测群体密度确定，所述第二损失函数基于所述样本图像中的各个第一图像区域分别对应的预测群体对象数量确定；
调用单元，用于调用所述目标图像处理模型对所述目标图像进行处理，得到所述目标图像对应的目标群体密度图；
确定单元，用于基于所述目标群体密度图，确定所述目标图像对应的目标群体对象数量，所述目标图像对应的目标群体对象数量用于指示所述目标图像中包含的群体对象的数量。
CN202110113954.3A 2021-01-27 2021-01-27 图像处理方法及装置 Pending CN114898282A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110113954.3A CN114898282A (zh) 2021-01-27 2021-01-27 图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110113954.3A CN114898282A (zh) 2021-01-27 2021-01-27 图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN114898282A true CN114898282A (zh) 2022-08-12

Family

ID=82714449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110113954.3A Pending CN114898282A (zh) 2021-01-27 2021-01-27 图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN114898282A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118003961A (zh) * 2024-01-16 2024-05-10 江西驴充充充电技术有限公司 智能充电桩集群控制***及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118003961A (zh) * 2024-01-16 2024-05-10 江西驴充充充电技术有限公司 智能充电桩集群控制***及方法

Similar Documents

Publication Publication Date Title
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN111739035B (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN110555839A (zh) 缺陷检测识别方法、装置、计算机设备及存储介质
CN111091576A (zh) 图像分割方法、装置、设备及存储介质
CN111931877B (zh) 目标检测方法、装置、设备及存储介质
CN110544272A (zh) 脸部跟踪方法、装置、计算机设备及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN112884770B (zh) 图像分割处理方法、装置及计算机设备
CN114332530A (zh) 图像分类方法、装置、计算机设备及存储介质
CN111914812A (zh) 图像处理模型训练方法、装置、设备及存储介质
CN111062981A (zh) 图像处理方法、装置及存储介质
CN112036331A (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN111192262A (zh) 基于人工智能的产品缺陷分类方法、装置、设备及介质
CN111860485A (zh) 图像识别模型的训练方法、图像的识别方法、装置、设备
CN111368116B (zh) 图像分类方法、装置、计算机设备及存储介质
CN112115900B (zh) 图像处理方法、装置、设备及存储介质
CN113610750A (zh) 对象识别方法、装置、计算机设备及存储介质
CN111597922A (zh) 细胞图像的识别方法、***、装置、设备及介质
CN113705302A (zh) 图像生成模型的训练方法、装置、计算机设备及存储介质
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN112037305B (zh) 对图像中的树状组织进行重建的方法、设备及存储介质
CN112053360B (zh) 图像分割方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination