CN115221547A - 图像处理方法及装置、电子设备、计算机存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法，其中，所述方法包括：获取待传输图像；对所述待传输图像的图像内容进行识别，确定所述待传输图像是否包含隐私信息；若所述待传输图像包含隐私信息，则禁止将所述待传输图像传输至目标展示设备。本申请实施例还提供一种图像处理装置、电子设备和计算机存储介质。

Description

图像处理方法及装置、电子设备、计算机存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、电子设备、计算机存储介质。

背景技术

随着电子技术的发展和普及，电子设备的功能越来越强大。实际应用中，可以将电子设备中的图像或者视频，输出到外部展示设备中进行展示，例如，电子设备的图像或者视频，可以投映于虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备、或者电视机等外部展示设备进行展示。

然而，电子设备中存储的图像或者视频可能包括隐私信息，例如亲密关系、血腥暴力、商业机密等隐私信息。若将包含隐私信息的图像，投映到受众较广的外部设备中进行展示，会造成用户的隐私泄露。

发明内容

本申请实施例提供一种图像处理方法及装置、电子设备、计算机存储介质。

本申请的技术方案是这样实现的：

本申请实施例提供一种在电子设备NPU中实施的图像处理方法，所述方法包括：

获取待传输图像；

对所述待传输图像的图像内容进行识别，确定所述待传输图像是否包含隐私信息；

若所述待传输图像包含隐私信息，则禁止将所述待传输图像传输至目标展示设备。

本申请实施例提供一种图像处理装置，所述装置包括：

获取单元，用于获取待传输图像；

图像识别单元，用于对所述待传输图像的图像内容进行识别，确定所述待传输图像是否包含隐私信息；

处理单元，用于若所述待传输图像包含隐私信息，则禁止将所述待传输图像传输至目标展示设备。

本申请实施例提供一种电子设备，所述电子设备包括处理器、以及存储有所述处理器可执行指令的存储器；

所述处理器和所述存储器通过总线进行连接；

所述处理器，用于运行所述存储器中存储的所述可执行指令时，执行上述图图像处理方法的步骤。

本申请实施例一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现上述图像处理方法的步骤。

本申请实施例提供的图像处理方法及装置、电子设备、计算机存储介质，具体地，电子设备在获取待传输图像之后，可以对待传输图像的图像内容进行识别，确定待传输图像是否包含隐私信息；若待传输图像包含隐私信息，则禁止将待传输图像传输至目标展示设备。也就是说，本申请实施例中，电子设备将图像传输至外部的目标展示设备进行展示之前，可以自动地对待传输图像的图像内容进行识别，若识别到该待传输图像中包含隐私信息，则禁止将该待传输图像传输至目标展示设备。如此，电子设备可以自动地筛选出包含隐私信息的图像，并禁止将包含隐私信息的图像通过外部展示设备进行展示，提高了电子设备中图像数据的隐私性。

附图说明

图1(a)为本申请实施例提供的一种场景示意图一。

图1(b)为本申请实施例提供的一种场景示意图二。

图2为本申请实施例提供的一种相关技术中隐私信息保护方法流程图。

图3为本申请实施例提供的一种图像处理方法流程示意图一。

图4为本申请实施例提供的一种图像处理方法流程示意图二。

图5为本申请实施例提供的一种示例性的显示界面示意图一。

图6为本申请实施例提供的一种图像处理方法流程示意图三。

图7为本申请实施例提供的一种示例性的显示界面示意图二。

图8为本申请实施例提供的一种图像处理方法流程示意图四。

图9为本申请实施例提供的一种图像处理方法流程示意图五。

图10为本申请实施例提供的一种示例性的场景架构示意图。

图11为本申请实施例提供的一种图像处理方法流程示意图六。

图12为本申请实施例提供的一种图像处理方法流程示意图七。

图13为本申请实施例提供的一种图像处理装置结构组成示意图。

图14为本申请实施例提供的一种电子设备硬件结构组成示意图。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

便携式电子设备，尤其是智能手机，在现代生活中扮演愈加重要的作用。用户可以使用智能手机去拍摄或者下载任何可获得的图像或视频，甚至包含隐私信息的图像或视频。用户的隐私遭到泄露会给用户本人与乃至社会带来不良影响。因此，如何有效保护电子设备使用过程中的用户隐私信息，成为的各大产商关注的问题。

目前，为了满足用户追求大尺寸显示、以及对沉浸式感官设备的需求，VR/AR、投屏等技术逐渐成为主流。参考1(a)和图1(b)所示，用户可以将电子设备本地存储或者通过网络下载的图像或者视频，投映于诸如VR设备、AR设备、投影仪、智能电视等外部设备进行显示。若将包含隐私信息的图像，投映到受众较广的外部设备中进行展示，会造成用户的隐私泄露。

参考图2所示的一种相关技术中隐私信息保护方法流程图。相关技术中，智能手机采集到图像/视频后，会将采集的图像/视频存储于相册中。若用户需要将采集得到的图像/视频进行保密存储，则需要进入文件管理***，手动将选中的图像/视频挑选出并移动至隐私存储空间中，如此避开将隐私存储空间中的图像或视频传输至外部展示设备进行展示。可以看出，相关技术具有以下明显缺点：

(1)操作路径长：用户每次下载、拍摄包含隐私信息的图像或视频时，均需通过冗长的操作路径进行保存处理。

(2)手动选择范围广泛，遗漏可能性高：电子设备的存储空间日益增大，本地存储的图像或视频数量庞大，用户需要从以千计数的图像或视频文件中，选择对应图像或视频进行保存处理，遗漏可能性较大。

(3)未对将图像或视频进行投映的场景进行特殊处理，若将遗漏的包含隐私信息的图像投映到受众较广的外部展示设备时，仍然会造成用户的隐私泄露。

所以通过以上方案，目前电子设备对包含隐私信息的图像或视频的保护极其有限，亟需要一套便于主动保护其隐私信息的方案。

基于此，本申请实施例提供一种图像处理方法，该图像处理方法的执行主体可以是本申请实施例提供的电子设备中的嵌入式神经网络处理器(Neural-networkProcessing Units，NPU)。NPU采用数据驱动并行计算的架构，能够具备人工智能(Artificial Intelligence，AI)计算能力，能够快速处理视频、图像类的海量多媒体数据。其中，电子设备可以是智能手机、平板电脑、个人计算器、服务器或者工业计算器等。

具体地，电子设备在获取待传输图像之后，可以对待传输图像的图像内容进行识别，确定待传输图像是否包含隐私信息；若待传输图像包含隐私信息，则禁止将待传输图像传输至目标展示设备。也就是说，本申请实施例中，电子设备将图像传输至外部的目标展示设备进行展示之前，可以自动地对待传输图像的图像内容进行识别，若识别到该待传输图像中包含隐私信息，则禁止将该待传输图像传输至目标展示设备。如此，电子设备可以自动地筛选出包含隐私信息的图像，并禁止将包含隐私信息的图像通过外部展示设备进行展示，提高了电子设备中图像数据的隐私性。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请一实施例提供一种图像处理方法，参考图3所示的图像处理方法流程示意图一，该图像处理方法可以通过以下步骤实现：

步骤310、获取待传输图像。

本申请实施例中，待传输图像是指，需要传输给电子设备外部的目标展示设备进行展示的图像。

这里，目标展示设备，是指能够展示多媒体数据(例如图像、视频等数据)的外部设备。需要说明的是，目标展示设备与本申请实施例中执行主体电子设备为相互独立的且不同的设备。

目标展示设备，可以与电子设备通过有线或者无线的方式进行连接，接收并展示电子设备发送的图像数据。示例性的，参考图1(a)所示，电子设备可以是手机，目标展示设备可以是投影仪；手机与投影仪通过有线方式连接，手机可以通过数据线将图像数据传输给投影仪进行播放。参考图1(b)所示，电子设备可以是手机，目标展示设备可以是智能电视；手机与智能电视通过无线保真(Wireless Fidelity，WiFi)方式连接，手机可以通过WiFi网络将图像数据传输给智能电视进行播放。

在本申请实施例中，目标展示设备包括但不限于AR设备、VR设备、投影仪、智能电视等设备。

另外，本申请实施例中的待传输图像可以是电子设备采集的照片、通过互联下载的图片、或者视频中的图像帧等。本申请实施例对待传输图像的类型不做限定。

本申请实施例中，电子设备可以从本地存储空间中读取待传输图像，或者从网络缓存数据中获取待传输图像。本申请实施例这里对待传输图像的来源不进行限定。

步骤320、对待传输图像的图像内容进行识别，确定待传输图像是否包含隐私信息。

这里，电子设备在将待传输图像发送给目标展示设备进行展示之前，可以对每个待传输图像的图像内容进行识别处理，确定待传输图像中是否包含了用户的隐私信息。

在一种可能的实现方式中，电子设备可以预先构建参考图像数据库。参考图像数据库中可以包含具有不同隐私信息类型的参考图像，例如参考图像数据库中可以包含暴力场景的图像、血腥镜头的图像、聊天记录的图像等。

具体地，电子设备获取到待传输图像之后，可以计算待传输图像与参考图像数据库中的每个参考图像之间的相似度，若待传输图像与某个参考图像的相似度大于预设阈值，则可以确定待传输图像中包含了隐私信息。

在另一种可能的实现方式中，电子设备可以基于机器学习图像识别技术，预先训练图像识别模型得到预训练图像识别模型，通过该预训练图像识别模型对待传输图像的图像内容进行识别，确定待传输图像是否包含隐私信息。

步骤330、若待传输图像包含隐私信息，则禁止将待传输图像传输至目标展示设备。

具体地，电子设备在识别到待传输图像中包含隐私信息之后，即可禁止将该待传输图像传输到目标展示设备，以避免目标展示设备对该待传输图像进行展示导致用户的隐私泄露的问题。

由此可见，本申请实施例中的电子设备将图像传输至外部的目标展示设备进行展示之前，可以自动地对待传输图像的图像内容进行识别，若识别到该待传输图像中包含隐私信息，则禁止将该待传输图像传输至目标展示设备。如此，电子设备可以自动地筛选出包含隐私信息的图像，并禁止将包含隐私信息的图像通过外部展示设备进行展示，提高了电子设备中图像数据的隐私性。

在本申请一实施例中，参考图4所示的图像处理方法流程示意图二，步骤330中禁止将待传输图像传输至目标展示设备，还可以通过以下步骤实现：

步骤3301、向用户提示待传输图像中包含隐私信息。

步骤3302、接收用户输入的第一操作指令；第一操作指令用于指示禁止展示待传输图像。

步骤3303、响应第一操作指令，禁止将待传输图像传输至目标展示设备。

本申请实施例中，电子设备在识别到待传输图像中包含隐私信息后，可以通知用户该待传输图像中包含隐私信息。

在一些实施例中，电子设备在识别到待传输图像包含隐私信息后，可以控制电子设备在其显示界面中显示第一提示消息，通过第一提示消息提示用户该待传输图像中包含隐私信息。其中，第一提示消息可以以弹框的方式显示在电子设备的显示界面中。示例性的，电子设备实施为手机时，手机检测到待传输图像中包含隐私信息的情况下，可以在手机的触摸显示界面弹出弹框，在弹框中显示第一提示消息。

另外，电子设备向用户提示待传输图像中包含隐私信息后，可以在预设时间内监听用户针对第一提示消息输入的操作指令，基于用户输入的操作指令，判断是否继续向目标展示设备传输待传输图像。

在一种可能的实现方式中，电子设备向用户提示待传输图像中包含隐私信息后，接收到用户输入的第一操作指令。其中，第一操作指令用于指示电子设备禁止展示待传输图像。在一示例中，第一操作指令可以是在电子设备触控显示屏预设位置的点击操作。

这样，电子设备可以基于第一操作指令，确定用户希望不对待传输图像进行展示，则电子设备禁止将待传输图像传输至目标展示设备。

在另一种可能的实现方式中，电子设备在向用户提示待传输图像中包含隐私信息后，可以接收用户针对该第一提示消息输入的另一操作指令。这里，该操作指令可以用于指示电子设备继续对待传输图像进行展示。

基于此，电子设备可以基于接收到的另一操作指令，确定用户希望继续对该待传输图像进行展示，这样，电子设备继续将待传输图像传输至目标展示设备。

示例性的，参考图5所示的一种示例性的显示界面示意图一，电子设备可以在识别待待传输图像中包含隐私信息后，在其显示界面中弹出提示弹框，并在弹框中显示“本文件包含隐私信息，是否取消本次投映”。进一步，若电子设备在预设时间段内接收到用户选择“是”的操作指令，则禁止将该待传输图像传输至目标展示设备。若电子设备在预设时间段内接收到用户选择“否”的操作指令，则继续将该待传输图像传输至目标展示设备进行展示。

由此可见，本申请实施例提供的图像处理方法中，电子设备可以在检测到待传输图像中包含隐私信息后，输出第一提示消息以供用户决策是否继续将待传输图像传输至目标展示设备进行展示。也就是说，本申请实施例能够以用户可感知的方式对电子设备中的图像进行管理和保护，提供高度有效的隐私管理的引导，为用户隐私数据保护提供强有力的保障。

在本申请一实施例中，参考图6所示的图像处理方法流程示意图三，步骤330禁止将待传输图像传输至目标展示设备之后，还可以执行以下步骤：

步骤340、将待传输图像存储于第一存储空间；第一存储空间为访问受限的存储区域。

本申请实施例中，第一存储空间是电子设备中访问受限的存储区域。可以理解的是，第一存储空间中存储的数据是经过加密的数据，需要在身份验证通过后才可以进行读取。并且，第一存储空间中存储的文件，未经用户认证无法进行外部设备的投映。

在本申请实施例中，通过将待传输图像存储于第一存储空间，可以保护用户的隐私图像不会在意外情况下传输至目标展示设备。

在一种可能的实现方式中，电子设备在确定待传输图像中包含隐私信息，并禁止将待传输图像传输至目标展示设备的同时，可以直接将该待传输图像存储于第一存储空间中，以对待传输图像进行保护。

在另一种可能的实现方式中，电子设备在确定待传输图像中包含隐私信息后，可以在向用户显示第一提示消息，以通知用户该待传输图像中包含隐私信息。进一步，电子设备可以监听用户针对第一提示消息的反馈操作，基于用户的反馈操作确定是否将待传输图像进行加密存储，即将待传输图像存储至第一存储空间。

具体地，电子设备可以接收用户针对第一提示消息输入的第一操作指令，该第一操作指令用于指示电子设备禁止展示待传输图像。这样，电子设备接收到第一操作指令后，可以确定用户不想展示该待传输图像。因此电子设备可以基于第一操作指令禁止将待传输图像传输至目标展示设备，同时并将该待传输图像存储于第一存储空间中。

另外，电子设备还可以接收用户针对第一提示消息输入的第二操作指令，该第二操作指令可以用于指示电子设备继续对待传输图像进行展示。这样，电子设备接收到第二操作指令后，可以确定用户期望继续展示该待传输图像。基于此，电子设备可以基于第二操作指令，继续向目标展示设备发送该待传输图像，不对该待传输图像进行加密存储。

示例性的，参考图7所示的一种示例性的显示界面示意图二，电子设备可以在识别待传输图像中包含隐私信息后，在其显示界面中弹出提示弹框，并在弹框中显示“本文件包含隐私信息，是否加密存储并取消本次投映”。进一步，若电子设备在预设时间段内接收到用户选择“是”的操作指令，则禁止将该待传输图像传输至目标展示设备，并将该待传输图像存储至第一存储空间中。若电子设备在预设时间段内接收到用户选择“否”的操作指令，则继续将该待传输图像传输至目标展示设备进行展示，不将该待传输图像存储至第一存储空间中。

由此可见，本申请实施例能够以用户可感知的方式对电子设备中的图像进行管理和保护，提供高度有效的隐私管理的引导，为用户隐私数据保护提供强有力的保障

在本申请一实施例中，参考图8所示的流程示意图四，步骤320中对待传输图像的图像内容进行识别，确定待传输图像是否包含隐私信息，可以通过以下步骤实现：

步骤3201、获取预训练图像识别模型；

步骤3202、利用预训练图像识别模型，对待传输图像的图像内容进行识别，确定待传输图像是否包含隐私信息。

本申请实施例中，预训练图像识别模型可以是电子设备基于样本图像进行训练得到，预训练图像识别模型也可以是电子设备从提供图像识别模型的服务器获取的。本申请实施例这里对预训练图像识别模型的来源不进行限定。

这里，预训练图像识别模型，可以是基于机器学习技术训练得到的分类模型。具体地，该预训练图像识别模型可以对输入的待传输图像进行识别处理，确定图像是否为包含隐私信息的隐私图像。

下面详细介绍预训练图像识别模型的训练过程。

具体地，步骤3201中的预训练图像识别模型，可以通过步骤3201a至步骤3201d训练得到。

步骤3201a、获取样本图像，以及样本图像对应的标签信息。

本申请实施例中，在对模型开始训练之前，可以获取大量样本图像，以及样本图像对应的标签信息。基于大量的样本图像，提前训练用于识别待传输图像是否包含隐私信息的模型。

这里，样本图像可以由包含多种不同类型的隐私信息的图像，以及不包含隐私信息的图像构成。标签信息，可以表征该样本图像中包含隐私信息的真实情况。若样本图像中包含隐私信息，则该样本图像对应的标签信息可以是隐私图像，若样本图像中并不包含隐私信息，则该样本图像对应的标签信息可以为非隐私图像。

示例性的，参考表1，样本图像可以包括人像自拍、卧室内景、风景照、动物照片、健身人像照片、血腥场景截图、裸照、暴力场景截图、合同照片、以及聊天截图等不同种类的图像。并且每个样本图像具有对应的标签信息，例如人像自拍的标签信息为非隐私图像，合同照片对应的标签信息为隐私图像。

表1

步骤3201b、利用待训练图像识别模型，对样本图像进行识别处理，得到第一输出结果。

本申请实施例中，在进行训练时，还需要采用机器学习技术，搭建待训练图像识别模型；其中，待训练图像识别模型可以是深度卷积神经网络模型，也可以是其他类型的模型，本申请实施例中对图像识别模型的类型不做限定。

具体地，在提取样本图像的图像特征后，可以将提取到的图像特征输入至待训练图像识别模型中，通过待训练图像识别模型对样本图像进行识别处理，得到样本图像的第一输出结果。这里，第一输出结果可以是预测的样本图像的类型。

其中，图像特征可以是尺度不变特征变换(Scale-invariant featuretransform，SIFT)信息、或者方向梯度直方图(Histogram of Oriented Gradient，HOG)信息，本申请实施例之类对图像特征的类型不进行限定。

步骤3201c、基于第一输出结果与样本图像对应的标签信息，得到第一差异值。

在本申请实施例中，由于待训练图像识别模型为搭建的初始模型，因此，通过待训练图像识别模型对样本图像进行识别处理后，得到的第一输出结果，可能并不是样本图像真实的识别结果，即并不是标签信息所指示结果。因此，样本图像对应的标签信息和第一输出结果之间存在差异。第一差异值可以在一定程度上表征待训练图像识别模型的识别效果。

在本申请实施例中，可以利用预设的损失函数来确定第一输出结果和样本图像对应的标签信息之间的差异值。这里，损失函数可以是0-1损失函数，或者其他类型的损失函数，本申请实施例对此不做限定。

步骤3201d、基于第一差异值，对待训练图像识别模型进行训练，直到待训练图像识别模型满足训练条件时，得到预训练图像识别模型。

在本申请实施例中，在确定了第一差异值之后，可以根据第一差异值和样本图像，对待训练图像识别模型进行迭代训练，直到满足一定的训练条件，从而训练得到预训练图像识别模型。

这里，训练条件可以包括：通过待训练图像得到的输出结果，与样本图像对应的标签信息之间的差异值小于预设阈值。

具体地，在训练时可以根据第一差异值，自动地对待训练图像识别模型中各个节点的权重参数进行调整；也就是说，在对待训练图像识别模型进行训练时，可以通过第一差异值进行反向传播，调整待训练图像识别模型的权重参数。进一步，基于调整后的待训练识别模型继续对样本图像进行识别处理，得到第二输出结果。这里，调整后的待训练识别模型相比于未调整的待训练识别模型，图像识别的效果更好，从而第二输出结果中，相比于第一输出结果的准确度更高。

进一步，可以继续基于预设的损失函数，确定第二输出结果和样本图像对应的标签信息之间的第二差异值。进而，基于第二差异值对调整后的待训练识别模型进行训练，直到满足训练结束条件时，将训练的调整后的待训练识别模型作为最终训练好的预训练识别模型。

预训练图像识别模型的训练过程是通过迭代训练得到的；迭代过程为通过第一差异值、第二差异值……不停的调整模型的权重参数，直到调整后的待训练图像识别模型得到的差异值小于预设阈值，则确定满足训练结束条件。此时得到的调整后的待训练图像识别模型为最终的预训练图像识别模型。

这样，预训练图像识别模型即为能够区分包含隐私信息的隐私图像，以及未包含隐私信息的非隐私图像的模型。基于此，将没有设置标签信息的图像输入预训练图像识别模型中，可成功区分该图像是否为隐私图像，即该图像中是否包含裸露、血腥暴力、商业机密等隐私信息。

需要说明的是，上述训练过程的执行主体可以是电子设备，也可以是专用于模型训练的服务器。本申请实施例对此不做限定。

本申请一实施例中，参考图9所示的图像处理方法流程示意图五，步骤310获取待传输图像之前，电子设备还可以执行以下步骤：

步骤350、获取待存储图像。

这里，待存储图像可以是需要进行存储的图像。示例性的，待存储图像可以是通过摄像头采集到的图像或者视频中的图像帧，待存储图像还可以是网络下载的图像或者视频中的图像帧。

步骤360、利用预训练图像识别模型，对待存储图像的图像内容进行识别，确定待存储图像是否包含隐私信息。

可以理解的是，本申请实施例提供的图像处理方法中，电子设备还可以在对获取的图像进行存储之前，利用上述预训练图像识别模型，自动地对待存储图像的图像内容进行识别，确定待存储图像中的内容是否包含隐私信息。

步骤370、若待存储图像中包含隐私信息，则向用户提示待存储图像中包含隐私信息。

也就是说，在电子设备在识别到待存储图像包含隐私信息后，电子设备可以告知用户，该待存储图像中包含隐私信息。

在一些实施例中，电子设备可以在识别到待存储图像中包含隐私信息后，控制电子设备的显示界面显示第二提示消息。这样，通过第二提示消息向用户提示该待存储图像中包含隐私信息。

这里，第二提示消息可以以弹框的方式显示在电子设备的显示界面中。

步骤380、接收用户输入的第二操作指令；该第二操作指令用于指示是否对待存储图像进行加密存储。

可以理解的是，电子设备向用户提示待存储图像中包含隐私信息后，可以在预设时间内监听用户输入的第二操作指令，并基于用户输入的第二操作指令，判断是否将待存储图像进行加密存储。

在一些实施例中，第二操作指令可以是用户对显示界面中不同区域的点击操作。示例性的，电子设备检测到用户对触控面板的第一位置进行点击操作后，可以确定需要对待存储图像进行加密存储，电子设备检测到用户对触控面板的第二位置进行点击操作后，可以确定不必对待存储图像进行加密存储。

步骤390、基于第二操作指令，将待存储图像存储至第一存储空间或第二存储空间；其中，第一存储空间为访问受限的存储区域；第二存储空间为未设置访问受限的存储空间。

在本申请实施例中，若第二操作指令指示对待存储图像进行加密存储，则电子设备可以将获取到的待存储图像存储至第一存储空间中。第一存储空间是指访问受限的存储区域。也就是说，第一存储空间中存储的数据是经过加密的数据，需要在身份验证通过后才可以进行读取。可以理解的是，第一存储空间中存储的文件，未经用户认证无法传输至目标展示设备进行展示。

在一些实施例中，第一存储空间中存储的文件，还可以在未经用户验证的情况下，禁止进行云端备份。即第一存储空间中的文件无法传输至云端服务器进行存储。如此，可以避免待存储图像在用户不知晓的情况下自动进行了云备份，防止云服务被定向攻击后，用户隐私泄露的问题。

另外，若第二操作指令指示不对待存储图像进行加密存储，则电子设备将待存储图像存储至未设置访问受限的第二存储空间中。示例性的，第二存储空间可以是电子设备中的相册。

需要说明的是，步骤310中的待传输图像可以是第二存储空间中存储的图像。

由此可见，电子设备可以在对获取的图像进行存储前，基于机器学习的方式对该存储图像进行识别，并在用户的判决下加入第一存储空间，可大幅提高图像中隐私信息的保护力度。

下面，结合具体应用场景对本申请实施例进行进一步阐述。

在本申请提供的实施例中，电子设备可以从服务器获取预训练图像识别模型。这里，服务器可以提前基于机器学习技术，使用大量设置有标签信息的样本图像进行训练，得到适用于区分隐私图像和非隐私图像的预训练图像识别模型。

在一实施例中，参考图10所示的场景架构示意图，以及图11所示的图像处理方法流程示意图六，本申请实施例提供的图像处理方法可以包括以下步骤：

步骤a1、电子设备获取待存储图像。

参考图11所示，电子设备可以通过摄像头采集图像/视频，电子设备也可以从网络下载图像/视频，得到待存储图像。待存储图像可以是视频中的一帧图像。

步骤b1、电子设备调用预训练图像识别模型，对待存储图像进行识别。

步骤c1、电子设备判断待存储图像是否为包含隐私信息的隐私图像。

具体地，电子设备每次在拍摄/下载图像，得到待存储图像后，可以调用预训练图像识模型对待存储图像进行图像识别，判断待存储图像是否为隐私图像(即包含隐私信息的图像)。

步骤d1、若待存储图像为非隐私图像，则将待存储图像存储于相册中，并将该待存储图像自动步至云端服务器中。

步骤e1、若待存储图像为隐私图像，则向用户提示待存储图像中包含隐私信息。

这里，电子设备可以控制显示界面显示第二提示消息，该第二提示消息可以是“本文件含隐私信息，确认是否加密存储”。

步骤f1、电子设备可以监听用户输入的第二操作指令，确定是否对待存储图像进行加密存储。

步骤g1、若第二操作指令指示对待存储图像进行加密存储，则电子设备将待存储图像存储至第一存储空间中，并禁止将待存储图像同步至云端服务器。

步骤h1、若第二操作指令指示不对待存储图像进行加密存储，则电子设备将待存储图像存储至第一存储空间(例如相册)中。

在另一实施例中，电子设备可以将本地存储的图像或视频，传输至VR/AR/智能电视等外部的展示设备进行展示。参考图12所示的图像处理方法流程示意图七，本申请实施例提供的图像处理方法可以包括以下步骤：

步骤a2、电子设备获取待传输图像。

这里，电子设备可以在进行投映之前，获取将要投映的图像，得到待传输图像。其中，待传输图像可以是存储于第二存储空间中的图像。

步骤b2、调用预先训练好的图像识别模型对待传输图像进行图像识别。

步骤c2、电子设备判断待传输图像是否为包含隐私信息的隐私图像。

在将待传输图像发送给展示设备之前，可以再次调用预先训练好的图像识别模型对待传输图像进行图像识别处理，判断待传输图像是否为隐私图像(即包含隐私信息的图像)。

步骤d2、若待传输图像为非隐私图像，则将待传输图像传输至展示设备进行展示。

步骤e2、若待传输图像为隐私图像，则向用户提示该待传输图像中包含隐私信息。

这里，电子设备可以控制显示界面显示第一提示消息，第一提示消息可以是“本文件含隐私信息，确认是否加密存储并取消本次投映”。

步骤f2、电子设备可以监听用户输入的操作指令，确定是否取消本次投映。

步骤g2、若电子设备接收到取消投映的操作指令，则将待传输图像存储至第一存储空间中，并禁止将待传输图像发送至展示设备。

步骤h2、若电子设备接收到继续投映的操作指令，则将待传输图像发送至展示设备进行展示。

本申请实施例提供的数据处理方法可以应用于NPU中。NPU是专为物联网人工智能而设计，用于加速神经网络的运算，解决传统芯片在神经网络运算时效率低下的问题。利用预训练图像识别模型对待传输图像和/或待存储图像进行识别处理，确定待传输图像和/或待存储图像中是否具有隐私信息，若存在隐私信息则提示用户对图像存储至访问受限的目标存储空间中，从而免于自动备份到云端服务器或者外部的目标展示设备，使得用户隐私保护功能更加强大全面。

通过NPU运行预训练图像识别模型，可以对包含隐私信息的图像的识别准确度达到90％以上，且识别时延不超过1s，为用户隐私数据保护提供强有力的保障。

综上所述，本申请实施例提供的图像处理方法，可以在机器学习的基础上，训练得到图像识别模型。并在用户拍摄照片/视频，或者对本地的照片/视频进行投映时，可以利用图像识别模型判断照片/视频是否归属于隐私图像。当判断为隐私图像时，电子设备可以强制输出弹框供用户选择是否加密于目标存储空间中。这里，目标存储空间不属于云服务自动备份功能、以及投映功能范围。相较于现有方案，本申请实施例提供的图像处理方法有以下显著优势：

(1)及时性

本申请实施例提供的数据处理方法中，电子设备在对图像进行存储之前调用预训练图像识别模型进行图像识别，可以避免用户忘记将包含隐私信息的照片存储至目标存储空间，造成的隐私泄露的问题，并且以用户可感知的方式对隐私信息进行保护。

(2)覆盖全面

本申请实施例中，电子设备基于机器学习的图像识别技术将图像自动分类，可以提高图像加密存储的效率。并且，本申请实施例利用机器学习技术训练的图像识别方法，可以媲美甚至优于用户靠视觉与记忆识别隐私图像，为手动选择导致遗漏的问题提供优良的解决方法。

(3)易用性

本申请实施例提供的图像处理方法中，电子设备在确定图像的识别结果后能够及时显示提示消息，可以避免通过复杂的操作才可对选定的图像进行隐藏/加密，易用性得到了极大的提高。

(4)全方位

本申请实施例提供的图像处理方法，不仅可以在对图像存储时识别图像是否包含隐私信息，还可以在投映前再次对待传输图像进行图像识别，若待传输图像为隐私图像，则可根据用户的决策来取消本次图像投映。

基于前述实施例，在本申请一实施例中，还提供一种图像处理装置，所述图像处理装置可以应用于前述实施例中的电子设备中。如图13所示，本申请实施提出的图像处理装置可以包括：

获取单元1301，用于获取待传输图像；

图像识别单元1302，用于对所述待传输图像的图像内容进行识别，确定所述待传输图像是否包含隐私信息；

处理单元1303，用于若所述待传输图像包含隐私信息，则禁止将所述待传输图像传输至目标展示设备；其中，所述目标展示设备和所述电子设备是不同的设备。

在本申请一些实施例中，处理单元1303，具体用于向用户提示所述待传输图像中包含隐私信息；接收用于输入的第一操作指令；所述第一操作指令用于指示禁止展示所述待传输图像；响应所述第一操作指令，禁止将所述待传输图像传输至所述目标展示设备。

在本申请一些实施例中，处理单元1303，还用于将所述待传输图像存储于第一存储空间；所述第一存储空间为访问受限的存储区域。

在本申请一些实施例中，图像识别单元1302，具体用于获取预训练图像识别模型；利用所述预训练图像识别模型，对所述待传输图像的图像内容进行识别，确定所述待传输图像是否包含隐私信息。

在本申请一些实施例中，图像处理装置还可以包括训练单元。所述训练单元，具体用于获取样本图像，以及所述样本图像对应的标签信息；利用待训练图像识别模型，对所述样本图像进行识别处理，得到第一输出结果；基于所述第一输出结果与所述样本图像对应的标签信息，得到第一差异值；基于所述第一差异值，对所述待训练图像识别模型进行训练，直到所述待训练图像识别模型满足训练条件时，得到所述预训练图像识别模型。

在本申请一些实施例中，所述训练条件包括：通过所述待训练图像得到的输出结果，与所述样本图像对应的标签信息之间的差异值在预设阈值内。

在本申请一些实施例中，获取单元1301，还用于获取待存储图像；

图像识别单元1302，还用于利用所述预训练图像识别模型，对所述待存储图像的图像内容进行识别，确定所述待存储图像是否包含隐私信息；

处理单元1303，还用于若所述待存储图像中包含隐私信息，则向用户提示所述待存储图像中包含隐私信息；接收用户输入的第二操作指令，所述第二操作指令用于指示是否对所述待存储图像进行加密存储；基于所述第二操作指令，将所述待存储图像存储至第一存储空间或第二存储空间；其中，所述第一存储空间为访问受限的存储区域；所述第二存储空间为未设置访问受限的存储空间。

需要说明的是，在本实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

基于前述实施例，在本申请的另一实施例中还提供一种电子设备，如图14所示，本申请实施例提出的电子设备可以包括处理器1401、以及存储有所述处理器可执行指令的存储器1402；

所述处理器1401和所述存储器1402通过总线1403连接；

所述处理器1401，运行所述存储器1402中存储的计算机程序时，可以执行以下指令：

获取待传输图像；

对所述待传输图像的图像内容进行识别，确定所述待传输图像是否包含隐私信息；

若所述待传输图像包含隐私信息，则禁止将所述待传输图像传输至目标展示设备。

在本申请提供的实施例中，上述处理器1401可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital SignalProcessor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Progmable Logic Device，PLD)、现场可编程门阵列(Field Progmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。

可选地，处理器1401还可以是NPC。

在实际应用中，存储器1402可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器1401提供指令和数据。

本申请实施例还提供了一种计算机存储介质，具体为计算机可读存储介质。其上存储有计算机指令，在计算机存储介质位于电子设备制作装置时，该计算机指令被处理器执行时实现本申请实施例上述图像处理方法中的任意步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以至少两个单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种在电子设备的嵌入式神经网络处理器NPU中实施的图像处理方法，其特征在于，所述方法包括：

获取待传输图像；

对所述待传输图像的图像内容进行识别，确定所述待传输图像是否包含隐私信息；以及，

若所述待传输图像包含隐私信息，则禁止将所述待传输图像传输至目标展示设备。

2.根据权利要求1所述的方法，其特征在于，所述禁止将所述待传输图像传输至目标展示设备，包括：

向用户提示所述待传输图像中包含隐私信息；

接收用户输入的第一操作指令；所述第一操作指令用于指示禁止展示所述待传输图像；

响应所述第一操作指令，禁止将所述待传输图像传输至所述目标展示设备。

3.根据权利要求1所述的方法，其特征在于，所述禁止将所述待传输图像传输至目标展示设备之后，所述方法还包括：

将所述待传输图像存储于第一存储空间；所述第一存储空间为访问受限的存储区域。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述待传输图像的图像内容进行识别，确定所述待传输图像是否包含隐私信息，包括：

获取预训练图像识别模型；

利用所述预训练图像识别模型，对所述待传输图像的图像内容进行识别，确定所述待传输图像是否包含隐私信息。

5.根据权利要求4所述的方法，其特征在于，所述获取待传输图像之前，所述方法还包括：

获取待存储图像；

利用所述预训练图像识别模型，对所述待存储图像的图像内容进行识别，确定所述待存储图像是否包含隐私信息；

若所述待存储图像中包含隐私信息，则向用户提示所述待存储图像中包含隐私信息；

接收用户输入的第二操作指令，所述第二操作指令用于指示是否对所述待存储图像进行加密存储；

基于所述第二操作指令，将所述待存储图像存储至第一存储空间或第二存储空间；其中，所述第一存储空间为访问受限的存储区域；所述第二存储空间为未设置访问受限的存储空间。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括训练所述预训练图像识别模型，该步骤进一步包括：

获取样本图像，以及所述样本图像对应的标签信息；

利用待训练图像识别模型，对所述样本图像进行识别处理，得到第一输出结果；

基于所述第一输出结果与所述样本图像对应的标签信息，得到第一差异值；

基于所述第一差异值，对所述待训练图像识别模型进行训练，直到所述待训练图像识别模型满足训练条件时，得到所述预训练图像识别模型。

7.根据权利要求6所述的方法，其特征在于，所述训练条件包括：通过所述待训练图像得到的输出结果与所述样本图像对应的标签信息之间的差异值小于预设阈值。

8.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取待传输图像；

图像识别单元，用于对所述待传输图像的图像内容进行识别，确定所述待传输图像是否包含隐私信息；

处理单元，用于若所述待传输图像包含隐私信息，则禁止将所述待传输图像传输至目标展示设备。

9.一种电子设备，其特征在于，所述电子设备包括处理器、以及存储有所述处理器可执行指令的存储器；

所述处理器和所述存储器通过总线进行连接；

所述处理器，用于运行所述存储器中存储的所述可执行指令时，执行权利要求1至7任一项所述方法的步骤。

10.根据权利要求9所述的电子设备，其特征在于，所述处理器为嵌入式神经网络处理器NPU。

11.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1至7任一项所述方法的步骤。

Images