CN110213605A - 图像纠正方法、装置及设备 - Google Patents

图像纠正方法、装置及设备 Download PDF

Info

Publication number
CN110213605A
CN110213605A CN201910453576.6A CN201910453576A CN110213605A CN 110213605 A CN110213605 A CN 110213605A CN 201910453576 A CN201910453576 A CN 201910453576A CN 110213605 A CN110213605 A CN 110213605A
Authority
CN
China
Prior art keywords
image
rotation angle
rotation
degree
identification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910453576.6A
Other languages
English (en)
Other versions
CN110213605B (zh
Inventor
王云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201910453576.6A priority Critical patent/CN110213605B/zh
Publication of CN110213605A publication Critical patent/CN110213605A/zh
Application granted granted Critical
Publication of CN110213605B publication Critical patent/CN110213605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像纠正方法、装置及设备。该方法包括：将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型，接收采集的待检测图像，将待检测图像输入到旋转角度识别模型中进行识别，得到待检测图像的旋转角度，根据旋转角度对待检测图像进行旋转纠正，得到待检测图像对应的目标正向图像，其中，目标正向图像的旋转角度为0度。采用上述方案后，使得直播平台可以直接对正向的图像进行识别，进而能够识别出图像中的内容，然后对识别出的内容进行美颜、加特效或配音处理等操作，增强了直播的效果，进而提高了直播平台的用户黏度。

Description

图像纠正方法、装置及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像纠正方法、装置及设备。
背景技术
随着互联网技术的发展，直播平台越来越普及，用户可以直接通过摄像头在平台上进行直播，进行直播的用户被称为主播。直播的内容也越来越多样化。目前比较流行的直播类型有游戏直播、体育赛事直播、秀场直播、户外直播和电商直播等。
为了使得直播能吸引更多的观看者，现有的直播平台还可以对摄像头采集的图像进行处理，例如，可以对采集的图像进行美颜、加特效或配音操作等处理，上述操作均需要摄像头输入的图像是正向的。
目前，有的用户在直播时摄像头的摆放位置可能不是正向的，导致最终采集出来的图像也不是正向的，是有旋转角度的，采集出的图像在直播平台进行处理时，由于不知道图像的旋转角度，导致图像识别不出来，不能对采集的图像进行美颜、加特效或配音操作等处理，影响直播的效果。
发明内容
本申请实施例提供一种图像纠正方法、装置及设备，用以解决现有技术中采集出的图像在直播平台进行处理时，由于不知道图像的旋转角度，导致图像识别不出来，影响直播的效果的问题。
本申请实施例提供的一种图像纠正方法，包括：
将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型；
接收采集的待检测图像；
将所述待检测图像输入到所述旋转角度识别模型中进行识别，得到所述待检测图像的旋转角度；
根据所述旋转角度对所述待检测图像进行旋转纠正，得到所述待检测图像对应的目标正向图像，其中，所述目标正向图像的旋转角度为0度。
可选的，所述将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型，具体包括：
获取预设数量的正向图像；
根据预设旋转规则分别对所述正向图像进行旋转，得到所述正向图像对应的包括所述正向图像本身的不同旋转角度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识；
根据所述旋转角度标识对所述旋转图像集中的各旋转图像进行分类，得到不同旋转角度的旋转图像子集；
将所述不同旋转角度的旋转图像子集作为样本输入到卷积神经网络中进行训练，得到旋转角度识别模型。
可选的，在所述将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型之后，还包括：
将测试图像集输入到所述旋转角度识别模型中进行识别，得到测试图像集中各测试图像的测试旋转角度；
判断所述各测试图像的测试旋转角度与所述各测试图像的实际旋转角度是否一致，得到判断结果；
根据所述判断结果确定所述旋转角度识别模型的识别准确率；
若所述识别准确率小于预设准确率，则重新训练所述旋转角度识别模型直至新训练的旋转角度识别模型的识别准确率不小于所述预设准确率。
可选的，所述根据所述判断结果确定所述旋转角度识别模型的识别准确率，具体包括：
根据所述判断结果确定所述各测试图像的测试旋转角度与所述各测试图像的实际旋转角度一致的目标图像数量；
根据所述目标图像数量与所述测试图像的总数量确定所述旋转角度识别模型的识别准确率。
可选的，所述预设旋转规则为分别对图像进行90度、180度和270度旋转，所述根据预设旋转规则分别对所述正向图像进行旋转，得到所述正向图像对应的包括所述正向图像本身的不同旋转角度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识，具体包括：
根据预设旋转规则分别对所述正向图像进行90度、180度和270度旋转，得到所述正向图像对应的旋转角度分别为0度、90度、180度和270度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识，所述旋转角度为0度的旋转图像为所述正向图像本身；
在所述根据预设旋转规则分别对所述正向图像进行90度、180度和270度旋转，得到所述正向图像对应的旋转角度分别为0度、90度、180度和270度的旋转图像集之后，还包括：
根据所述旋转角度标识对所述旋转图像集中的各旋转图像进行分类，得到旋转角度为0度、90度、180度和270的旋转图像子集；
将所述旋转角度为0度、90度、180度和270的旋转图像子集作为样本输入到卷积神经网络中进行训练，得到旋转角度识别模型。
本申请实施例提供的一种图像纠正装置，包括：
训练模块，用于将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型；
接收模块，用于接收采集的待检测图像；
识别模块，用于将所述待检测图像输入到所述旋转角度识别模型中进行识别，得到所述待检测图像的旋转角度；
纠正模块，用于根据所述旋转角度对所述待检测图像进行旋转纠正，得到所述待检测图像对应的目标正向图像，其中，所述目标正向图像的旋转角度为0度。
可选的，所述训练模块，具体包括：
获取单元，用于获取预设数量的正向图像；
旋转单元，用于根据预设旋转规则分别对所述正向图像进行旋转，得到所述正向图像对应的包括所述正向图像本身的不同旋转角度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识；
分类单元，用于根据所述旋转角度标识对所述旋转图像集中的各旋转图像进行分类，得到不同旋转角度的旋转图像子集；
输入单元，用于将所述不同旋转角度的旋转图像子集作为样本输入到卷积神经网络中进行训练，得到旋转角度识别模型。
可选的，在所述训练模块之后，还包括：
得到模块，用于将测试图像集输入到所述旋转角度识别模型中进行识别，得到测试图像集中各测试图像的测试旋转角度；
一致判断模块，用于判断所述各测试图像的测试旋转角度与所述各测试图像的实际旋转角度是否一致，得到判断结果；
准确率确定模块，用于根据所述判断结果确定所述旋转角度识别模型的识别准确率；
重新训练模块，用于若所述识别准确率小于预设准确率，则重新训练所述旋转角度识别模型直至新训练的旋转角度识别模型的识别准确率不小于所述预设准确率。
本申请实施例提供一种图像纠正设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，
所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述一种图像纠正方法。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现所述一种图像纠正方法。
本申请实施例提供一种图像纠正方法、装置及设备，通过利用训练好的旋转角度识别模型对待检测图像进行识别，确定出待检测图像的旋转角度之后，对待检测图像进行旋转纠正，将待检测图像转为正向的，使得直播平台可以直接对正向的图像进行识别，进而能够识别出图像中的内容，然后对识别出的内容进行美颜、加特效或配音处理等操作，增强了直播的效果，进而提高了直播平台的用户黏度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种摄像头常见摆放方式示意图；
图2为本申请实施例提供的一种图像纠正方法的流程示意图；
图3为本申请实施例提供的一种图像旋转纠正示意图；
图4为本申请实施例提供提供的一种图像具体旋转方式示意图；
图5为本申请实施例提供的一种图像纠正装置部署在客户端应用程序的应用示意图；
图6为本申请实施例提供的一种图像纠正装置部署在摄像头固件的应用示意图；
图7为本申请实施例提供的一种图像纠正装置的结构示意图；
图8为本申请实施例提供的一种图像纠正设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，为本说明书实施例提供的一种摄像头常见摆放方式示意图，具体可以包括：将摄像头翻转正向摆放、将摄像头上下翻转摆放、将摄像头旋转90度和将摄像头旋转270度这几种摆放方式。对于图2中摄像头的几种放置方式，只有第一种放置方式是正确的，对于其他的放置方式，由于输出的图像不是正向的，客户端的应用程序也不能自动判断图像的旋转角度，可能会导致采集出的图像在直播平台进行处理时，由于不知道图像的偏转角度，导致图像识别不出来，无法对图像进行处理。
例如，进行直播的用户一般分为两种，第一种为刚开始使用直播功能的小白用户，另一种为经常使用直播功能的主播用户。
对于小白用户，可能会不小心把摄像头按照图1中第二种摄像头摆放方式来摆放摄像头，导致摄像头输出的图像是倒立的。然后在进行直播时，刚好又启用了直播平台里面的“上下翻转”功能。原始摄像头输出的倒立的图像，经过直播平台里“上下翻转”功能的翻转后，又变成正向的图像了，因此，小白用户会误以为自己摄像头的摆放是没有问题的。但实际上在直播平台进行上下翻转之前，直播平台会把摄像头送过来的倒立的图像进行人脸识别。对于倒立的图像，直播平台是识别不到人脸的，因此，虽然经过直播平台中的上下翻转功能后，图像是正的了，但是相关的特效会失效，例如，人脸识别相关的特效功能(如高级整形、美颜)会失效。
对于主播用户，他们想在直播平台上实现类似手机的竖屏直播的效果，因此会故意把摄像头按照图1中第三种或第四种摄像头摆放方式来摆放摄像头。拍摄一个横着的图像，然后在直播平台中选择翻转90度，这样，就可以达到手机竖屏的效果。但是，和上述的原因一样，由于进入直播平台的图像并不是正向的，导致相关的特效会失效，例如，人脸识别相关的特效功能(如高级整形、美颜)会失效。
图2为本申请实施例提供的一种图像纠正方法的流程示意图，从程序角度而言，流程的执行主体可以为部署在客户端上的应用程序。具体可以包括以下步骤：
步骤S201，将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型。
在得到旋转角度识别模型之前，需要先确定样本，作为输入对模型进行训练。确定样本的方式有多种，可以直接在直播平台录像中选择若干名主播的录像，各截取其中的一张截图。还可以每隔预设时长对一名主播的录像进行一次截图，即一名主播截取多张不同动作的图像。其中，在直播平台中的图像都是正向的。还可以去人员密集的学校、广场、商场等场地进行采集，得到样本图像集。为了提高训练的旋转角度识别模型的识别准确率，需要保证有足够多数量的样本，正向的图像样本集数量可以为5000-20000张范围内的正向图像。在本实施例中，采用的正向图像样本数量为10000张。
然后可以将正向图像进行旋转，例如，可以旋转90度，得到一张新的图像，并标记上新得到的图像的旋转角度为90度。再将旋转之前的图像和带有旋转标记的旋转之后的图像作为样本进行训练，得到旋转角度识别模型。
此外，还可以在一个本地文件中对应着记录每个图像的旋转角度，在进行训练时，将旋转之前的图像、旋转之后的图像和记录旋转角度的本地文件都作为样本进行训练，得到旋转角度识别模型。
其中，可以采用卷积神经网络对已知旋转角度的图像集进行训练。
步骤S202，接收采集的待检测图像。
旋转角度识别模型训练好之后，可以对图像进行识别，确定图像的旋转角度。在识别之前，客户端上的应用程序需要先接收图像采集装置采集的待检测图像。图像采集装置可以包括摄像头、摄像机、相机、扫描仪和视频采集卡等，本申请实施例中采用的为USB摄像头。即客户端上的应用程序接收USB摄像头采集的待检测图像。
此外，还可以从客户端本地存储的图像中或云端存储的图像中进行获取。
步骤S203，将所述待检测图像输入到所述旋转角度识别模型中进行识别，得到所述待检测图像的旋转角度。
将待检测图像输入到旋转角度识别模型中进行识别之后，旋转角度识别模型会提取待检测图像中图像的特征，然后将提取出的特征分别与不同旋转角度的图像的特征进行比对，与哪个旋转角度的图像特征最接近，就认为该待检测图像旋转了多少度。例如，待检测图像与旋转90度的图像特征最接近，就认为该待检测图像旋转了90度。若待检测图像与转型180度的图像特征最接近，则认为该待检测图像旋转了180度。
步骤S204，根据所述旋转角度对所述待检测图像进行旋转纠正，得到所述待检测图像对应的目标正向图像，其中，所述目标正向图像的旋转角度为0度。
获取确定的图像的旋转角度，然后根据确定的旋转角度对待检测图像进行旋转纠正，将所述待检测图像纠正至待检测图像对应的正向图像，即旋转角度为0度的图像。
例如，如图3所示，本申请实施例提供的一种图像旋转纠正示意图，具体可以包括：
当确定出待检测图像的旋转角度为90度时，根据旋转角度90度对待检测图像进行旋转纠正，即逆向旋转90度，得到待检测图像对应的旋转角度为0度的图像。
对于旋转角度为180度的待检测图像，根据旋转角度180度对待检测图像进行旋转纠正，即可以逆向旋转180度，又可以正向旋转180度，得到待检测图像对应的旋转角度为0度的图像。
对于旋转角度为270度的待检测图像，为了减少旋转角度，可以采用正向旋转90度的方式对待检测图像进行旋转纠正，得到待检测图像对应的旋转角度为0度的图像。
采用上述方案后，通过利用训练好的旋转角度识别模型对待检测图像进行识别，确定出待检测图像的旋转角度之后，对待检测图像进行旋转纠正，将待检测图像转为正向的，使得直播平台可以直接对正向的图像进行识别，进而能够识别出图像中的内容，然后对识别出的内容进行美颜、加特效或配音处理等操作，增强了直播的效果，进而提高了直播平台的用户黏度。
基于图2的方法，本说明书实施例还提供了该方法的一些具体实施方式，下面进行说明。
在一个具体实施方式中，所述将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型，具体可以包括：
获取预设数量的正向图像。
其中，预设数量的正向图像可以为5000-20000张范围内的正向图像。
根据预设旋转规则分别对所述正向图像进行旋转，得到所述正向图像对应的包括所述正向图像本身的不同旋转角度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识。
旋转角度标识可以是各种样式的标识，例如，可以直接是对应的角度数字标识，如旋转90度，就为90，旋转180度，就为180。还可以为字母标识，如字母a代表旋转90度，字母b代表旋转180度等。上述描述只是一些具体的实施方式，其他旋转角度标识的方式也在本申请的保护范围内。
预存的旋转规则为要对正向图像进行旋转的角度。例如，可以为对正向图像分别旋转90度、180度、270度，或者对正向图像旋转45度、90度、135度等。上述描述只是一些具体的实施方式，其他度数的旋转规则、旋转方式也在本申请的保护范围内。
根据所述旋转角度标识对所述旋转图像集中的各旋转图像进行分类，得到不同旋转角度的旋转图像子集。
将所述不同旋转角度的旋转图像子集作为样本输入到卷积神经网络中进行训练，得到旋转角度识别模型。
例如，根据预存的旋转规则对旋转图像集中的各旋转图像进行分类，分别得到旋转角度为0度、90度、180度和270度的四个旋转图像子集。然后再将这四个旋转图像子集作为样本输入到卷积神经网络中进行训练，卷积神经网络分别根据这四个旋转图像子集样本的特征，确定对应角度的旋转图像的特征，然后根据确定的对应角度的旋转图像的特征训练得到旋转角度识别模型。例如，对于旋转角度为90度的旋转图像子集，卷积神经网络根据上述旋转角度为90度图像子集的样本，确定出旋转角度为90度的旋转图像的特征。其他旋转角度的图像子集样本训练过程相同，然后根据确定的旋转角度为0度的旋转图像的特征、旋转角度为90度的旋转图像的特征、旋转角度为180度的旋转图像的特征和旋转角度为270度的旋转图像的特征得到旋转角度识别模型。
其中，有些用户在进行直播时，可能摄像头的实际旋转角度不是我们设定的那么准确的旋转角度。为了提高识别的准确率，我们还会根据预设旋转规则中的旋转角度设置一个阈值范围，选择性的在阈值范围内选择几个旋转角度将正向图像按选择的几个旋转角度进行旋转，旋转之后的图像也作为样本输入到卷积神经网络中进行训练。例如，可以设置±15度的阈值范围。假设预设规则中规定的旋转角度为90度，在对正向图像进行旋转时，除了将正向图像旋转90度外，还可以将图像旋转75度、80度、100度、105度等75-105度之间的角度，得到旋转图像。然后将该旋转范围内的图像默认归为到旋转角度为90度的图像集中，再将该图像集输入到卷积神经网络中进行训练，提高了模型的识别准确率。
在一个具体实施方式中，在所述将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型之后，还包括：
将测试图像集输入到所述旋转角度识别模型中进行识别，得到测试图像集中各测试图像的测试旋转角度。
判断所述各测试图像的测试旋转角度与所述各测试图像的实际旋转角度是否一致，得到判断结果。
在对旋转角度识别模型训练好之后，还可以利用测试图像集对训练好的旋转角度识别模型进行测试，测试训练好的旋转角度识别模型是否达到识别要求。测试图像集可以为标准的图像集，即知道旋转角度的图像集。将知道旋转角度的图像集输入到训练好的旋转角度识别模型中，可以得到图像集中各测试图像的识别结果，在根据识别结果来判断旋转角度识别模型是否达到识别要求。
判断旋转角度识别模型是否达到识别要求的方式有多种，可以看旋转角度识别模型的识别准确率、旋转角度识别模型得到识别结果的时长或者旋转角度识别模型的稳定性。
若根据旋转角度识别模型的识别准确率进行判断，可以根据所述判断结果确定所述旋转角度识别模型的识别准确率，若所述识别准确率小于预设准确率，则重新训练所述旋转角度识别模型直至新训练的旋转角度识别模型的识别准确率不小于预设准确率。
其中，预设准确率可以为90％，若所述识别准确率小于90％，则认为训练好的旋转角度识别模型不可用，需要重新对旋转角度识别模型进行调整，调整之后再重新进行训练，训练完成之后再重新测试识别准确率，直至新训练的旋转角度识别模型的识别准确率不小于预设准确率。
若根据旋转角度识别模型的识别结果的时长进行判断，可以根据得到识别结果的时长判断旋转角度识别模型可不可用。若得到识别结果的时长超过预设时长，代表训练得到的旋转角度识别模型识别的速度太慢了，不可用。若得到识别结果的时长没有超过预设时长，代表训练得到的旋转角度识别模型可用。其中，预设时长的范围可以为0-60秒。在一个具体的实时方式中，预设时长为30秒。
若根据旋转角度识别模型的稳定性进行判断，可以根据得到的识别结果稳定性判断旋转角度识别模型可不可用。旋转角度识别模型的稳定性代表多次识别结果的准确率是不是稳定，例如，利用旋转角度识别模型进行多次识别，每次识别结果的准确率均为95％，则代表旋转角度识别模型的稳定性高，旋转角度识别模型可用。若有时候识别结果的准确率为95％，有时候识别结果的准确率为70％，还有时候识别结果的准确率为80％，每次识别结果的准确率都不一样，则代表旋转角度识别模型的稳定性低，旋转角度识别模型不可用。其中，预设稳定性的范围可以设置为80％-90％，准确率误差在±2％范围内，认为是同一个准确率。例如，95％的准确率和96％的准确率认为是同一个准确率，用相同准确率次数除以总的检测次数，得到多组旋转角度识别模型的稳定性。若确定的稳定性最高的一组的值超过预设稳定性，则认为旋转角度识别模型可用，若确定的稳定性均没有超过预设稳定性的，则认为旋转角度识别模型不可用。
其中，若判断旋转角度识别模型不可用，可以根据预存的向后传导算法确定所述旋转角度识别模型中导致误差的具体模块，然后可以根据预设的BP算法对导致误差的具体模块进行调整，调整完成之后重新进行训练测试，直至旋转角度识别模型可用为止。
在一个具体实施方式中，所述根据所述判断结果确定所述旋转角度识别模型的识别准确率，具体可以包括：
根据所述判断结果确定所述各测试图像的测试旋转角度与所述各测试图像的实际旋转角度一致的目标图像数量。根据所述目标图像数量与所述测试图像的总数量确定所述旋转角度识别模型的识别准确率。
根据识别结果中识别的测试旋转角度与测试图像的实际旋转角度的一致情况，来判断旋转角度识别模型的识别准确率。例如，确定的测试旋转角度与测试图像的实际旋转角度一致的目标图像数量为95张，测试图像的总数量为100张，识别准确率为95/100等于95％。
在一个具体实施方式中，如图4所示，为本申请实施例提供的一种图像具体旋转方式示意图，具体可以包括：所述预设旋转规则为分别对图像进行90度、180度和270度旋转，所述根据预设旋转规则分别对所述正向图像进行旋转，得到所述正向图像对应的包括所述正向图像本身的不同旋转角度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识，根据预设旋转规则分别对所述正向图像进行90度、180度和270度旋转，得到所述正向图像对应的旋转角度分别为0度、90度、180度和270度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识。
在所述根据预设旋转规则分别对所述正向图像进行90度、180度和270度旋转，得到所述正向图像对应的旋转角度分别为0度、90度、180度和270度的旋转图像集之后，还包括：
根据所述旋转角度标识对所述旋转图像集中的各旋转图像进行分类，得到旋转角度为0度、90度、180度和270的旋转图像子集。
将所述旋转角度为0度、90度、180度和270的旋转图像子集作为样本输入到卷积神经网络中进行训练，得到旋转角度识别模型。
将用户可能会采用的几种摄像头摆放方式下拍摄到的图像方式均作为样本进行训练，得到旋转角度识别模型，使得训练得到的旋转角度识别模型能自动识别出图像的翻转角度，为后续的翻转处理提供了依据。
如图5所示，为本说明书实施例提供的一种图像纠正装置部署在客户端应用程序的应用示意图，具体可以包括：
客户端应用程序可以为YY伴侣应用程序、YY开播应用程序。
客户端接收摄像头采集完发送的待检测图像，然后利用图像纠正装置中的旋转角度识别模型对图像进行识别，确定待检测图像的旋转角度，然后根据确定的待检测图像的旋转角度对待检测图像进行旋转纠正，将待检测图像转为正向的。即在输入到YY伴侣应用程序之前，进行人脸识别之前，保证待检测图像是正向的。然后将转为正向的待检测图像输入到YY伴侣应用程序中进行人脸识别，然后根据识别出的人脸进行美颜处理。处理完成之后，输出到虚拟摄像头中，然后显示在直播界面上进行直播。
如图6所示，为本说明书实施例提供的一种图像纠正装置部署在摄像头固件的应用示意图，具体可以包括：
在摄像头内部也有一个CPU(也可以称为图像处理器，或者嵌入式CPU)，在CPU上运行的软件叫做固件，类似于电脑终端上运行的应用程序。
摄像头的镜头传感器拍摄好图像后，内置的图像纠正装置中的旋转角度识别模型进行摄像头姿态识别，然后根据识别的结果对待检测图像进行旋转纠正，纠正完成之后发送给图像处理模块进行处理，将待检测图像转成正向的，最终通过USB输出一张正向的图像。
对于摄像头来说，可以将训练好的旋转角度识别模型部署在摄像头固件中，相当于模拟了一个姿态传感器，能实时检测摄像头的姿态，从而在摄像头进行翻转拍摄时，能自动从内部对拍摄的图像进行纠正，保证输出的图像都是正向的。而且，无需额外添加姿态传感器芯片，从而在达到相同功能的情况下，节约了成本。
基于同样的思路，本说明书实施例还提供了上述方法对应的装置。
图7为本说明书实施例提供的对应于图2的一种图像纠正装置的结构示意图。如图7所示，该装置可以包括：
训练模块701，用于将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型。
接收模块702，用于接收采集的待检测图像。
识别模块703，用于将所述待检测图像输入到所述旋转角度识别模型中进行识别，得到所述待检测图像的旋转角度。
纠正模块704，用于根据所述旋转角度对所述待检测图像进行旋转纠正，得到所述待检测图像对应的目标正向图像，其中，所述目标正向图像的旋转角度为0度。
图7中的装置，通过利用训练好的旋转角度识别模型对待检测图像进行识别，确定出待检测图像的旋转角度之后，对待检测图像进行旋转纠正，将待检测图像转为正向的，使得直播平台可以直接对正向的图像进行识别，进而能够识别出图像中的内容，然后对识别出的内容进行美颜、加特效或配音处理等操作，增强了直播的效果，进而提高了直播平台的用户黏度。
在一个具体实施方式中，所述训练模块，具体可以包括：
获取单元，用于获取预设数量的正向图像。
旋转单元，用于根据预设旋转规则分别对所述正向图像进行旋转，得到所述正向图像对应的包括所述正向图像本身的不同旋转角度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识。
分类单元，用于根据所述旋转角度标识对所述旋转图像集中的各旋转图像进行分类，得到不同旋转角度的旋转图像子集。
输入单元，用于将所述不同旋转角度的旋转图像子集作为样本输入到卷积神经网络中进行训练，得到旋转角度识别模型。
在一个具体实施方式中，在所述训练模块之后，还包括：
得到模块，用于将测试图像集输入到所述旋转角度识别模型中进行识别，得到测试图像集中各测试图像的测试旋转角度。
一致判断模块，用于判断所述各测试图像的测试旋转角度与所述各测试图像的实际旋转角度是否一致，得到判断结果。
准确率确定模块，用于根据所述判断结果确定所述旋转角度识别模型的识别准确率。
重新训练模块，用于若所述识别准确率小于预设准确率，则重新训练所述旋转角度识别模型直至新训练的旋转角度识别模型的识别准确率不小于所述预设准确率。
在一个具体实施方式中，所述准确率确定模块，具体可以包括：
一致性判断单元，用于根据所述判断结果确定所述各测试图像的测试旋转角度与所述各测试图像的实际旋转角度一致的目标图像数量。
准确率确定单元，用于根据所述目标图像数量与所述测试图像的总数量确定所述旋转角度识别模型的识别准确率。
在一个具体实施方式中，所述预设旋转规则为分别对图像进行90度、180度和270度旋转，所述旋转单元，具体还可以用于：
根据预设旋转规则分别对所述正向图像进行90度、180度和270度旋转，得到所述正向图像对应的旋转角度分别为0度、90度、180度和270度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识。
在所述根据预设旋转规则分别对所述正向图像进行90度、180度和270度旋转，得到所述正向图像对应的旋转角度分别为0度、90度、180度和270度的旋转图像集之后，还包括：
根据所述旋转角度标识对所述旋转图像集中的各旋转图像进行分类，得到旋转角度为0度、90度、180度和270的旋转图像子集。
将所述旋转角度为0度、90度、180度和270的旋转图像子集作为样本输入到卷积神经网络中进行训练，得到旋转角度识别模型。
图8为本说明书实施例提供的对应于图2的一种图像纠正设备的结构示意图。如图8所示，所述设备800可以包括：
至少一个处理器810；以及，
与所述至少一个处理器通信连接的存储器830；其中，
所述存储器830存储有可被所述至少一个处理器810执行的指令820，所述指令被所述至少一个处理器810执行，以使所述至少一个处理器810能够实现上述图像纠正方法的实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
基于同样的思路，本说明书实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时可实现上述图像纠正方法。
另外，还存在另外的相同要素。本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像纠正方法，其特征在于，包括：
将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型；
接收采集的待检测图像；
将所述待检测图像输入到所述旋转角度识别模型中进行识别，得到所述待检测图像的旋转角度；
根据所述旋转角度对所述待检测图像进行旋转纠正，得到所述待检测图像对应的目标正向图像，其中，所述目标正向图像的旋转角度为0度。
2.如权利要求1所述的方法，其特征在于，所述将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型，具体包括：
获取预设数量的正向图像；
根据预设旋转规则分别对所述正向图像进行旋转，得到所述正向图像对应的包括所述正向图像本身的不同旋转角度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识；
根据所述旋转角度标识对所述旋转图像集中的各旋转图像进行分类，得到不同旋转角度的旋转图像子集；
将所述不同旋转角度的旋转图像子集作为样本输入到卷积神经网络中进行训练，得到旋转角度识别模型。
3.如权利要求1所述的方法，其特征在于，在所述将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型之后，还包括：
将测试图像集输入到所述旋转角度识别模型中进行识别进行识别，得到所述测试图像集中各测试图像的测试旋转角度；
判断所述各测试图像的测试旋转角度与所述各测试图像的实际旋转角度是否一致，得到判断结果；
根据所述判断结果确定所述旋转角度识别模型的识别准确率；
若所述识别准确率小于预设准确率，则重新训练所述旋转角度识别模型直至新训练的旋转角度识别模型的识别准确率不小于所述预设准确率。
4.如权利要求3所述的方法，其特征在于，所述根据所述判断结果确定所述旋转角度识别模型的识别准确率，具体包括：
根据所述判断结果确定所述各测试图像的测试旋转角度与所述各测试图像的实际旋转角度一致的目标图像数量；
根据所述目标图像数量与所述测试图像的总数量确定所述旋转角度识别模型的识别准确率。
5.如权利要求2所述的方法，其特征在于，所述预设旋转规则为分别对图像进行90度、180度和270度旋转，所述根据预设旋转规则分别对所述正向图像进行旋转，得到所述正向图像对应的包括所述正向图像本身的不同旋转角度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识，具体包括：
根据预设旋转规则分别对所述正向图像进行90度、180度和270度旋转，得到所述正向图像对应的旋转角度分别为0度、90度、180度和270度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识，所述旋转角度为0度的旋转图像为所述正向图像本身；
在所述根据预设旋转规则分别对所述正向图像进行90度、180度和270度旋转，得到所述正向图像对应的旋转角度分别为0度、90度、180度和270度的旋转图像集之后，还包括：
根据所述旋转角度标识对所述旋转图像集中的各旋转图像进行分类，得到旋转角度为0度、90度、180度和270的旋转图像子集；
将所述旋转角度为0度、90度、180度和270的旋转图像子集作为样本输入到卷积神经网络中进行训练，得到旋转角度识别模型。
6.一种图像纠正装置，其特征在于，包括：
训练模块，用于将已知旋转角度的图像集作为样本进行训练，得到旋转角度识别模型；
接收模块，用于接收采集的待检测图像；
识别模块，用于将所述待检测图像输入到所述旋转角度识别模型中进行识别，得到所述待检测图像的旋转角度；
纠正模块，用于根据所述旋转角度对所述待检测图像进行旋转纠正，得到所述待检测图像对应的目标正向图像，其中，所述目标正向图像的旋转角度为0度。
7.如权利要求6所述的装置，其特征在于，所述训练模块，具体包括：
获取单元，用于获取预设数量的正向图像；
旋转单元，用于根据预设旋转规则分别对所述正向图像进行旋转，得到所述正向图像对应的包括所述正向图像本身的不同旋转角度的旋转图像集，其中，所述旋转图像集中的各旋转图像携带旋转角度标识；
分类单元，用于根据所述旋转角度标识对所述旋转图像集中的各旋转图像进行分类，得到不同旋转角度的旋转图像子集；
输入单元，用于将所述不同旋转角度的旋转图像子集作为样本输入到卷积神经网络中进行训练，得到旋转角度识别模型。
8.如权利要求6所述的装置，其特征在于，在所述训练模块之后，还包括：
得到模块，用于将测试图像集输入到所述旋转角度识别模型中进行识别，得到测试图像集中各测试图像的测试旋转角度；
一致判断模块，用于判断所述各测试图像的测试旋转角度与所述各测试图像的实际旋转角度是否一致，得到判断结果；
准确率确定模块，用于根据所述判断结果确定所述旋转角度识别模型的识别准确率；
重新训练模块，用于若所述识别准确率小于预设准确率，则重新训练所述旋转角度识别模型直至新训练的旋转角度识别模型的识别准确率不小于所述预设准确率。
9.一种图像纠正设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，
所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5所述的任意一项所述的图像纠正方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-5所述的任意一项方法的步骤。
CN201910453576.6A 2019-05-28 2019-05-28 图像纠正方法、装置及设备 Active CN110213605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910453576.6A CN110213605B (zh) 2019-05-28 2019-05-28 图像纠正方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910453576.6A CN110213605B (zh) 2019-05-28 2019-05-28 图像纠正方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110213605A true CN110213605A (zh) 2019-09-06
CN110213605B CN110213605B (zh) 2022-09-13

Family

ID=67789192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910453576.6A Active CN110213605B (zh) 2019-05-28 2019-05-28 图像纠正方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110213605B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539357A (zh) * 2020-04-28 2020-08-14 睿魔智能科技（深圳）有限公司 人体识别模型及其训练方法、***、存储介质及设备
CN111563407A (zh) * 2020-02-24 2020-08-21 北京乐学帮网络技术有限公司 模型训练方法、图片方向纠正方法及装置
WO2023020334A1 (zh) * 2021-08-16 2023-02-23 广州视源电子科技股份有限公司 图像方向调整方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030235332A1 (en) * 2002-06-20 2003-12-25 Moustafa Mohamed Nabil System and method for pose-angle estimation
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
CN107977668A (zh) * 2017-07-28 2018-05-01 北京物灵智能科技有限公司 一种机器人图像识别方法及***
CN109583445A (zh) * 2018-11-26 2019-04-05 平安科技（深圳）有限公司 文字图像校正处理方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030235332A1 (en) * 2002-06-20 2003-12-25 Moustafa Mohamed Nabil System and method for pose-angle estimation
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
CN107977668A (zh) * 2017-07-28 2018-05-01 北京物灵智能科技有限公司 一种机器人图像识别方法及***
CN109583445A (zh) * 2018-11-26 2019-04-05 平安科技（深圳）有限公司 文字图像校正处理方法、装置、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563407A (zh) * 2020-02-24 2020-08-21 北京乐学帮网络技术有限公司 模型训练方法、图片方向纠正方法及装置
CN111563407B (zh) * 2020-02-24 2024-02-02 北京乐学帮网络技术有限公司 模型训练方法、图片方向纠正方法及装置
CN111539357A (zh) * 2020-04-28 2020-08-14 睿魔智能科技（深圳）有限公司 人体识别模型及其训练方法、***、存储介质及设备
CN111539357B (zh) * 2020-04-28 2024-01-23 睿魔智能科技（深圳）有限公司 人体识别模型及其训练方法、***、存储介质及设备
WO2023020334A1 (zh) * 2021-08-16 2023-02-23 广州视源电子科技股份有限公司 图像方向调整方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN110213605B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN110213605A (zh) 图像纠正方法、装置及设备
US20200265593A1 (en) Object surface matching with a template for flight parameter measurement
CN108304793B (zh) 在线学习分析***及方法
CN110298231B (zh) 一种用于篮球比赛视频进球判定的方法及***
US20130178304A1 (en) Method of analysing a video of sports motion
US10217228B2 (en) Method, system and non-transitory computer-readable recording medium for measuring ball spin
CN109284402B (zh) 一种信息推荐方法、装置及存储介质
CN108008898B (zh) 页面信息获取方法、装置、计算机设备和存储介质
CN103617614B (zh) 一种在视频图像中确定乒乓球落点数据的方法及***
US20210407316A1 (en) Posture comparison and correction method using application configured to check two golf images and result data in overlapping state
CN111127559A (zh) 光学动捕***中标定杆检测方法、装置、设备和存储介质
CN113384861A (zh) 乒乓球训练装置及训练方法、计算机可读存储介质
CN107547850A (zh) 大数据处理方法及大数据处理装置
US20220343514A1 (en) Methods and systems to track a moving sports object trajectory in 3d using a single camera
CN109509378A (zh) 一种支持手写输入的在线考试方法
CN109224444A (zh) 游戏人物识别方法、装置、存储介质和电子设备
JP2018005913A (ja) ボールの画像の明るさを補正するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
JP2933562B2 (ja) パソコンを使用した運動の姿勢の分析装置
KR20210067875A (ko) 경기 영상에 대한 이벤트의 태깅을 위한 전자 장치 및 그의 동작 방법
CN110888812A (zh) 终端页面的响应时间的测试***及测试方法
US20210060385A1 (en) Advancement Manager In A Handheld User Device
CN108334869A (zh) 人脸部件的选择、人脸识别方法和装置，以及电子设备
CN107135421A (zh) 视频特征检测方法及装置
CN111888758A (zh) 流畅度检测方法、装置、设备及存储介质
JP6869826B2 (ja) ボールの画像撮影のために関心領域を決定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210111

Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 511442 28 / F, building B-1, Wanda Plaza North, Wanbo business district, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190906

Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2021440000054

Denomination of invention: Image correction method, device and equipment

License type: Common License

Record date: 20210208

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant