CN111767110A - 图像处理方法、装置、***、电子设备及存储介质 - Google Patents
图像处理方法、装置、***、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111767110A CN111767110A CN202010619633.6A CN202010619633A CN111767110A CN 111767110 A CN111767110 A CN 111767110A CN 202010619633 A CN202010619633 A CN 202010619633A CN 111767110 A CN111767110 A CN 111767110A
- Authority
- CN
- China
- Prior art keywords
- network model
- vision
- compensation network
- image
- vision information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 230000004438 eyesight Effects 0.000 claims abstract description 381
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000003287 optical effect Effects 0.000 claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 39
- 239000011521 glass Substances 0.000 claims description 35
- 206010047571 Visual impairment Diseases 0.000 claims description 23
- 230000005856 abnormality Effects 0.000 claims description 23
- 230000004393 visual impairment Effects 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 21
- 238000003062 neural network model Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 12
- 230000004304 visual acuity Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 11
- 230000002159 abnormal effect Effects 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 19
- 210000001525 retina Anatomy 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000012905 input function Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 206010020675 Hypermetropia Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000004305 hyperopia Effects 0.000 description 3
- 201000006318 hyperopia Diseases 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000004379 myopia Effects 0.000 description 3
- 208000001491 myopia Diseases 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法、装置、***、电子设备、存储介质及显示装置，包括：获取目标视力信息，从预先设置的补偿网络模型集合中选取与目标视力信息对应的目标补偿网络模型，根据目标补偿网络模型对待输出图像进行补偿，输出补偿后的待输出图像，通过从各补偿网络模型中选取与目标视力信息对应的目标补偿网络模型，并通过目标补偿网络模型对待输出图像进行补偿，无需进行复杂的结构设计，避免了相关技术中设置其他光学器件导致的结构复杂，成本偏高等问题，实现了节约成本的技术效果，且通过基于不同的视力信息选择不同的补偿网络模型对待输出图像进行补偿，可以实现普遍实用性和适用灵活性的技术效果，从而提高视力异常用户的视觉体验。
Description
技术领域
本申请涉及图像处理、计算机视觉及深度学习技术领域，尤其涉及一种图像处理方法、装置、***、电子设备、存储介质及显示装置。
背景技术
随着计算机视觉技术的发展，如何提高显示装置的显示效果以增强用户的视觉体验成为了亟待解决的问题。
在现有技术中，当用户为视力异常的用户时，为了提高用户的视觉体验，采用的方法为在显示装置与用户的眼睛之间放置如光波导、透镜等光学元件，使得用户无需佩戴光学校正眼镜就可以观看显示装置输出的图像。
然而，发明人发现至少存在如下问题：不利于显示装置的小体积和轻便化设计的问题。
发明内容
本申请提供一种图像处理方法、装置、***、电子设备、存储介质及显示装置，用以解决上述技术问题中的至少一种。
一方面，本申请提供一种图像处理方法，包括：
获取目标视力信息；
从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型；
根据所述目标补偿网络模型对待输出图像进行补偿；
输出补偿后的待输出图像。
在一些实施例中，所述从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型包括：
根据预先设置的视力信息与补偿网络模型之间的映射关系，从所述补偿网络模型集合中选取与所述目标视力信息对应的所述目标补偿网络模型。
在一些实施例中，所述根据预先设置的视力信息与补偿网络模型之间的映射关系，从所述补偿网络模型集合中选取与所述目标视力信息对应的所述目标补偿网络模型包括：
确定所述目标视力信息的目标视力异常等级；
根据所述目标视力异常等级从所述映射关系中选取所述目标补偿网络模型。
在一些实施例中，所述方法还包括：
确定预先设置的视力异常等级各自对应的样本视力信息；
针对每一个视力异常等级的样本视力信息，采集各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像；
根据各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像对预先设置的神经网络模型进行训练，生成包括各视力异常等级的样本视力信息各自对应的补偿网络模型的所述补偿网络模型集合。
在一些实施例中，所述根据各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像对预先设置的神经网络模型进行训练，生成包括各视力异常等级的样本视力信息各自对应的补偿网络模型的所述补偿网络模型集合包括：
针对任意视力异常等级的样本视力信息对应的清晰样本图像和模糊样本图像，提取清晰样本图像的特征值和模糊样本图像的特征值；
根据所述清晰样本图像的特征值、所述模糊样本图像的特征值及预先设置的真实值对所述神经网络模型进行训练，生成测试值；
基于所述测试值、所述真实值及预先设置的代价函数对所述神经网络模型进行迭代，生成针对任意视力异常等级的样本视力信息对应的补偿网络模型。
在一些实施例中，采集各视力异常等级的样本视力信息各自对应的清晰样本图像包括：
针对任意视力异常等级的样本视力信息，确定标准视力的用户针对视力测量卡形成清晰图像的位置；
将所述位置设置为图像采集设备的放置位置；
将所述标准视力的用户通过位于所述放置位置的所述图像采集设备采集到的清晰图像确定为所述清晰样本图像。
在一些实施例中，采集各视力异常等级的样本视力信息各自对应的模糊样本图像包括：
针对任意视力异常等级的样本视力信息，确定任意视力异常等级的样本视力信息的用户在佩戴光学校正眼镜时在所述位置上形成的针对所述视力测量卡形成的清晰图像；
确定任意视力异常等级的样本视力信息的用户在不佩戴光学校正眼镜时在所述位置上形成的针对所述视力测量卡的模糊图像；
将任意视力异常等级的样本视力信息的用户在不佩戴光学校正眼镜时通过位于所述放置位置的所述图像采集设备采集到的与所述模糊图像相同模糊程度的图像确定为所述模糊样本图像。
在一些实施例中，所述目标视力信息包括左眼视力信息和右眼视力信息，所述从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型包括：
确定所述左眼视力信息和所述右眼视力信息的平均视力信息；
从所述补偿网络模型集合中选取所述平均视力信息对应的补偿网络模型作为所述目标补偿网络模型。
在一些实施例中，所述目标视力信息包括左眼视力信息和右眼视力信息，所述从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型包括：
从所述补偿网络模型集合中选取所述左眼视力信息对应的左眼补偿网络模型；
从所述补偿网络模型集合中选取所述右眼视力信息对应的右眼补偿网络模型，所述目标补偿网络模型包括所述左眼补偿网络模型和所述右眼补偿网络模型；
以及，所述根据所述目标补偿网络模型对待输出图像进行补偿包括：根据所述左眼补偿网络模型和/或所述右眼补偿网络模型对待输出图像进行补偿。
在一些实施例中，通过所述左眼补偿网络模型补偿的待输出图像的帧与通过所述右眼补偿网络模型补偿的待输出图像的帧为相邻帧。
另一方面，本申请实施例还提供了一种图像处理装置，包括：
获取模块，获取目标视力信息；
选取模块，用于从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型；
补偿模块，用于根据所述目标补偿网络模型对待输出图像进行补偿；
输出模块，用于输出补偿后的待输出图像。
在一些实施例中，所述选取模块用于，根据预先设置的视力信息与补偿网络模型之间的映射关系，从所述补偿网络模型集合中选取与所述目标视力信息对应的所述目标补偿网络模型。
在一些实施例中，所述选取模块用于，确定所述目标视力信息的目标视力异常等级，根据所述目标视力异常等级从所述映射关系中选取所述目标补偿网络模型。
在一些实施例中，所述装置还包括：
确定模块，用于确定预先设置的视力异常等级各自对应的样本视力信息；
采集模块，用于针对每一个视力异常等级的样本视力信息，采集各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像；
训练模块，用于根据各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像对预先设置的神经网络模型进行训练，生成包括各视力异常等级的样本视力信息各自对应的补偿网络模型的所述补偿网络模型集合。
在一些实施例中，所述训练模块用于，针对任意视力异常等级的样本视力信息对应的清晰样本图像和模糊样本图像，提取清晰样本图像的特征值和模糊样本图像的特征值，根据所述清晰样本图像的特征值、所述模糊样本图像的特征值及预先设置的真实值对所述神经网络模型进行训练，生成测试值，基于所述测试值、所述真实值及预先设置的代价函数对所述神经网络模型进行迭代，生成针对任意视力异常等级的样本视力信息对应的补偿网络模型。
在一些实施例中，所述采集模块用于，针对任意视力异常等级的样本视力信息，确定标准视力的用户针对视力测量卡形成清晰图像的位置，将所述位置设置为图像采集设备的放置位置，将所述标准视力的用户通过位于所述放置位置的所述图像采集设备采集到的清晰图像确定为所述清晰样本图像。
在一些实施例中，所述采集模块用于，针对任意视力异常等级的样本视力信息，确定任意视力异常等级的样本视力信息的用户在佩戴光学校正眼镜时在所述位置上形成的针对所述视力测量卡形成的清晰图像，确定任意视力异常等级的样本视力信息的用户在不佩戴光学校正眼镜时在所述位置上形成的针对所述视力测量卡的模糊图像，将任意视力异常等级的样本视力信息的用户在不佩戴光学校正眼镜时通过位于所述放置位置的所述图像采集设备采集到的与所述模糊图像相同模糊程度的图像确定为所述模糊样本图像。
在一些实施例中，所述目标视力信息包括左眼视力信息和右眼视力信息，所述选取模块用于，确定所述左眼视力信息和所述右眼视力信息的平均视力信息，从所述补偿网络模型集合中选取所述平均视力信息对应的补偿网络模型作为所述目标补偿网络模型。
在一些实施例中，所述目标视力信息包括左眼视力信息和右眼视力信息，所述选取模块用于，从所述补偿网络模型集合中选取所述左眼视力信息对应的左眼补偿网络模型，从所述补偿网络模型集合中选取所述右眼视力信息对应的右眼补偿网络模型，所述目标补偿网络模型包括所述左眼补偿网络模型和所述右眼补偿网络模型，以及，所述根据所述目标补偿网络模型对待输出图像进行补偿包括：根据所述左眼补偿网络模型和/或所述右眼补偿网络模型对待输出图像进行补偿。
在一些实施例中，通过所述左眼补偿网络模型补偿的待输出图像的帧与通过所述右眼补偿网络模型补偿的待输出图像的帧为相邻帧。
另一方面，本申请实施例还提供了一种电子设备，包括：存储器，处理器；
所述存储器用于存储所述处理器可执行指令的存储器；
其中，当执行所述存储器中的指令时，所述处理器被配置为实现上任一实施例所述的方法。
另一方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上任一实施例所述的方法。
另一方面，本申请实施例还提供了一种显示装置，所述显示装置包括显示器，还包括如上任一实施例所述的图像处理装置。
另一方面，本申请实施例还提供了一种图像处理***，所述***包括：
如上实施例所述的显示装置；
AR眼镜，用于显示所述显示装置输出的补偿后的待输出图像。
本申请提供的一种图像处理方法、装置、***、电子设备、存储介质及显示装置，包括：获取目标视力信息，从预先设置的补偿网络模型集合中选取与目标视力信息对应的目标补偿网络模型，根据目标补偿网络模型对待输出图像进行补偿，输出补偿后的待输出图像，通过从各补偿网络模型中选取与目标视力信息对应的目标补偿网络模型，并通过目标补偿网络模型对待输出图像进行补偿，无需进行复杂的结构设计，可以避免相关技术中设置其他光学器件导致的结构复杂，成本偏高等问题，从而实现了节约成本的技术效果，且通过基于不同的视力信息选择不同的补偿网络模型对待输出图像进行补偿，可以实现普遍实用性和适用灵活性的技术效果，从而提高视力异常用户的视觉体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请图像处理方法的实施例的应用场景示意图；
图2为本申请实施例的图像处理***的***构架示意图；
图3为本申请一个实施例的图像处理方法的流程示意图；
图4为本申请实施例的显示界面的示意图；
图5为近视眼睛的人眼成像***的原理示意图；
图6为远视眼睛的人眼成像***的原理示意图；
图7为相关技术中视力异常的用户观看到的输出图像的示意图；
图8为基于目标补偿网络模型进行补偿时的成像原理示意图；
图9为补偿后视力异常的用户观看到的输出图像的示意图；
图10为本申请实施例的补偿网络模型的训练方法的示意图；
图11为视力测量卡的示意图；
图12为本申请另一实施例的图像处理方法的流程示意图；
图13为本申请一个实施例的图像处理装置的示意图；
图14为本申请另一实施例的图像处理装置的示意图；
图15为本申请实施例的电子设备的框图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1，图1为本申请图像处理方法的实施例的应用场景示意图。
结合图1可知，本申请实施例的图像处理方法可以应用于显示屏，也可以应用于可穿戴设备，也可以应用于包括显示组件的终端设备，也可以应用于包括终端设备的***。
其中，显示屏可以包括发光二极管显示屏(Light Emitting Display，LED)、真空荧光显示屏(Vacuum Fluorescent Display，VFD)、液晶显示屏(Liquid Crystal Display，LCD)及有机发光显示屏(Organic Light Emitting Display，OLED)等，本申请实施例不做限定。
可穿戴设备包括如图1中所示的增强现实(Augmented Reality，AR)眼镜、虚拟现实(Virtual Reality，VR)眼镜及智能手表等。
当本申请实施例的图像处理方法应用于包括显示组件的终端设备时，本申请实施例的图像处理方法可以应用于如图1所示的手机、笔记本电脑及台式电脑等。
当本申请实施例的图像处理方法应用于包括终端设备的***时，如本申请实施例的图像处理方法应用于如图1所示的由手机等终端设备与服务器(包括本地服务器和云端服务器)组成的***，又如，本申请实施例的图像处理方法应用于如图1中所示的由智能手表和服务器组成的***，等等。
值得说明的是，上述对终端设备的描述只是用于示范性地说明终端设备可能的表现形式，而不能理解为对终端设备的限定，例如终端设备可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据；终端设备还可以是个人通信业务(Personal Communication Service，PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol，SIP)话机、无线本地环路(Wireless Local Loop，WLL)站、个人数字助理(Personal Digital Assistant，PDA)，平板型电脑、无线调制解调器(modem)、手持设备(handset)、膝上型电脑(laptop computer)、机器类型通信(MachineType Communication,MTC)终端等设备；终端设备也可以称为***、订户单元(SubscriberUnit)、订户站(Subscriber Station)，移动站(Mobile Station)、移动台(Mobile)、远程站(Remote Station)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(User Terminal)、用户代理(User Agent)、用户设备(User Device or User Equipment)，等等，在此不作限定。
且当本申请实施例的图像处理方法应用于包括终端设备的***时，***中的各设备之间的通信可以适用于不同的网络制式，例如，窄带物联网***(Narrow Band-Internetof Things，NB-IoT)、全球移动通信***(Global System for Mobile Communications，GSM)、增强型数据速率GSM演进***(Enhanced Data rate for GSM Evolution，EDGE)、宽带码分多址***(Wideband Code Division Multiple Access，WCDMA)、码分多址***(Code Division Multiple Access，CDMA2000)、时分同步码分多址***(Time Division-Synchronization Code Division Multiple Access，TD-SCDMA)，长期演进***(LongTerm Evolution，LTE)，蓝牙***，WiFi***，以及5G移动通信***的三大应用场景eMBB，URLLC和eMTC，等等。
为使读者对本申请实施例的图像处理方法的应用场景有更为透彻的理解，现结合图2所示的图像处理***的***架构对图像处理方法的应用场景进行详细地阐述。其中，图2为本申请实施例的图像处理***的***构架示意图，且***构架是以图1所示的应用场景中AR眼镜为例的***构架。
如图2所示，图像处理***200包括AR眼镜201和显示装置202。
其中，当用户300佩戴AR眼镜201时，显示装置202可以在用户300的两眼投射有差异的图像，形成立体视觉，从而使用户300感受到图像的立体效果。
AR眼镜201可以采用可透射可见光的镜片，使得用户300可以观察真实环境，用户300可以通过AR眼镜201同时看到真实环境和通过显示装置202投射的虚拟信息，形成真实环境与虚拟信息融为一体的效果，从而达到增强真实世界内容的效果。
然而，当前众多的用户存在视力异常(如近视或远视)的问题，需要佩戴光学校正眼镜，如果在佩戴普通光学眼镜的情况下，再佩戴AR眼镜，会显著影响AR眼镜的结构设计及轻便化，以及用户使用体验。
在相关技术中，采用的方法为在显示装置与用户的眼睛之间放置如光波导、透镜等光学元件，以通过添加光学器件改变成像光路从而解决用户佩戴光学校正眼镜后再佩戴AR眼镜造成的用户体验不佳的问题。
然而，通过相关技术中的方法存在不利于图像处理***的小体积、轻便化设计，且存在光学元件兼容不同视力，设计复杂的问题。
本申请的发明人在经过创造性地劳动之后，得到了本申请的发明构思：根据用户的视力信息对待输出图像进行补偿，并输出补偿后的待输出图像。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
根据本申请实施例的一个方面，本申请实施例提供了一种图像处理方法。
请参阅图3，图3为本申请一个实施例的图像处理方法的流程示意图。
如图3所示，该方法包括：
S101：获取目标视力信息。
其中，本申请实施例的执行主体可以为图像处理装置，且图像处理装置可以为显示屏，也可以为终端设备，也可以为服务器，等等，本申请实施例不做限定。
在该步骤中，图像处理装置可以对用户的目标视力信息进行获取，其中，目标视力信息可以用于表征与用户的视力相关的信息，如国际标准视力值和/或对数视力值，又如，近视或远视的度数等。
值得说明的是，目标视力信息中的“目标”用于与后文中的样本视力信息进行区分，而不能理解为对视力信息的内容的限定。
其中，本申请实施例对图像处理装置获取目标视力信息的方式不做限定，例如：
在一些实施例中，图像处理装置可以支持语音输入功能，并基于语音输入功能接收用户发起的携带目标视力信息的语音信息。
在另一些实施例中，图像处理装置可以支持外接设备功能，并接收用户基于外接设备功能输入的目标视力信息，如外接设备可以为键盘等信息输入设备，则图像处理装置可以接收用户基于键盘输入的目标视力信息。
在另一些实施例中，图像处理装置可以支持触屏输入功能，并接收用户基于触屏输入功能输入的目标视力信息，如图像处理装置可以为如图2中所示的显示装置，则显示装置可以输出用于输入目标视力信息的显示界面，显示装置可以获取用户通过显示界面输入的目标视力信息，其中，用于输入目标视力信息的显示界面的示意图可以参阅图4。
在另一些实施例中，图像处理装置可以支持按键输入功能，并接收用户基于按键输入功能输入的目标视力信息，如图像处理装置可以为如图2中所示的显示装置，则显示装置上可以设置按键，显示装置可以获取用户通过按键输入的目标视力信息，其中，按键可以为在显示装置上设置实体按键(如设置于显示装置侧框上的实体按键)，也可以为在显示装置上设置的触屏按键(如设置于显示装置的显示屏上的按键窗口)。
值得说明的是，上述示例只是用于示范性地说明图像处理装置获取目标视力信息的可能实现方法，而不能理解为对图像处理装置获取目标视力信息的方法的限定。
S102：从预先设置的补偿网络模型集合中选取与目标视力信息对应的目标补偿网络模型。
同理，目标补偿网络模型中的“目标”不能理解为对补偿网络模型的内容的限定。
其中，补偿网络模型集合中包括各种视力信息对应的补偿网络模型，因此，在图像处理装置获取到目标视力信息时，可以基于目标视力信息从各种视力信息对应的补偿网络模型(即补偿网络模型集合)中选出目标补偿网络模型，即从各种视力信息对应的补偿网络模型(即补偿网络模型集合)中选出与目标视力信息对应的补偿网络模型(即目标补偿网络模型)。
S103：根据目标补偿网络模型对待输出图像进行补偿。
也就是说，在本申请实施例中，提出了基于补偿网络模型对待输出图像进行补偿的发明构思，且发明构思具体表现为：根据不同的视力信息选择不同的补偿网络模型，基于不同的补偿网络模型对待输出图像进行不同程度地补偿，使得不同视力信息的用户均能看到清晰的输出图像。
S104：输出补偿后的待输出图像。
为使读者更加清楚地理解本申请实施例的方案以及基于本申请实施例的方案产生的技术效果，现结合图5至图9对本申请实施例的图像处理方法进行详细地阐述。其中，图5为近视眼睛的人眼成像***的原理示意图，图6为远视眼睛的人眼成像***的原理示意图，图7为相关技术中视力异常的用户观看到的输出图像的示意图，图8为基于目标补偿网络模型进行补偿时的成像原理示意图，图9为补偿后视力异常的用户观看到的输出图像的示意图。
如图5所示，正常视力眼睛在视网膜(retina)上的成像点为Q，而近视眼睛的成像点会落在视网膜的前方，即近视眼睛的成像点为P，图5中的I为待输出图像上的任意点，Optic axis为光轴。
如图6所示，正常视力眼睛在视网膜(retina)上的成像点为Q，而远视眼睛的成像点会落在视网膜的后方，即远视眼睛的成像点为P，图6中的I为待输出图像上的任意点，Optic axis为光轴。
如图7所示，由于近视眼睛的成像点P落在视网膜的前方，远视眼睛的成像点P落在视网膜的后方，因此，当视力异常的用户在观看如图2所示的显示装置上显示的图像时，即视力异常的用户在观看如图7所示的原始清晰图像(即待输出图像)时，原始清晰图像在经过视力异常的用户的人眼成像***后，视力异常的用户看到的图像为如图7中所示的retina模糊图像。
如图8所示，图像处理装置根据目标补偿网络模型对待输出图像进行补偿，使得针对待输出图像上的任意点I，待输出图像信息扩散至I1和I2形成的小区域，该小区域包括任意点I，使得这个小区域的待输出图像信息能通过图8所示的实线光路传递到视网膜成像点Q。
如图9所示，由于图像处理装置对待输出图像进行了补偿，因此，当视力异常的用户在观看如图2所示的显示装置上显示的图像时，即视力异常的用户在观看如图9所示的原始清晰图像(即待输出图像)时，原始清晰图像在经过目标补偿网络模型和视力异常的用户的人眼成像***后，视力异常的用户看到的图像为如图9中所示的retina清晰图像。
基于上述分析可知，本申请实施例提供了一种图像处理方法，该方法包括：获取目标视力信息，从预先设置的补偿网络模型集合中选取与目标视力信息对应的目标补偿网络模型，根据目标补偿网络模型对待输出图像进行补偿，输出补偿后的待输出图像，通过从各补偿网络模型中选取与目标视力信息对应的目标补偿网络模型，并通过目标补偿网络模型对待输出图像进行补偿，无需进行复杂的结构设计，可以避免相关技术中设置其他光学器件导致的结构复杂，成本偏高等问题，从而实现了节约成本的技术效果，且通过基于不同的视力信息选择不同的补偿网络模型对待输出图像进行补偿，可以实现普遍实用性和适用灵活性的技术效果，从而提高视力异常用户的视觉体验。
为使读者对本申请实施例的图像处理方法理解得更为透彻，现从两个维度对本申请实施例的图像处理方法进行详细地阐述，一个维度为补偿网络模型的训练维度，另一个维度为补偿网络模型的应用维度。
请参阅图10，图10为本申请实施例的补偿网络模型的训练方法的示意图。
如图10所示，该方法包括：
S201：设置视力异常等级。
值得说明的是，训练补偿网络模型的执行主体可以与应用补偿网络模型的执行主体相同，也可以不同。例如，可以由图像处理装置对补偿网络模型进行训练，并由图像处理装置对补偿网络模型进行应用，也可以由其他的装置(如服务器等)对补偿网络模型进行训练，并由图像处理装置对补偿网络模型进行应用，本申请实施例不做限定。且在本申请实施例中，以训练补偿网络模型的主体为图像处理装置为例进行示范性地说明。
其中，视力异常等级可以用于表征近视程度和/远视程度的相关信息，且在该步骤中，图像处理装置可以基于需求、历史记录和试验等设置视力异常等级。
例如，图像处理装置可以将视力异常等级划分为视力异常非常严重、视力异常较严重、视力异常一般及视力异常轻微等；又如，图像处理装置可以基于国际标准视力值和/或对数视力值将视力异常等级划分为多个不同的视力异常区间，如100度至200度为一个等级，200度至300度为一个等级等，此处不再一一列举，且可以得到1～N个等级。
S202：确定各视力异常等级各自对应的样本视力信息。
同理，样本视力信息不能理解为对视力信息的内容的限定。
基于上述示例可知，在该步骤中，图像处理装置可以确定N个等级各自对应的样本视力信息，如等级为1对应的样本视力信息为100度至200度，等级为2的样本视力信息为200度至300度，等等，此处不再一一列举。
S203：针对每一个视力异常等级的样本视力信息，采集各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像。
为避免繁琐地赘述，现以视力异常等级为1为例进行示范性地说明：若等级为1对应的样本视力信息为100度至200度，则采集100度至200度对应的清晰样本图像和模糊样本图像。
现结合图2所示的***构架对显示装置(即图像装置)采集100度至200度对应的清晰样本图像的方法进行如下阐述：
S2031：在显示装置上显示如图11所示的视力测量卡。
值得说明的是，在显示装置上显示的也可以为其他的图像，本申请实施例不做限定。
S2032：确定标准视力的用户针对视力测量卡形成清晰图像的位置。
其中，标准视力的用户是指视力正常的用户。
在一些实施例中，位置可以由显示装置基于试验等进行设置。
S2033：将位置设置为图像采集设备的放置位置。
S2034：将标准视力的用户通过位于放置位置的图像采集设备采集到的清晰图像确定为清晰样本图像。
也就是说，可以先根据视力测量卡确定位置，该位置为可以使得标准视力的用户在观看显示装置上的视力测量卡时，得到视力测量卡的清晰图像的位置；然后由放置于该位置的图像采集设备对显示装置上的视力测量卡的图像进行采集，在此过程中，可以通过对焦等方式对图像采集设备进行调整，使得图像采集设备采集到的为视力测量卡的清晰图像，将图像采集设备采集到的视力测量卡的清晰图像作为清晰样本图像。
其中，图像采集设备可以为相机等具有图像采集功能的设备，本申请实施例不做限定。
现结合图2所示的***构架对显示装置(即图像装置)采集100度至200度对应的模糊样本图像的方法进行如下阐述：
S2035：在显示装置上显示如图11所示的视力测量卡。
S2036：确定100度至200度的用户佩戴光学校正眼镜时针对视力测量卡形成清晰图像的位置。
在一些实施例中，位置可以由显示装置基于试验等进行设置。
S2037：将位置设置为图像采集设备的放置位置。
S2038：将100度至200度的用户通过位于放置位置的图像采集设备采集到的其不佩戴光学校正眼镜时的模糊图像确定为模糊样本图像。
也就是说，可以由100度至200度的用户在不佩戴光学校正眼镜时，关闭图像采集设备的对焦功能，并调整图像采集设备的成像画面，使得图像采集设备处于失焦状态，匹配100度至200度的用户不佩戴光学校正眼镜时观察到的模糊程度的模糊图像，调整完成后获得模糊图像确定为模糊样本图像。
其中，关于图像处理装置获取清晰样本图像和模糊样本图像的顺序，以及清晰样本图像和模糊样本图像的数量，本申请实施例均不做限定。
S204：根据各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像对预先设置的神经网络模型进行训练，生成包括各样本视力信息各自对应的补偿网络模型的补偿网络模型集合。
其中，神经网络模型可以为卷积神经网络模型。
在一些实施例中，S204可以包括：
S2041：针对任意视力异常等级的样本视力信息对应的清晰样本图像和模糊样本图像，提取清晰样本图像的特征值和模糊样本图像的特征值。
S2042：根据清晰样本图像的特征值、模糊样本图像的特征值及预先设置的真实值对神经网络模型进行训练，生成测试值。
S2043：基于测试值、真实值及预先设置的代价函数对神经网络模型进行迭代，生成针对任意视力异常等级的样本视力信息对应的补偿网络模型。
其中，可以将迭代次数达到预先设置的迭代阈值时的卷积神经网络模型确定为补偿网络模型，也可以将代价函数小于或等于预先设置的函数阈值时的卷积神经网络模型确定为补偿网络模型。
S2044：构建各视力异常等级与各自对应的补偿网络模型之间的映射关系。
具体地，可以构建包括各视力异常等级和各自对应的补偿网络模型的映射关系的映射关系表，也可以构建用于表征各视力异常等级和各自对应的补偿网络模型的映射关系的索引表，以便在应用过程中，显示装置基于某视力异常等级快速准确地确定出与其对应的补偿网络模型。
S2045：对映射关系和各补偿网络模型(即补偿网络模型结合)进行存储。
请参阅图12，图12为本申请另一实施例的图像处理方法的流程示意图。
如图12所示，该方法包括：
S301：获取目标视力信息，目标视力信息包括左眼视力信息和右眼视力信息。
其中，关于S301的部分描述可以参见S101，此处不再赘述。
值得说明的是，某些用户的左眼视力信息和右眼视力信息相同，某些用户的左眼视力信息和右眼视力信息不同，为了满足不同用户的需求，进一步提高用户的视觉体验，在本申请实施例中，对目标视力信息进行了进一步细化，以便基于用户的左眼视力信息和右眼视力信息对待输出图像进行补偿。
S302：确定左眼视力信息和右眼视力信息的平均视力信息。
S303：确定平均视力信息的目标视力异常等级。
其中，关于视力信息和视力异常等级的划分可以参见上述示例，此处不再赘述，且目标视力异常等级中的“目标”不能理解为对视力异常等级的内容的限定。
S304：根据目标视力异常等级和映射关系从补偿网络模型集合中选取目标补偿网络模型。
其中，目标补偿网络模型即为与目标视力异常等级存在映射关系的补偿网络模型，关于映射关系和补偿网络模型的生成过程可以参见上述示例。
S305：根据目标补偿网络模型对待输出图像进行补偿。
其中，关于S305的描述可以参见S103，此处不再赘述。
S306：输出补偿后的待输出图像。
其中，关于S306的描述可以参见S104，此处不再赘述。
在一些实施例中，在S301之后，S306之前，该方法还可以包括(图中未示出)：
S311：从补偿网络模型集合中选取左眼视力信息对应的左眼补偿网络模型。
S312：从补偿网络模型集合中选取右眼视力信息对应的右眼补偿网络模型，目标补偿网络模型包括左眼补偿网络模型和右眼补偿网络模型。
同理，也可以基于映射关系选取左眼补偿网络模型和右眼补偿网络模型，具体描述可以参见上述示例，此处不再赘述。
S313：根据左眼补偿网络模型和/或右眼补偿网络模型对待输出图像进行补偿。
其中，可以根据左眼补偿网络模型对待输出图像进行补偿；也可以根据右眼补偿网络模型对待输出图像进行补偿；也可以通过左眼补偿网络模型和右眼补偿网络模型对待输出图像进行补偿，且由左眼补偿网络模型补偿的待输出图像的帧与由右眼补偿网络模型补偿的待输出图像的帧为相邻帧。
在一些实施例中，在目标视力信息包括左眼视力信息和右眼视力信息的情况下，可以选择视力异常等级偏低的视力信息对应的补偿网络模型对待输出图像进行补偿，如左眼的视力相对优于右眼的视力，则可以选择左眼视力信息对应的补偿网络模型对待输出图像进行补偿，以使得用户的左眼不受到损伤。
在另一些实施例中，可以对左眼视力信息和右眼视力信息各自对应的视力异常等级进行确定，如果两个视力异常等级之差小于预先设置的等级阈值，则执行随机选取左眼视力信息和右眼视力信息各自对应的补偿网络模型中的一个作为目标补偿网络模型；如果两个视力异常等级之差大于或等于预先设置的等级阈值，则选择视力相对较优的视力信息对应的补偿网络模型作为目标补偿网络模型。
在另一些实施例中，可以输出根据左眼补偿网络模型对待输出图像进行补偿后的图像，并输出根据右眼补偿网络模型对待输出图像进行补偿后的图像，将两个输出的图像在显示装置上分屏显示，用户可以通过触屏的方式从两个输出的图像中选择一个图像作为最终在显示装置上输出的图像，显示装置将用户选择的图像对应的补偿网络模型确定为目标补偿网络模型。
根据本申请实施例的另一个方面，本申请实施例还提供了一种图像处理装置，用于执行上述任一实施例所述的方法，如用于执行图3、图10及图12中任一实施例所示的方法。
请参阅图13，图13为本申请一个实施例的图像处理装置的示意图。
如图13所示，该装置包括：
获取模块11，获取目标视力信息；
选取模块12，用于从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型；
补偿模块13，用于根据所述目标补偿网络模型对待输出图像进行补偿；
输出模块14，用于输出补偿后的待输出图像。
在一些实施例中，所述选取模块12用于，根据预先设置的视力信息与补偿网络模型之间的映射关系，从所述补偿网络模型集合中选取与所述目标视力信息对应的所述目标补偿网络模型。
在一些实施例中，所述选取模块12用于，确定所述目标视力信息的目标视力异常等级，根据所述目标视力异常等级从所述映射关系中选取所述目标补偿网络模型。
结合图14可知，在一些实施例中，所述装置还包括：
确定模块15，用于确定预先设置的视力异常等级各自对应的样本视力信息；
采集模块16，用于针对每一个视力异常等级的样本视力信息，采集各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像；
训练模块17，用于根据各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像对预先设置的神经网络模型进行训练，生成包括各视力异常等级的样本视力信息各自对应的补偿网络模型的所述补偿网络模型集合。
在一些实施例中，所述训练模块17用于，针对任意视力异常等级的样本视力信息对应的清晰样本图像和模糊样本图像，提取清晰样本图像的特征值和模糊样本图像的特征值，根据所述清晰样本图像的特征值、所述模糊样本图像的特征值及预先设置的真实值对所述神经网络模型进行训练，生成测试值，基于所述测试值、所述真实值及预先设置的代价函数对所述神经网络模型进行迭代，生成针对任意视力异常等级的样本视力信息对应的补偿网络模型。
在一些实施例中，所述采集模块16用于，针对任意视力异常等级的样本视力信息，确定标准视力的用户针对视力测量卡形成清晰图像的位置，将所述位置设置为图像采集设备的放置位置，将所述标准视力的用户通过位于所述放置位置的所述图像采集设备采集到的清晰图像确定为所述清晰样本图像。
在一些实施例中，所述采集模块16用于，针对任意视力异常等级的样本视力信息，确定任意视力异常等级的样本视力信息的用户在佩戴光学校正眼镜时在所述位置上形成的针对所述视力测量卡形成的清晰图像，确定任意视力异常等级的样本视力信息的用户在不佩戴光学校正眼镜时在所述位置上形成的针对所述视力测量卡的模糊图像，将任意视力异常等级的样本视力信息的用户在不佩戴光学校正眼镜时通过位于所述放置位置的所述图像采集设备采集到的与所述模糊图像相同模糊程度的图像确定为所述模糊样本图像。
在一些实施例中，所述目标视力信息包括左眼视力信息和右眼视力信息，所述选取模块12用于，确定所述左眼视力信息和所述右眼视力信息的平均视力信息，从所述补偿网络模型集合中选取所述平均视力信息对应的补偿网络模型作为所述目标补偿网络模型。
在一些实施例中，所述目标视力信息包括左眼视力信息和右眼视力信息，所述选取模块12用于，从所述补偿网络模型集合中选取所述左眼视力信息对应的左眼补偿网络模型，从所述补偿网络模型集合中选取所述右眼视力信息对应的右眼补偿网络模型，所述目标补偿网络模型包括所述左眼补偿网络模型和所述右眼补偿网络模型，以及，所述根据所述目标补偿网络模型对待输出图像进行补偿包括：根据所述左眼补偿网络模型和/或所述右眼补偿网络模型对待输出图像进行补偿。
在一些实施例中，通过所述左眼补偿网络模型补偿的待输出图像的帧与通过所述右眼补偿网络模型补偿的待输出图像的帧为相邻帧。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
请参阅图15，图15为本申请实施例的电子设备的框图。
其中，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请实施例的实现。
如图15所示，该电子设备包括：一个或多个处理器101、存储器102，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图15中以一个处理器101为例。
存储器102即为本申请实施例所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请实施例所提供的图像处理方法。本申请实施例的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请实施例所提供的图像处理方法。
存储器102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的程序指令/模块。处理器101通过运行存储在存储器102中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理方法。
存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器102可选包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、区块链服务网络(Block-chain-based Service Network，BSN)、移动通信网及其组合。
电子设备还可以包括：输入装置103和输出装置104。处理器101、存储器102、输入装置103和输出装置104可以通过总线或者其他方式连接，图15中以通过总线连接为例。
输入装置103可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置104可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、区块链服务网络(Block-chain-based Service Network，BSN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的另一个方面，本申请实施例还提供了一种显示装置，所述显示装置包括显示器，还包括上述任一实施例所述的图像处理装置。
根据本申请实施例的另一个方面，本申请实施例还提供了一种图像处理***，所述***包括：
如上任一实施例所述的显示装置；
AR眼镜，用于显示所述显示装置输出的补偿后的待输出图像。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应该理解的是，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (24)
1.一种图像处理方法，其特征在于，所述方法包括：
获取目标视力信息；
从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型；
根据所述目标补偿网络模型对待输出图像进行补偿；
输出补偿后的待输出图像。
2.根据权利要求1所述的方法，其特征在于，所述从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型包括：
根据预先设置的视力信息与补偿网络模型之间的映射关系，从所述补偿网络模型集合中选取与所述目标视力信息对应的所述目标补偿网络模型。
3.根据权利要求2所述的方法，其特征在于，所述根据预先设置的视力信息与补偿网络模型之间的映射关系，从所述补偿网络模型集合中选取与所述目标视力信息对应的所述目标补偿网络模型包括：
确定所述目标视力信息的目标视力异常等级；
根据所述目标视力异常等级从所述映射关系中选取所述目标补偿网络模型。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
确定预先设置的视力异常等级各自对应的样本视力信息；
针对每一个视力异常等级的样本视力信息，采集各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像；
根据各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像对预先设置的神经网络模型进行训练，生成包括各视力异常等级的样本视力信息各自对应的补偿网络模型的所述补偿网络模型集合。
5.根据权利要求4所述的方法，其特征在于，所述根据各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像对预先设置的神经网络模型进行训练，生成包括各视力异常等级的样本视力信息各自对应的补偿网络模型的所述补偿网络模型集合包括：
针对任意视力异常等级的样本视力信息对应的清晰样本图像和模糊样本图像，提取清晰样本图像的特征值和模糊样本图像的特征值；
根据所述清晰样本图像的特征值、所述模糊样本图像的特征值及预先设置的真实值对所述神经网络模型进行训练，生成测试值；
基于所述测试值、所述真实值及预先设置的代价函数对所述神经网络模型进行迭代，生成针对任意视力异常等级的样本视力信息对应的补偿网络模型。
6.根据权利要求4所述的方法，其特征在于，采集各视力异常等级的样本视力信息各自对应的清晰样本图像包括：
针对任意视力异常等级的样本视力信息，确定标准视力的用户针对视力测量卡形成清晰图像的位置；
将所述位置设置为图像采集设备的放置位置；
将所述标准视力的用户通过位于所述放置位置的所述图像采集设备采集到的清晰图像确定为所述清晰样本图像。
7.根据权利要求6所述的方法，其特征在于，采集各视力异常等级的样本视力信息各自对应的模糊样本图像包括：
针对任意视力异常等级的样本视力信息，确定任意视力异常等级的样本视力信息的用户在佩戴光学校正眼镜时在所述位置上形成的针对所述视力测量卡形成的清晰图像；
确定任意视力异常等级的样本视力信息的用户在不佩戴光学校正眼镜时在所述位置上形成的针对所述视力测量卡的模糊图像；
将任意视力异常等级的样本视力信息的用户在不佩戴光学校正眼镜时通过位于所述放置位置的所述图像采集设备采集到的与所述模糊图像相同模糊程度的图像确定为所述模糊样本图像。
8.根据权利要求1至3中任一项所述的方法，其特征在于，所述目标视力信息包括左眼视力信息和右眼视力信息，所述从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型包括：
确定所述左眼视力信息和所述右眼视力信息的平均视力信息；
从所述补偿网络模型集合中选取所述平均视力信息对应的补偿网络模型作为所述目标补偿网络模型。
9.根据权利要求1至3中任一项所述的方法，其特征在于，所述目标视力信息包括左眼视力信息和右眼视力信息，所述从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型包括：
从所述补偿网络模型集合中选取所述左眼视力信息对应的左眼补偿网络模型；
从所述补偿网络模型集合中选取所述右眼视力信息对应的右眼补偿网络模型，所述目标补偿网络模型包括所述左眼补偿网络模型和所述右眼补偿网络模型；
以及，所述根据所述目标补偿网络模型对待输出图像进行补偿包括：根据所述左眼补偿网络模型和/或所述右眼补偿网络模型对待输出图像进行补偿。
10.根据权利要求9所述的方法，其特征在于，通过所述左眼补偿网络模型补偿的待输出图像的帧与通过所述右眼补偿网络模型补偿的待输出图像的帧为相邻帧。
11.一种图像处理装置，其特征在于，所述装置包括：
获取模块，获取目标视力信息；
选取模块，用于从预先设置的补偿网络模型集合中选取与所述目标视力信息对应的目标补偿网络模型；
补偿模块，用于根据所述目标补偿网络模型对待输出图像进行补偿；
输出模块，用于输出补偿后的待输出图像。
12.根据权利要求11所述的装置，其特征在于，所述选取模块用于，根据预先设置的视力信息与补偿网络模型之间的映射关系，从所述补偿网络模型集合中选取与所述目标视力信息对应的所述目标补偿网络模型。
13.根据权利要求12所述的装置，其特征在于，所述选取模块用于，确定所述目标视力信息的目标视力异常等级，根据所述目标视力异常等级从所述映射关系中选取所述目标补偿网络模型。
14.根据权利要求11至13中任一项所述的装置，其特征在于，所述装置还包括：
确定模块，用于确定预先设置的视力异常等级各自对应的样本视力信息；
采集模块，用于针对每一个视力异常等级的样本视力信息，采集各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像；
训练模块，用于根据各视力异常等级的样本视力信息各自对应的清晰样本图像和模糊样本图像对预先设置的神经网络模型进行训练，生成包括各视力异常等级的样本视力信息各自对应的补偿网络模型的所述补偿网络模型集合。
15.根据权利要求14所述的装置，其特征在于，所述训练模块用于，针对任意视力异常等级的样本视力信息对应的清晰样本图像和模糊样本图像，提取清晰样本图像的特征值和模糊样本图像的特征值，根据所述清晰样本图像的特征值、所述模糊样本图像的特征值及预先设置的真实值对所述神经网络模型进行训练，生成测试值，基于所述测试值、所述真实值及预先设置的代价函数对所述神经网络模型进行迭代，生成针对任意视力异常等级的样本视力信息对应的补偿网络模型。
16.根据权利要求14所述的装置，其特征在于，所述采集模块用于，针对任意视力异常等级的样本视力信息，确定标准视力的用户针对视力测量卡形成清晰图像的位置，将所述位置设置为图像采集设备的放置位置，将所述标准视力的用户通过位于所述放置位置的所述图像采集设备采集到的清晰图像确定为所述清晰样本图像。
17.根据权利要求16所述的装置，其特征在于，所述采集模块用于，针对任意视力异常等级的样本视力信息，确定任意视力异常等级的样本视力信息的用户在佩戴光学校正眼镜时在所述位置上形成的针对所述视力测量卡形成的清晰图像，确定任意视力异常等级的样本视力信息的用户在不佩戴光学校正眼镜时在所述位置上形成的针对所述视力测量卡的模糊图像，将任意视力异常等级的样本视力信息的用户在不佩戴光学校正眼镜时通过位于所述放置位置的所述图像采集设备采集到的与所述模糊图像相同模糊程度的图像确定为所述清晰样本图像。
18.根据权利要求11至13中任一项所述的装置，其特征在于，所述目标视力信息包括左眼视力信息和右眼视力信息，所述选取模块用于，确定所述左眼视力信息和所述右眼视力信息的平均视力信息，从所述补偿网络模型集合中选取所述平均视力信息对应的补偿网络模型作为所述目标补偿网络模型。
19.根据权利要求11至13中任一项所述的装置，其特征在于，所述目标视力信息包括左眼视力信息和右眼视力信息，所述选取模块用于，从所述补偿网络模型集合中选取所述左眼视力信息对应的左眼补偿网络模型，从所述补偿网络模型集合中选取所述右眼视力信息对应的右眼补偿网络模型，所述目标补偿网络模型包括所述左眼补偿网络模型和所述右眼补偿网络模型，以及，所述根据所述目标补偿网络模型对待输出图像进行补偿包括：根据所述左眼补偿网络模型和/或所述右眼补偿网络模型对待输出图像进行补偿。
20.根据权利要求19所述的装置，其特征在于，通过所述左眼补偿网络模型补偿的待输出图像的帧与通过所述右眼补偿网络模型补偿的待输出图像的帧为相邻帧。
21.一种电子设备，其特征在于，包括：存储器，处理器；
所述存储器用于存储所述处理器可执行指令的存储器；
其中，当执行所述存储器中的指令时，所述处理器被配置为实现如权利要求1至10中任一项所述的方法。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至10中任一项所述的方法。
23.一种显示装置，其特征在于，所述显示装置包括显示器，还包括如权利要求11至20中任一项所述的图像处理装置。
24.一种图像处理***，其特征在于，所述***包括：
如权利要求23所述的显示装置；
AR眼镜，用于显示所述显示装置输出的补偿后的待输出图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010619633.6A CN111767110B (zh) | 2020-07-01 | 2020-07-01 | 图像处理方法、装置、***、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010619633.6A CN111767110B (zh) | 2020-07-01 | 2020-07-01 | 图像处理方法、装置、***、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111767110A true CN111767110A (zh) | 2020-10-13 |
| CN111767110B CN111767110B (zh) | 2023-06-23 |
Family
ID=72723051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010619633.6A Active CN111767110B (zh) | 2020-07-01 | 2020-07-01 | 图像处理方法、装置、***、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767110B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2608919A (en) * | 2020-09-02 | 2023-01-18 | Zhejiang Lab | Knowledge distillation-based compression method for pre-trained language model, and platform |
| GB2610319A (en) * | 2020-12-17 | 2023-03-01 | Zhejiang Lab | Automatic compression method and platform for multilevel knowledge distillation-based pre-trained language model |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017026942A1 (en) * | 2015-08-11 | 2017-02-16 | Chai Wei Kuo Andrew | Apparatus for display adjustment and method thereof |
| CN110007475A (zh) * | 2019-04-17 | 2019-07-12 | 万维云视（上海）数码科技有限公司 | 利用虚拟深度补偿视力的方法与装置 |
| US20190222817A1 (en) * | 2017-09-27 | 2019-07-18 | University Of Miami | Vision defect determination and enhancement |
-
2020
- 2020-07-01 CN CN202010619633.6A patent/CN111767110B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017026942A1 (en) * | 2015-08-11 | 2017-02-16 | Chai Wei Kuo Andrew | Apparatus for display adjustment and method thereof |
| US20190222817A1 (en) * | 2017-09-27 | 2019-07-18 | University Of Miami | Vision defect determination and enhancement |
| CN110007475A (zh) * | 2019-04-17 | 2019-07-12 | 万维云视（上海）数码科技有限公司 | 利用虚拟深度补偿视力的方法与装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2608919A (en) * | 2020-09-02 | 2023-01-18 | Zhejiang Lab | Knowledge distillation-based compression method for pre-trained language model, and platform |
| GB2610319A (en) * | 2020-12-17 | 2023-03-01 | Zhejiang Lab | Automatic compression method and platform for multilevel knowledge distillation-based pre-trained language model |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111767110B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11797084B2 (en) | Method and apparatus for training gaze tracking model, and method and apparatus for gaze tracking | |
| US10082867B2 (en) | Display control method and display control apparatus | |
| CN111598818A (zh) | 人脸融合模型训练方法、装置及电子设备 | |
| CN111914629B (zh) | 为人脸识别生成训练数据的方法、装置、设备和存储介质 | |
| CN103999032A (zh) | 显示元素中所包括的感兴趣的区域的兴趣度分数 | |
| US11354875B2 (en) | Video blending method, apparatus, electronic device and readable storage medium | |
| CN110378914A (zh) | 基于注视点信息的渲染方法及装置、***、显示设备 | |
| US20150009117A1 (en) | Dynamic eye trackcing data representation | |
| CN111767110B (zh) | 图像处理方法、装置、***、电子设备及存储介质 | |
| CN109840946B (zh) | 虚拟对象显示方法及装置 | |
| US10649520B2 (en) | Method and device for inputting password in virtual reality scene | |
| WO2017059137A1 (en) | Visual indicator for transparent display alignment | |
| CN109791431A (zh) | 视点渲染 | |
| CN112835445B (zh) | 虚拟现实场景中的交互方法、装置及*** | |
| CN110575373A (zh) | 一种基于vr一体机的视觉训练方法及*** | |
| KR20160060582A (ko) | 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품 | |
| CN111709875A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112261152A (zh) | 基于弹性云服务器和智能终端的虚拟终端分布式*** | |
| CN111914630A (zh) | 为人脸识别生成训练数据的方法、装置、设备和存储介质 | |
| US20130127821A1 (en) | Method and system for adjusting a display to account for the users' corrective lenses or preferred display settings | |
| CN111667518A (zh) | 人脸图像的显示方法、装置、电子设备及存储介质 | |
| CN112116525A (zh) | 换脸识别方法、装置、设备和计算机可读存储介质 | |
| CN112702533B (zh) | 视线修正方法及视线修正装置 | |
| CN109032350B (zh) | 眩晕感减轻方法、虚拟现实设备及计算机可读存储介质 | |
| CN112508964B (zh) | 图像分割方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |