CN110688028B - 显示屏的触控***、方法、电子设备和存储介质 - Google Patents

显示屏的触控***、方法、电子设备和存储介质 Download PDF

Info

Publication number
CN110688028B
CN110688028B CN201910918847.0A CN201910918847A CN110688028B CN 110688028 B CN110688028 B CN 110688028B CN 201910918847 A CN201910918847 A CN 201910918847A CN 110688028 B CN110688028 B CN 110688028B
Authority
CN
China
Prior art keywords
image
touch
touch point
display screen
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910918847.0A
Other languages
English (en)
Other versions
CN110688028A (zh
Inventor
王志成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910918847.0A priority Critical patent/CN110688028B/zh
Publication of CN110688028A publication Critical patent/CN110688028A/zh
Priority to US16/823,653 priority patent/US11093128B2/en
Application granted granted Critical
Publication of CN110688028B publication Critical patent/CN110688028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请提出一种显示屏的触控***、方法、电子设备和存储介质，其中，***包括多个图像采集器，分别用于采集显示屏之中对应采集区域的图像，得到多帧图像，并对多帧图像进行图像融合，得到融合图像；触控点识别器，用于对融合图像进行识别以获取融合图像之中的触控点的位置；以及控制器，用于根据触控点的位置进行控制。由此，通过多个图像采集器采集显示屏的多帧图像，以对多帧对象进行融合，得到融合图像，以识别融合图像中的触控点位置，解决了在高电磁场环境下显示屏的触控灵敏度较低的技术问题，同时还避免了显示屏被遮挡时导致图像采集不完整的技术问题，从而提高了显示屏的触控灵敏度。

Description

显示屏的触控***、方法、电子设备和存储介质
技术领域
本申请涉及电子设备技术领域，尤其涉及一种显示屏的触控***、方法电子设备和存储介质。
背景技术
随着电子设备的普遍使用，越来越多的电子设备通过触控显示屏实现了人机交互的功能。目前，主流的触控显示屏均使用感应层为介质进性触电定位，以实现触控识别的目的。但是，由于在特殊的使用环境下，例如，高电磁场环境下，由于电磁干扰会导致显示屏的触控灵敏度大大降低。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
本申请提出一种显示屏的触控***、方法、电子设备和存储介质，解决了在高电磁场环境下显示屏的触控灵敏度较低的技术问题。
本申请第一方面实施例提出了一种显示屏的触控***，包括：
图像采集器，所述图像采集器为多个，分别用于采集显示屏之中对应采集区域的图像，得到多帧图像，并对所述多帧图像进行图像融合，得到融合图像；
触控点识别器，用于对所述融合图像进行识别以获取所述融合图像之中的触控点的位置；以及
控制器，用于根据所述触控点的位置对所述显示屏进行控制。
作为本申请第一种可能的实现方式，所述多个图像采集器分别对应所述显示屏的不同采集区域，且每个图像采集器对应的采集区域均具有至少一个标识点。
作为本申请第二种可能的实现方式，所述触控点识别器，还用于获取所述触控点相对于所述触控点所在采集区域之中标识点的相对位置，并根据所述标识点的位置和所述触控点相对于所述标识点的相对位置获取所述触控点的位置。
作为本申请第三种可能的实现方式，所述***还包括：
触控动作识别模块，用于获取多帧融合图像，并根据所述连续多帧融合图像之中所述触控点的位置变化，生成所述触控点的运动轨迹，并根据所述触控点的运动轨迹生成所述触控动作。
作为本申请第四种可能的实现方式，所述触控动作识别模块，还用于获取所述多帧融合图像之中连续两帧的第一图像和第二图像，并获取所述第一图像之中的第一触控点位置和所述第二图像之中的第二触控点位置，以及根据所述第一触控点位置和所述第二触控点位置生成补偿触控点位置，所述补偿触控点位置用于补偿所述运动轨迹。
本申请第二方面实施例提出了一种显示屏的触控方法，所述方法包括：
多个图像采集器分别采集显示屏之中对应采集区域的图像，得到多帧图像，并对所述多帧图像进行图像融合，得到融合图像；
对所述融合图像进行识别以获取所述融合图像之中的触控点的位置；
根据所述触控点的位置对所述显示屏进行控制。
本申请第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的显示屏的触控方法。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的显示屏的触控方法。
本申请实施例所提供的技术方案可以包含如下的有益效果：
显示屏的触控***包括图像采集器，图像采集器为多个，分别用于采集显示屏之中对应采集区域的图像，得到多帧图像，并对多帧图像进行图像融合，得到融合图像；触控点识别器，用于对融合图像进行识别以获取融合图像之中的触控点的位置；以及控制器，用于根据触控点的位置对显示屏进行控制。由此，通过多个图像采集器采集显示屏的多帧图像，以对多帧对象进行融合，得到融合图像，以识别融合图像中的触控点位置，解决了在高电磁场环境下显示屏的触控灵敏度较低的技术问题，同时还避免了显示屏被遮挡时导致图像采集不完整的技术问题，从而提高了显示屏的触控灵敏度。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种显示屏的触控***的结构示意图；
图2为本申请实施例提供的另一种显示屏的触控***的结构示意图；
图3为本申请实施例提供的又一种显示屏的触控***的结构示意图；
图4为本申请实施例提供的再一种显示屏的触控***的结构示意图；
图5为本申请实施例提供的一种显示屏的触控方法的流程示意图；
图6为本申请实施例提供的另一种显示屏的触控方法的流程示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的显示屏的触控***、方法、电子设备以及存储介质。
本申请实施例中，该显示屏的触控***可以应用于任一电子设备中，以使该电子设备可以实现用户对显示屏的触控操作。
其中，电子设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作***、触摸屏和/或显示屏的硬件设备。
图1为本申请实施例提供的一种显示屏的触控***的结构示意图。
如图1所示，显示屏触控***10包括：图像采集器110、触控点识别器120以及控制器130。
其中，图像采集器110为多个，用于采集显示屏之中多个采集区域的多帧图像，并对多帧图像进行图像融合，得到融合图像。
本申请实施例中，设置多个图像采集器110，并且每一个图像采集器110分别对应显示屏的不同采集区域，且每个图像采集器110对应的采集区域均具有至少一个标识点。通过多个图像采集器110分别定时采集显示屏中对应采集区域的图像后，得到多帧图像，进而对采集的多帧图像进行图像融合，得到融合图像。
作为一种示例，参见图2，如图2所示，显示屏的触控***包括4个图像采集器，4个图像采集器分别对应的显示屏的不同采集区域。具体地，图像采集器1对应于显示屏的采集区域1，用于采集显示屏中采集区域1的图像，图像采集器2对应于显示屏的采集区域2，用于采集显示屏中采集区域2的图像，图像采集器3对应于显示屏的采集区域3，用于采集显示屏中采集区域3的图像，图像采集器4对应于显示屏的采集区域4，用于采集显示屏中采集区域4的图像。并且，4个图像采集器对应的采集区域覆盖整个显示屏。由此，通过该4个图像采集器同时采集显示屏之中对应的4个采集区域的图像后，得到4帧图像，对采集得到的4帧图像进行图像融合，能够得到一张完整的图像，从而确保了采集图像的完整性，解决了现有技术中显示屏被遮挡导致未采集到显示屏的全部图像的技术问题。
此外，如图2所示，4个图像采集器分别对应的显示屏的不同采集区域均具有一个标识点，在图像采集器采集显示屏之中对应采集区域的多帧图像时，每个图像中均具有一个标识点。进而，根据各个图像中的标识点对图像进行融合，以得到显示屏的完整图像。由此，避免了显示屏被遮挡导致图像采集不完整的技术问题。
触控点识别器120，用于对融合图像进行识别以获取融合图像之中的触控点的位置。
本申请实施例中，用户对显示屏进行触控操作时，多个图像采集器对显示屏的多个采集区域进行图像采集后，对采集的多帧图像进行图像融合，得到融合图像后，触控点识别器120对融合图像进行识别，以获取融合图像之中的触控点的坐标值，从而获取到用户对显示屏进行触控后手指触控点对应的位置。
作为一种可能的实现方式，触控点识别器120首先获取到触控点相对于触控点所在采集区域之中标识点的相对位置，并根据标识点的位置和触控点相对于标识点的相对位置获取触控点的位置。
控制器130，用于根据触控点的位置对显示屏进行控制。
本申请实施例中，在触控点识别器120对融合图像进行识别获取到融合图像之中的触控点的位置后，控制器130根据触控点的位置对显示屏进行控制。
本申请实施例的显示屏触控***，通过多个图像采集器分别采集显示显示屏之中对应采集区域的图像，得到多帧图像，并对多帧图像进行图像融合，得到融合图像，进一步的，触控点识别器对融合图像进行识别以获取融合图像之中的触控点的位置，最终控制器根据触控点的位置进行控制。由此，通过多个图像采集器采集显示屏的多帧图像，以对多帧对象进行融合，得到融合图像，以识别融合图像中的触控点位置，解决了在高电磁场环境下显示屏的触控灵敏度较低的技术问题，同时还避免了显示屏被遮挡时导致图像采集不完整的技术问题，从而提高了显示屏的触控灵敏度。
在上述实施例的基础上，参见图3，该显示屏的触控***10，还可以包括：触控动作识别模块140。
其中，触控动作识别模块140，用于获取多个图像采集器采集的连续多帧融合图像，并根据连续多帧融合图像之中触控点的位置变化，生成触控点的运动轨迹，并根据触控点的运动轨迹生成触控动作。
具体地，在多个图像采集器对显示屏中的多个采集区域进行采集得到多帧图像后，对采集的多帧图像进行图像融合，得到融合图像。进一步的，通过触控点识别器120对融合图像进行识别，得到融合图像中的触控点的坐标位置。触控动作识别模块140，根据融合图像中的触控点的坐标位置，生成触控点的运动轨迹，以根据触控点的运动轨迹生成触控动作。
作为一种示例，参见图4，对图像采集器采集的多帧图像进行融合，得到的融合图像中包括触控点的坐标位置。
触控动作识别模块140，还用于获取多帧融合图像之中连续两帧的第一图像和第二图像，并获取第一图像之中的第一触控点位置和第二图像之中的第二触控点位置，以及根据第一触控点位置和第二触控点位置生成补偿触控点位置。其中，补偿触控点位置用于补偿运动轨迹。
需要说明的是，在用户对显示屏进行触控操作，手指快速在显示屏上移动时，可能存在手指移动速度较快，触控点识别器120不能完全识别到图像采集器采集的多帧图像的触控点的位置。这种情况下，通过触控动作识别模块140获取多帧融合图像之中的连续两帧的第一图像和第二图像，触控点识别器120对第一图像和第二图像进行识别，获取到第一图像之中的第一触控点位置和第二图像中的第二触控点的位置，以根据第一触控点位置和第二触控点位置生成补偿触控点位置，进而根据补偿触控点位置对运动轨迹进行补偿。由此，通过对运动轨迹进行补偿，能够完成整个快速移动触控的定位过程，从而提高了触控的灵敏度。
为了实现上述实施例，本申请实施例提出了一种显示屏的触控方法，图5为本申请实施例提供的一种显示屏的触控方法的流程示意图。
如图5所示，该显示屏的触控方法包括以下步骤：
步骤501，多个图像采集器分别采集显示屏之中对应采集区域的图像，得到多帧图像，并对多帧图像进行图像融合，得到融合图像。
本申请实施例中，显示屏的触控***设置有多个图像采集器，并且每一个图像采集器分别对应显示屏的不同采集区域，且每个图像采集器对应的采集区域均具有至少一个标识点。通过多个图像采集器定时采集显示屏中对应采集区域的图像后，得到多帧图像，并对采集的多帧图像进行图像融合，得到融合图像。
需要说明的是，对采集的显示屏的多个采集区域的多帧图像进行融合时，可以根据多帧图像之中的标识点位置，以标识点位置为基准点，对图像进行图像融合，得到融合图像。
可以理解的是，用户对显示屏进行触控操作时，可能存在显示屏被遮挡的情况，通过多个图像采集器对显示屏的不同区域进行图像采集，得到多帧图像，进一步的，对多帧图像进行图像融合，得到融合图像。由此，确保了采集图像的完整性，解决了现有技术中显示屏被遮挡导致未采集到显示屏的全部图像的技术问题。
步骤502，对融合图像进行识别以获取融合图像之中的触控点的位置。
本申请实施例中，通过触控点识别器对融合图像进行识别，以获取到融合图像之中的触控点的坐标位置。
作为一种可能的实现方式，触控点识别器获取融合图像中触控点相对于触控点所在采集区域之中标识点的相对位置，根据标识点的位置和触控点相对于标识点的相对位置获取触控点的位置。
步骤503，根据触控点的位置对显示屏进行控制。
本申请实施例中，通过触控点识别器对融合图像进行识别以获取融合图像之中的触控点的位置之后，通过控制器根据触控点的位置对显示屏进行相应的控制。
本申请实施例的显示屏触控方法，通过多个图像采集器采集显示显示屏之中多个采集区域的多帧图像，并对多帧图像进行图像融合，得到融合图像，进一步的，触控点识别器对融合图像进行识别以获取融合图像之中的触控点的位置，最终控制器根据触控点的位置对显示屏进行控制。由此，通过多个图像采集器采集显示屏的多帧图像，以对多帧对象进行图像融合，得到融合图像，以识别融合图像中的触控点位置，解决了在高电磁场环境下显示屏的触控灵敏度较低的技术问题，同时还避免了显示屏被遮挡时导致图像采集不完整的技术问题，从而提高了显示屏的触控灵敏度。
在上述实施例的基础上，作为一种可能的情况，根据触控点的位置进行控制之前，还可以根据多帧融合图像之中的触控点的位置变化，生成触控点运动轨迹，并根据补偿触控点位置对运动轨迹进行补偿，以根据触控点的运动轨迹生成触控动作。下面结合图6对上述过程进行详细介绍，图6为本申请实施例提供的另一种显示屏的触控方法的流程示意图。
如图6所示，该显示屏的触控方法还可以包括以下步骤：
步骤601，获取多帧融合图像。
本申请实施例中，多个图像采集器实时对显示屏的对应采集区域进行图像采集后，每个图像采集器采集到多帧图像，对同一时刻采集得到的多帧图像进行融合，得到多帧融合图像。
步骤602，根据多帧融合图像之中触控点的位置变化，生成触控点的运动轨迹。
本申请实施例中，触控点识别器对融合图像进行识别以获取到多帧融合图像之中的触控点的位置后，触控动作识别模块根据多帧融合图像之中触控点的位置变化，生成触控点的运动轨迹。
步骤603，获取多帧融合图像之中连续两帧的第一图像和第二图像。
本申请实施例中，多个图像采集器对显示屏的对应区域进行图像采集，并对采集的多帧图像集进行融合，得到多帧融合图像之后，获取多帧融合图像之中连续两帧融合图像。
需要说明的是，为了便于区别获取的连续两帧融合图像，分别将连续两帧融合图像命名为第一图像和第二图像。
需要解释的是，用户对显示屏进行快速触控时，由于图像采集器的采集速率较低，导致多个图像采集器采集的多帧图像融合成的一帧融合图像中不能完全包括触控点位置，因此，本申请实施例中通过获取多帧融合图像之中连续两帧的第一图像和第二图像。
步骤604，获取第一图像之中的第一触控点位置和第二图像之中的第二触控点位置。
本申请实施例中，获取到第一图像和第二图像后，触控点识别器对第一图像和第二图像之中的触控点进行识别，得到第一图像之中的第一触控点位置和第二图像之中的第二触控点位置。
步骤605，根据第一触控点位置和第二触控点位置生成补偿触控点位置，其中，补偿触控点位置用于补偿运动轨迹。
本申请实施例中，获取到第一图像之中的第一触控点位置和第二图像之中的第二触控点位置之后，触控动作识别模块根据第一触控点位置和第二触控点位置之间的位置变化，生成补偿触控点位置。
其中，补偿触控点位置位于第一触控点位置和第二触控点位置之间，用于补偿触控点的运动轨迹。
步骤606，根据触控点的运动轨迹生成触控动作。
本申请实施例中，触控动作识别模块根据连续多帧融合图像之中触控点的位置变化，以及补偿触控点位置，生成触控点的运动轨迹后。进一步的，根据触控点的运动轨迹生成触控动作，以实现对显示屏的触控操作。
本申请实施例的显示屏的触控方法，通过获取多帧融合图像，根据多帧融合图像之中触控点的位置变化，生成触控点的运动轨迹；获取多帧融合图像之中连续两帧的第一图像和第二图像，获取第一图像之中的第一触控点位置和第二图像之中的第二触控点位置，根据第一触控点位置和第二触控点位置生成补偿触控点位置，补偿触控点位置用于补偿运动轨迹，根据触控点的运动轨迹生成触控动作。由此，通过补偿触控点位置对触控点的运动轨迹进行补偿，能够完成更加精细的触控要求，提高了显示屏触控的灵敏度。
为了实现上述实施例，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如上述实施例中的显示屏的触控方法。
为了实现上述实施例，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中的显示屏的触控方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种显示屏的触控***，其特征在于，包括：
图像采集器，所述图像采集器为多个，分别用于采集显示屏之中对应采集区域的图像，得到多帧图像，并对所述多帧图像进行图像融合，得到融合图像；
触控点识别器，用于对所述融合图像进行识别以获取所述融合图像之中的触控点的位置；以及
控制器，用于根据所述触控点的位置对所述显示屏进行控制；
触控动作识别模块，用于获取多帧融合图像，并根据连续多帧所述融合图像之中所述触控点的位置变化，生成所述触控点的运动轨迹，并根据所述触控点的运动轨迹生成触控动作；
所述触控动作识别模块，还用于获取所述多帧融合图像之中连续两帧的第一图像和第二图像，并获取所述第一图像之中的第一触控点位置和所述第二图像之中的第二触控点位置，以及根据所述第一触控点位置和所述第二触控点位置生成补偿触控点位置，所述补偿触控点位置用于补偿所述运动轨迹。
2.如权利要求1所述的显示屏的触控***，其特征在于，所述多个图像采集器分别对应所述显示屏的不同采集区域，且每个图像采集器对应的采集区域均具有至少一个标识点。
3.如权利要求2所述的显示屏的触控***，其特征在于，所述触控点识别器，还用于获取所述触控点相对于所述触控点所在采集区域之中标识点的相对位置，并根据所述标识点的位置和所述触控点相对于所述标识点的相对位置获取所述触控点的位置。
4.一种显示屏的触控方法，其特征在于，所述方法包括：
多个图像采集器分别采集显示屏之中对应采集区域的图像，得到多帧图像，并对所述多帧图像进行图像融合，得到融合图像；
对所述融合图像进行识别以获取所述融合图像之中的触控点的位置；
根据所述触控点的位置对所述显示屏进行控制；
所述根据所述触控点的位置进行控制之前，还包括：
获取多帧融合图像；
根据所述多帧融合图像之中所述触控点的位置变化，生成所述触控点的运动轨迹；
根据所述触控点的运动轨迹生成触控动作；
所述根据所述触控点的运动轨迹生成触控动作之前，还包括：
获取所述多帧融合图像之中连续两帧的第一图像和第二图像；
获取所述第一图像之中的第一触控点位置和所述第二图像之中的第二触控点位置；
根据所述第一触控点位置和所述第二触控点位置生成补偿触控点位置，所述补偿触控点位置用于补偿所述运动轨迹。
5.如权利要求4所述的显示屏的触控方法，其特征在于，所述多个图像采集器分别对应所述显示屏的不同采集区域，且每个图像采集器对应的采集区域均具有至少一个标识点。
6.如权利要求5所述的显示屏的触控方法，其特征在于，所述对所述融合图像进行识别以获取所述融合图像之中的触控点的位置，包括：
获取所述触控点相对于所述触控点所在采集区域之中标识点的相对位置；
根据所述标识点的位置和所述触控点相对于所述标识点的相对位置获取所述触控点的位置。
7.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求4-6中任一所述的显示屏的触控方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求4-6中任一所述的显示屏的触控方法。
CN201910918847.0A 2019-09-26 2019-09-26 显示屏的触控***、方法、电子设备和存储介质 Active CN110688028B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910918847.0A CN110688028B (zh) 2019-09-26 2019-09-26 显示屏的触控***、方法、电子设备和存储介质
US16/823,653 US11093128B2 (en) 2019-09-26 2020-03-19 Touch control system and touch control method of display screen, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910918847.0A CN110688028B (zh) 2019-09-26 2019-09-26 显示屏的触控***、方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110688028A CN110688028A (zh) 2020-01-14
CN110688028B true CN110688028B (zh) 2023-09-01

Family

ID=69110371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910918847.0A Active CN110688028B (zh) 2019-09-26 2019-09-26 显示屏的触控***、方法、电子设备和存储介质

Country Status (2)

Country Link
US (1) US11093128B2 (zh)
CN (1) CN110688028B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583320A (zh) * 2018-11-08 2019-04-05 Oppo广东移动通信有限公司 指纹识别方法及相关装置
CN109756681A (zh) * 2019-01-30 2019-05-14 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
CN109961394A (zh) * 2017-12-23 2019-07-02 沈阳灵景智能科技有限公司 一种mri/pet/ct/pet-ct全景视频辅助***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8605960B2 (en) * 2009-03-02 2013-12-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Fingerprint sensing device
US20110050640A1 (en) * 2009-09-03 2011-03-03 Niklas Lundback Calibration for a Large Scale Multi-User, Multi-Touch System
TWI420369B (zh) * 2011-05-12 2013-12-21 Wistron Corp 影像式觸控裝置及影像式觸控系統
US9542045B2 (en) * 2012-03-14 2017-01-10 Texas Instruments Incorporated Detecting and tracking touch on an illuminated surface using a mean-subtracted image
TWI522871B (zh) * 2013-12-04 2016-02-21 原相科技股份有限公司 光學觸控系統之物件影像之處理方法
US9589539B2 (en) * 2014-04-24 2017-03-07 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
US10664090B2 (en) * 2014-07-31 2020-05-26 Hewlett-Packard Development Company, L.P. Touch region projection onto touch-sensitive surface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961394A (zh) * 2017-12-23 2019-07-02 沈阳灵景智能科技有限公司 一种mri/pet/ct/pet-ct全景视频辅助***
CN109583320A (zh) * 2018-11-08 2019-04-05 Oppo广东移动通信有限公司 指纹识别方法及相关装置
CN109756681A (zh) * 2019-01-30 2019-05-14 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
US11093128B2 (en) 2021-08-17
CN110688028A (zh) 2020-01-14
US20210096717A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
EP3120217B1 (en) Display device and method for controlling the same
CN105491452B (zh) 一种多视频窗口层级切换方法及装置
CN108073334B (zh) 一种基于矢量运算的悬浮触控方法及装置
CN103576848A (zh) 手势操作方法和手势操作装置
CN107545057A (zh) 展示思维导图的方法、装置、设备及存储介质
CN106027931A (zh) 视频录制方法及服务器
CN104410783A (zh) 一种对焦方法及终端
CN103985137A (zh) 应用于人机交互的运动物体跟踪方法及***
CN103729120A (zh) 用于产生缩略图的方法及其电子设备
CN103425409B (zh) 投影显示的控制方法和装置
CN104349045A (zh) 一种图像采集方法及电子设备
CN104270573A (zh) 多点触控对焦成像***和方法及适用的移动终端
JP2022039921A (ja) 目標検出方法及び装置、コンピュータシステム並びに可読記憶媒体
CN101281441A (zh) 一种构造大屏幕多点触摸屏的***和方法
CN111292531A (zh) 交通信号灯的跟踪方法、装置、设备及存储介质
CN110618780A (zh) 用于对多个信号源进行交互的交互装置和交互方法
CN112801004A (zh) 视频片段的筛选方法、装置、设备及存储介质
CN105824422A (zh) 一种信息处理方法及电子设备
CN104035702A (zh) 一种防止智能终端误操作的方法和智能终端
DE102013000066A1 (de) Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung
CN113989696A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN110688028B (zh) 显示屏的触控***、方法、电子设备和存储介质
CN104142736B (zh) 视频监控设备控制方法和装置
CN104050454A (zh) 一种运动手势轨迹获取方法及***
CN104898823A (zh) 控制视标运动的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant