CN113011259A - 电子设备的操作方法 - Google Patents
电子设备的操作方法 Download PDFInfo
- Publication number
- CN113011259A CN113011259A CN202110181016.7A CN202110181016A CN113011259A CN 113011259 A CN113011259 A CN 113011259A CN 202110181016 A CN202110181016 A CN 202110181016A CN 113011259 A CN113011259 A CN 113011259A
- Authority
- CN
- China
- Prior art keywords
- target object
- video stream
- electronic device
- detection
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 115
- 238000011017 operating method Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000001629 suppression Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 230000003993 interaction Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种用于电子设备的操作方法，其中所述电子设备具有显示屏，所述操作方法包括：S101：获取所述显示屏的视频流；S102：对所述视频流进行多区域检索，当所述视频流包含多个区域时，执行步骤S103；S103：对所述多个区域中的至少一个区域进行目标对象检测，将所述至少一个区域的检测结果合并输出；或对所述多个区域中的选定区域进行目标对象检测，输出检测结果。本发明的优选实施例提供了一种电子设备的操作方法，在电子设备的显示屏显示多个窗口、包含多个目标对象的情况下，该操作方法采用分区域NMS、全局NMS与部分区域NMS相结合、以及选定区域NMS的策略，避免或减轻了对于目标对象的漏检。
Description
技术领域
本发明大致涉及模式识别技术领域，尤其涉及一种电子设备的操作方法。
背景技术
电子设备***(嵌入式***)中多个应用程序同时运行的情景下，同时运行的多个应用程序往往无法同时访问电子设备的摄像头或同时获取摄像头拍摄的视频流，导致其中一些应用程序无法进行后续的操作。举例而言，在手机***中某一时刻只能允许一个app访问摄像头，如果某一时刻用户正在打微信电话，而另一个app也需要获取摄像头的视频流做特定的操作，比如进行人脸识别、跟踪或人脸美颜操作，但此时摄像头被占用，无法获取摄像头拍摄的视频流，导致后启用的app无法正常工作，除非关闭微信电话。
此外，对于电子设备***的显示屏的视频流(而非摄像头拍摄的视频流)，在微信电话、视频会议等多方交互类app运行的情况下，显示屏上显示多个窗口、显示屏的视频流中包含多个目标对象，此时，对显示屏的视频流进行目标识别，会存在检测框相互抑制而导致漏检的问题。
背景技术部分的内容仅仅是公开人所知晓的技术，并不当然代表本领域的现有技术。
发明内容
有鉴于现有技术的至少一个缺陷，本发明提供一种用于电子设备的操作方法，其中所述电子设备具有显示屏，所述操作方法包括：
S101：获取所述显示屏的视频流；
S102：对所述视频流进行多区域检索，当所述视频流包含多个区域时，执行步骤S103；
S103：对所述多个区域中的至少一个区域进行目标对象检测，将所述至少一个区域的检测结果合并输出；或对所述多个区域中的选定区域进行目标对象检测，输出检测结果。
根据本发明的一个方面，其中步骤S103进一步包括：
对所述视频流进行全局的目标对象检测，将所述全局检测结果与所述至少一个区域的检测结果合并输出。
根据本发明的一个方面，其中步骤S102通过霍夫检测完成。
根据本发明的一个方面，其中所述目标对象检测进一步包括：
设定锚点，经过神经网络卷积输出特征图；
对所述特征图的多个候选框以非极大值抑制算法进行过滤。
根据本发明的一个方面，其中步骤S103为对所述多个区域中的至少一个区域进行目标对象检测，将所述至少一个区域的检测结果合并输出，所述方法进一步包括：
根据所述至少一个区域的尺寸分别设定锚点。
根据本发明的一个方面，进一步包括：
S104：对所述视频流中的至少一个目标对象进行特征识别，并根据识别结果，在所述至少一个目标对象中选择跟踪目标。
根据本发明的一个方面，其中步骤S104进一步包括：
根据目标对象的骨架特征进行识别，当识别出所述视频流中一目标对象做出预设手势时，将该目标对象作为所述跟踪目标。
根据本发明的一个方面，进一步包括：
S104：将所述电子设备的用户在所述视频流中选择的目标对象作为所述跟踪目标。
根据本发明的一个方面，其中所述电子设备的用户对于目标对象的选择通过双击和/或滑动所述显示屏实现。
根据本发明的一个方面，其中步骤S103进一步包括：
对所述视频流进行特征识别，并根据识别结果确定所述选定区域。
根据本发明的一个方面，其中步骤S103进一步包括：
根据行人骨架特征进行识别，当识别出所述视频流中包含预设手势时，将该预设手势所在的区域作为所述选定区域。
根据本发明的一个方面，其中步骤S103进一步包括：
将所述电子设备的用户在所述视频流中选择的区域作为所述选定区域。
根据本发明的一个方面，其中所述电子设备的用户对于目标区域的选择通过双击和/或滑动所述显示屏实现。
根据本发明的一个方面，所述操作方法进一步包括：
S104：将所述选定区域内的目标对象作为跟踪目标。
根据本发明的一个方面，其中步骤S103进一步包括：
S1031：对所述选定区域进行全局的目标对象检测，输出检测结果；
S1032：对所述选定区域进行跟踪目标附近的目标对象检测，输出检测结果；
其中步骤S1031和步骤S1032隔帧交替进行。
根据本发明的一个方面，所述操作方法进一步包括：
S105：获取所述跟踪目标的第一参数信息，并根据所述跟踪目标的第一参数信息，输出所述电子设备的更新的位姿参数。
根据本发明的一个方面，其中所述第一参数信息包括位置参数和/或尺寸参数、加速度参数。
根据本发明的一个方面，其中所述电子设备还包括摄像头，其中步骤S105进一步包括：
根据所述跟踪目标的第一参数信息，计算所述电子设备的更新的位姿参数，以使得在所述摄像头采集的图像中，所述跟踪目标的位置和/或尺寸满足预设要求。
根据本发明的一个方面，其中所述电子设备安装在云台上，所述步骤S105进一步包括：将所述电子设备的更新的位姿参数输出到所述云台，所述操作方法进一步包括：
S106：通过所述云台，根据所述电子设备的更新的位姿参数，调节所述电子设备的位姿。
根据本发明的一个方面，其中所述电子设备包括手机、PAD、运动相机、AR/VR眼镜、家用智能摄像头中的一种或多种，所述目标对象包括人脸、虹膜、发热体、动态目标物中的一种或多种。
本发明还提供一种计算机可读存储介质,包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上文所述的操作方法。
本发明的优选实施例提供了一种电子设备的操作方法，在电子设备的显示屏显示多个窗口、包含多个目标对象的情况下，该操作方法采用分区域NMS、全局NMS与部分区域NMS相结合、以及选定区域NMS的策略，避免或减轻了对于目标对象的漏检。在输出对于目标对象的检测结果后，可以进行后续的操作，解决了在其他应用程序已调用电子设备的摄像头的情况下，无法同步进行人脸识别、人脸美颜、人体测温、云台跟随等操作的问题。本发明的优选实施例无需依赖其他应用程序，使用户在打微信电话、进行视频会议的途中，即可完成对于目标对象的识别和跟踪，实践证明具有有益的效果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1示意性地示出了对于显示屏的视频流进行目标检测时出现漏检的情况；
图2示意性地示出了根据本发明的一个优选实施例对于显示屏的视频流进行多区域目标检测并合并输出检测结果；
图3示意性地示出了根据本发明的一个优选实施例对于显示屏的视频流进行选定区域的目标检测并输出检测结果；
图4示意性地示出了根据本发明的一个优选实施例对于显示屏的视频流进行全局目标检测以及部分区域目标检测并合并输出检测结果；
图5示出了根据本发明的一个优选实施例的用于电子设备的操作方法；
图6示意性地示出了根据本发明的一个优选实施例根据行人骨架特征识别跟踪目标；
图7示意性地示出了根据本发明的一个优选实施例根据行人骨架特征选择选定区域；
图8示意性地示出了根据本发明的一个优选实施例在电子设备的显示屏上显示屏幕内容；
图9示意性地示出了根据本发明的一个优选实施例电子设备安装在云台上并通过云台进行目标对象的跟踪。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
以下结合附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
现有的电子设备中，无法开放同一个时刻多个应用程序访问摄像头的权限，也就是说，当摄像头已被某一个应用程序的进程调用时，其他应用程序将无法获取摄像头的视频流数据。当摄像头被调用时，在一些情况下，会在显示屏上显示摄像头实时拍摄到的视频内容，如图1所示，显示屏上的窗口B中显示了摄像头实时拍摄的包含目标对象的图像。该目标对象为人脸，但本领域技术人员容易理解，目标对象还包括人体、人眼、动态物体等其他目标。本发明的优选实施例，在不能获取电子设备的摄像头的视频流的情况下，通过读取电子设备的显示屏的视频流数据，进行后续的目标检测。
如果电子设备的显示屏的视频流中仅包含摄像头实时拍摄的目标对象，则可以对该目标对象直接进行后续的操作；但通常情况下，电子设备的显示屏的视频流中不仅包含摄像头实时拍摄的目标对象，还包括其他目标对象。例如，电子设备的摄像头被微信电话、视频会议等多方交互类app调用时，电子设备的显示屏上包含多个窗口、每个窗口均具有至少一个目标对象，如图1所示，显示屏上的窗口A中显示了远程交互的目标对象。
如果对显示屏的视频流进行目标检测，可能发生窗口B内的目标对象被漏检的情况。原因是目标检测中的非极大值抑制算法(Non-Maximum Suppression,NMS)的本质是搜索局部极大值，抑制非极大值元素。目标检测中应用NMS算法的主要目的是消除多余(交叉重复)的窗口，找到最佳的目标检测位置。NMS的检测策略是通过抑制非极大置信度的候选框来提高检测的效果，然而，当两个目标对象属于同类目标，那么在NMS算法进行概率排序的时候，两个目标对象会出现同一个锚点(anchor)拥有两个目标的相同置信度的情况，如果此时采用非极大值抑制的方法来进行检测，就会出现本属于另一目标对象的次极大候选框被剔除的可能，这会直接损失掉另一目标对象的候选检测框。图1示意性地示出了上述这种情况，也就是说，同类目标必须具有一定的间距，否则就可能出现目标检测中的漏检。
第一实施例
如图2所示，根据本发明的一个优选实施例，当电子设备运行多方交互类app时，电子设备的显示屏上显示多个窗口、包含多个目标对象，为了避免其中部分面积较小的窗口内的目标对象被抑制(进行NMS过滤时被剔除)，本发明提供一种用于电子设备的操作方法10，其中电子设备具有显示屏，操作方法10包括：
在步骤S101中，获取显示屏的视频流。显示屏的视频流来源于(1)电子设备的录屏图像；(2)视频通话、微信等APP的接口开放的视频流数据；(3)电子设备***通过接口开放的视频流数据。图2所示的实施例中，显示屏的视频流同时包括了窗口A-F的视频流，其中窗口A-E的视频流中具有目标对象，窗口F的视频流中具有文字和/或图片内容。本领域技术人员容易理解，电子设备的显示屏的多个窗口中全部或部分具有目标对象，均适用于本发明所提供的操作方法，均在本发明的保护范围之内。
在步骤S102中，对视频流进行多区域检索，当视频流包含多个区域时，执行步骤S103。图2所示的实施例中，对显示屏的视频流进行多区域检索，划分出分别包含窗口A-F的多个区域。
在步骤S103中，对多个区域中的至少一个区域进行目标对象检测，将该至少一个区域的检测结果合并输出。图2所示的实施例中，分别对包含窗口A-F的多个区域进行目标对象检测，并将包含窗口A-F的多个区域的检测结果合并输出。
第二实施例
如图3所示，当电子设备运行多方交互类app时，电子设备的显示屏上显示多个窗口、包含多个目标对象，为了避免其中部分面积较小的窗口内的目标对象被抑制(窗口面积较小很可能使得目标对象在显示屏上所占的面积也较小，因此在进行NMS过滤时容易被剔除)，本发明提供一种用于电子设备的操作方法10，其中电子设备具有显示屏，操作方法10包括：
在步骤S101中，获取显示屏的视频流。显示屏的视频流来源于(1)电子设备的录屏图像；(2)视频通话、微信等APP的接口开放的视频流数据；(3)电子设备***通过接口开放的视频流数据。图3所示的实施例中，显示屏的视频流同时包括了窗口A-F的视频流，其中窗口A-E的视频流中具有目标对象，窗口F的视频流中具有文字和/或图片内容。本领域技术人员容易理解，电子设备的显示屏的多个窗口中全部或部分具有目标对象，均适用于本发明所提供的操作方法，均在本发明的保护范围之内。
在步骤S102中，对视频流进行多区域检索，当视频流包含多个区域时，执行步骤S103。图3所示的实施例中，对显示屏的视频流进行多区域检索，划分出分别包含窗口A-F的多个区域。
在步骤S103中，对多个区域中的选定区域进行目标对象检测，输出检测结果。图3所示的实施例中，选定区域为包含窗口A的区域，仅对该选定区域进行目标对象检测，输出检测结果。优选地，通过特征识别(如通过行人骨架特征识别特定手势)或用户的选择(如通过点击或滑动显示屏)确定该选定区域，通常情况下，该选定区域所包含的窗口中，显示电子设备的摄像头实时拍摄的图像，便于进行后续的目标跟踪等操作。
第三实施例
如图4所示，当电子设备运行多方交互类app时，电子设备的显示屏上显示多个窗口、包含多个目标对象，为了避免其中部分面积较小的窗口内的目标对象被抑制(窗口面积较小很可能使得目标对象在显示屏上所占的面积也较小，因此在进行NMS过滤时容易被剔除)，本发明提供一种用于电子设备的操作方法10，其中电子设备具有显示屏，操作方法10包括：
在步骤S101中，获取显示屏的视频流。显示屏的视频流来源于(1)电子设备的录屏图像；(2)视频通话、微信等APP的接口开放的视频流数据；(3)电子设备***通过接口开放的视频流数据。图4所示的实施例中，显示屏的视频流同时包括了窗口A和窗口B的视频流，其中显示屏上的窗口A显示了电子设备的摄像头实时拍摄的包含目标对象的图像，窗口B显示了远程交互的包含目标对象的图像。
在步骤S102中，对视频流进行多区域检索，当视频流包含多个区域时，执行步骤S103。图4所示的实施例中，对显示屏的视频流进行多区域检索，划分出分别包含窗口A和窗口B的两个区域。
在步骤S103中，对多个区域中的至少一个区域进行目标对象检测，并对视频流进行全局的目标对象检测，将全局检测结果与至少一个区域的检测结果合并输出。在对显示屏的视频流进行全局的目标对象的检测中，可能发生漏检的现象，再对其中面积较小的一个或多个区域单独进行目标对象检测，作为对全局检测结果的补充。NMS过滤后，与全局检测的检测结果合并输出，克服了可能存在的漏检情况，且节省了算法。
图4所示的实施例中，对电子设备的显示屏进行全局的目标对象的检测，并对面积较小的包含窗口B的区域进行目标对象的检测，将检测结果合并输出，避免了小窗口B内的目标对象被抑制的情况。虽然图4仅示出了两个窗口的实施例，本领域技术人员容易理解，对于更多窗口的情况，先进行全局检测，再对其中一个或多个面积较小的窗口分别单独进行目标检测、将全局检测的结果与其中部分区域单独检测的结果合并输出，这些都在本发明的保护范围之内。
对于实施例一，各个区域单独进行NMS，避免了多个区域所包含的目标对象之间距离过近，候选框重叠而造成的漏检。该实施例一方面解决了无法获取电子设备的摄像头视频流数据的技术问题，另一方面又能够针对电子设备的显示屏的视频流中出现的多个目标对象进行后续操作，而非仅对摄像头实时拍摄到的目标对象进行操作。
对于实施例二，仅对选定区域进行NMS，大大节省了算力，适用于仅需对选定区域所包含的目标对象(通常为摄像头实时拍摄到的目标对象)进行后续操作的应用场景。
对于实施例三，对显示屏的视频流进行全局NMS，对漏检可能性较高的部分区域分别单独进行NMS，将两者相结合，合并检测结果。该实施例既提高了目标检测的准确率，同时相比于实施例一，又进一步简化了算法。
根据本发明的一个优选实施例，图5示出了本发明所提供的用于电子设备的操作方法10的流程图，其中电子设备具有显示屏，操作方法10包括：
在步骤S101中，获取显示屏的视频流；
在步骤S102中，对视频流进行多区域检索，当视频流包含多个区域时，执行步骤S103；
在步骤S103中，对多个区域中的至少一个区域进行目标对象检测，将至少一个区域的检测结果合并输出；或对多个区域中的选定区域进行目标对象检测，输出检测结果；或对多个区域中的至少一个区域进行目标对象检测，以及对视频流进行全局的目标对象检测，将全局检测结果与至少一个区域的检测结果合并输出。
根据本发明的一个优选实施例，其中步骤S102：对视频流进行多区域检索通过霍夫检测完成。霍夫检测把直角坐标与极坐标之间做变换，通过点映射直线，通过遍历所有像素点，极坐标曲线的交点便是检测到的可能直线。
步骤S102也可以通过SIFT/SURF算法、Haar特征提取算法完成，但对于区域尺寸大小的识别，单独的SIFT/SURF算法、Haar特征提取算法无法完成。因此，对于上述实施例三，对部分面积较小的区域分别单独进行目标检测，并与视频流的全局目标检测结果合并输出，如果在步骤S102中采用SIFT/SURF算法、Haar特征提取算法，则应结合边缘检测识别大小区域。
根据本发明的一个优选实施例，其中目标对象检测进一步包括：
设定锚点，经过神经网络卷积输出特征图；
对特征图的多个候选框以非极大值抑制算法(NMS)进行过滤。
根据本发明的一个优选实施例，当步骤S103为对多个区域进行目标对象检测，并将检测结果合并输出时，操作方法10进一步包括：根据多个区域的尺寸分别设定大小不同的锚点(anchor)。
针对不同尺寸的区域设定不同大小的检测anchor。优选地，训练时设定3组anchor(例如，大、中、小三组anchor尺度，可以是规律性地间隔1000、2000像素，也可以是无规律性的)，尺寸较大的区域选择大尺度的anchor计算，尺寸较小的区域选择更多的小尺度anchor计算，进而加速计算速度。实际应用中也可以依据区域尺寸的不同，根据模型推导出anchor的大小。
操作方法10的步骤S101-S103已能够将显示屏的视频流中的全部目标对象检出，对于进行目标对象跟随等的后续操作，需要在多个目标对象中进行选择。根据本发明的一个优选实施例，操作方法10进一步包括：
在步骤S104中，对视频流中的至少一个目标对象进行特征识别，并根据识别结果，在至少一个目标对象中选择跟踪目标。
如图6所示，根据本发明的一个优选实施例，根据目标对象的骨架特征进行识别，当识别出视频流中一目标对象做出预设手势时，将该目标对象作为跟踪目标。依据人体关键点信息，通过行人骨架识别，可以确定当前手势属于哪个行人，进而确定跟踪目标。
根据本发明的一个优选实施例，操作方法10进一步包括：
在步骤S104中，将电子设备的用户在视频流中选择的目标对象作为跟踪目标。优选地，电子设备的用户对于目标对象的选择通过点击和/或滑动显示屏实现。
根据本发明的一个优选实施例，当步骤S103为对选定区域进行目标对象检测，并输出检测结果时，操作方法10可以通过与上述选择跟踪目标类似的方法对选定区域进行选择，则步骤S103进一步包括：对视频流进行特征识别，并根据识别结果确定选定区域。优选地，如图7所示，根据行人骨架特征进行识别，当识别出视频流中包含预设手势时，将该预设手势所在的区域作为选定区域。
根据本发明的一个优选实施例，操作方法10可以通过与上述选择跟踪目标类似的方法对选定区域进行选择，则步骤S103进一步包括：将电子设备的用户在视频流中选择的区域作为选定区域。优选地，电子设备的用户对于目标区域的选择通过点击和/或滑动显示屏实现。
根据本发明的一个优选实施例，当步骤S103为对选定区域进行目标对象检测，并输出检测结果时，操作方法10进一步包括：
将选定区域内检测出的目标对象直接作为跟踪目标。通常情况下，该选定区域内检测出的目标对象即为电子设备的摄像头实时拍摄的目标对象，可以针对该目标对象进行后续的目标跟踪等操作。对于更加复杂的情况，例如选定区域内包含多个目标对象的情形，可以采用上述确定目标对象的方法(行人骨架特征识别、用户手动选择)进一步地进行选择，这些都在本发明的保护范围之内。
根据本发明的一个优选实施例，当步骤S103为对选定区域进行目标对象检测，并输出检测结果时，操作方法10进一步包括：
在步骤S1031中，对选定区域进行全局的目标对象检测，输出检测结果；
在步骤S1032中，对选定区域进行跟踪目标附近的目标对象检测，输出检测结果；
其中步骤S1031和步骤S1032隔帧交替进行。
对于选定区域，采用全局检测和局部检测两种方式，在未进行跟踪阶段进行全局检测；在跟踪阶段，进行局部检测可以提高跟踪过程中的检测距离，降低算法的计算花费。为了保证检测的可行性，采用隔帧交替进行全局检测和局部检测的策略，避免跟踪目标快速运动造成的漏检问题(跟踪目标不在局部检测框内)。
根据本发明的一个优选实施例，如图8所示，目标对象的跟踪开始后，在电子设备的显示屏上显示当前屏幕的所有内容，如图8中所示的窗口C，该显示窗口可以显示，也可以隐藏。
根据本发明的一个优选实施例，操作方法10进一步包括：
在步骤S105中，获取跟踪目标的第一参数信息，并根据跟踪目标的第一参数信息，输出电子设备的更新的位姿参数。优选地，该第一参数信息包括位置参数和/或尺寸参数、加速度参数。
根据本发明的一个优选实施例，其中电子设备还包括摄像头，步骤S105进一步包括：
根据跟踪目标的第一参数信息，计算电子设备的更新的位姿参数，以使得在摄像头采集的图像中，该跟踪目标的位置和/或尺寸满足预设要求。
根据本发明的一个优选实施例，如图9所示，其中电子设备100安装在云台200上，步骤S105进一步包括：将电子设备100的更新的位姿参数输出到云台200，操作方法10进一步包括：
在步骤S106中，通过云台200，根据电子设备100的更新的位姿参数，调节电子设备100的位姿。
根据本发明的一个优选实施例，操作方法10中，电子设备包括手机、PAD、运动相机、AR/VR眼镜、家用智能摄像头中的一种或多种，目标对象包括人脸、虹膜、发热体、动态目标物中的一种或多种。
根据本发明的一个优选实施例，本发明还提供一种计算机可读存储介质,包括存储于其上的计算机可执行指令，该可执行指令在被处理器执行时实施如上文所述的操作方法10。
本发明的优选实施例提供了一种电子设备的操作方法，在电子设备的显示屏显示多个窗口、包含多个目标对象的情况下，该操作方法采用分区域NMS、全局NMS与部分区域NMS相结合、以及选定区域NMS的策略，避免或减轻了对于目标对象的漏检。在输出对于目标对象的检测结果后，可以进行后续的操作，解决了在其他应用程序已调用电子设备的摄像头的情况下，无法同步进行人脸识别、人脸美颜、人体测温、云台跟随等操作的问题。本发明的优选实施例无需依赖其他应用程序，使用户在打微信电话、进行视频会议的途中，即可完成对于目标对象的识别和跟踪，实践证明具有有益的效果。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (22)
1.一种用于电子设备的操作方法，其中所述电子设备具有显示屏，所述操作方法包括：
S101：获取所述显示屏的视频流；
S102：对所述视频流进行多区域检索，当所述视频流包含多个区域时，执行步骤S103；
S103：对所述多个区域中的至少一个区域进行目标对象检测，将所述至少一个区域的检测结果输出。
2.如权利要求1所述的操作方法，其中步骤S103进一步包括：
对所述多个区域中的选定区域进行目标对象检测，输出检测结果。
3.如权利要求1所述的操作方法，其中步骤S103进一步包括：
对所述视频流进行全局的目标对象检测，将所述全局检测结果与所述至少一个区域的检测结果合并输出。
4.如权利要求1-3中任一项所述的操作方法，其中步骤S102通过霍夫检测完成。
5.如权利要求1-3中任一项所述的操作方法，其中所述目标对象检测进一步包括：
设定锚点，经过神经网络卷积输出特征图；
对所述特征图的多个候选框以非极大值抑制算法进行过滤。
6.如权利要求5所述的操作方法，其中步骤S103为对所述多个区域中的至少一个区域进行目标对象检测，将所述至少一个区域的检测结果合并输出，所述方法进一步包括：
根据所述至少一个区域的尺寸分别设定锚点。
7.如权利要求1-3中任一项所述的操作方法，进一步包括：
S104：对所述视频流中的至少一个目标对象进行特征识别，并根据识别结果，在所述至少一个目标对象中选择跟踪目标。
8.如权利要求7所述的操作方法，其中步骤S104进一步包括：
根据骨架特征进行识别，当识别出所述视频流中一目标对象做出预设手势时，将该目标对象作为所述跟踪目标。
9.如权利要求1-3中任一项所述的操作方法，进一步包括：
S104：将所述电子设备的用户在所述视频流中选择的目标对象作为跟踪目标。
10.如权利要求9所述的操作方法，其中所述电子设备的用户对于目标对象的选择通过点击和/或滑动所述显示屏实现。
11.如权利要求2所述的操作方法，其中步骤S103进一步包括：
对所述视频流进行特征识别，并根据识别结果确定所述选定区域。
12.如权利要求11所述的操作方法，其中步骤S103进一步包括：
根据骨架特征进行识别，当识别出所述视频流中包含预设手势时，将该预设手势所在的区域作为所述选定区域。
13.如权利要求2所述的操作方法，其中步骤S103进一步包括：
将所述电子设备的用户在所述视频流中选择的区域作为所述选定区域。
14.如权利要求13所述的操作方法，其中所述电子设备的用户对于目标区域的选择通过点击和/或滑动所述显示屏实现。
15.如权利要求11-14中任一项所述的操作方法，进一步包括：
S104：将所述选定区域内的目标对象作为跟踪目标。
16.如权利要求15所述的操作方法，其中步骤S103进一步包括：
S1031：对所述选定区域进行全局的目标对象检测，输出检测结果；
S1032：对所述选定区域进行跟踪目标附近的目标对象检测，输出检测结果；
其中步骤S1031和步骤S1032隔帧交替进行。
17.如权利要求8或10所述的操作方法，进一步包括：
S105：获取所述跟踪目标的第一参数信息，并根据所述跟踪目标的第一参数信息，输出所述电子设备的更新的位姿参数。
18.如权利要求17所述的操作方法，其中所述第一参数信息包括位置参数和/或尺寸参数、加速度参数。
19.如权利要求17所述的操作方法，其中所述电子设备还包括摄像头，其中步骤S105进一步包括：
根据所述跟踪目标的第一参数信息，计算所述电子设备的更新的位姿参数，以使得在所述摄像头采集的图像中，所述跟踪目标的位置和/或尺寸满足预设要求。
20.如权利要求17所述的操作方法，其中所述电子设备安装在云台上，所述步骤S105进一步包括：将所述电子设备的更新的位姿参数输出到所述云台，所述操作方法进一步包括：
S106：通过所述云台，根据所述电子设备的更新的位姿参数，调节所述电子设备的位姿。
21.如权利要求1-3中任一项所述的操作方法，其中所述电子设备包括手机、PAD、运动相机、AR/VR眼镜、家用智能摄像头中的一种或多种，所述目标对象包括人脸、虹膜、发热体、动态目标物中的一种或多种。
22.一种计算机可读存储介质,包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如权利要求1-21中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110181016.7A CN113011259A (zh) | 2021-02-09 | 2021-02-09 | 电子设备的操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110181016.7A CN113011259A (zh) | 2021-02-09 | 2021-02-09 | 电子设备的操作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113011259A true CN113011259A (zh) | 2021-06-22 |
Family
ID=76401981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110181016.7A Pending CN113011259A (zh) | 2021-02-09 | 2021-02-09 | 电子设备的操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011259A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024131131A1 (zh) * | 2022-12-23 | 2024-06-27 | 广州朗国电子科技股份有限公司 | 一种会议视频数据处理方法、***、会议终端及介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870117A (zh) * | 2014-02-18 | 2014-06-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| US20150172599A1 (en) * | 2013-12-13 | 2015-06-18 | Blake Caldwell | System and method for interactive animations for enhanced and personalized video communications |
| CN108683855A (zh) * | 2018-07-26 | 2018-10-19 | 广东小天才科技有限公司 | 一种摄像头的控制方法及终端设备 |
| CN109325967A (zh) * | 2018-09-14 | 2019-02-12 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、介质以及设备 |
| CN109584213A (zh) * | 2018-11-07 | 2019-04-05 | 复旦大学 | 一种多目标编号选定跟踪方法 |
| CN109669658A (zh) * | 2018-12-29 | 2019-04-23 | 联想(北京)有限公司 | 一种显示方法、装置及显示*** |
| CN109785358A (zh) * | 2018-11-23 | 2019-05-21 | 山东航天电子技术研究所 | 一种基于循环确认机制的抗遮挡红外小目标跟踪方法 |
| CN109963187A (zh) * | 2017-12-14 | 2019-07-02 | 腾讯科技（深圳）有限公司 | 一种动画实现方法和装置 |
| CN109977952A (zh) * | 2019-03-27 | 2019-07-05 | 深动科技（北京）有限公司 | 基于局部最大值的候选目标检测方法 |
| CN110147461A (zh) * | 2019-04-30 | 2019-08-20 | 维沃移动通信有限公司 | 图像显示方法、装置、终端设备及计算机可读存储介质 |
| CN110348318A (zh) * | 2019-06-18 | 2019-10-18 | 北京大米科技有限公司 | 图像识别方法、装置、电子设备及介质 |
| CN110428448A (zh) * | 2019-07-31 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 目标检测跟踪方法、装置、设备及存储介质 |
| CN110428449A (zh) * | 2019-07-31 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 目标检测跟踪方法、装置、设备及存储介质 |
| CN111885303A (zh) * | 2020-07-06 | 2020-11-03 | 雍朝良 | 一种主动跟踪录摄像视觉方法 |
| CN112073770A (zh) * | 2019-06-10 | 2020-12-11 | 海信视像科技股份有限公司 | 显示设备及视频通讯数据处理方法 |
| CN112330715A (zh) * | 2020-10-09 | 2021-02-05 | 深圳英飞拓科技股份有限公司 | 一种跟踪方法、跟踪装置、终端设备及可读存储介质 |
-
2021
- 2021-02-09 CN CN202110181016.7A patent/CN113011259A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150172599A1 (en) * | 2013-12-13 | 2015-06-18 | Blake Caldwell | System and method for interactive animations for enhanced and personalized video communications |
| CN103870117A (zh) * | 2014-02-18 | 2014-06-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN109963187A (zh) * | 2017-12-14 | 2019-07-02 | 腾讯科技（深圳）有限公司 | 一种动画实现方法和装置 |
| CN108683855A (zh) * | 2018-07-26 | 2018-10-19 | 广东小天才科技有限公司 | 一种摄像头的控制方法及终端设备 |
| CN109325967A (zh) * | 2018-09-14 | 2019-02-12 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、介质以及设备 |
| CN109584213A (zh) * | 2018-11-07 | 2019-04-05 | 复旦大学 | 一种多目标编号选定跟踪方法 |
| CN109785358A (zh) * | 2018-11-23 | 2019-05-21 | 山东航天电子技术研究所 | 一种基于循环确认机制的抗遮挡红外小目标跟踪方法 |
| CN109669658A (zh) * | 2018-12-29 | 2019-04-23 | 联想(北京)有限公司 | 一种显示方法、装置及显示*** |
| CN109977952A (zh) * | 2019-03-27 | 2019-07-05 | 深动科技（北京）有限公司 | 基于局部最大值的候选目标检测方法 |
| CN110147461A (zh) * | 2019-04-30 | 2019-08-20 | 维沃移动通信有限公司 | 图像显示方法、装置、终端设备及计算机可读存储介质 |
| CN112073770A (zh) * | 2019-06-10 | 2020-12-11 | 海信视像科技股份有限公司 | 显示设备及视频通讯数据处理方法 |
| CN110348318A (zh) * | 2019-06-18 | 2019-10-18 | 北京大米科技有限公司 | 图像识别方法、装置、电子设备及介质 |
| CN110428448A (zh) * | 2019-07-31 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 目标检测跟踪方法、装置、设备及存储介质 |
| CN110428449A (zh) * | 2019-07-31 | 2019-11-08 | 腾讯科技（深圳）有限公司 | 目标检测跟踪方法、装置、设备及存储介质 |
| CN111885303A (zh) * | 2020-07-06 | 2020-11-03 | 雍朝良 | 一种主动跟踪录摄像视觉方法 |
| CN112330715A (zh) * | 2020-10-09 | 2021-02-05 | 深圳英飞拓科技股份有限公司 | 一种跟踪方法、跟踪装置、终端设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 武玉伟 等: "《深度学习基础及应用》", vol. 1, 30 November 2020, 北京理工大学出版社, pages: 233 - 235 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024131131A1 (zh) * | 2022-12-23 | 2024-06-27 | 广州朗国电子科技股份有限公司 | 一种会议视频数据处理方法、***、会议终端及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3648448B1 (en) | Target feature extraction method and device, and application system | |
| KR101760109B1 (ko) | 영역 추출 방법 및 장치 | |
| CN108805900B (zh) | 一种跟踪目标的确定方法及装置 | |
| CN107438173A (zh) | 视频处理装置、视频处理方法和存储介质 | |
| EP2616993A1 (en) | Smile detection systems and methods | |
| GB2529943A (en) | Tracking processing device and tracking processing system provided with same, and tracking processing method | |
| JPH07168932A (ja) | ビデオ画像中の人間を探索する方法 | |
| CN110163211B (zh) | 一种图像识别方法、装置和存储介质 | |
| CN103079034A (zh) | 一种感知拍摄方法及*** | |
| CN109002776B (zh) | 人脸识别方法、***、计算机设备和计算机可读存储介质 | |
| CN112207821A (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| JP2010057105A (ja) | オブジェクトの３次元追跡方法およびシステム | |
| US9947106B2 (en) | Method and electronic device for object tracking in a light-field capture | |
| CN111259757B (zh) | 一种基于图像的活体识别方法、装置及设备 | |
| CN114885119A (zh) | 一种基于计算机视觉的智能监控报警***及方法 | |
| CN113065568A (zh) | 目标检测、属性识别与跟踪方法及*** | |
| CN113011259A (zh) | 电子设备的操作方法 | |
| CN113610865A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US9286707B1 (en) | Removing transient objects to synthesize an unobstructed image | |
| CN113225451A (zh) | 图像处理方法、装置和电子设备 | |
| CN113569594A (zh) | 一种人脸关键点的标注方法及装置 | |
| CN106780599A (zh) | 一种基于Hough变化的圆形识别方法及*** | |
| CN110472551A (zh) | 一种提高准确度的跨镜追踪方法、电子设备及存储介质 | |
| CN115514887A (zh) | 视频采集的控制方法、装置、计算机设备和存储介质 | |
| CN108428241A (zh) | 高清视频中移动目标的运动轨迹捕获方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |