CN113253837A - 空中书写方法、装置、线上直播***和计算机设备 - Google Patents
空中书写方法、装置、线上直播***和计算机设备 Download PDFInfo
- Publication number
- CN113253837A CN113253837A CN202110354090.4A CN202110354090A CN113253837A CN 113253837 A CN113253837 A CN 113253837A CN 202110354090 A CN202110354090 A CN 202110354090A CN 113253837 A CN113253837 A CN 113253837A
- Authority
- CN
- China
- Prior art keywords
- writing
- user
- hand shape
- real
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012544 monitoring process Methods 0.000 claims abstract description 34
- 230000003993 interaction Effects 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000037237 body shape Effects 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明属于教育领域，提供一种空中书写方法、线上直播***、装置和计算机设备，该方法包括：监测用户距摄像装置的距离；当监测到用户距所述摄像装置的距离在预设距离范围内时，对用户的实时图像进行检测以监测用户的手形；当监测到用户的手形为书写手形时，开始对该书写手形进行检测以识别书写关键点，并记录该书写关键点的位置；根据多个时间点的所述书写关键点的位置，生成书写轨迹。本发明的方法能够提高书写识别的速度、精确度，并能够提高用户使用体验感，还能够进一步优化线上直播课交互中的空中书写方法。
Description
技术领域
本发明属于教育领域，特别适用于线上教育领域，更具体的是涉及一种空中书写方法、装置、线上直播***和计算机设备。
背景技术
近年来，网络日益普及，网络课程直播已成为现代远程教育研究和应用中最新的发展趋势和研究热点之一，把网络教育同实时、交互结合起来，将使网络教育步入一个新的阶段。当前的线上教育模式，多为线上视频播放课程以及线上视频互动课程等。
事实上，线上视频互动课程会涉及语音交互、体感交互、眼动交互和手势交互等多样化交互方式。对于手势交互方式，在完成手势交互的过程中需要进行手势识别，现有方法包括基于图像进行识别的方法，使用姿态传感器进行识别的方法。但是，在识别精确度、数据处理速度、计算过程的复杂度以及用户使用体验感方面仍存在很大改进空间。
因此，有必要提供一种空中书写方法，以解决上述问题。
发明内容
(一)要解决的技术问题
本发明旨在解决线上视频互动课程中手势交互的识别精度低、数据处理速度慢、用户使用体验感差等技术问题。
(二)技术方案
为解决上述技术问题，本发明的一方面提出一种空中书写方法，用于线上直播课，所述方法包括如下步骤：监测用户距摄像装置的距离；当监测到用户距所述摄像装置的距离在预设距离范围内时，对用户的实时图像进行检测以监测用户的手形；当监测到用户的手形为书写手形时，开始对该书写手形进行检测以识别书写关键点，并记录该书写关键点的位置；根据多个时间点的所述书写关键点的位置，生成书写轨迹。
可选地，所述监测用户距摄像装置的距离，包括：对用户的实时图像进行实时检测以监测用户距所述摄像装置的距离。进一步可选地，所述对用户的实时图像进行实时检测以监测用户距所述摄像装置的距离，包括：检测所述实时图像中用户的身形的面积占比，根据该面积占比计算所述用户距所述摄像装置的距离。
根据本发明的优选实施方式，所述对用户的实时图像进行检测以监测用户的手形包括：使用第一图像识别模型检测所述用户的实时图像中是否包含预定义的书写手形，所述图像识别模型是经训练的能识别人手的书写手形的机器学习模型，当检测到该实时图像中包含预定义的书写手形时，启动书写关键点的检测流程。
根据本发明的优选实施方式，所述书写关键点的检测流程包括：使用第二图像识别模型检测所述书写关键点，所述图像识别模型是经训练的能识别书写手形中的书写关键点的机器学习模型。
根据本发明的优选实施方式，所述预定义的书写手形为食指伸开其余手指握拢的姿势，所述人手形状的书写关键点是指食指尖。
根据本发明的优选实施方式，所述根据多个时间点的所述书写关键点的位置，生成书写轨迹，包括：将所述多个时间点的书写关键点的位置进行直线或曲线拟合生成所述运动轨迹；根据所述运动轨迹生成书写轨迹。
根据本发明的可选实施方式，当用户在书写端进行书写时，生成书写轨迹，并将该书写轨迹实时传输至与所述书写端交互的相对端。
根据本发明的可选实施方式，还包括：将在书写端所生成的书写轨迹耦合到视频流中，并且根据书写端或相对端的用户指令将所述书写轨迹在所述用户视频流中显示或隐藏。
根据本发明的可选实施方式，还包括：将所述书写轨迹在书写端和/或相对端中显示。
本发明第二方面提出一种线上直播***，所述线上直播***包括：书写端和相对端；至少一个服务器，用于线上直播课上课期间书写端和相对端之间的交互，并且所述书写端或所述至少一个服务器使用上面任一项所述的空中书写方法生成书写轨迹；所述至少一个服务器将生成的所述书写轨迹以视频流的方式传输至所述相对端，并在所述书写端和/或相对端中显示。
本发明第三方面提出一种线上直播课的空中书写装置，所述空中书写装置包括：第一监测模块，用于监测用户距摄像装置的距离；第二监测模块，当监测到用户距所述摄像装置的距离在预设距离范围内时，对用户的实时图像进行检测以监测用户的手形；第三监测模块，当监测到第一用户的手形为书写手形时，开始对该书写手形进行检测以识别书写关键点；生成模块，根据多个时间点的所述书写关键点的位置，生成书写轨迹。
本发明第四方面提出一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行本发明所述的线上直播课的空中书写方法。
本发明第五方面提出一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令当被处理器执行时，实现本发明所述的线上直播课的空中书写方法。
(三)有益效果
与现有技术相比，本发明本发明在监测到用户距所述摄像装置的距离在预设距离范围内时，启动用户的手形识别；在当监测到用户的手形为书写手形时启动识别书写关键点的流程，并根据书写关键点的位置轨迹生成书写轨迹，能够提高书写识别的速度、精确度，并能够提高用户使用体验感，还能够进一步优化线上直播课交互中的空中书写方法。
进一步地，使用图像监测模型，能够更精确地检测实时图像中第一用户的身形的面积占比，并能够得到更准确的第一用户的位置信息；通过第一图像识别模型，能够更精确地检测第一用户的手形是否为书写手形；通过第二图像识别模型，能够更精确地确定书写关键点的位置，由此，还能够更快速且更精确地确定空中书写的书写轨迹；能够提高书写识别的速度、精确度，能够实现交互中书写轨迹的多种显示方式，能够提高用户使用体验感，还能够进一步优化线上直播课交互中的空中书写方法。
附图说明
图1是本发明的实施例1的空中书写方法的一示例的流程图；
图2是本发明的实施例1的空中书写方法的另一示例的流程图；
图3是本发明的实施例1的空中书写方法中书写手形的一示例的示意图；
图4是本发明的实施例1的空中书写方法中书写手形的另一示例的示意图；
图5是本发明的实施例1的空中书写方法的又一示例的流程图；
图6是本发明的实施例2的线上直播***的一示例的示意图。
图7是本发明的实施例3的空中书写装置的一示例的示意图；
图8是本发明的实施例3的空中书写装置的另一示例的示意图；
图9是本发明的实施例3的空中书写装置的又一示例的示意图；
图10是本发明的实施例3的空中书写装置的又一示例的示意图；
图11是本发明的一个实施例的计算机设备的结构示意图；
图12是本发明的一个实施例的计算机程序产品的示意图。
具体实施方式
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
为了进一步优化空中书写方法，本发明提出一种空中书写方法，用于线上直播课，该方法通过多个检测步骤，检测第一用户的手形，在检测到手写手形时，检测并识别该书写手形的书写关键点，并记录该书写关键点及其对应的书写轨迹，以将所述书写轨迹在书写端和/或相对端中显示。所述相对端可与书写端进行交互或通信。由此，本发明的方法能够提高书写识别的速度、精确度，并能够提高用户使用体验感，还能够进一步优化线上直播课交互中的空中书写方法。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
需要说明的是，为便于理解，本文中以在线直播课的场景对本发明实施例进行了说明，但本领域技术人员可以理解的是，本发明的应用并不限于此。本发明还可以用于其他直播场景，或者，还可以作为一种视频处理方法，对现有视频进行处理，识别视频中人物的书写动作并据此生成书写轨迹，耦合到现有视频或以独立现有视频的方式传送/显示。
图1是本发明的实施例1的空中书写方法的一示例的流程图。
如图1所示，本发明提供了一种空中书写方法，所述方法包括：
步骤S101，监测用户距摄像装置的距离。
步骤S102，当监测到用户距所述摄像装置的距离在预设距离范围内时，对用户的实时图像进行检测以监测用户的手形。
步骤S103，当监测到用户的手形为书写手形时，开始对该书写手形进行检测以识别书写关键点，并记录该书写关键点的位置。
步骤S104，根据多个时间点的所述书写关键点的位置，生成书写轨迹。
在本示例中，在线上直播课的应用场景下，包括书写端和相对端，运行在这二者或其中之一上的线上直播***，该空中书写方法用于线上直播课上课期间书写端与相对端之间的用户交互，所述书写端和相对端可以均连接有摄像装置，各自的摄像装置连续拍摄实时图像以形成各自的视频流，可通过线上直播***的服务器将在书写端形成的视频流传输至相对端。以下将具体说明所述空中书写方法的具体过程。
首先，在步骤S101中，监测用户距摄像装置的距离。
在本示例中，书写端为第一客户端，该第一客户端对应的是第一用户，该第一用户可以为老师，而相对端为与书写端相交互的第二客户端，该第二客户端对应的是第二用户，该第二用户可以为学生。
具体地，在线上直播课上课期间，第一客户端的摄像装置(例如，电脑、手机等的摄像装置)对老师的实时图像进行实时监测。
可选地，可以对用户的实时图像进行实时检测以监测用户距摄像装置的距离，例如，可以检测所述实时图像中用户的身形的面积占比，根据该面积占比计算所述用户距所述摄像装置的距离。
进一步地，可以使用图像监测模型，监测第一用户距第一客户端的摄像装置的距离。
需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。在其他示例中，还可以通过第一客户端或第二客户端的硬件实现上述用户距摄像装置的距离的监测，该硬件例如为红外远程测距仪、距离传感器等等。
图2是示出了本发明的实施例1的线上直播课的空中书写方法的另一示例的流程图。如图2所示，该实例中还包括建立图像监测模型的步骤S201。
在步骤S201中，建立图像监测模型，使用训练数据训练该图像监测模型，其中，该训练数据集包括历史的人体框数据、历史直播视频流中包含人体的图片、已人工标注的各图片中人体的位置信息。
具体地，将在第一客户端监测到的各图片输入所述图像监测模型，输出第一用户在图片中的位置信息，例如可输出各实时图像中第一用户的身形的面积占比。
进一步地，根据该面积占比计算第一用户的位置是否位于特定距离范围内，以进一步判断是否进行下一检测处理。
由此，通过使用图像监测模型，能够更精确地检测所述实时图像中第一用户的身形的面积占比，并能够得到更准确的第一用户的位置信息。
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。
接下来，在步骤S102中，当监测到用户距所述摄像装置的距离在预设距离范围内时，对用户的实时图像进行检测以监测用户的手形。
具体地，在所计算的第一用户的位置位于特定距离范围内的情况下，启动第一图像识别模型进行监测。第一图像识别模型用于检测用户的书写手形。
进一步地，使用第一图像识别模型，实时监测各图像中是否包含预定义的手形，即检测第一用户的手形是否为预定义的书写手形。
优选地，根据不同应用场景，预定义用于写字、画画或者做标记的书写手形，用作检测比对使用，以判断所检测到的手形是否为预定义的书写手形。
在本示例中，所述预定义的书写手形可以为食指伸开其余手指握拢的姿势，如图3所示。或者，所述预定义的书写手形还可以进一步包括如图4所示的常见握笔姿势。
进一步地，可以基于卷积神经网络，建立第一图像识别模型，使用训练数据集训练该第一图像识别模型，所述训练数据集包括历史直播流中包含手部的图片、各图片中手部信息，该手部信息包括手部的位置和手形(手部形状)类别信息。这些图片中的书写手形已经过必要的用户标注。
具体地，将所监测的相应图片(位于特定距离范围内的图片)输入所述第一图像识别模型，输出各图片中第一用户的手部位置、手形类别信息。
优选地，特定距离范围为0.1m～1m。
由此，可以通过使用第一图像识别模型，能够更精确地检测第一用户的手形是否为预定义的书写手形。
需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。
接下来，在步骤S103中，当监测到用户的手形为书写手形时，开始对该书写手形进行检测以识别书写关键点，并记录该书写关键点的位置。
具体地，当所述第一图像识别模型监测到用户的手形为预定义的书写手形时，启动书写关键点的检测流程，即开始对该书写手形的书写关键点进行检测，并识别出书写关键点。
图3是本发明的实施例1的线上直播课的空中书写方法中书写手形的一示例的示意图。如图3所述，所述书写手形的书写关键点为指食指尖(或者食指指尖的位置)。
需要说明的是，上述仅作为优选示例进行说明，不能理解成对本发明的限制，在其他示例中，例如，在用户使用专用笔进行书写的情况下，所述书写手形还可以包括常见用户手部握笔的姿势，该书写手形的书写关键点为笔尖，具体参见图4。
在本示例中，使用第二图像识别模型监测所述书写手形的书写关键点。
具体地，可以预先建立第二图像识别模型，使用训练数据训练该第二图像识别模型，所述训练数据包括历史直播流中包含书写手形的图片、手形类别信息、已标注的各书写手形对应的书写关键点等。
进一步地，使用训练好的第二图像识别模型对已识别为书写手形的图片以及对应的手形类别信息进行处理，以进行书写关键点监测识别，识别出该书写手形的书写关键点。
在本示例中，线上直播***包括至少一个服务器，该服务器可以记录、存储空中书写的相关信息数据，以用于直播或重播中显示该空中书写内容。
具体地，当线上直播***的服务器识别到书写关键点时，记录该书写关键点的位置，并将该书写关键点的位置信息进行记录。
例如，在使用所述图像识别模型进行检测时，在监测到第一用户(例如老师)的食指伸开且其余手指握拢时，则判断该第一用户的手形为书写手形，并开始对该第一用户的书写关键点进行检测，该书写关键点为食指指尖的位置，并将该食指指尖的位置实时记录到线上直播***的服务器。
由此，通过多个检测处理，能够更精确地确定书写关键点的位置。
需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。例如，对用户书写手形的检测识别以及对书写手形的书写关键点的识别，也可以在书写端进行，本实施例不做限定。
接下来，在步骤S104中，根据多个时间点的所述书写关键点的位置，生成书写轨迹。
在本示例中，根据多个时间点识别的所述书写关键点的位置，计算所述书写关键点的运动轨迹作为书写轨迹。
具体地，根据多个时间点识别所述书写关键点的位置，或者从预定间隔帧数的各帧图像中，识别书写关键点的位置，得到多个时间点识别的所述书写关键点的位置。
更具体地，该预定间隔帧数为0、1、2或其他数字等，为0时则为所有帧。由此，对所有帧图像进行识别处理，需要处理的时间会相对较长，所以会从预定间隔帧数的各帧图像中进行识别。由此，能够提高空中书写的数据识别处理速度。
进一步地，计算所述书写关键点的运动轨迹，以作为书写轨迹。
具体地，所述多个时间点检测的书写关键点的位置进行直线或曲线拟合生成运动轨迹，并将所生成的运动轨迹作为书写轨迹，由此生成书写轨迹。因此，通过上述方式能够更快速且更精确地确定空中书写的书写轨迹。
例如，在检测到老师的食指指尖位置时，开始持续记录该老师的食指指尖位置的运动轨迹，但是当检测不到食指指尖的位置或者老师的书写手形变更之后，则停止记录该食指指尖的位置。并且，将多个书写关键点的位置拟合生成运动轨迹，以作为书写轨迹。
需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。
图5是本发明的实施例1的线上直播课的空中书写方法的又一示例的流程图。
如图5所示，还包括将所述书写轨迹在书写端和/或相对端中显示的步骤S501。
在本示例中，书写端与相对端之间的交互通过在线直播***进行，所述书写轨迹可以在所述在线直播***上保存，以用于回放时再次显示。
优选地，在所述第一客户端和/或第二客户端中单独保存所述书写轨迹，以便根据第一用户或第二用户的操作在所述视频流中显示或隐藏所述书写轨迹。
进一步地，将所述书写轨迹耦合到所述视频流中，以在所述第一客户端和/或第二客户端的该视频流的视频画面中实时显示该书写轨迹。
可选地，可以根据书写端的用户指令，将所述书写轨迹在所述书写端的用户视频流中显示或隐藏；或者，可以根据相对端的用户指令将所述书写轨迹在所述相对端的用户视频流中显示或隐藏。
需要说明的是，生成的书写轨迹可以叠加于视频流中，并且可根据需要隐藏/去除书写轨迹。上述仅作为优选示例进行说明，不能理解成对本发明的限制。例如，在书写端生成的书写轨迹也可以不叠加于视频流中，还可以独立存储、传送。
优选地，可以在与线上直播课对应的课件画面中显示所述书写轨迹。
由此，能够实现交互中书写轨迹的多种显示方式，并能够提高用户使用体验感。
需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。
上述空中书写方法的过程仅用于对本发明的说明，其中，步骤的顺序和数量没有特别的限制。此外，上述方法中的步骤还可以拆分成两个、三个，或者有些步骤也可以合并成一个步骤，根据实际示例进行调整。
与现有技术相比，本发明通过使用图像监测模型，能够更精确地检测实时图像中第一用户的身形的面积占比，并能够得到更准确的第一用户的位置信息；通过第一图像识别模型，能够更精确地检测第一用户的手形是否为书写手形；通过第二图像识别模型，能够更精确地确定书写关键点的位置，由此，能够更快速且更精确地确定空中书写的书写轨迹；能够提高书写识别的速度、精确度，能够实现交互中书写轨迹的多种显示方式，能够提高用户使用体验感，还能够进一步优化线上直播课交互中的空中书写方法。可以将上述模型置于服务器端，书写端的设备无需做任何改进，只需上传实时视频即可具有在线直播时的空中书写功能。
实施例2
参照图6，将说明本发明的实施例2的线上直播***。
根据本发明的第二方面，本发明还提供了一种线上直播***，所述线上直播***包括：书写端和相对端；至少一个服务器，用于线上直播课上课期间书写端和相对端之间的交互。
所述至少一个服务器中一个服务器使用实施例1所述的空中书写方法所生成的书写轨迹，并以视频流的方式传输至所述相对端和/或书写端，并在所述书写端和/或相对端中显示。可选地，在一些实施例中，书写端使用实施例1所述的空中书写方法所生成的书写轨迹，并以视频流的方式上传。
优选地，所述服务器通过直接传送的方式将生成的书写轨迹耦合于视频流，并传输到相对端(即第二客户端)，并在该相对端的视频流的画面中实时显示。
具体地，书写端和相对端分别对应第一用户和第二用户。
在另一示例中，所述书写轨迹可在书写端和/或相对端中分别进行实时显示。
进一步地，根据第一用户或第二用户的操作，可以在所述视频流中显示或隐藏所述运动轨迹。具体地，可以根据书写端的用户指令，将所述书写轨迹在所述书写端的用户视频流中显示或隐藏；或者，可以根据相对端的用户指令将所述书写轨迹在所述相对端的用户视频流中显示或隐藏。
需要说明的是，上述仅作为优选示例进行说明，不能理解成对本发明的限制，在其他示例中，还可以通过其他服务器转发的方式进行视频流传输。此外，在实施例2中，省略了与实施例1相同的部分的说明。
与现有技术相比，本发明的***通过使用实施例的空中书写方法能够更快速且更精确地确定空中书写的书写轨迹；能够提高书写识别的速度、精确度，能够实现交互中书写轨迹的多种显示方式，能够提高用户使用体验感。
实施例3
下面描述本发明的装置实施例，该装置可以用于执行本发明的方法实施例。对于本发明装置实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明装置实施例中未披露的细节，可以参照上述方法实施例来实现。
参照图7至图10，将说明本发明的实施例3的线上直播课的空中书写装置700。
根据本发明的第三方面，本发明还提供了一种线上直播课的空中书写装置700，该空中书写装置700包括第一监测模块701，用于监测用户距摄像装置的距离；第二监测模块702，当监测到用户距所述摄像装置的距离在预设距离范围内时，对用户的实时图像进行检测以监测用户的手形；第三监测模块703，当监测到第一用户的手形为书写手形时，开始对该书写手形进行检测以识别书写关键点；生成模块704，根据多个时间点的所述书写关键点的位置，生成书写轨迹。
优选地，对用户的实时图像进行实时检测以监测用户距所述摄像装置的距离；可选地，所述对用户的实时图像进行实时检测以监测用户距所述摄像装置的距离，包括：检测所述实时图像中用户的身形的面积占比，根据该面积占比计算所述用户距所述摄像装置的距离。
如图8所示，空中书写装置700还可以包括模型建立模块801，该模型建立模块801用于建立第一图像识别模型，以便第二监测模块702使用第一图像识别模型检测所述用户的实时图像中是否包含预定义的书写手形，所述图像识别模型是经训练的能识别人手形状的书写手形的机器学习模型，当检测到该实时图像中包含预定义的书写手形时，启动书写关键点的检测流程。
优选地，第三监测模块703可以使用第二图像识别模型检测所述人手形状的书写关键点，所述图像识别模型是经训练的能识别人手形状的书写关键点的机器学习模型。模型建立模块801还可以用于建立所述第二图像识别模型。
优选地，所述预定义的书写手形为食指伸开其余手指握拢的姿势，所述人手形状的书写关键点是指食指尖。
优选地，生成模块704可以根据多个时间点的所述书写关键点的位置，生成书写轨迹，该步骤可以包括：将所述多个时间点的书写关键点的位置进行直线或曲线拟合生成所述运动轨迹；根据所述运动轨迹生成书写轨迹。
优选地，当用户在书写端进行书写时，生成书写轨迹，并将该书写轨迹实时传输至与所述书写端交互的相对端。
优选地，还包括：将在书写端所生成的书写轨迹耦合到视频流中，并且所述书写轨迹可在所述视频流中显示或隐藏。
如图9所示，还包括显示模块901，该显示模块901用于将所述书写轨迹在书写端和/或相对端中显示。
在另一示例中，如图10所示，所述线上直播课的空中书写装置700用于线上直播课上课期间第一客户端(即书写端)与第二客户端(即相对端)之间的交互，所述第一客户端连接有摄像装置，所述摄像装置连续拍摄实时图像以形成视频流，并通过第一客户端传输至第二客户端。所述空中书写装置700包括：第一监测模块701，根据对所述实时图像进行实时检测以监测第一用户距所述第一客户端的摄像装置的距离；第二监测模块702，当监测到所述距离在特定范围内时，开始对所述实时图像进行检测以监测第一用户的手形；第三监测模块703，当监测的第一用户的手形为书写手形时，开始对该书写手形进行检测以识别书写关键点；生成模块包括记录模块604和计算模块605。记录模块604，用于当识别到所述书写关键点时，记录该书写关键点的位置；计算模块605，用于根据多个时间点识别的所述书写关键点的位置，计算所述书写关键点的运动轨迹作为书写轨迹；显示模块606，将所述书写轨迹在第一客户端和/或第二客户端中显示。
需要说明的是，在实施例3中，省略了与实施例1、实施例2相同的部分的说明。
本领域技术人员可以理解，上述装置实施例中的各模块可以按照描述分布于装置中，也可以进行相应变化，分布于不同于上述实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
与现有技术相比，本发明通过使用图像监测模型，能够更精确地检测实时图像中第一用户的身形的面积占比，并能够得到更准确的第一用户的位置信息；通过第一图像识别模型，能够更精确地检测第一用户的手形是否为书写手形；通过第二图像识别模型，能够更精确地确定书写关键点的位置，由此，能够更快速且更精确地确定空中书写的书写轨迹；能够提高书写识别的速度、精确度，能够实现交互中书写轨迹的多种显示方式，能够提高用户使用体验感，还能够进一步优化线上直播课交互中的空中书写方法。
实施例4
下面描述本发明的计算机设备实施例，该计算机设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明计算机设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明计算机设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
图11是本发明的一个实施例的计算机设备的结构示意图，该计算机设备包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行实施例中任一项所述的方法，包括但不限于图1的方法。
如图11所示，计算机设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的计算机设备并不限于单一实体，也可以是多个实体设备的总和。
所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得计算机设备能够执行本发明的方法，或者方法中的至少部分步骤。
所述存储器包括易失性存储器，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(ROM)。
可选的，该实施例中，计算机设备还包括有I/O接口，其用于计算机设备与外部的设备进行数据交换。I/O接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
应当理解，图11显示的计算机设备仅仅是本发明的一个示例，本发明的计算机设备中还可以包括上述示例中未示出的元件或组件。例如，有些计算机设备中还包括有显示屏等显示单元，有些计算机设备还包括人机交互元件，例如按扭、键盘等。只要该计算机设备能够执行存储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的计算机设备。
图12是本发明的一个实施例的计算机程序产品的示意图。如图12所示，计算机程序产品中存储有计算机可执行程序，所述计算机可执行程序被执行时，实现本发明上述空中书写方法。所述计算机程序产品可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。该计算机程序产品可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。该计算机程序产品上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的***，以及***中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等。本发明也可以由执行本发明的方法的计算机软件来实现，例如由微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现。对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得计算机设备执行根据本发明的方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者计算机设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种空中书写方法，用于线上直播课，其特征在于，所述方法包括如下步骤：
监测用户距摄像装置的距离；
当监测到用户距所述摄像装置的距离在预设距离范围内时，对用户的实时图像进行检测以监测用户的手形；
当监测到用户的手形为书写手形时，开始对该书写手形进行检测以识别书写关键点，并记录该书写关键点的位置；
根据多个时间点的所述书写关键点的位置，生成书写轨迹。
2.根据权利要求1所述的空中书写方法，其特征在于，所述监测用户距摄像装置的距离，包括：对用户的实时图像进行实时检测以监测用户距所述摄像装置的距离；
可选地，所述对用户的实时图像进行实时检测以监测用户距所述摄像装置的距离，包括：检测所述实时图像中用户的身形的面积占比，根据该面积占比计算所述用户距所述摄像装置的距离。
3.根据权利要求1所述的空中书写方法，其特征在于，所述对用户的实时图像进行检测以监测用户的手形包括：
使用第一图像识别模型检测所述用户的实时图像中是否包含预定义的书写手形，所述图像识别模型是经训练的能识别书写手形的机器学习模型，当检测到该实时图像中包含预定义的书写手形时，启动书写关键点的检测流程；
可选地，所述预定义的书写手形为食指伸开其余手指握拢的姿势，所述人手形状的书写关键点是指食指尖。
4.根据权利要求3所述的空中书写方法，其特征在于，所述书写关键点的检测流程包括：
使用第二图像识别模型检测所述书写关键点，所述图像识别模型是经训练的能识别书写手形中的书写关键点的机器学习模型。
5.根据权利要求1所述的空中书写方法，其特征在于，所述根据多个时间点的所述书写关键点的位置，生成书写轨迹，包括：
将所述多个时间点的书写关键点的位置进行直线或曲线拟合生成所述书写关键点的运动轨迹；
根据所述书写关键点的运动轨迹生成书写轨迹。
6.根据权利要求1所述的空中书写方法，其特征在于，还包括：将用户在书写端生成的所述书写轨迹实时传输至与所述书写端交互的相对端；可选地，该步骤包括：
将在书写端所生成的所述书写轨迹耦合到用户视频流中，并且根据书写端或相对端的用户指令将所述书写轨迹在所述用户视频流中显示或隐藏；
可选地，所述空中书写方法，还包括：将所述书写轨迹在书写端和/或相对端中显示。
7.一种线上直播***，其特征在于，所述线上直播***包括：
书写端和相对端；
至少一个服务器，用于线上直播课上课期间书写端和相对端之间的交互，并且
所述书写端或所述至少一个服务器使用权利要求1所述的空中书写方法生成书写轨迹；所述至少一个服务器将生成的所述书写轨迹以视频流的方式传输至所述相对端，并在所述书写端和/或相对端中显示。
8.一种空中书写装置，其特征在于，所述空中书写装置包括：
第一监测模块，用于监测用户距摄像装置的距离；
第二监测模块，当监测到用户距所述摄像装置的距离在预设距离范围内时，对用户的实时图像进行检测以监测用户的手形；
第三监测模块，当监测到第一用户的手形为书写手形时，开始对该书写手形进行检测以识别书写关键点；
生成模块，根据多个时间点的所述书写关键点的位置，生成书写轨迹。
9.一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，其特征在于：
当所述计算机程序被所述处理器执行时，所述处理器执行如权利要求1-7中任一项所述的线上直播课的空中书写方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令当被处理器执行时，实现权利要求1-7中任一项所述的线上直播课的空中书写方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110354090.4A CN113253837A (zh) | 2021-04-01 | 2021-04-01 | 空中书写方法、装置、线上直播***和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110354090.4A CN113253837A (zh) | 2021-04-01 | 2021-04-01 | 空中书写方法、装置、线上直播***和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113253837A true CN113253837A (zh) | 2021-08-13 |
Family
ID=77181332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110354090.4A Pending CN113253837A (zh) | 2021-04-01 | 2021-04-01 | 空中书写方法、装置、线上直播***和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113253837A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110254765A1 (en) * | 2010-04-18 | 2011-10-20 | Primesense Ltd. | Remote text input using handwriting |
| CN103608761A (zh) * | 2011-04-27 | 2014-02-26 | Nec软件***科技有限公司 | 输入设备、输入方法以及记录介质 |
| CN105320248A (zh) * | 2014-06-03 | 2016-02-10 | 深圳Tcl新技术有限公司 | 空中手势输入方法及装置 |
| CN105718878A (zh) * | 2016-01-19 | 2016-06-29 | 华南理工大学 | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 |
| CN109344793A (zh) * | 2018-10-19 | 2019-02-15 | 北京百度网讯科技有限公司 | 用于识别空中手写的方法、装置、设备以及计算机可读存储介质 |
| CN111062312A (zh) * | 2019-12-13 | 2020-04-24 | RealMe重庆移动通信有限公司 | 手势识别方法、手势控制方法、装置、介质与终端设备 |
| CN211293894U (zh) * | 2019-11-27 | 2020-08-18 | 华南理工大学 | 一种凌空手写交互装置 |
| CN111626297A (zh) * | 2020-04-13 | 2020-09-04 | 小船出海教育科技（北京）有限公司 | 文字书写质量评价方法、装置、电子设备和记录介质 |
| CN111950514A (zh) * | 2020-08-26 | 2020-11-17 | 重庆邮电大学 | 一种基于深度摄像头的空中手写识别***及方法 |
| CN112199015A (zh) * | 2020-09-15 | 2021-01-08 | 安徽鸿程光电有限公司 | 智能交互一体机及其书写方法、装置 |
| CN112286411A (zh) * | 2020-09-30 | 2021-01-29 | 北京大米科技有限公司 | 显示模式的控制方法、装置、存储介质以及电子设备 |
-
2021
- 2021-04-01 CN CN202110354090.4A patent/CN113253837A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110254765A1 (en) * | 2010-04-18 | 2011-10-20 | Primesense Ltd. | Remote text input using handwriting |
| CN103608761A (zh) * | 2011-04-27 | 2014-02-26 | Nec软件***科技有限公司 | 输入设备、输入方法以及记录介质 |
| CN105320248A (zh) * | 2014-06-03 | 2016-02-10 | 深圳Tcl新技术有限公司 | 空中手势输入方法及装置 |
| CN105718878A (zh) * | 2016-01-19 | 2016-06-29 | 华南理工大学 | 基于级联卷积神经网络的第一视角空中手写和空中交互方法 |
| CN109344793A (zh) * | 2018-10-19 | 2019-02-15 | 北京百度网讯科技有限公司 | 用于识别空中手写的方法、装置、设备以及计算机可读存储介质 |
| CN211293894U (zh) * | 2019-11-27 | 2020-08-18 | 华南理工大学 | 一种凌空手写交互装置 |
| CN111062312A (zh) * | 2019-12-13 | 2020-04-24 | RealMe重庆移动通信有限公司 | 手势识别方法、手势控制方法、装置、介质与终端设备 |
| CN111626297A (zh) * | 2020-04-13 | 2020-09-04 | 小船出海教育科技（北京）有限公司 | 文字书写质量评价方法、装置、电子设备和记录介质 |
| CN111950514A (zh) * | 2020-08-26 | 2020-11-17 | 重庆邮电大学 | 一种基于深度摄像头的空中手写识别***及方法 |
| CN112199015A (zh) * | 2020-09-15 | 2021-01-08 | 安徽鸿程光电有限公司 | 智能交互一体机及其书写方法、装置 |
| CN112286411A (zh) * | 2020-09-30 | 2021-01-29 | 北京大米科技有限公司 | 显示模式的控制方法、装置、存储介质以及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11871109B2 (en) | Interactive application adapted for use by multiple users via a distributed computer-based system | |
| Chow et al. | Music education using augmented reality with a head mounted display | |
| KR102114207B1 (ko) | 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법 | |
| US20210104169A1 (en) | System and method for ai based skill learning | |
| US20220415197A1 (en) | Virtual and augmented reality instruction system | |
| Ng et al. | 3D augmented mirror: a multimodal interface for string instrument learning and teaching with gesture support | |
| US10720187B2 (en) | Method and apparatus to extract key video frames from online education | |
| CN110544399A (zh) | 图形化远程教学***以及图形化远程教学方法 | |
| US20150301726A1 (en) | Systems and Methods for Displaying Free-Form Drawing on a Contact-Sensitive Display | |
| Faisal et al. | Towards a reference model for sensor-supported learning systems | |
| US20140310640A1 (en) | Interactive digital art apparatus | |
| CN113253838A (zh) | 基于ar的视频教学方法、电子设备 | |
| Hernández Correa et al. | An application of machine learning and image processing to automatically detect teachers’ gestures | |
| JP2020086075A (ja) | 学習支援システム、プログラム | |
| CN113253837A (zh) | 空中书写方法、装置、线上直播***和计算机设备 | |
| CN113780051A (zh) | 评估学生专注度的方法和装置 | |
| CN110766997A (zh) | 一种临摹展示方法、装置及存储介质 | |
| CN115052194B (zh) | 学习报告生成方法、装置、电子设备及存储介质 | |
| CN210119873U (zh) | 一种基于vr设备的监督装置 | |
| US20230137560A1 (en) | Assistance system and method for guiding exercise postures in live broadcast | |
| CN108091186B (zh) | 一种教学方法及教学*** | |
| Shi et al. | A Piano Learning System Constructed Based on Multi-Direction Videos and Hand Landmark Detection | |
| Bravo et al. | Enhancing Body Percussion Learning: An ICT Supplement for Home Practice Using Gesture Recognition | |
| Rahman et al. | Answering Mickey Mouse: A Novel Authoring-Based Learning Movie System to Promote Active Movie Watching for the Young Viewers | |
| CN115578224A (zh) | 一种课程管理方法及课程管理平台、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |