CN114816088A - 线上教学方法、电子设备和通信*** - Google Patents
线上教学方法、电子设备和通信*** Download PDFInfo
- Publication number
- CN114816088A CN114816088A CN202210415510.XA CN202210415510A CN114816088A CN 114816088 A CN114816088 A CN 114816088A CN 202210415510 A CN202210415510 A CN 202210415510A CN 114816088 A CN114816088 A CN 114816088A
- Authority
- CN
- China
- Prior art keywords
- pen
- user
- electronic device
- information
- holding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/018—Input/output arrangements for oriental characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供了一种线上教学方法、电子设备和通信***。在该线上教学方法中,第一电子设备获取视频数据,该视频数据包括使用第一手写笔绘制的第一笔迹图像和第一用户的第一握笔姿势。第二电子设备接收来自第一电子设备的视频数据,并通过显示屏显示第一笔迹图像和第一握笔姿势,其中第一握笔姿势随第一手写笔在第一笔迹图像中的笔尖位置的移动而移动。其中,第一用户的握笔姿势是根据第一信息确定的,第一信息包括第一手写笔的笔身倾角信息、第一用户的握笔位置信息和第一用户的手部支撑信息。上述技术方案能够较为准确地还原第一用户的用笔技法,便于使用第二电子设备的用户学习第一用户用笔技法,从而提高线上教学中学习者的学习效果。
Description
技术领域
本申请实施例涉及电子设备技术领域,并且更具体地,涉及一种线上教学方法、电子设备和通信***。
背景技术
手写笔是模仿人体(通常是手指)完成人机对话的一种辅助装置。随着终端技术的快速发展,越来越多的书法、绘画创作者选择使用手写笔配合电子设备(如手机、平板电脑等)进行线上教学。创作者可以使用手写笔在创作者的显示屏上进行书法或绘画的创作,学习者可以在自己的显示屏上观看创作效果,从而进行临摹。
学习者通过显示屏上呈现的笔迹可以学习掌握笔刷的粗细、轨迹方向、大小等变化,但并不能了解创作者的创作思路,因而影响了学习效率和临摹效果。
发明内容
本申请实施例提供一种线上教学方法、电子设备和通信***,能够较为准确的还原线上教学中创作者的用笔技法,提高学习者的学习效果。
第一方面,提供了一种线上教学方法,包括:第二电子设备接收来自第一电子设备的视频数据,所述视频数据包括与第一手写笔对应的第一笔迹图像和与第一用户对应的第一握笔姿势,所述第一手写笔与所述第一电子设备通信连接,所述第一用户为使用所述第一手写笔的用户;所述第二电子设备通过显示屏显示所述第一笔迹图像和所述第一握笔姿势,其中所述第一握笔姿势随所述第一手写笔在所述第一笔迹图像中的笔尖位置的移动而移动;其中,所述第一握笔姿势是根据第一信息确定的,所述第一信息包括所述第一手写笔的笔身倾角信息、所述第一用户的握笔位置信息和所述第一用户的手部支撑信息。
本申请实施例中,使用第二电子设备的用户可以通过第一笔迹图像和第一握笔姿势了解并学习第一用户的用笔技法和创作思路,能够提高学习者的学习效果。第一握笔姿势是综合考虑了第一手写笔的笔身倾角信息、第一用户的握笔位置信息和第一用户的手部支撑信息确定的,因此第一握笔姿势更贴近第一用户的实际握笔姿势,能够提高线上教学效果。
结合第一方面,在一种可能的实现方式中,所述第一笔迹图像是根据第二信息确定的,所述第二信息包括所述第一手写笔的笔尖压力信息和所述第一手写笔的笔身倾角信息中的至少一项以及所述第一手写笔的笔尖位置信息。
根据第二信息获取的第一笔迹图像,可以呈现线条在长短、粗细、曲直、疏密、轻重等方面的变化,从而呈现出第一用户的用笔动作。第一笔迹图像结合第一握笔姿势,可以方便学习者了解第一用户的用笔技法,从而提高学习效果。
结合第一方面,在一种可能的实现方式中,所述第一用户的手部支撑信息包括所述第一用户的手在所述第一电子设备的显示屏上的支撑位置、支撑面积和支撑轮廓。
在不同握笔姿势下,第一用户的执笔手指数量和执笔位置可能相同,但第一用户的手在显示屏上的支撑位置、支撑面积或支撑轮廓则会有所不同。在确定第一握笔姿势时,考虑第一用户的手部支撑信息有助于使获取的第一握笔姿势更贴近第一用户的真实握姿
结合第一方面,在一种可能的实现方式中,所述方法还包括:检测并响应于第二用户的第一操作,所述第二电子设备获取与第二手写笔对应的第二笔迹图像,所述第二手写笔与所述第二电子设备通信连接;所述第二电子设备通过所述显示屏显示所述第二笔迹图像,其中所述第一笔迹图像和所述第一握笔姿势位于所述显示屏的第一显示区,所述第二笔迹图像位于所述显示屏的第二显示区。
第二用户可以使用第二手写笔在第二电子设备的显示屏上进行临摹,并且第二电子设备的显示屏可以同时显示第一用户的用笔技法以及第二用户实际临摹的笔迹图像,方便第二用户对比自己的握笔姿势与第一握笔姿势以及对比第二笔迹图像和第一笔迹图像,从而不断修正握笔姿势和用笔动作。
结合第一方面,在一种可能的实现方式中,所述方法还包括:检测并响应于所述第二用户的第二操作,所述第二电子设备获取与所述第二用户对应的第二握笔姿势;所述第二电子设备识别所述第二握笔姿势与所述第一握笔姿势之间的偏差;在所述偏差超过预设值时,所述第二电子设备通过控制所述第二手写笔中的马达振动以提醒所述第二用户修正握笔姿势。
在第二用户临摹过程中,第二电子设备可以检测第二用户的握笔姿势,并在第二用户的握笔姿势与第一用户的握笔姿势偏差较大时,控制第二手写笔的马达振动进行提醒,可以提高第二用户的临摹效果和学习效率。
结合第一方面,在一种可能的实现方式中,所述第二电子设备获取与所述第二用户对应的第二握笔姿势,包括:所述第二电子设备获取第三信息,所述第三信息包括所述第二手写笔的笔身倾角信息、所述第二用户的握笔位置信息和所述第二用户的手部支撑信息;所述第二电子设备根据所述第三信息调整第二虚拟手握持第二虚拟笔的姿态,其中所述第二虚拟手和所述第二虚拟笔为存储于所述第二电子设备内的模型;在预设视角对所述第二虚拟手握持所述第二虚拟笔的姿态进行渲染,得到所述第二握笔姿势。
第二电子设备内存储一套手和笔的模型即可,在不同的握笔姿势下,第二电子设备可以根据第三信息分别调整,既能够节省存储空间,还能够实时渲染以准确、直观、多视角的再现用户的握笔姿势。并且,根据不同需求,用户可以对手的模型和笔的模型进行个性化设计或美化设计。
结合第一方面,在一种可能的实现方式中,所述第二虚拟笔为对应于所述第二手写笔的模型,或者为对应于用于绘制所述第二笔迹图像的笔刷的模型。
第二虚拟笔可以为手写笔的模型,这样所呈现的第二握笔姿势更直观。
第二虚拟笔也可以为第二用户在绘制第二笔迹图像时使用的笔刷的模型,如铅笔模型、毛笔模型、油画笔模型等,这样所呈现的第二握笔姿势更真实。
结合第一方面,在一种可能的实现方式中,所述第二电子设备获取与所述第二用户对应的第二握笔姿势,包括:所述第二电子设备获取第三信息,所述第三信息包括所述第二手写笔的笔身倾角信息、所述第二用户的握笔位置信息和所述第二用户的手部支撑信息;所述第二电子设备将所述第三信息与多个预设握姿模板分别进行匹配,得到与所述第三信息的匹配程度最高的第一握姿模板;将所述第一握姿模板对应的握笔姿势确定为所述第二握笔姿势。
将第三信息与预设握姿模板进行匹配的方式,可以减少计算量,节省计算资源。
示例性的,第二电子设备可以通过神经网络进行上述匹配过程。
结合第一方面,在一种可能的实现方式中,所述方法还包括:检测并响应于所述第二用户的第三操作,所述第二电子设备识别所述第二笔迹图像与所述第一笔迹图像的差异;所述第二电子设备通过所述显示屏显示所述差异。
通过向第二用户显示第二笔迹图像与第一笔迹图像的差异,可以提示第二用户如何纠正用笔动作。
结合第一方面,在一种可能的实现方式中,所述第二电子设备通过所述显示屏显示所述差异,包括:所述第二电子设备在所述第二笔迹图像与所述第一笔迹图像的差异处圈注以显示所述差异;或者,所述第二电子设备在所述第二笔迹图像上叠加所述第一笔迹图像的轮廓线以显示所述差异。
圈注和叠加轮廓线的方式,可以更直观地显示第二笔迹图像与第一笔迹图像的差异。
结合第一方面,在一种可能的实现方式中,所述第一信息还包括所述第一用户的握笔压力信息和/或所述第一手写笔的尺寸信息。
在确定第一握笔姿势时参考的信息越丰富,所确定的第一握笔姿势越贴近第一用户的真实握笔姿势。
结合第一方面,在一种可能的实现方式中,所述视频数据还包括用于获取所述第一笔迹图像的原始数据和用于获取所述第一握笔姿势的原始数据。
视频数据中除了包括图像数据外,还包括用于获取图像的原始数据,这样第二用户也可以基于原始数据进行一些其他处理操作。
结合第一方面,在一种可能的实现方式中,所述用于获取所述第一笔迹图像的原始数据包括所述第一手写笔的笔尖位置数据、所述第一手写笔的笔尖压力数据;和/或所述用于获取所述第一握笔姿势的原始数据包括所述第一用户的握笔位置数据、所述第一手写笔的笔身倾角数据、所述第一用户的手部支撑数据。
第二方面,提供了一种线上教学方法,包括:第一电子设备获取视频数据,所述视频数据包括与第一手写笔对应的第一笔迹图像和与第一用户对应的第一握笔姿势,所述第一手写笔与所述第一电子设备通信连接,所述第一用户为使用所述第一手写笔的用户;检测并响应于所述第一用户的第一操作,所述第一电子设备通过显示屏显示所述第一笔迹图像和所述第一握笔姿势,其中所述第一握笔姿势随所述第一手写笔在所述第一笔迹图像中的笔尖位置的移动而移动;其中,所述第一握笔姿势是根据第一信息确定的,所述第一信息包括所述第一手写笔的笔身倾角信息、所述第一用户的握笔位置信息和所述第一用户的手部支撑信息。
本申请实施例中,第一握笔姿势是综合考虑了第一手写笔的笔身倾角信息、第一用户的握笔位置信息和第一用户的手部支撑信息确定的,因此第一握笔姿势更贴近第一用户的实际握笔姿势。其他用户通过第一笔迹图像和第一握笔姿势可以了解并学习第一用户的用笔技法和创作思路,能够提高线上教学效果。
结合第二方面,在一种可能的实现方式中,所述第一笔迹图像是根据第二信息确定的,所述第二信息包括所述第一手写笔的笔尖压力信息和所述第一手写笔的笔身倾角信息中的至少一项以及所述第一手写笔的笔尖位置信息。
根据第二信息获取的第一笔迹图像,可以呈现线条在长短、粗细、曲直、疏密、轻重等方面的变化,从而呈现出第一用户的用笔动作。第一笔迹图像结合第一握笔姿势,可以方便学习者了解第一用户的用笔技法,从而提高学习效果。
结合第二方面,在一种可能的实现方式中,所述第一用户的手部支撑信息包括所述第一用户的手在所述显示屏上的支撑位置、支撑面积和支撑轮廓。
在不同握笔姿势下,第一用户的执笔手指数量和执笔位置可能相同,但第一用户的手在显示屏上的支撑位置、支撑面积或支撑轮廓则会有所不同。在确定第一握笔姿势时,考虑第一用户的手部支撑信息有助于使获取的第一握笔姿势更贴近第一用户的真实握姿。
结合第二方面,在一种可能的实现方式中,所述第一电子设备获取视频数据,包括:所述第一电子设备获取所述第一笔迹图像和所述第一握笔姿势;所述第一电子设备将所述第一握笔姿势与所述第一笔迹图像进行叠加,得到所述视频数据。
该第一电子设备执行叠加第一笔迹图像和第一握笔姿势的操作得到视频数据后,后续第一电子设备将给视频数据分享给其他电子设备时,其他电子设备可以直接通过显示屏呈现该视频数据对应的内容。
结合第二方面,在一种可能的实现方式中,所述第一电子设备获取所述第一握笔姿势,包括:所述第一电子设备根据所述第一信息调整第一虚拟手握持第一虚拟笔的姿态,其中所述第一虚拟手和所述第一虚拟笔为存储于所述第一电子设备内的模型;在预设视角对所述第一虚拟手握持所述第一虚拟笔的姿态进行渲染,得到所述第一握笔姿势。
这样第一电子设备内只需要存储一套手和笔的模型即可,在不同的握笔姿势下,第一电子设备可以根据第一信息分别调整,既能够节省存储空间,还能够实时渲染以准确、直观、多视角的再现用户的握笔姿势。并且,根据不同需求,用户可以对手的模型和笔的模型进行个性化设计或美化设计。
结合第二方面,在一种可能的实现方式中,所述第一虚拟笔为对应于所述第一手写笔的模型,或者为对应于用于绘制所述第一笔迹图像的笔刷的模型。
第一虚拟笔可以为手写笔的模型,这样所呈现的第一握笔姿势更直观。
第一虚拟笔也可以为第一用户在绘制第一笔迹图像时使用的笔刷的模型,如铅笔模型、毛笔模型、油画笔模型等,这样所呈现的第一握笔姿势更真实。
结合第二方面,在一种可能的实现方式中,所述第一电子设备获取所述第一握笔姿势,包括:所述第一电子设备将所述第一信息与多个预设握姿模板分别进行匹配,得到与所述第一信息的匹配程度最高的第二握姿模板;将所述第二握姿模板对应的握笔姿势确定为所述第一握笔姿势。
将第一信息与预设握姿模板进行匹配的方式,可以减少计算量,节省计算资源。一般预设握姿模板中握笔姿势是标准的,这样即使第一用户的实际握笔姿势不太标准,但呈现出来的第一握笔姿势是标准的,可以方便第一用户纠正自己的握笔姿势。后续当第一用户向其他用户分享视频数据时,可以避免其他用户学习不标准的握笔姿势。
结合第二方面,在一种可能的实现方式中,所述第一信息还包括所述第一用户的握笔压力信息和/或所述第一手写笔的尺寸信息。
在确定第一握笔姿势时参考的信息越丰富,所确定的第一握笔姿势越贴近第一用户的真实握笔姿势。
结合第二方面,在一种可能的实现方式中,所述视频数据还包括用于获取所述第一笔迹图像的原始数据和用于获取所述第一握笔姿势的原始数据。
视频数据中除了包括图像数据外,还包括用于获取图像的原始数据,这样当第一用户将该视频数据分享给其他用户时,其他用户也可以基于原始数据进行一些处理操作。
结合第二方面,在一种可能的实现方式中,所述用于获取所述第一笔迹图像的原始数据包括所述第一手写笔的笔尖位置数据、所述第一手写笔的笔尖压力数据;和/或所述用于获取所述第一握笔姿势的原始数据包括所述第一用户的握笔位置数据、所述第一手写笔的笔身倾角数据、所述第一用户的手部支撑数据。
结合第二方面,在一种可能的实现方式中,所述方法还包括:所述第一电子设备向第二电子设备直接发送所述视频数据;或者,所述第一电子设备通过服务器向第二电子设备转发所述视频数据。
第一电子设备可以直接或间接地向第二电子设备发送视频数据。
结合第二方面,在一种可能的实现方式中,所述方法还包括:所述第一电子设备将所述视频数据保存于本地或云端。
第三方面,提供了一种装置,该装置包含在电子设备中,该装置具有实现上述第一方面以及第一方面的任一种可能实现方式中所涉及的行为的功能,该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,接收模块或单元、显示模块或单元、获取模块或单元、检测模块或单元、处理模块或单元等。
第四方面,提供了一种装置,该装置包含在电子设备中,该装置具有实现上述第二方面以及第二方面的任一种可能实现方式中所涉及的行为的功能,该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,获取模块或单元、显示模块或单元、检测模块或单元、处理模块或单元、发送模块或单元等。
第五方面,提供了一种电子设备,包括:一个或多个处理器;一个或多个存储器;所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行上述第一方面以及第一方面的任一种可能实现方式中的方法。
第六方面,提供了一种电子设备,包括:一个或多个处理器;一个或多个存储器;所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行上述第二方面以及第二方面的任一种可能实现方式中的方法。
其中第三方面至第六方面所述装置、电子设备的有益效果可以参考第一方面与第二方面中所描述的方法的有益效果,在此不再赘述。
第七方面,提供一种计算机可读存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行上述第一方面以及第一方面的任一种可能实现方式中的方法,或者执行上述第二方面以及第二方面的任一种可能实现方式中的方法。
第八方面,提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面以及第一方面的任一种可能实现方式中的方法,或者执行上述第二方面以及第二方面的任一种可能实现方式中的方法。
第九方面,提供一种芯片,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,执行上述第一方面以及第一方面的任一种可能实现方式中的方法,或者执行上述第二方面以及第二方面的任一种可能实现方式中的方法。
可选地,作为一种实现方式,所述芯片还可以包括存储器,所述存储器中存储有指令,所述处理器用于执行所述存储器上存储的指令,当所述指令被执行时,所述处理器用于执行上述第一方面以及第一方面的任一种可能实现方式中的方法,或者执行上述第二方面以及第二方面的任一种可能实现方式中的方法。
上述芯片具体可以是现场可编程门阵列或者专用集成电路。
附图说明
图1是本申请实施例提供的一种***的示意图。
图2是本申请实施例提供的一种电子设备的示意性结构图。
图3是本申请实施例提供的一种手写笔的示意性结构图。
图4是本申请实施例提供的一种线上教学方法的示意性流程图。
图5-6是本申请实施例提供的一种线上教学方法中确定握笔姿势的流程示意图。
图7-8是本申请实施例提供的一些握笔姿势的示意图。
图9-13是本申请实施例提供的一些在第一电子设备上显示的用户界面的示意图。
图14-16是本申请实施例提供的一些在第二电子设备上显示的用户界面的示意图。
图17是本申请实施例提供的一种线上教学方法的示意性流程图。
图18是本申请实施例提供的另一种线上教学方法的示意性流程图。
图19是本申请实施例提供的一种装置的示意性结构框图。
图20是本申请实施例提供的另一种装置的示意性结构框图。
图21是本申请实施例提供的一种装置的示意性结构图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
图1示出了本申请实施例提供的一种***的示意图。如图1所示,该***包括第一子***100和第二子***200。
第一子***100包括第一电子设备11和第一手写笔12。
第一电子设备11可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)、智能手表以及其他具有显示功能的电子设备。
第一电子设备11可以包括第一显示屏101,该第一显示屏101用于显示图像、视频等。本申请实施例中,第一显示屏101还可用于显示第一手写笔12的运动轨迹。
在一些实施例中,第一显示屏101上可以设置触摸传感器(也称触控面板),其中触摸传感器用于检测作用于其上或附近的触摸操作。例如,触摸传感器可以检测第一手写笔12或用户手指作用于其上的触摸操作,并通过第一显示屏101提供与触摸操作相关的视觉输出。可选地,触摸传感器可以区分第一手写笔12的触摸操作和用户手指的触摸操作。
触摸传感器设置于第一显示屏101时,触摸传感器和第一显示屏101可以组成触摸屏,也称“触控屏”。触摸屏既具有显示功能,还负责检测触摸与控制。当然,在其他一些实施例中,触摸传感器可以不与第一显示屏101设置在一起,例如触摸传感器可以设置于第一电子设备11的表面,如外壳上。
第一手写笔12是配合第一电子设备11使用的输入装置。根据工作原理的不同,第一手写笔12可以是电容式、电阻式、电磁感应式、蓝牙式等,本申请实施例对此不作限定。
在一些实施例中,第一手写笔12可以直接作用于第一电子设备11上,如作用于第一电子设备11的触摸屏或第一电子设备11的外壳上,这样第一电子设备11可以通过与第一手写笔12的接触而采集第一手写笔12的轨迹信息。
在另一些实施例中,第一手写笔12可以作用于任何表面,包括但不限于第一电子设备11的表面、桌面、手臂等,这样第一手写笔12可以自己采集轨迹信息并输入到第一电子设备11。
第一电子设备11与第一手写笔12之间可以通过无线的方式连接,也可以通过有线的方式连接,其中无线连接方式包括但不限于蓝牙、无线保真(wireless fidelity,Wi-Fi)等。
本申请实施例中,第一手写笔12用于第一用户在第一电子设备11上进行书法或绘画的创作。在创作过程中,第一电子设备11的显示屏(即第一显示屏101)可以同步呈现第一手写笔12的运动轨迹从而展示出第一用户的创作成果。第一电子设备11还可以将第一用户的创作成果以图像或视频的方式存储于第一电子设备11。例如第一电子设备11可以将第一用户的创作成果保存成图像,或者将第一用户的创作过程保存成视频。
应理解,本申请实施例所涉及的“创作成果”可以指用户在创作过程中的任意阶段形成的书写结果或绘画结果。本申请实施例中,书写结果包括但不限于硬笔书写结果和毛笔书写结果。绘画结果包括但不限于国画绘制结果、水彩画绘制结果、水粉画绘制结果和油画绘制结果。
第二子***200包括第二电子设备21和第二手写笔22。
第二电子设备21可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)、智能手表以及其他具有显示功能的电子设备。
第二电子设备21与第一电子设备11的类型可以相同,也可以不同,本申请实施例对此不作限定。在一些实施例中,第二电子设备21和第一电子设备11可以安装有相同的用于书写或绘画的应用程序。
第二电子设备21可以包括第二显示屏201,该第二显示屏201用于显示图像、视频等。例如图1中的第二显示屏201的左半部分显示区所示,第二显示屏201可用于显示第一用户在第一电子设备11上完成的书法或绘画的创作成果。本申请实施例中,第二电子设备21还可以用于显示第二手写笔22的运动轨迹,如图1中第二显示屏201的右半部分显示区所示。
在一些实施例中,第二显示屏201上可以设置触摸传感器。例如,触摸传感器可以检测第二手写笔22或用户手指作用于其上的触摸操作,并通过第二显示屏201提供与触摸操作相关的视觉输出。可选地,触摸传感器可以区分第二手写笔22的触摸操作和用户手指的触摸操作。
触摸传感器设置于第二显示屏201时,触摸传感器和第二显示屏201可以组成触摸屏。在其他一些实施例中,触摸传感器可以不与第二显示屏201设置在一起,例如触摸传感器可以设置于第二电子设备21的表面,如外壳上。
第二手写笔22是配合第二电子设备21使用的输入装置。根据工作原理的不同,第二手写笔22可以是电容式、电阻式、电磁感应式、蓝牙式等,本申请实施例对此不作限定。第二手写笔22与第一手写笔12的类型可以相同,也可以不同。
在一些实施例中,第二手写笔22可以直接作用于第二电子设备21上,如作用于第二电子设备21的触摸屏或第二电子设备21的外壳上,这样第二电子设备21可以通过与第二手写笔22的接触而采集第二手写笔22的轨迹信息。
在另一些实施例中,第二手写笔22可以作用于任何表面,包括但不限于第二电子设备21的表面、桌面、手臂等,这样第二手写笔22可以自己采集轨迹信息并输入到第二电子设备21。
第二电子设备21与第二手写笔22之间可以通过无线的方式连接,也可以通过有线的方式连接,其中无线连接方式包括但不限于蓝牙、无线保真(wireless fidelity,Wi-Fi)等。
本申请实施例中,第二手写笔22可用于第二用户在第二电子设备21上进行书法或绘画的临摹。在临摹过程中,第二电子设备21的显示屏(即第二显示屏201)可以呈现第一用户使用第一手写笔12在第一电子设备11上进行书写或绘画的创作成果,便于第二用户临摹。第二电子设备21的显示屏还可以同步呈现第二手写笔22的运动轨迹,从而展示出第二用户的临摹成果。在第二用户临摹过程中,第二电子设备21可以将第二用户的临摹成果以图像或视频的方式存储于第二电子设备21。例如第二电子设备21可以将第二用户的临摹成果保存成图像,或者将第二用户的临摹过程保存成视频。
应理解,本申请实施例所涉及的“临摹成果”可以指用户在临摹过程中的任意阶段形成的书写结果或绘画结果。
在一些实施例中,第二用户可以将自己的临摹成果发送给第一电子设备11,并通过第一显示屏101呈现给第一用户。
为了方便理解,以上描述中将第一用户的身份定义为创作者,将第二用户的身份定义为学习者,但可以理解的是,第一用户的创作者身份以及第二用户的学习者身份均是相对的。例如相对于第三用户来说,第一用户也可以作为学习者,第二用户也可以作为创作者。
在一些实施例中,第二子***200中也可以不包括第二手写笔22。这样第二电子设备21上可以只显示第一用户使用第一手写笔12在第一电子设备11上进行书写或绘画的创作成果,而第二用户可以使用真实的笔(如毛笔、画笔、钢笔等)在纸张上进行临摹。
因此,为了实现书法或绘画的线上教学,本申请实施例提供的***可以包括第一电子设备11、第一手写笔12和第二电子设备21。可选地,该***还可以包括第二手写笔22。
本申请实施例中,第一电子设备11与第二电子设备21之间可以进行无线通信。二者之间可以通过短距互联的方式(如蓝牙、Wi-Fi、近场通信(near field communication,NFC)、紫蜂(zigbee)技术、超宽带(ultra-wideband,UWB)技术等)通信,也可以通过蜂窝网络等远程通信,本申请实施例对此不作限定。
本申请实施例中,第一电子设备11除了包括第一显示屏101外,还可以包括其他的单元或模块。同理,第二电子设备21除了包括第二显示屏201外,还可以包括其他的单元或模块。下面结合图2对本申请实施例提供的电子设备(如图1所示的第一电子设备11或第二电子设备21)的结构进行描述。
示例性的,如图2所示,本申请实施例提供的电子设备可以包括:处理器110,存储器120,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,摄像头191,显示屏192等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如,处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用,避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
例如,处理器110与触摸传感器180K可以通过I2C总线接口通信,实现电子设备100的触摸功能。处理器110和摄像头193可以通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194可以通过DSI接口通信,实现电子设备100的显示功能。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在本申请另一些实施例中,电子设备也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态等参数。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备通过GPU,显示屏192,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏192和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏192用于显示图像,视频等。显示屏192包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏192,N为大于1的正整数。
电子设备可以通过ISP,摄像头191,视频编解码器,GPU,显示屏192以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。在一些实施例中,电子设备可以包括1个或N个摄像头193,N为大于1的正整数。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
存储器120用于存储数据和/或指令。
存储器120可以包括内部存储器。内部存储器用于存储计算机可执行程序代码,该可执行程序代码包括指令。处理器110通过运行存储在内部存储器的指令,从而执行电子设备的各种功能应用以及数据处理。
存储器120还可以包括外部存储器,例如Micro SD卡,以扩展电子设备的存储能力。外部存储器可以通过外部存储器接口与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储器中。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音频播放,录音等。
传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,加速度传感器180C,距离传感器180D,触摸传感器180E以及其他的一些传感器等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏192。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备根据电容的变化确定压力的强度。当有触摸操作作用于显示屏192,电子设备根据压力传感器180A检测触摸操作强度。电子设备也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B又称角速度传感器,可以用于确定电子设备的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景,例如陀螺仪能够完整监测游戏者手的位移,从而实现各种游戏操作效果,如横屏改竖屏、赛车游戏拐弯等等。
加速度传感器180C可检测电子设备在各个方向上(一般为三轴)加速度的大小。当电子设备静止时可检测出重力的大小及方向。加速度传感器180C还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180D,用于测量距离。电子设备可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备可以利用距离传感器180D测距以实现快速对焦。
触摸传感器180E,也称“触控面板”。触摸传感器180E可以设置于显示屏192,由触摸传感器180E与显示屏192组成触摸屏,也称“触控屏”。触摸传感器180E用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏192提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180E也可以设置于电子设备的表面,与显示屏192所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键,也可以是触摸式按键。电子设备可接收按键输入,产生与电子设备的用户设置以及功能控制有关的键信号输入。
图2的描述中所涉及的电子设备,可以为图1所示的第一电子设备11,或者为图1所示的第二电子设备21。第一电子设备11和第二电子设备21的结构可以相同,可以不同,本申请实施例对此不作限定。
为方便理解,作为示例而非限定,下面结合图3对本申请实施例提供的手写笔(即图1所示的第一手写笔12或第二手写笔22)的结构进行描述。
如图3所示,本申请实施例提供的手写笔可以包括:处理器210,传感器模块220,蓝牙模块230,电池240,充电接口250,按键260,指示灯270、振动马达280等。
可以理解的是,本申请实施例示意的结构并不构成对手写笔的具体限定。在本申请另一些实施例中,手写笔可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
处理器210可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器210是手写笔的运算核心和控制核心。处理器110中可以设置存储器,用于存储指令和数据。
传感器模块220可以包括压力传感器221、陀螺仪传感器222、加速度传感器223、第一电极224、第二电极225等。
压力传感器221用于感受压力信号,可以将压力信号转换成电信号。压力传感器221可以为电阻式压力传感器,电感式压力传感器,电容式压力传感器等。
在一些实施例中,压力传感器221可以设置于手写笔的笔头位置,用于感受笔尖压力大小,并可以用于记录施加于笔尖的压力信号所持续的时间。
在一些实施例中,压力传感器221还可以设置于手写笔的笔身位置,用于感受笔身压力大小,并可以用于记录施加于笔身的压力信号所持续的时间。示例性的,手写笔的笔身外表面可以包裹一层压力传感器,当有触摸操作作用于笔身时,手写笔可以根据压力传感器221检测触摸操作强度,即用户握笔时对笔身施加的压力的大小。手写笔也可以根据压力传感器221的检测信号计算用户触摸笔身的位置。
陀螺仪传感器222用于确定手写笔的运动姿态。在一些实施例中,可以通过陀螺仪传感器222确定手写笔围绕三个轴(即,x,y和z轴)的角速度,从而确定笔身相对于水平面的倾斜角度。
加速度传感器223可检测手写笔在各个方向上(一般为三轴)加速度的大小,从而确定手写笔的移动速度。
第一电极224和第二电极225用于测量笔身倾角,即测量笔身相对于手写笔作用的平面的倾斜角度,例如笔身倾角可以为笔身相对于电子设备显示屏的倾斜角度。第一电极224与第二电极225的设置位置不同。当手写笔相对于屏幕垂直放置时,第一电极224与第二电极225的信号量差值为0,笔身与屏幕之间的夹角越小,第一电极224与第二电极225的信号量差值越大。因此,通过第一电极224的信号量与第二电极225的信号量之间的差值,可以计算出笔身倾角。本申请实施例中,通过第一电极224的信号量和第二电极225的信号量还可以测算出笔身的倾斜方位。
蓝牙模块230用于实现手写笔的无线通信功能。手写笔中还设置有天线,其中天线用于接收和发射电磁波。蓝牙模块230可以将天线接收的电磁波进行信号调频和滤波处理,将处理后的信号发送到处理器210。蓝牙模块230还可以从处理器210接收待发送的信号,对其进行调频、放大,经由天线转为电磁波发射出去。
电池240用于为手写笔供电。电池240可以通过充电接口250从充电器接收充电输入。其中充电器可以是无线充电器,也可以是有线充电器。电池240也可以直接从与手写笔连接的电子设备接收充电输入。
按键260可以包括开机键,切换键等。按键260可以是机械按键,也可以是触摸式按键。手写笔可以接收按键输入,产生与手写笔的用户设置以及功能控制有关的键信号输入。
指示灯270可以用于指示充电状态,电量变化,蓝牙连接状态,故障状态等。
振动马达280用于输出振动信号。在一些实施例中,振动马达280可以发出不同振感。
图3的描述中所涉及的手写笔,可以为图1所示的第一手写笔12,或者为图1所示的第二手写笔22。第一手写笔12和第二手写笔22的结构可以相同,可以不同,本申请实施例对此不作限定。
随着终端技术的快速发展,终端产品的新功能层出不穷。例如,根据手写笔的笔尖压力的不同,电子设备的屏幕上可以显示线条在长短、粗细、曲直、疏密、轻重等的变化。因此越来越多的书法、绘画创作者选择使用手写笔配合电子设备(如手机、平板电脑等)进行线上教学或分享。具体来说,创作者可以使用手写笔在创作者的屏幕上进行书法或绘画的创作,并可以通过直播或录屏的方式将创作成果发送到学习者的电子设备上进行展示,方便学习者进行临摹。
然而学习者的显示屏上只是呈现出最终的创作成果,学习者只能看到屏幕中笔刷粗细、轨迹方向、大小等变化,并不能了解创作者的创作思路。也就是说,学习者只能看到创作者写出来的笔刷效果,并不能知道这些笔刷效果是通过怎样的用笔技法得到的,存在信息缺失,影响了学习者的学习效率和临摹效果。
为了弥补这一缺陷,有些创作者通过放置桌面摄像头的方式拍摄自己的动作技法和屏幕绘制的实际效果。但这种方式需要单独架设摄像头,并且创作者在创作过程中由于姿势变化会存在手臂遮挡,导致学习者无法同时看到用笔技法和屏幕绘制效果,同样影响学习效率和临摹效果。
因此,亟需提供一种技术方案,以解决上述技术问题。
图4示出了本申请实施例提供的一种线上教学方法的示意图。
在本申请实施例提供的技术方案中,创作者在进行创作时,创作者的电子设备可以采集手写笔的相关信息以确定创作者的用笔技法,同时采集实际笔刷效果。相应地,学习者的显示屏可以同时显示虚拟用笔技法和实际笔刷效果,这样可以方便学习者更有效率的进行学习和临摹。下面将结合附图进行更为详细的介绍。
为方便说明,在图4所示方法中,创作者使用的电子设备和手写笔以及学习者使用的电子设备可以分别以图1所示的第一电子设备11、第一手写笔12和第二电子设备21为例,其中第一电子设备11与第一手写笔12之间已建立连接并可以相互通信。第一电子设备11与第一手写笔12之间可以通过有线方式连接,也可以通过蓝牙、Wi-Fi等无线方式连接,本申请实施例对此不作限定。第一电子设备11的显示屏(即第一显示屏101)可以显示第一手写笔12的运动轨迹。创作者即为使用第一电子设备11的用户,以下实施例中称为第一用户。学习者即为使用第二电子设备21的用户,以下实施例中称为第二用户。
如图4所示,第一电子设备11可以执行步骤S401至S403,具体描述如下。
S401,根据第一信息确定第一用户的握笔姿势。
这里,第一用户的握笔姿势指的是第一用户的手握笔时所呈现出来的姿态。本申请实施例中,为方便描述,第一用户实际握笔的手可以称为真实手13,在第二电子设备12上呈现出来的第一用户的手可以称为虚拟手14。
本申请实施例中,第一信息可以包括握笔位置信息401a、笔身倾角信息401b和手部支撑信息401c。
握笔位置信息401a用于指示真实手13与第一手写笔12相接触的区域在第一手写笔12上的位置。本申请实施例中,真实手13上的与第一手写笔12相接触的部位包括但不限于手指、手掌、手腕以及相邻手指之间的连接部位等。
该握笔位置信息401a可以由第一手写笔12获取后再发送给第一电子设备11。作为示例而非限定,第一手写笔12的笔身设置有第一压力传感器,该第一压力传感器用于检测真实手13在笔身的触摸区域。在一些实施例中,该第一压力传感器还可以检测真实手13的触摸强度(或称握笔压力),例如检测真实手13在哪些触摸区域的用力大,在哪些触摸区域的用力小等。
该第一压力传感器所检测到的触摸区域可以有多种表示形式。
在一些实施例中,该第一压力传感器所检测到的触摸区域以坐标形式表示。例如该第一手写笔12可以包括以笔上某一点(如笔尖)为原点建立的坐标系,如直角坐标系或柱状坐标系等,而笔身上的任意一点都具有确定的坐标,这样当真实手13触摸第一手写笔12的笔身时,设置于笔身的第一压力传感器可以检测到触摸区域并获取相应坐标。相应地,第一手写笔12可以将触摸区域的坐标发送给第一电子设备11。
为了保持第一手写笔12的稳定性,在握笔时,真实手13与第一手写笔12相接触的区域有多个,即第一压力传感器所检测到的触摸区域有多个。
针对某个触摸区域来说,该触摸区域的坐标可以以该触摸区域中的任一点的坐标表示,例如以该触摸区域的中心点的坐标作为该触摸区域的坐标。
或者,该触摸区域的坐标可以包括该触摸区域的边界线坐标。示例性的,触摸区域的边界线可以包括多个第一点。相应地,触摸区域的边界线坐标可以包括该多个第一点中的每个第一点的坐标。
或者,该触摸区域的坐标可以包括该触摸区域的接触面坐标。可以理解的是,触摸区域的接触面即触摸区域的整个面。示例性的,触摸区域的接触面可以包括多个第一点和至少一个第二点,其中第一点为触摸区域的边界线上的点,第二点为触摸区域的边界线所围成的区域内的点。相应地,触摸区域的接触面坐标可以包括该多个第一点中的每个第一点的坐标和该至少一个第二点中的每个第二点的坐标。
在另一些实施例中,该第一压力传感器所检测到的触摸区域以距离和方位形式表示。例如,可以以第一手写笔12的笔尖作为基准点,以触摸区域内的一点(如中心点)代表该触摸区域。通过该点与笔尖之间的距离以及该点与笔尖的连线相对于第一手写笔12的中轴线的倾斜方位,可以确定该点在笔身上的位置。实际上,第一手写笔12具有固定的尺寸,以笔尖作为基准点,以该点与笔尖之间的距离为半径,沿着该点与笔尖的连线相对于第一手写笔12的中轴线的倾斜方位倾斜,可以知道该点与笔尖的连线同笔表面的相交处即为触摸区域在笔身上的位置,还可以知道该点与笔尖的连线相对于第一手写笔12的中轴线的倾斜角度。
在又一些实施例中,第一压力传感器在笔身上的设置位置是已知的,当真实手13接触第一手写笔12的笔身时,相应位置的第一压力传感器可以检测到真实手13的触摸,因此真实手13在笔身上的接触区域相对于整个笔身的位置即为相应的第一压力传感器在笔身上的设置位置。其中第一压力传感器在笔身上的设置位置是第一手写笔12出厂时就已经预设且已知的。应理解,握笔位置信息401a还可以通过其他方式获取,本申请实施例对此不作限定。
笔身倾角信息401b用于指示第一手写笔12相对于第一平面倾斜的角度。具体地,笔身倾角信息401b可以包括该倾斜角度,或者包括用于计算该倾斜角度的信息。
例如该角度可以为第一手写笔12与第一平面之间的夹角,具体可以为第一手写笔12的中轴线与第一手写笔12在第一平面内的投影的轴线之间的夹角,如图4所示的夹角α。本申请实施例中,第一平面为与第一手写笔12的笔尖相接触的平面,例如为第一显示屏101所在的平面、桌面、纸面或曲面的切平面等。
或者,该角度也可以为第一手写笔12与第二平面之间的夹角,具体可以为第一手写笔12的中轴线与第一手写笔12在第二平面内的投影的轴线之间的夹角。这里,第二平面与第一手写笔12在第一平面内的投影的轴线相垂直。
本申请实施例中,笔身倾角信息401b可以由第一手写笔12获取后再发送给第一电子设备11,也可以由第一电子设备11直接获取。
例如,第一手写笔12可以设置如图3所示的第一电极224和第二电极225,第一手写笔12可以根据第一电极224的信号量与第二电极225的信号量之间的差值计算笔身倾角,并将笔身倾角传输给第一电子设备11。本申请实施例中,第一手写笔12根据第一电极224的信号量与第二电极225的信号量还可以测算出第一手写笔12的倾斜方位。这里第一手写笔12的倾斜方位可以理解为是第一手写笔12相对于第一垂线的倾斜方向,如第一手写笔12向该第一垂线的三点钟方向倾斜,或者第一手写笔12向该第一垂线的五点钟方向倾斜等。第一垂线垂直于第一平面且通过第一手写笔12的笔尖。
再如,第一手写笔12中可以设置如图3所示的陀螺仪传感器222,第一手写笔12可以利用该陀螺仪传感器222检测第一手写笔12相对于第一平面倾斜的角度。这里,第一平面垂直于重力方向,也可以称为水平面。在一些实施例中,陀螺仪还可以检测第一手写笔12的倾斜方位。
又如,第一手写笔12的末端可以设置距离传感器,该距离传感器可以检测第一手写笔12的末端与第一平面的距离。基于手写笔12自身的长度和第一手写笔12的末端到第一平面的距离可以得到笔身倾角。其中第一手写笔12可以计算出笔身倾角后传输给第一电子设备11,也可以将手写笔12的长度和第一手写笔12的末端到第一平面的距离传输给第一电子设备11,由第一电子设备11计算笔身倾角。
再如,第一手写笔12可以设置如图3所示的第一电极224和第二电极225,第一电子设备11可以直接获取第一电极224的信号量与第二电极225的信号量之间的差值,并可以根据该信号量的差值计算笔身倾角。
应理解,笔身倾角信息401b还可以通过其他方式获取,本申请实施例对此不作限定。
手部支撑信息401c用于指示真实手13在第一显示屏101上的支撑位置、支撑面积、支撑部位轮廓等。
该手部支撑信息401c可以由第一电子设备11获取。一般第一显示屏101上与真实手13对应的显示区域的信号量与其他显示区域的信号量存在差别,通过信号量差别可以获取手部支撑信息401c。作为示例而非限定,第一电子设备11中可以通过设置的传感器如触摸传感器、压力传感器等获取信号量差别,从而获取手部支撑信息401c。本申请实施例中,触摸传感器还可以区分是用户的手触摸还是手写笔触摸。
在步骤S401中,第一电子设备11可以根据握笔位置信息401a、笔身倾角信息401b和手部支撑信息401c确定第一用户的握笔姿势。本申请实施例中,在确定第一用户的握笔姿势时,不仅考虑握笔位置信息401a和笔身倾角信息401b,还考虑了手部支撑信息401c,这样可以使第一电子设备11确定的握笔姿势更贴合第一用户实际的握笔姿势,使得后续还原出来的用笔技法更准确。
在一些实施例中,第一信息还可以包括握笔压力信息401d,握笔压力信息401d用于指示真实手13的握持力度。
握笔压力信息401d可以由第一手写笔12检测后再传输给第一电子设备11。作为示例而非限定,握笔压力信息401d可以由设置在第一手写笔12笔身表面的第一压力传感器检测。本申请实施例中,握笔压力信息401d可以包括真实手13与第一手写笔12相接触的各个位置所对应的压力值。
在一些实施例中,第一信息还可以包括笔的尺寸信息401e。在一些实施例中,该笔的尺寸信息401e可用于构建与第一手写笔12对应的虚拟笔模型。在另一些实施例中,该笔的尺寸信息401e可用于计算握笔位置、笔身倾角等。
本申请实施例中,根据第一信息确定握笔姿势的方式可以有多种。
作为一个示例,第一电子设备11可以预设有虚拟手14的三维模型和虚拟笔15的三维模型。虚拟手14的各关节可以灵活运动,从而能够根据需要呈现各种姿势。具体地,在步骤S401中,可以根据第一信息调整虚拟手14握持虚拟笔15的姿势,如根据握笔位置信息401a调整虚拟手14的执笔手指和执笔位置,根据手部支撑信息401c进一步调整虚拟手14的支撑姿态,根据笔身倾角信息401b可以调整虚拟笔15的倾斜角度,等等。将调整好姿势的三维模型进行渲染,可以得到虚拟握笔姿势。
可选地,在一些实施例中,对应于每个笔尖位置,第一电子设备11均根据第一信息调整三维模型并进行渲染从而得到对应该笔尖位置的虚拟握笔姿势。在另一些实施例中,若在第一用户绘制笔迹的过程中,第一用户的握笔姿势保持不变,只是笔尖位置发生变化,则第一电子设备11可以只进行一次三维模型的调整和渲染,得到的虚拟握笔姿势对应各个笔尖位置。
本申请实施例中,虚拟笔15的模型可以是固定的,如具有固定的尺寸和固定的笔尖类型。当然,在其他一些实施例中,虚拟笔15的模型可以根据第一手写笔12的尺寸信息进行调整,以形成与第一手写笔12对应的模型,这样呈现出来的虚拟笔更真实。或者,根据用户选择的笔刷不同,虚拟笔15的笔尖类型可以根据笔刷进行更换,这样呈现出来的虚拟笔更直观。在一些实施例中,第一电子设备11可以向用户提供选择虚拟笔模型的选项,以供用户选择显示真实手写笔的模型或对应笔刷的模型。
作为另一个示例,第一电子设备11内可以预设有多个虚拟握姿模板,该虚拟握姿模板可以是三维的,也可以是二维的(如第一视角的二维图)。每个虚拟握姿模板对应一种握笔姿势。在步骤S401中,第一电子设备11可以将第一信息与虚拟握姿模板进行匹配,例如,可以匹配握笔位置信息401a与虚拟握姿模板中虚拟手14的握笔位置,匹配笔身倾角信息401b与虚拟握姿模板中虚拟笔15的倾斜角度,匹配手部支撑信息401c与虚拟握姿模板中虚拟手14的支撑位置、面积,等等。第一电子设备11可以将与第一信息匹配度最高的虚拟握姿模板作为要呈现出来的握笔姿势。
需要说明的是,上述第一视角是指第一用户的视角。
S402,获取笔迹图像。
具体地,该笔迹图像可以包括笔尖位置信息402a,该笔尖位置信息402a用于指示第一手写笔12的笔尖在第一显示屏101上的位置。
作为示例而非限定,第一电子设备11中的电磁膜可以检测第一手写笔12触发的电磁信号,并将其转换为报点数据传输给***级芯片。***级芯片将报点数据传输给显示屏控制器,从而在第一显示屏101上绘制出笔迹图像。该报点数据可以包括第一手写笔12的笔迹的坐标数据,即包括笔尖位于每个报点时的坐标。
在一些实施例中,该笔迹图像还可以包括笔尖压力信息402b,笔尖压力信息402b用于指示真实手13按压笔尖的力度。根据笔尖压力大小的不同,第一手写笔12的笔迹图像可以显示出线条的笔锋、粗细等效果。
该笔尖压力信息402b可以由第一手写笔12检测后再传输给第一电子设备11。作为示例而非限定,笔尖压力信息402b可以由设置于第一手写笔12笔身内的第二压力传感器检测。或者,笔尖压力信息402b可以由第一电子设备11检测,例如由设置于第一电子设备11上的压力传感器检测,本申请实施例对此不作限定。可选地,在具体实现中,第一电子设备11可以将直接或间接获取的笔尖压力信息402b转换为报点数据,由***级芯片传输给显示屏控制器。也就是说,用于绘制出笔迹图像的报点数据可以包括报点对应的坐标数据,还可以包括报点对应的压感数据,这样第一显示屏101显示的笔迹图像根据压感数据(即笔尖压力)可以实现不同的笔锋效果。
在一些实施例中,该笔迹图像还可以包括运笔方向信息402c和运笔速度信息402d。运笔方向信息402c和运笔速度信息402d可以通过运笔过程中第一手写笔12的笔尖在第一显示屏101上的位置变化体现。笔尖位置变化的方向即运笔方向,笔尖位置变化的速度即运笔速度。
可选地,第一手写笔12可以设置如图3所示的加速度传感器223,加速度传感器223可以检测第一手写笔12在运动时的加速度,进一步地,通过积分运算可以得到运笔速度。相比采用报点获取运笔速度的方式,通过加速度计获取运笔速度,可以减少时延。
步骤S402获取的笔迹图像,呈现的是笔刷效果,具体可以呈现出线条的长短、粗细、曲直、疏密、轻重、刚柔等变化。
S403,将笔迹图像与握笔姿势进行叠加,形成用笔技法教学视频。
在该步骤中,将笔迹图像与握笔姿势进行叠加,可以还原第一用户的用笔技法。用笔技法是指在书写、绘画等用笔场景中进行运笔的过程,例如用笔技法可以包括以何种握笔姿势、何种运笔方向、何种运笔速度等进行落笔、行笔、收笔等过程,从而可以使线条具有长短、粗细、曲直、疏密、轻重、刚柔等变化。
本申请实施例中,用笔技法可以包括握笔姿势和用笔动作。握笔姿势是指手握笔的姿态,如包括前述握笔位置、握笔压力、笔身倾角、手部支撑位置、手部支撑面积、手部支撑轮廓等。用笔动作是指运笔过程中的动作,如包括前述运笔的速度、方向、力度等。本申请实施例中,用笔动作可以通过笔迹图像体现,例如在一连续时间内,笔迹图像中笔尖位置的变化可以指示运笔的速度和方向,笔迹图像中线条粗细的变化可以指示运笔力度。
本申请实施例中,第一电子设备11所还原的用笔技法可以称为虚拟用笔技法。一般地,虚拟用笔技法包括的信息越丰富,最终呈现的效果越接近实际的用笔技法。
在步骤S403中,所形成的用笔技法教学视频包括笔迹图像以及笔迹图像中的每个笔尖位置所对应的握笔姿势(也即虚拟用笔技法的动作画面,本申请实施例中也可以称为虚拟握笔姿势)。或者说,该用笔技法教学视频包括多个视频帧,该多个视频帧中的每个视频帧包括对应时刻所完成的笔尖轨迹以及该笔尖轨迹中的最后一个笔尖位置所对应的握笔姿势。这样,最终形成的用笔技法教学视频既可以呈现出第一手写笔12在第一显示屏101上所绘制的笔迹图像,还可以呈现出绘制该笔迹图像的用笔技法。
在该步骤中,由于笔迹图像中每个笔尖位置处,均叠加有对应的虚拟握笔姿势,笔迹图像还可以显示线条的变化,这样形成的用笔技法教学视频在第二电子设备21的显示屏(即第二显示屏201)上呈现时,既可以显示第一手写笔13的笔刷效果(如图4示出的笔迹图像16),又可以显示第一用户的用笔技法。相应地,使用第二电子设备21的用户(即第二用户)可以看到第一用户是通过怎样的用笔技法实现了相应的笔刷效果,从而可以提高学习效果。
在一些实施例中,上述用笔技法教学视频还可以包括第一用户的手指在第一显示屏101上的操作,如点击操作、滑动操作、长按操作等。
在另一些实施例中,上述用笔技法教学视频还可以包括第一手写笔12在第一显示屏101上的操作,如点击操作、滑动操作、长按操作等。
在一些实施例中,该用笔技法教学视频是在由第一电子设备11制作完成后,再发送给第二电子设备21。例如,第一用户使用第一手写笔12在第一显示屏101上完成一幅画作,相应地,第一电子设备11可以执行上述步骤S401-S403以形成用于展示如何完成该画作的用笔技法教学视频。在该用笔技法教学视频完成后,第一电子设备11可以将该用笔技法教学视频的全部视频帧一次性发送给第二电子设备21。接收到用笔技法教学视频的第二电子设备21,可以在第二显示屏201上播放该用笔技法教学视频,如图4中第二显示屏201所示。这种情况下,使用第二电子设备21的用户实际上可以控制该用笔技法教学视频的播放进度,例如执行快进、回退、倍速、慢放、暂停等操作。第一用户在第一电子设备11上的创作过程与第二用户在第二电子设备21上的观看过程是解耦的。
在另一些实施例中,该用笔技法教学视频可以以直播形式发送给第二电子设备21。也就是说,第一用户在第一电子设备11上进行创作的同时,第二用户可以实时在第二电子设备21上进行观看。该用笔技法教学视频的制作和播出是同步的。这种情况下,使用第二电子设备21的用户可以认为是在观看直播视频,其并不能对用笔技法教学视频的播放进度进行调整。在不考虑时延的情况下,第一用户在第一电子设备11上的创作过程与第二用户在第二电子设备21上的观看过程是同步的。作为示例而非限定,第一用户可以通过共享桌面的方式进行直播。
在又一些实施例中,该用笔技法教学视频是由第一电子设备11制作完成后,保存于第一电子设备11中。第一电子设备11可以直播该该用笔技法教学视频。这种情况下,第一用户实际上已经完成了创作,获取的用笔技法教学视频可以保存于第一电子设备的视频文件中,后续可以通过远程网络直播的方式实时呈现给观看教学的用户,或者通过近距离短距互联的方式实时呈现给观看教学的用户。第一用户在第一电子设备11上的创作过程与第一用户通过第一电子设备11直播的过程是解耦的,在不考虑时延的情况下,第一电子设备11播放用笔技法教学视频的过程与第二用户在第二电子设备21上的观看过程是同步的。
需要说明的是,本申请实施例中,第一电子设备11向第二电子设备21发送用笔技法教学视频时,可以是直接发送的,也可以是间接发送的。例如,若第一电子设备11与第二电子设备21可以通过短距方式连接,第一电子设备11与第二电子设备21可以直接通信,则第一电子设备11可以将用笔技法教学视频直接发送给第二电子设备21。再如,若第一电子设备11与第二电子设备21均可以使用同一服务器提供的服务,则第一电子设备11可以先将用笔技法教学视频发送给服务器,再由服务器发送给第二电子设备21。
本申请实施例中,第一电子设备11可以在用笔技法教学视频制作完成后,将用笔技法教学视频保存于本地或云端。
继续参考图4,上述实施例中,步骤S403由第一电子设备11执行,则第二电子设备21可以直接获取用笔技法教学视频,并在第二显示屏201上显示给第二用户。在另一些实施例中,步骤S403也可以由第二电子设备21执行。
例如,第一电子设备11可以将步骤S402获取的笔迹图像和步骤S401获取的虚拟握笔姿势(如虚拟握笔姿势的三维模型,或者渲染得到的握笔姿势,或者虚拟握姿模板)发送给第二电子设备21,由第二电子设备21将笔迹图像和虚拟握笔姿势叠加,得到用笔技法教学视频。
或者,第一电子设备11可以将前述第一信息、步骤S402获取的笔迹图像发送给第二电子设备21,由第二电子设备21执行步骤S401和S403。
在一些实施例中,步骤S403是否由第一电子设备11执行可以由用户选择,即创作者(第一用户)可以选择如何分享创作成果。例如,第一用户在做视频分享时,可以选择将笔迹图像和虚拟握笔姿势叠加后形成完整的用笔技法教学视频再分享,也可以选择将笔迹图像和虚拟握笔姿势分开分享以由学习者的电子设备将二者叠加形成完整的用笔技法教学视频。这样创作者可以有更多的分享选择。
在一些实施例中,第一电子设备11是否执行步骤S403也可以由用户选择。例如第一电子设备11可以提供“显示握笔姿势”或“隐藏握笔姿势”等选项供用户选择。若用户选择“显示握笔姿势”时,第一电子设备11可以执行步骤S401-S403。若用户选择“隐藏握笔姿势”,则第一电子设备11可以只执行步骤S402。
本申请实施例提供的方法可以适用于使用手写笔进行创作的各种场景,例如将第一手写笔12作为签字笔、马克笔、书法笔、绘画笔等进行书法或绘画的创作。当真实手13采用不同用笔类型所对应的握笔姿势握持第一手写笔12时,第一电子设备11可以执行前述步骤S401以确定相应的握笔姿势,下面结合具体的示例进行说明。本申请实施例中由第一电子设备11确定的握笔姿势可以称为虚拟握笔姿势。
图5示出了本申请实施例提供的一种确定握笔姿势的流程示意图。
如图5中的(a)所示,第一手写笔12可以包括以笔尖为原点的直角坐标系,示例性的,第一手写笔12的笔身中轴线为Z轴,X轴和Y轴相互垂直且均垂直于Z轴。这里,X轴和Y轴的方向可以一直是固定的,也可以是在不同的握笔姿势下而有所不同。例如,可以将第一手写笔12在使用过程中沿笔尖倾斜方向延伸的直线作为X轴,也就是将第一手写笔12在使用过程中笔身在第一显示屏101所在平面的投影的延伸方向作为X轴。则与X轴和Z轴正交的方向为Y轴。
第一电子设备11获取的握笔位置信息401a可以包括第一用户握笔时真实手13与第一手写笔12的笔身相接触的四个位置的坐标,具体为P1(X1,Y1,Z1)、P2(X2,Y2,Z2)、P3(X3,Y3,Z3)、P4(X4,Y4,Z4)。原点为笔尖所在位置,坐标为(0,0,0)。根据该四个位置的坐标可以得到该四个位置的相对位置关系,从而有助于确定与每个位置相接触的手的部位。在具体实现中,第一电子设备11可以存储每一种握笔姿势所对应的接触点数量以及接触点之间的相对位置关系,这样,第一电子设备11在获取到握笔位置信息401a后,可以根据接触点的数量以及接触点之间的相对位置关系,确定出相应的手的握持部位,即确定第一用户使用哪些手指、哪些部位握持第一手写笔12。
例如,若(Z4>Z1)&(Z4>Z2)&(Z4>Z3),则确定P4位置为食指根部。若(Z1≈Z2≈Z3)&(X1<X2<X3),则确定P1位置为食指指腹,P2位置为拇指指腹,P3位置为中指第一关节中点处。这里,“&”表示“且”的意思。
在确定手的握持部位与接触点的对应关系后,根据该对应关系将三维的虚拟手14与三维的虚拟笔15进行装配。如图5中的(b)所示,在虚拟笔15上的P1、P2、P3、P4位置处,分别放置虚拟手14的食指指腹、拇指指腹、中指第一关节中点处、食指根部。这种情况下,虚拟手14的关节可以是灵活活动的,因此可以通过调整虚拟手14的关节点调整虚拟手14的姿态。
在将虚拟手14与虚拟笔15装配好后,如图5中的(c)所示,可以根据笔身倾角信息401b进行手部角度调整,例如根据笔身倾角α直接将装配好的虚拟手14和虚拟笔15同时倾斜,并根据手部支撑信息401c确定虚拟手14的支撑部位、支撑面积等。在一些实施例中,该步骤可以适应后续的渲染过程。
在其他一些实施例中,第一电子设备11可以存储每一种握笔姿势所对应的手部姿态三维模型(例如存储图5中的(b)去掉虚拟笔15后的部分),第一电子设备11将获取的握笔位置信息401a分别匹配各个手部姿态三维模型,可以将匹配度最高的手部姿态三维模型直接与虚拟笔15进行装配。
在其他一些实施例中,第一电子设备11也可以存储每一种握笔姿势所对应虚拟握姿模板,第一电子设备11将获取的第一信息与虚拟握姿模板进行匹配,并将匹配度最高的虚拟握姿模板作为要呈现出来的握笔姿势。这里,虚拟握姿模板中包括装配好的虚拟手和虚拟笔。
可以理解的是,第一用户在使用第一手写笔12进行创作时,可以先在第一电子设备11上选择笔刷,例如第一电子设备11可以提供铅笔笔刷、毛笔笔刷、钢笔笔刷、马克笔笔刷等等。第一用户选择的是哪种笔刷,可以认为将第一手写笔12作为对应类型的笔来使用。
本申请实施例中,虚拟笔15可以为对应第一手写笔12的模型,这样在首次建立第一手写笔12的模型后,就可以在后续过程中继续沿用,无需重复建立模型。在其他一些实施例中,为了提高视觉体验和学习效果,第一电子设备11在确定该第一手写笔12被用作何种类型的笔后,虚拟笔15可以是对应类型的笔的模型。该模型的尺寸可以参考第一手写笔12的尺寸信息。例如第一手写笔12被用作钢笔,则虚拟笔15可以为钢笔的模型;第一手写笔12被用作毛笔,则虚拟笔15可以为毛笔的模型。
图6示出了本申请实施例提供的另一种确定握笔姿势的流程示意图。
如图6中的(a)所示,第一手写笔12可以包括以笔尖为原点的直角坐标系。第一电子设备11获取的握笔位置信息401a包括第一用户握笔时真实手13与第一手写笔12的笔身相接触的四个位置的坐标,具体为P1(X1,Y1,Z1)、P2(X2,Y2,Z2)、P3(X3,Y3,Z3)、P4(X4,Y4,Z4)。原点为笔尖所在位置,坐标为(0,0,0)。根据该四个位置的坐标可以得到该四个位置的相对位置关系,从而有助于确定与每个位置相接触的手的部位。
例如,若(|Z1-Z2|小于第一预设距离)&(|Z3-Z4|小于第二预设距离)&(|Z3-Z2|大于第三预设距离)&(Z2>Z1)&(Z4>Z3),则可以确定P1位置为无名指的指甲根部,P2位置为中指指腹,P3位置为拇指指腹,P4位置为食指的第一关节处或第二关节处。
在确定手的握持部位与接触点的对应关系后,根据该对应关系将虚拟手14与虚拟笔15进行装配。如图6中的(b)所示,在虚拟笔15上的P1、P2、P3、P4位置处,分别放置虚拟手14的无名指、中指、拇指和食指。这种情况下,虚拟手14的关节可以是灵活活动的,因此可以通过调整虚拟手14的关节点调整虚拟手14的姿态。
当然,在其他一些实施例中,第一电子设备11可以存储对应于毛笔握姿的手部姿态三维模型(例如存储图6中的(b)去掉虚拟笔15后的部分),根据第一电子设备11获取的握笔位置信息401a可以匹配到该对应于毛笔握姿的手部姿态三维模型,然后将该手部姿态三维模型与虚拟笔进行装配。在该示例中,虚拟笔15可以为毛笔的模型,也可以为第一手写笔12的模型,本申请实施例对此不作限定。
在将虚拟手14与虚拟笔15装配好后,可以根据笔身倾角信息401b进行手部角度调整,并根据手部支撑信息401c确定虚拟手14的支撑部位、支撑面积等。在该示例中,由于第一手写笔12垂直于第一显示屏101所在平面,因此虚拟笔15相对与XY平面垂直。
在其他一些实施例中,第一电子设备11也可以存储对应于毛笔握姿的虚拟握姿模板,第一电子设备11根据第一信息可以匹配到该对应于毛笔握姿的虚拟握姿模板,因此可以将该对应于毛笔握姿的虚拟握姿模板作为要呈现出来的握笔姿势。这里,虚拟握姿模板中包括装配好的虚拟手和虚拟笔。
图5和图6中的握笔姿势仅为示例,一般来说,每种类型的笔都有基本的握笔姿势。
例如,当第一手写笔12用于硬笔书法时,即使用第一手写笔12写出铅笔、钢笔等笔刷效果时,通常采用如图5所示的握笔姿势。具体地,食指、拇指自然两段弯曲后捏笔,食指、拇指相对轻触或微分,笔头靠着中指第一关节处,笔杆斜靠在食指根部,无名指和小指紧抵中指,掌心空虚,小指侧面和手掌侧面支撑于绘制面。
又如,当第一手写笔12用于毛笔书法或国画创作时,即使用第一手写笔12写出毛笔等软笔笔刷效果时,通常采用如图6和图7所示的握笔姿势。毛笔的执笔方法通常包含指法、腕法和笔位。指法是指执笔手指的姿势和位置,具体可以分为二指执笔(如图7中的(a)所示)、三指执笔、四指执笔(如图6中的(b)和图7中的(b)所示)、五指执笔(如图7中的(c)所示)等。腕法是指执笔的手、腕、臂肘的运用,具体可以分为枕腕法、悬腕法、枕臂悬腕和悬臂悬腕法等。笔位是指执笔手指与笔杆接触的位置高低,具体可以分为低位、中位、高位、超高位四档,其中笔位的高低,以执笔的中指确定。不同的指法、腕法和笔位的组合可以形成各种执笔方法,例如单钩法、双钩法、握管法、撮管法、捻管法、拨镫四字法、回腕法等等,从而能够适应不同姿势的书写、绘画以及不同字体的书写等。
毛笔书法对应的握笔姿势配合相应的用笔动作可以形成毛笔书法的用笔技法,如快慢、提按、转折等。国画对应的握笔姿势配合相应的用笔动作可以形成国画的用笔技法,如勾、皴、擦、染、点等。
再如,当第一手写笔12用于素描时,握笔姿势可以包括:1)用于大面积排线的握笔姿势,如图8中的(a)所示,其中手指固定握住笔杆,腕关节左右活动,运动的幅度较大;2)用于小面积排线的握笔姿势,如图8中的(b)和(c)所示,其中拇指、食指和中指执笔,小指支撑在画纸上以控制用笔的力度,左右运动的幅度受到支撑点的限制,可以画较短的排线;3)用于局部刻画的握笔姿势,如图8中的(d)所示,其中握笔姿势类似于图5中的姿势,不同在于小指支撑在画纸上,靠手指关节的运动用笔,灵活且精准;4)用于细节描绘的握笔姿势,如图5中的(c)所示,即与普通硬笔书写的握笔方法基本一致,适合描绘对象的细节与边缘线。
从图中可以看出,不同的握笔姿势下,手指的握持位置、笔身倾角以及手部支撑各有不同。本申请实施例中,充分考虑了以上各因素,因此能够在上述步骤S401中确定出更为准确和贴切的握笔姿势,从而更加准确地再现用户的用笔技法。
为了便于理解本申请实施例提供的线上教学方法,下面以使用第一手写笔12进行绘画为例,结合一些示例的而非限定的用户界面(user interface,UI)示意图作进一步描述。
图9至图12示出了本申请实施例提供的一些在第一电子设备上显示的用户界面的示意图。如图9-12所示,第一显示屏101上可以显示某个绘画软件的主界面。
参考图9,第一用户在使用第一手写笔12在第一显示屏101上进行绘制之前,可以先选择笔刷类型。示例性的,第一用户可以在该绘画软件的“笔刷库”选项框102中选择笔刷类型,其中笔刷类型包括但不限于铅笔、油画笔、毛毡笔、水彩毛笔、书法毛笔、墨水笔等。可以理解的是,图9所示的“笔刷库”选项框102显示笔刷的方式以及所显示的笔刷类型仅仅是示例性的,其不认为是对本申请的限定。第一用户还可以通过如图9所示的滑动按钮103和104分别调节选定笔刷的透明度和大小。
参考图10,第一用户在使用第一手写笔12在第一显示屏101上进行绘制之前,可以选择是否录制视频。示例性的,第一用户可以在绘画软件的“视频”选项框105中打开或关闭“录制视频”开关。例如若第一用户打开“录制视频”开关,则第一电子设备11可以在预设时间之后或者接收到第一用户的指令之后开始录制第一用户绘制笔迹图像的过程。在具体实现中,该“录制视频”功能可以通过录屏技术实现。
在一些实施例中,在录制完视频后,第一用户可以在“视频”选项框105中选择“视频回放”功能,第一电子设备11可以将录制好的视频展示给第一用户。也就是说,第一用户可以在自己的电子设备上先预览录制好的视频。这里,第一用户预览的视频可以是叠加了握笔姿势的视频(即前述用笔技法教学视频),也可以是只展示笔迹图像的视频。例如,若第一用户打开“在视频中叠加握笔姿势”开关,则第一用户预览的视频为笔迹图像叠加握笔姿势,若第一用户关闭“在视频中叠加握笔姿势”开关,则第一用户预览的视频为笔迹图像。或者,第一用户预览的视频默认为笔迹图像叠加握笔姿势,其中在预览视频的界面可以提供可供第一用户操作的开关,以显示或隐藏握笔姿势。
在一些实施例中,在录制完视频后,第一用户可以在“视频”选项框105中选择“导出视频”功能,第一电子设备11可以将录制好的视频保存在本地或云端,或者将录制好的视频通过邮件、即时通讯等应用发送给其他用户。
在一些实施例中,第一用户可以在“视频”选项框105中选择“导入视频”功能,第一用户可以从本地或云端选择一个视频在该绘图软件中呈现。例如,第一用户可以选择呈现记载了其他用户创作过程的视频,这样可以方便第一用户观看视频以进行学习或评价,或者方便第一用户边观看视频边进行临摹学习。
参考图11,第一用户在使用第一手写笔12在第一显示屏101上进行绘制之前,可以进行偏好设置。示例性的,第一用户可以在绘画软件的“偏好设置”选项框106中打开或关闭“在视频中叠加握笔姿势”开关。例如,若第一用户打开“在视频中叠加握笔姿势”开关,则第一电子设备11在录制笔迹图像的同时会叠加握笔姿势,若第一用户关闭“在视频中叠加握笔姿势”开关,则第一电子设备11录制笔迹图像而不叠加握笔姿势。这样,第一用户可以选择只录制笔迹图像以呈现创作成果,或者录制笔迹图像并叠加握笔姿势从而呈现创作成果以及相应的创作思路。
在一些实施例中,在第一用户打开“在视频中叠加握笔姿势”开关后,第一电子设备11还可以向第一用户提供选择虚拟笔模型的选项。例如,若第一用户选择“手写笔”选项,在录制视频时,叠加的握笔姿势中所使用的笔为第一手写笔12的模型;若第一用户选择“笔刷库”选项,在录制视频时,叠加的握笔姿势中所使用的笔为第一用户选择的笔刷的模型。
在一些实施例中,在第一用户打开“在视频中叠加握笔姿势”开关后,第一电子设备11还可以向第一用户提供选择虚拟笔视角的选项。例如,若第一用户选择“第一视角”选项,在录制视频时,叠加的握笔姿势为第一视角(即第一用户的视角)的姿势;若第一用户选择“最佳视角”选项,在录制视频时,叠加的握笔姿势为最佳视角的姿势。这里,最佳视角可以为能够基本全面地看到手部姿态的视角。
在一些实施例中,第一用户可以在绘画软件的“偏好设置”选项框106中打开或关闭“分享视频时同步分享原始参数”开关。例如,若第一用户打开“分享视频时同步分享原始参数”开关,则在第一用户分享视频的同时,也会将关于形成该视频的原始参数(例如前述笔尖位置信息402a、笔尖压力信息402b、运笔方向信息402c、运笔速度信息402d、握笔位置信息401a、笔身倾角信息401b、手部支撑信息401c、握笔压力信息401d、笔的尺寸信息401e中的至少一项)分享。若第一用户关闭“分享视频时同步分享原始参数”开关,则在第一用户分享视频时,可以认为分享只是图像数据。
参考图12,在录制完视频后,第一用户可以在“分享”选项框105中选择如何分享创作成果。示例性的,第一电子设备11可以提供“分享视频”选项、“分享图像”选项、“分享原始参数”选项,或者还可以提供“分享图层”选项,本申请实施例对此不作限定。
在一些实施例中,若第一用户选择分享视频,第一电子设备11还可以向第一用户提供“视频中显示握笔姿势”的子选项和“视频中隐藏握笔姿势”的子选项。也就是说,第一用户可以选择在所分享的视频中显示或隐藏握笔姿势。实际上,当在视频中隐藏握笔姿势时,可以认为所分享的视频中包括笔迹图像,而不叠加握笔姿势。
在一些实施例中,若第一用户选择分享图像,第一电子设备11还可以向第一用户提供用于选择图像类型的子选项,例如“PDF”子选项、“PSD”子选项、“JPEG”子选项、“PNG”子选项等。
在一些实施例中,若第一用户选择分享原始参数,第一电子设备11还可以向第一用户提供用于选择原始参数类型的子选项,例如“笔迹图像”子选项、“笔迹图像和握笔姿势”子选项等。也就是说,第一用户可以选择分享用于形成笔迹图像的原始参数(例如前述笔尖位置信息402a、笔尖压力信息402b等),或者选择分享用于形成笔迹图像和握笔姿势的原始参数(例如前述笔尖位置信息402a、笔尖压力信息402b、第一信息等)。
参考图13,第一用户可以通过共享屏幕直播自己的创作过程。示例性的,第一用户可以在“共享屏幕”选项框105中选择如何直播创作过程。例如,第一电子设备11可以提供“显示握笔姿势”选项和“隐藏握笔姿势”选项。
在一些实施例中,若第一用户选择“显示握笔姿势”选项,则在第一用户直播过程中,其他观看直播的用户可以在自己的电子设备屏幕上看到叠加的握笔姿势和笔迹图像。
在一些实施例中,若第一用户选择“隐藏握笔姿势”选项,则在第一用户直播过程中,其他观看直播的用户在自己的电子设备屏幕上只看到笔迹图像,而不会看到第一用户的握笔姿势。
需要说明的是,上述图9至图13所示的界面图仅仅是示例性的,界面的布局以及界面中显示的各个选项、开关的名称也是示例性的,其主要是用于更为直观的介绍第一电子设备11在执行图4所示的方法时,第一电子设备11所能提供的功能。关于图9至图13的相关描述并不构成对本申请的限定。
上文结合附图4-13主要介绍了第一电子设备11执行的步骤和可能的可视化界面,下面结合附图14-16介绍第二电子设备21执行的步骤。
如图14所示,第二电子设备21可以执行步骤S510至S520,具体描述如下。
S510,获取用笔技法教学视频,并显示于第二显示屏201。
该用笔技法教学视频中包括第一手写笔的笔迹图像16和第一用户的握笔姿势。具体地,该握笔姿势为经过还原得到的虚拟握笔姿势,该虚拟握笔姿势包括虚拟手14和虚拟笔15。
在一些实施例中,该用笔技法教学视频为第二电子设备21直接或间接地从第一电子设备11接收的。例如第一电子设备11执行图4所示的步骤S403后,将用笔技法教学视频直接或间接地发送给第二电子设备21。示例性的,第一用户在完成创作后,可以在如图12所示的界面中,选择“视频中显示握笔姿势”的子选项,从而将用笔技法教学视频直接或间接地传输给第二电子设备21。
在另一些实施例中,该用笔技法教学视频可以为第二电子设备21根据第一手写笔12的笔迹图像和第一用户的握笔姿势叠加得到的。
例如在步骤S510之前,第二电子设备21还可以执行:
S501,获取第一手写笔的笔迹图像。
本申请实施例中,该第一手写笔的笔迹图像为第二电子设备21直接或间接地从第一电子设备11接收的。
S502,获取第一用户的握笔姿势。
在一个示例中,该第一用户的笔迹图像为第二电子设备21直接或间接地从第一电子设备11接收的。
在另一示例中,该第一用户的笔迹图像为第二电子设备21根据前述第一信息获取的。也就是说,第二电子设备21可以直接或间接地从第一电子设备11获取第一信息,然后可以根据第一信息获取第一用户的笔迹图像。这种情况下,第二电子设备21所执行的步骤与图4所示的步骤S401相同,具体可参考上文相关描述,在此不再赘述。
示例性的,第一用户在完成创作后,可以在如图12所示的界面中,选择分享原始参数,具体选择“笔迹图像和握笔姿势”子选项,从而将用于形成笔迹图像和握笔姿势的原始参数直接或间接地传输给第二电子设备21。
S503,将第一手写笔的笔迹图像和第一用户的握笔姿势叠加,得到用笔技法教学视频。
步骤S503与图4所示的步骤S403相同,具体可参考上文相关描述,在此不再赘述。
本申请实施例中,用笔技法教学视频可以以视频播放形式展示,也可以以直播形式展示,在此不作具体限定。示例性的,图14中以直播形式将用笔技法教学视频显示于第二显示屏201。相应地,使用第二电子设备21的用户(即第二用户)可以观看视频或直播在纸面上进行临摹,或者使用第二手写笔22在第二显示屏201上进行临摹。
下面以第二用户使用第二手写笔22在第二显示屏201上进行临摹为例,如图14所示,第二设备21可以执行如下步骤:
S520,获取第二手写笔22的笔迹图像26,并显示于第二显示屏201。
第二电子设备23获取第二手写笔22的笔尖图像26的方式可以与第一电子设备11获取第一手写笔12的笔迹图像16的方式相同,具体可参考上述关于步骤S402的相关描述,为简洁,在此不再赘述。本申请实施例中,笔迹图像26可以呈现出线条的长短、粗细、曲直、疏密、轻重、刚柔等变化。换言之,笔迹图像26可以为第二电子设备21所呈现的笔刷效果。
在一些实施例中,第二显示屏201上可以同时显示用笔技法教学视频和第二手写笔22的笔迹图像26,以便第二用户对照用笔技法教学视频进行临摹,并可以将自己的临摹成果与第一用户的创作成果进行比对,找出用笔技法差距,有助于第二用户更好的学习第一用户的创作过程。示例性的,如图14所示,第二显示屏包括第一显示区201a和第二显示区201b,其中用笔技法教学视频显示于第一显示区201a,第二手写笔22的笔迹图像26显示于第二显示区201b。
在一些实施例中,第二电子设备21可以通过比对第二用户的临摹成果与用笔技法教学视频,从而在用笔技法的维度给出创作技法提升改进的建议,有助于第二用户更好的学习第一用户的创作过程。
例如,第二电子设备21可以执行如图4所示的步骤S401至S403,形成对应于第二用户的用笔技法临摹视频。这样,如图15中的(a)和(b)所示,在第二显示屏201的第一显示区201a可以显示对应于第一用户的用笔技法教学视频,在第二显示屏201的第二显示区201b可以显示对应于第二用户的用笔技法临摹视频。第二电子设备21可以通过比对用笔技法教学视频和用笔技法临摹视频,找出第一手写笔的笔迹图像16与第二手写笔的笔迹图像26之间的差异,和/或找出第一用户的握笔姿势与第二用户握笔姿势之间的差异,并标注出来以提示第二用户。
在一些实施例中,第二电子设备21除了在第二显示屏201上显示差异外,还可以在差异处辅以文字提示,例如“提笔无锋”“颜色融合不自然”“颜色过度”“边缘毛躁”“过度晕染”等等。
当然,第二电子设备21也可以给第二用户提出改进建议,例如显示“建议您多多练习起笔”、“建议您多多练习收笔”等建议,这样第二用户根据标注和建议知道自己在哪些地方需要改善,从而提升学习效果。
再如,如图16中的(a)和(b)所示,第二电子设备21可以在第二用户的用笔技法临摹视频中,叠加显示第一手写笔的笔迹图像16的轮廓17,以间接显示第一手写笔的笔迹图像16。这样,第二用户可以在第二显示区201b同时看到第一手写笔的笔迹图像的轮廓17和第二手写笔的笔迹图像26,从而知道自己在哪些地方需要改善。在一些实施例中,第二显示屏201也可以不显示第一用户的用笔技法教学视频,而通过整个显示区叠加显示第二手写笔的笔迹图像26和第一手写笔的笔迹图像的轮廓17。
在另一些实施例中,第二电子设备21可以获取第一用户的创作参数和第二用户的临摹参数,通过对比两套参数,以向第二用户提出建议。
本申请实施例中,第一用户的创作参数包括以下至少一项:第一手写笔的笔迹图像参数、第一用户的握笔姿势参数,其中第一手写笔的笔迹图像参数包括但不限于第一手写笔的笔尖位置参数、笔尖压力参数,第一用户的握笔姿势参数包括但不限于第一用户的握笔位置参数、笔身倾角参数,手部支撑参数、握笔压力参数。
本申请实施例中,第二用户的临摹参数包括以下至少一项:第二手写笔的笔迹图像参数、第二用户的握笔姿势参数,其中第二手写笔的笔迹图像参数包括但不限于第二手写笔的笔尖位置参数、笔尖压力参数,第二用户的握笔姿势参数包括但不限于第二用户的握笔位置参数、笔身倾角参数,手部支撑参数、握笔压力参数。
通过对比第一用户的创作参数和第二用户的临摹参数,第二电子设备21可以输出对比视频或文字报告,从用笔技法的各维度上给出技法提升建议,例如在线条轨迹、运笔快慢、下笔轻重、握笔压力等维度给出差异和建议。
上述给出的示例中,第二电子设备21是在第二用户临摹完成后,给出第二用户建议。在又一些实施例中,第二电子设备21可以在第二用户临摹过程中,通过第二手写笔22的振动反馈提醒第二用户。例如,第二电子设备21可以对比第一用户的创作参数和第二用户的临摹参数,在检测到偏差较大时,可以向第二手写笔22发送控制马达振动的指令,以提醒第二用户修正握笔姿势或下笔力度等。
上述介绍的比对并给出建议的步骤可以由第二电子设备21执行,在一些实施例中,也可以由第三方设备例如服务器来执行。例如第一电子设备11将用笔技法教学视频发送给服务器,并且第二电子设备21将用笔技法临摹视频发送给服务器,由服务器比对两个视频的差别。或者,第一电子设备11将第一用户的创作参数发送给服务器,并且第二电子设备21将第二用户的临摹参数发送给服务器,由服务器比对两套参数的差别。在识别差别的基础上,服务器还可以给出提升建议。具体地,服务器将差异和建议均发送给第二电子设备21,以向第二用户展示。在一些实施例中,服务器也可以将差异和建议均发送给第一电子设备11,以向第一用户展示。
本申请实施例提供的方案,可以真实沉浸式还原第一用户的创作过程、用笔技法,其中用笔技法除了包括手部在笔身的握姿等信息外,还包含手掌掌托在屏幕上的位置、面积等信息。用笔技法教学视频可以保存在第一电子设备11中,可以通过远程网络直播的方式实时呈现给观看教学的用户、也可以通过近距离短距互联的方式实时呈现给观看教学的用户。
在实际应用中,第一用户和第二用户可以通过打开手写笔上的按钮或者电子设备上的界面开关,使得第一电子设备11和第二电子设备21执行相应的步骤。
另外,在具体实现中,上述提及的用笔技法教学视频中还可以包括第一用户使用手指或笔尖点击软件界面上的菜单、选项等的动作画面。
结合上述实施例及相关附图,本申请实施例提供了一种线上教学方法,该方法可以在如图1、图2所示的电子设备中实现。图17是本申请实施例提供的一种线上教学方法的示意性流程图,图17所示的方法600描述了第一电子设备与第二电子设备的交互过程。示例性的,第一电子设备可以为上文中的第一电子设备11,第二电子设备可以为上文中的第二电子设备21。如图17所示,方法600可以包括步骤S610至步骤S640。
S610,第一电子设备获取视频数据。
该视频数据包括与第一手写笔对应的第一笔迹图像和与第一用户对应的第一握笔姿势。这里,第一手写笔与第一电子设备通信连接,第一用户为使用第一手写笔的用户。
本申请实施例中,第一握笔姿势是根据第一信息确定的。
在一些实施例中,第一信息包括第一手写笔的笔身倾角信息、第一用户的握笔位置信息和第一用户的手部支撑信息。
第一手写笔的笔身倾角信息用于指示第一用户使用第一手写笔时笔身倾斜的角度。例如,该第一手写笔的笔身倾角信息可以包括第一手写笔相对于显示屏所在平面倾斜的角度,或者包括用于计算笔身倾斜角度的信息如笔身长度和笔末端与显示屏所在平面之间的距离等。第一手写笔的笔身倾角信息可以由第一手写笔获取再传输给第一电子设备,或者直接由第一电子设备获取,或者由第一手写笔和第一电子设备分别获取一部分,本申请实施例对此不作限定。关于第一手写笔的笔身倾角信息的具体获取方式和具体内容可以参考前述笔身倾角信息401b的相关描述,为简洁,在此不再赘述。
第一用户的握笔位置信息用于指示第一用户执笔的手指数量和执笔位置。例如,该第一用户的握笔位置信息可以包括第一用户握笔位置的坐标。该第一用户的握笔位置信息可以由第一手写笔获取再传输给第一电子设备,其具体获取方式和具体内容可以参考前述握笔位置信息401a的相关描述,为简洁,在此不再赘述。
第一用户的手部支撑信息用于指示第一用户执笔时的手部支撑姿态,这里的手部包括执笔手的支撑姿态,还可以包括非执笔手的支撑姿态。例如,该第一用户的手部支撑信息可以包括第一用户的手在显示屏上的支撑位置、支撑面积和支撑轮廓。第一用户的手部支撑信息可以由第一电子设备获取,其具体获取方式和具体内容可以参考前述手部支撑信息401c的相关描述,为简洁,在此不再赘述。
本申请实施例中,在确定第一握笔姿势时,综合考虑第一手写笔的笔身倾角信息、第一用户的握笔位置信息和第一用户的手部支撑信息,有助于使获取的第一握笔姿势更贴近于第一用户的真实握姿。特别地,在不同握笔姿势下,第一用户的执笔手指数量和执笔位置可能相同,但第一用户的手在显示屏上的支撑位置、支撑面积或支撑轮廓会有所不同。因此在确定第一握笔姿势时,考虑第一用户的手部支撑信息有助于区分姿态相近的握笔姿势,从而使获取的第一握笔姿势更贴近第一用户的真实握姿。
在一些实施例中,第一信息还可以包括第一用户的握笔压力信息和/或第一手写笔的尺寸信息。
第一用户的握笔压力信息用于指示第一用户握笔时的压力。例如,该第一用户的握笔压力信息可以包括第一用户的手与第一手写笔相接触的各个位置所对应的压力值。该第一用户的握笔压力信息可以由第一手写笔获取后再传输给第一电子设备。关于第一用户的握笔压力信息的具体获取方式和具体内容可以参考前述握笔压力信息401d的相关描述,为简洁,在此不再赘述。
第一手写笔的尺寸信息用于辅助构建虚拟笔的模型,或者用于计算握笔位置、笔身倾角等。第一手写笔的尺寸信息可以在出厂预存于第一手写笔中,在第一手写笔与第一电子设备建立通信连接时,第一手写笔将该第一手写笔的尺寸信息传输给第一电子设备,或者第一手写笔应第一电子设备的请求,将第一手写笔的尺寸信息传输给第一电子设备。关于第一手写笔的尺寸信息的详细介绍可以参考前述笔的尺寸信息401e的相关描述,为简洁,在此不再赘述。
本申请实施例中,在确定第一握笔姿势时参考的信息越丰富,所确定的第一握笔姿势越贴近第一用户的真实握笔姿势。
在一些实施例中,步骤S610具体可以包括:第一电子设备获取第一笔迹图像和第一握笔姿势;第一电子设备将第一握笔姿势与第一笔迹图像进行叠加,得到该视频数据。
该第一电子设备执行叠加第一笔迹图像和第一握笔姿势的操作得到视频数据后,后续第一电子设备将给视频数据分享给其他电子设备时,其他电子设备可以直接通过显示屏呈现该视频数据对应的内容,操作简单。
本申请实施例中,第一电子设备获取第一握笔姿势的方式有多种。
在一个示例中,第一电子设备可以根据第一信息调整第一虚拟手握持第一虚拟笔的姿态,其中第一虚拟手和第一虚拟笔为存储于第一电子设备内的模型;在预设视角对第一虚拟手握持第一虚拟笔的姿态进行渲染,得到第一握笔姿势。
也就是说,第一电子设备内存储有手的模型(即第一虚拟手)和笔的模型(即第一虚拟笔),第一电子设备可以根据第一信息调整第一虚拟手握持第一虚拟笔的姿态,并在预设视角进行渲染,从而得到与第一用户对应的第一握笔姿势。这里,第一握笔姿势实际为虚拟握笔姿势,即根据第一信息还原出来的握笔姿势。这样第一电子设备内只需要存储一套手和笔的模型即可,在不同的握笔姿势下,第一电子设备可以根据第一信息分别调整,既能够节省存储空间,还能够实时渲染以准确、直观、多视角的再现用户的握笔姿势。并且,根据不同需求,用户可以对手的模型和笔的模型进行个性化设计或美化设计。
例如,在具体实现中,第一电子设备可以根据第一用户的握笔位置信息调整第一虚拟手握持第一虚拟笔的手指数量和位置,根据第一用户的手部支撑信息可以调整第一虚拟手的支撑姿态,根据第一手写笔的笔身倾角信息调整第一虚拟笔的倾斜程度。
这里,预设视角可以为第一视角(即第一用户的视角),可以为最佳视角(即能够完整展现握笔姿势的视角),还可以为第一用户自定义的视角,本申请实施例对此不作限定。
本申请实施例中,每个笔尖位置均对应一个握笔姿势,因此随着第一笔迹图像中笔尖位置的移动,对第一虚拟手握持第一虚拟笔的姿态渲染是实时的。
本申请实施例中,第一虚拟笔可以为对应于第一手写笔的模型,也可以为对应于用于绘制第一笔迹图像的笔刷的模型。在一些实施例中,第一虚拟笔的笔尖类型可以切换。
也就是说,第一虚拟笔可以为手写笔的模型,这样所呈现的第一握笔姿势更直观。例如第二虚拟笔的笔尖可以为物理笔尖的形状。
第一虚拟笔也可以为第一用户在绘制第一笔迹图像时使用的笔刷的模型,如铅笔模型、毛笔模型、油画笔模型等,这样所呈现的第一握笔姿势更真实。例如,第二虚拟笔的笔尖可以为笔刷的形状。
在另一个示例中,第一电子设备可以将第一信息与多个预设握姿模板分别进行匹配,得到与第一信息的匹配程度最高的第二握姿模板;将第二握姿模板对应的握笔姿势确定为第一握笔姿势。
也就是说,第一电子设备内存储有多个预设握姿模板,其中每个预设握姿模板可以包括握笔位置、笔身倾角和手部支撑信息等。第一电子设备可以将第一信息与每个预设握姿模板分别进行匹配,例如第二握姿模板是与第一信息匹配度最高的预设握姿模板,这样第一电子设备可以将第二握姿模板对应的握笔姿势确定为第一握笔姿势。将第一信息与预设握姿模板进行匹配的方式,可以减少计算量,节省计算资源。一般预设握姿模板中握笔姿势是标准的,这样即使第一用户的实际握笔姿势不太标准,但呈现出来的第一握笔姿势是标准的,可以方便第一用户纠正自己的握笔姿势。后续当第一用户向其他用户分享视频数据时,可以避免其他用户学习不标准的握笔姿势。
在又一个示例中,第一电子设备内可以既存储有手的模型和笔的模型,还存储有多个预设握姿模板,即第一电子设备结合前两种实现方式获取第一握笔姿势。例如,在网络好的时候,通过渲染模型获取第一握笔姿势,在网络不好的时候,通过匹配预设握姿模板获取第一握笔姿势。
本申请实施例中,第一笔迹图像是根据第二信息确定的。该第二信息包括第一手写笔的笔尖压力信息和第一手写笔的笔身倾角信息中的至少一项以及第一手写笔的笔尖位置信息。
第一手写笔的笔尖位置信息用于指示第一手写笔的笔尖的运动轨迹。该运动轨迹还可以体现出第一用户的运笔方向和运笔速度等。例如,该第一手写笔的笔尖位置信息可以包括第一手写笔的笔尖在第一电子设备的显示屏上的位置坐标。该第一手写笔的笔尖位置信息可以由第一电子设备直接获取,其具体获取方式可以参考前述笔尖位置信息402a的相关描述,为简洁,在此不再赘述。
第一手写笔的笔尖压力信息和第一手写笔的笔身倾角信息用于辅助确定第一笔迹图像的线条在宽窄、粗细、刚柔等方面的变化。例如,第一手写笔的笔尖压力越大或第一手写笔的倾斜程度越大,线条越宽,第一手写笔的笔尖压力越大或第一手写笔的倾斜程度越小,线条越细,等等。该第一手写笔的笔尖压力信息和第一手写笔的笔身倾角信息可以由第一手写笔获取后再传输给第一电子设备,也可以由第一电子设备直接获取,本申请实施例对此不作限定。关于第一手写笔的笔尖压力信息的具体获取方式和相关内容可以参考前述笔尖压力信息402b的相关描述,关于第一手写笔的笔身倾角信息的具体获取方式和相关内容可以参考前述笔身倾角信息401b的相关描述,为简洁,在此不再赘述。
本申请实施例中,根据第二信息获取的第一笔迹图像,可以呈现线条在长短、粗细、曲直、疏密、轻重等方面的变化,从而呈现出第一用户的用笔动作。第一笔迹图像结合第一握笔姿势,可以方便学习者了解第一用户的用笔技法,从而提高学习效果。
本申请实施例中,第一笔迹图像和第一握笔姿势为图像数据,在获取第一笔迹图像和第一握笔姿势的过程中,用到的是第一电子设备或第一手写笔获取的原始数据,例如前述第一信息和第二信息。在一些实施例中,视频数据可以只包括用于呈现画面的图像数据。在另一些实施例中,视频数据还可以包括用于获取该图像数据的原始数据。也就是说,视频数据还包括用于获取第一笔迹图像的原始数据和用于获取第一握笔姿势的原始数据。
在一些实施例中,该用于获取第一笔迹图像的原始数据可以包括第一手写笔的笔尖位置数据、第一手写笔的笔尖压力数据。该第一手写笔的笔尖位置数据可以是前述第一手写笔的笔尖位置信息所包括的具体数据。该第一手写笔的笔尖压力数据可以是前述第一手写笔的笔尖压力信息所包括的具体数据。
在一些实施例中,该用于获取第一握笔姿势的原始数据可以包括第一用户的握笔位置数据、第一手写笔的笔身倾角数据、第一用户的手部支撑数据。该第一用户的握笔位置数据可以为前述第一用户的握笔位置信息所包括的具体数据。该第一手写笔的笔身倾角数据可以为前述第一手写笔的笔身倾角信息所包括的具体数据。该第一用户的手部支撑数据可以为前述第一用户的手部支撑信息所包括的具体数据。
本申请实施例中,视频数据中除了包括图像数据外,还包括用于获取图像的原始数据,这样当第一用户将该视频数据分享给其他用户时,其他用户也可以基于原始数据进行一些处理操作。
S620,检测并响应于第一用户的第一操作,第一电子设备通过显示屏显示第一笔迹图像和第一握笔姿势,其中第一握笔姿势随第一手写笔在第一笔迹图像中的笔尖位置的移动而移动。
该步骤S620中所涉及的显示屏为第一电子设备的显示屏,例如为如图1所示的第一显示屏101。
该第一用户的第一操作可以认为是播放视频的操作。具体地,该第一用户的第一操作为播放视频数据对应的内容的操作。例如该第一用户的第一操作可以为点击播放按钮的操作,或者为点击播放视频的控件的操作等。该第一用户的第一操作根据具体需求相应设计,本申请实施例对此不作限定。
第一电子设备通过显示屏播放视频数据对应的内容时,可以在视频中呈现第一手写笔的笔迹图像以及随笔尖位置移动的第一握笔姿势。由于在绘制第一笔迹图像过程中,第一用户可能会切换握笔姿势,因此第一握笔姿势随第一手写笔在第一笔迹图像中的笔尖位置的移动而移动时,可以呈现出握笔姿势变化的位置。
该步骤S620为可选步骤,在其他一些实施例中,第一电子设备获取到视频数据后,也可以不在第一电子设备的显示屏上显示。
在一些实施例中,第一电子设备获取视频数据后,可以将视频数据保存于本地或云端。
S630,第二电子设备接收来自第一电子设备的视频数据。
在一些实施例中,第一电子设备可以向第二电子设备直接发送视频数据,相应地,第二电子设备从第二电子设备接收该视频数据。
在另一些实施例中,第一电子设备可以通过服务器向第二电子设备转发视频数据。也就是说,第一电子设备将视频数据先发送至服务器,再由服务器将视频数据发送给第二电子设备。
在该步骤中,第二电子设备所接收到视频数据中,第一笔迹图像和第一握笔姿势可以是叠加在一起的,也可以是未叠加在一起的,本申请实施例对此不作限定。若该视频数据中包括叠加的第一笔迹图像和第一握笔姿势,则第二电子设备接收到视频数据后,可以直接播放该视频数据对应的内容。若该视频数据中包括单独的第一笔迹图像和第一握笔姿势,则第二电子设备接收到该视频数据后,可以先将该第一笔迹图像和第一握笔姿势进行叠加,然后再播放该视频数据对应的内容。
S640,第二电子设备通过显示屏显示第一笔迹图像和第一握笔姿势。
该步骤S640中所涉及的显示屏为第二电子设备的显示屏,例如为如图1所示的第二显示屏201。
在一些实施例中,该步骤S640可以是响应于第二用户的某操作所执行的动作。
第二电子设备通过显示屏播放视频数据对应的内容时,可以在视频中呈现第一手写笔的笔迹图像以及随笔尖位置移动的第一握笔姿势。由于在绘制第一笔迹图像过程中,第一用户可能会切换握笔姿势,因此第一握笔姿势随第一手写笔在第一笔迹图像中的笔尖位置的移动而移动时,可以呈现出握笔姿势变化的位置。
本申请实施例中,使用第二电子设备的用户可以通过第一笔迹图像和第一握笔姿势了解并学习第一用户的用笔技法和创作思路,能够提高学习者的学习效果。第一握笔姿势是综合考虑了第一手写笔的笔身倾角信息、第一用户的握笔位置信息和第一用户的手部支撑信息确定的,因此第一握笔姿势更贴近第一用户的实际握笔姿势,能够提高线上教学效果。
在一些实施例中,使用第二电子设备的用户可以根据视频数据进行线下的临摹和学习,例如使用真实的笔在纸面上进行临摹。
在另一些实施例中,使用第二电子设备的用户可以根据视频数据进行线上的临摹和学习,例如使用第二手写笔在第二电子设备的显示屏上进行临摹。
如图18所示,可选地,方法600还包括:
S650,检测并响应于第二用户的第一操作,第二电子设备获取与第二手写笔对应的第二笔迹图像,第二手写笔与第二电子设备通信连接。
该第二用户的第一操作用于指示第二电子设备显示第二笔迹图像。示例性的,该第二用户的第一操作可以是分屏操作、点击用于控制显示第二笔迹图像的控件的操作等,该第二用户的第一操作根据具体需求相应设计,本申请实施例对此不作限定。
在该步骤中,第二电子设备获取第二笔迹图像的方式与第一电子设备获取第一笔迹图像的方式类似。示例性的,该第二笔迹图像是根据第四信息确定的。该第四信息包括第二手写笔的笔尖压力信息和第二手写笔的笔身倾角信息中的至少一项以及第二手写笔的笔尖位置信息。关于第四信息的说明可以参考第二信息的相关描述,为简洁,在此不再赘述。
S660,第二电子设备通过显示屏显示第二笔迹图像。
这里,第二电子设备的显示屏同时显示第一笔迹图像、第一握笔姿势和第二笔迹图像,其中第一笔迹图像和第一握笔姿势可以位于显示屏的第一显示区,第二笔迹图像可以位于显示屏的第二显示区。示例性的,该第一显示区可以为如图14所示的第一显示区201a,该第二显示区可以为如图14所示的第二显示区201b。
本申请实施例中,第二用户可以使用第二手写笔在第二电子设备的显示屏上进行临摹,并且第二电子设备的显示屏可以同时显示第一用户的用笔技法以及第二用户实际临摹的笔迹图像,方便第二用户比对自己的握笔姿势与第一握笔姿势以及比对第二笔迹图像和第一笔迹图像,从而不断修正握笔姿势和用笔动作。
在一些实施例中,方法600还可以包括:
检测并响应于第二用户的第二操作,第二电子设备获取与第二用户对应的第二握笔姿势;
第二电子设备识别第二握笔姿势与第一握笔姿势之间的偏差;
在偏差超过预设值时,第二电子设备通过控制第二手写笔中的马达振动以提醒第二用户修正握笔姿势。
该第二用户的第二操作用于指示第二电子设备获取第二握笔姿势。示例性的,该第二用户的第二操作可以是点击用于控制渲染第二握笔姿势的控件的操作等,该第二用户的第二操作根据具体需求相应设计,本申请实施例对此不作限定。
本申请实施例中,第二电子设备可以通过图像数据识别第二握笔姿势与第一握笔姿势之间的偏差,也可以通过原始数据获取识别第二握笔姿势与第一握笔姿势之间的偏差。这里,原始数据是指用于获取第二握笔姿势和第一握笔姿势的原始数据。
当第二握笔姿势与第一握笔姿势之间的偏差查过预设值时,第二电子设备可以向第二手写笔发送控制指令,使第二书写笔中的马达产生振动,从而提供第二用户修正握笔姿势。
在第二用户临摹过程中,第二电子设备可以检测第二用户的握笔姿势,并在第二用户的握笔姿势与第一用户的握笔姿势偏差较大时,控制第二手写笔的马达振动进行提醒,可以提高第二用户的临摹效果和学习效率。
本申请实施例中,第二电子设备获取第二握笔姿势与第一电子设备获取第一握笔姿势的方式类似,下面仅做简要说明,详细介绍可参考关于第一握笔姿势的相关描述。
在一个示例中,第二电子设备可以获取第三信息,第三信息包括第二手写笔的笔身倾角信息、第二用户的握笔位置信息和第二用户的手部支撑信息;第二电子设备根据第三信息调整第二虚拟手握持第二虚拟笔的姿态,其中第二虚拟手和第二虚拟笔为存储于第二电子设备内的模型;在预设视角对第二虚拟手握持第二虚拟笔的姿态进行渲染,得到第二握笔姿势。
也就是说,第二电子设备内存储有手的模型(即第二虚拟手)和笔的模型(即第二虚拟笔),第二电子设备可以根据第三信息调整第二虚拟手握持第二虚拟笔的姿态,并在预设视角进行渲染,从而得到与第二用户对应的第二握笔姿势。
第二虚拟笔为对应于第二手写笔的模型,或者为对应于用于绘制第二笔迹图像的笔刷的模型,本申请实施例中对此不作限定。
在另一个示例中,第二电子设备获取第三信息,第三信息包括第二手写笔的笔身倾角信息、第二用户的握笔位置信息和第二用户的手部支撑信息;第二电子设备将第三信息与多个预设握姿模板分别进行匹配,得到与第三信息的匹配程度最高的第一握姿模板;将第一握姿模板对应的握笔姿势确定为第二握笔姿势。
也就是说,第二电子设备内存储有多个预设握姿模板,其中每个预设握姿模板可以包括握笔位置、笔身倾角和手部支撑信息等。第二电子设备可以将第三信息与每个预设握姿模板分别进行匹配,例如第一握姿模板是与第三信息匹配度最高的预设握姿模板,这样第二电子设备可以将第一握姿模板对应的握笔姿势确定为第二握笔姿势。
作为示例而非限定,第二电子设备可以通过神经网络进行上述匹配过程。
在一些实施例中,第二电子设备还可以根据视频数据以及第二用户绘制的第二笔迹图像,向第二用户提出修改建议。例如,方法600还可以包括:检测并响应于第二用户的第三操作,第二电子设备识别第二笔迹图像与第一笔迹图像的差异;第二电子设备通过显示屏显示差异。
该第二用户的第三操作用于指示对比第二笔迹图像与第一笔迹图像。示例性的,该第二用户的第三操作可以是点击用于控制对比笔迹图像的控件的操作等,该第二用户的第三操作根据具体需求相应设计,本申请实施例对此不作限定。
第二电子设备显示第二笔迹图像与第一笔迹图像的差异的方式可以有多种。
在一个示例中,第二电子设备在第二笔迹图像与第一笔迹图像的差异处圈注以显示该差异。作为示例而非限定,第二电子设备可以以如图15所示的方式显示差异。
在另一个示例中,第二电子设备在第二笔迹图像上叠加第一笔迹图像的轮廓线以显示该差异。作为示例而非限定,第二电子设备可以以如图16所示的方式显示差异。
在又一个示例中,第二电子设备可以通过提示框、文字报告、图文报告或者其他方式显示差异。
上文结合图1至图18,详细描述了本申请实施例提供的线上教学方法,下面将结合图19-21详细描述本申请的装置实施例。应理解,本申请实施例中的装置可以执行前述本申请实施例的各种方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图19是本申请实施例的装置700的示意性框图。应理解,装置700能够执行图17至图18的方法中第二电子设备所执行的各个步骤,还可以执行图4-16所描述的实施例中第二电子设备21所执行的步骤。装置700包括:接收单元710和处理单元720。
接收单元710,用于接收来自第一电子设备的视频数据,该视频数据包括与第一手写笔对应的第一笔迹图像和与第一用户对应的第一握笔姿势,第一手写笔与第一电子设备通信连接,第一用户为使用第一手写笔的用户。
处理单元720,用于通过显示屏显示第一笔迹图像和第一握笔姿势,其中第一握笔姿势随第一手写笔在第一笔迹图像中的笔尖位置的移动而移动。
其中,第一握笔姿势是根据第一信息确定的,第一信息包括第一手写笔的笔身倾角信息、第一用户的握笔位置信息和第一用户的手部支撑信息。
可选地,第一笔迹图像是根据第二信息确定的,第二信息包括第一手写笔的笔尖压力信息和第一手写笔的笔身倾角信息中的至少一项以及第一手写笔的笔尖位置信息。
可选地,第一用户的手部支撑信息包括第一用户的手在第一电子设备的显示屏上的支撑位置、支撑面积和支撑轮廓。
可选地,处理单元720还用于:检测并响应于第二用户的第一操作,获取与第二手写笔对应的第二笔迹图像,第二手写笔与所述第二电子设备通信连接;通过显示屏显示第二笔迹图像,其中第一笔迹图像和所述第一握笔姿势位于显示屏的第一显示区,第二笔迹图像位于显示屏的第二显示区。
可选地,处理单元720还用于:检测并响应于第二用户的第二操作,获取与第二用户对应的第二握笔姿势;第二电子设备识别第二握笔姿势与第一握笔姿势之间的偏差;在偏差超过预设值时,通过控制第二手写笔中的马达振动以提醒第二用户修正握笔姿势。
可选地,处理单元720具体用于:获取第三信息,第三信息包括第二手写笔的笔身倾角信息、第二用户的握笔位置信息和第二用户的手部支撑信息;根据第三信息调整第二虚拟手握持第二虚拟笔的姿态,其中第二虚拟手和第二虚拟笔为存储于第二电子设备内的模型;在预设视角对第二虚拟手握持第二虚拟笔的姿态进行渲染,得到第二握笔姿势。
可选地,第二虚拟笔为对应于第二手写笔的模型,或者为对应于用于绘制第二笔迹图像的笔刷的模型。
可选地,处理单元720具体用于:获取第三信息,第三信息包括第二手写笔的笔身倾角信息、第二用户的握笔位置信息和第二用户的手部支撑信息;将第三信息与多个预设握姿模板分别进行匹配,得到与第三信息的匹配程度最高的第一握姿模板;将第一握姿模板对应的握笔姿势确定为第二握笔姿势。
可选地,处理单元720还用于:检测并响应于第二用户的第三操作,识别第二笔迹图像与第一笔迹图像的差异;通过显示屏显示差异。
可选地,处理单元720具体用于:在第二笔迹图像与第一笔迹图像的差异处圈注以显示差异;或者,在第二笔迹图像上叠加第一笔迹图像的轮廓线以显示差异。
可选地,第一信息还包括第一用户的握笔压力信息和/或第一手写笔的尺寸信息。
可选地,视频数据还包括用于获取第一笔迹图像的原始数据和用于获取第一握笔姿势的原始数据。
可选地,用于获取第一笔迹图像的原始数据包括第一手写笔的笔尖位置数据、第一手写笔的笔尖压力数据;和/或用于获取第一握笔姿势的原始数据包括第一用户的握笔位置数据、第一手写笔的笔身倾角数据、第一用户的手部支撑数据。
图20是本申请实施例的装置800的示意性框图。应理解,装置800能够执行图17至图18的方法中第一电子设备所执行的各个步骤,还可以执行图4-16所描述的实施例中第一电子设备11所执行的步骤。装置800包括:处理单元810。
处理单元810用于,获取视频数据,该视频数据包括与第一手写笔对应的第一笔迹图像和与第一用户对应的第一握笔姿势,第一手写笔与第一电子设备通信连接,第一用户为使用第一手写笔的用户。
处理单元810还用于,检测并响应于第一用户的第一操作,通过显示屏显示第一笔迹图像和第一握笔姿势,其中第一握笔姿势随第一手写笔在第一笔迹图像中的笔尖位置的移动而移动。
其中,第一握笔姿势是根据第一信息确定的,第一信息包括第一手写笔的笔身倾角信息、第一用户的握笔位置信息和第一用户的手部支撑信息。
可选地,第一笔迹图像是根据第二信息确定的,第二信息包括第一手写笔的笔尖压力信息和第一手写笔的笔身倾角信息中的至少一项以及第一手写笔的笔尖位置信息。
可选地,第一用户的手部支撑信息包括第一用户的手在显示屏上的支撑位置、支撑面积和支撑轮廓。
可选地,处理单元810具体用于,获取第一笔迹图像和第一握笔姿势;将第一握笔姿势与第一笔迹图像进行叠加,得到视频数据。
可选地,处理单元810具体用于,根据第一信息调整第一虚拟手握持第一虚拟笔的姿态,其中第一虚拟手和第一虚拟笔为存储于第一电子设备内的模型;在预设视角对第一虚拟手握持第一虚拟笔的姿态进行渲染,得到第一握笔姿势。
可选地,第一虚拟笔为对应于第一手写笔的模型,或者为对应于用于绘制第一笔迹图像的笔刷的模型。
可选地,处理单元810具体用于,将第一信息与多个预设握姿模板分别进行匹配,得到与第一信息的匹配程度最高的第二握姿模板;将第二握姿模板对应的握笔姿势确定为第一握笔姿势。
可选地,第一信息还包括第一用户的握笔压力信息和/或第一手写笔的尺寸信息。
可选地,视频数据还包括用于获取第一笔迹图像的原始数据和用于获取第一握笔姿势的原始数据。
可选地,用于获取第一笔迹图像的原始数据包括第一手写笔的笔尖位置数据、第一手写笔的笔尖压力数据;和/或用于获取第一握笔姿势的原始数据包括第一用户的握笔位置数据、第一手写笔的笔身倾角数据、第一用户的手部支撑数据。
可选地,装置800还包括发送单元820,用于向第二电子设备直接发送视频数据;或者,通过服务器向第二电子设备转发视频数据。
可选地,处理单元810还用于,将视频数据保存于本地或云端。
图21是本申请实施例提供的装置的示意性结构图。图21所示的装置900可对应于前文描述的装置700或装置800,具体地装置900可以是图1中的第一电子设备11或第二电子设备12的一个具体的例子。
装置900包括:处理器910。在本申请的实施例中,处理器910用于实现相应的控制管理操作。例如,若装置910为第一电子设备11中的装置,处理器910用于支持装置执行前述实施例中图16或图17所示的方法中由第一电子设备执行的操作或功能,以及图4至图15所示实施例中由第一电子设备11执行操作或功能。例如,若装置900为第二电子设备中的装置,处理器910用于支持装置执行前述实施例中图16或图17所示的方法中由第二电子设备执行的操作或功能,以及图4至图15所示实施例中由第二电子设备21执行操作或功能。
可选的,装置900还可以包括:存储器920和通信接口930。处理器910、通信接口930以及存储器920可以相互连接或者通过总线940相互连接。其中,通信接口930用于支持该装置进行通信。存储器920用于存储装置的程序代码和数据。处理器1120调用存储器920中存储的代码或者数据实现相应的操作。该存储器920可以跟处理器耦合在一起,也可以不耦合在一起。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。
其中,处理器910可以是中央处理器单元,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理器和微处理器的组合等等。
通信接口930可以是收发器、电路、总线、模块或其它类型的通信接口。
总线940可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图20中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请实施例还提供一种电子设备,包括:一个或多个处理器;一个或多个存储器;所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行前述方法中由第二电子设备执行的步骤。
本申请实施例还提供了一种电子设备,包括:一个或多个处理器;一个或多个存储器;所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行前述方法中由第一电子设备执行的步骤。
本申请实施例还提供一种通信***,包括上文描述的第一电子设备、第二电子设备和第一手写笔,其中第一手写笔与如第一电子设备通信连接。
可选地,该通信***还包括第二手写笔,第二手写笔与第二电子设备通信连接。
本申请实施例还提供一种计算机可读存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时使得处理器执行前文中的线上教学方法。
本申请实施例还提供一种芯片,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以执行前文中的线上教学方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请实施例中,“第一”、“第二”以及各种数字编号仅为描述方便进行的区分,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量,由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (30)
1.一种线上教学方法,其特征在于,包括:
第二电子设备接收来自第一电子设备的视频数据,所述视频数据包括与第一手写笔对应的第一笔迹图像和与第一用户对应的第一握笔姿势,所述第一手写笔与所述第一电子设备通信连接,所述第一用户为使用所述第一手写笔的用户;
所述第二电子设备通过显示屏显示所述第一笔迹图像和所述第一握笔姿势,其中所述第一握笔姿势随所述第一手写笔在所述第一笔迹图像中的笔尖位置的移动而移动;
其中,所述第一握笔姿势是根据第一信息确定的,所述第一信息包括所述第一手写笔的笔身倾角信息、所述第一用户的握笔位置信息和所述第一用户的手部支撑信息。
2.根据权利要求1所述的方法,其特征在于,所述第一笔迹图像是根据第二信息确定的,所述第二信息包括所述第一手写笔的笔尖压力信息和所述第一手写笔的笔身倾角信息中的至少一项以及所述第一手写笔的笔尖位置信息。
3.根据权利要求1或2所述的方法,其特征在于,所述第一用户的手部支撑信息包括所述第一用户的手在所述第一电子设备的显示屏上的支撑位置、支撑面积和支撑轮廓。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法还包括:
检测并响应于第二用户的第一操作,所述第二电子设备获取与第二手写笔对应的第二笔迹图像,所述第二手写笔与所述第二电子设备通信连接;
所述第二电子设备通过所述显示屏显示所述第二笔迹图像,其中所述第一笔迹图像和所述第一握笔姿势位于所述显示屏的第一显示区,所述第二笔迹图像位于所述显示屏的第二显示区。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
检测并响应于所述第二用户的第二操作,所述第二电子设备获取与所述第二用户对应的第二握笔姿势;
所述第二电子设备识别所述第二握笔姿势与所述第一握笔姿势之间的偏差;
在所述偏差超过预设值时,所述第二电子设备通过控制所述第二手写笔中的马达振动以提醒所述第二用户修正握笔姿势。
6.根据权利要求5所述的方法,其特征在于,所述第二电子设备获取与所述第二用户对应的第二握笔姿势,包括:
所述第二电子设备获取第三信息,所述第三信息包括所述第二手写笔的笔身倾角信息、所述第二用户的握笔位置信息和所述第二用户的手部支撑信息;
所述第二电子设备根据所述第三信息调整第二虚拟手握持第二虚拟笔的姿态,其中所述第二虚拟手和所述第二虚拟笔为存储于所述第二电子设备内的模型;
在预设视角对所述第二虚拟手握持所述第二虚拟笔的姿态进行渲染,得到所述第二握笔姿势。
7.根据权利要求6所述的方法,其特征在于,所述第二虚拟笔为对应于所述第二手写笔的模型,或者为对应于用于绘制所述第二笔迹图像的笔刷的模型。
8.根据权利要求5所述的方法,其特征在于,所述第二电子设备获取与所述第二用户对应的第二握笔姿势,包括:
所述第二电子设备获取第三信息,所述第三信息包括所述第二手写笔的笔身倾角信息、所述第二用户的握笔位置信息和所述第二用户的手部支撑信息;
所述第二电子设备将所述第三信息与多个预设握姿模板分别进行匹配,得到与所述第三信息的匹配程度最高的第一握姿模板;
将所述第一握姿模板对应的握笔姿势确定为所述第二握笔姿势。
9.根据权利要求4至8中任一项所述的方法,其特征在于,所述方法还包括:
检测并响应于所述第二用户的第三操作,所述第二电子设备识别所述第二笔迹图像与所述第一笔迹图像的差异;
所述第二电子设备通过所述显示屏显示所述差异。
10.根据权利要求9所述的方法,其特征在于,所述第二电子设备通过所述显示屏显示所述差异,包括:
所述第二电子设备在所述第二笔迹图像与所述第一笔迹图像的差异处圈注以显示所述差异;或者,
所述第二电子设备在所述第二笔迹图像上叠加所述第一笔迹图像的轮廓线以显示所述差异。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述第一信息还包括所述第一用户的握笔压力信息和/或所述第一手写笔的尺寸信息。
12.根据权利要求1至11中任一项所述的方法,其特征在于,所述视频数据还包括用于获取所述第一笔迹图像的原始数据和用于获取所述第一握笔姿势的原始数据。
13.根据权利要求12所述的方法,其特征在于,
所述用于获取所述第一笔迹图像的原始数据包括所述第一手写笔的笔尖位置数据、所述第一手写笔的笔尖压力数据;和/或
所述用于获取所述第一握笔姿势的原始数据包括所述第一用户的握笔位置数据、所述第一手写笔的笔身倾角数据、所述第一用户的手部支撑数据。
14.一种线上教学方法,其特征在于,包括:
第一电子设备获取视频数据,所述视频数据包括与第一手写笔对应的第一笔迹图像和与第一用户对应的第一握笔姿势,所述第一手写笔与所述第一电子设备通信连接,所述第一用户为使用所述第一手写笔的用户;
检测并响应于所述第一用户的第一操作,所述第一电子设备通过显示屏显示所述第一笔迹图像和所述第一握笔姿势,其中所述第一握笔姿势随所述第一手写笔在所述第一笔迹图像中的笔尖位置的移动而移动;
其中,所述第一握笔姿势是根据第一信息确定的,所述第一信息包括所述第一手写笔的笔身倾角信息、所述第一用户的握笔位置信息和所述第一用户的手部支撑信息。
15.根据权利要求14所述的方法,其特征在于,所述第一笔迹图像是根据第二信息确定的,所述第二信息包括所述第一手写笔的笔尖压力信息和所述第一手写笔的笔身倾角信息中的至少一项以及所述第一手写笔的笔尖位置信息。
16.根据权利要求14或15所述的方法,其特征在于,所述第一用户的手部支撑信息包括所述第一用户的手在所述显示屏上的支撑位置、支撑面积和支撑轮廓。
17.根据权利要求14至16中任一项所述的方法,其特征在于,所述第一电子设备获取视频数据,包括:
所述第一电子设备获取所述第一笔迹图像和所述第一握笔姿势;
所述第一电子设备将所述第一握笔姿势与所述第一笔迹图像进行叠加,得到所述视频数据。
18.根据权利要求17所述的方法,其特征在于,所述第一电子设备获取所述第一握笔姿势,包括:
所述第一电子设备根据所述第一信息调整第一虚拟手握持第一虚拟笔的姿态,其中所述第一虚拟手和所述第一虚拟笔为存储于所述第一电子设备内的模型;
在预设视角对所述第一虚拟手握持所述第一虚拟笔的姿态进行渲染,得到所述第一握笔姿势。
19.根据权利要求18所述的方法,其特征在于,所述第一虚拟笔为对应于所述第一手写笔的模型,或者为对应于用于绘制所述第一笔迹图像的笔刷的模型。
20.根据权利要求17所述的方法,其特征在于,所述第一电子设备获取所述第一握笔姿势,包括:
所述第一电子设备将所述第一信息与多个预设握姿模板分别进行匹配,得到与所述第一信息的匹配程度最高的第二握姿模板;
将所述第二握姿模板对应的握笔姿势确定为所述第一握笔姿势。
21.根据权利要求14至20中任一项所述的方法,其特征在于,所述第一信息还包括所述第一用户的握笔压力信息和/或所述第一手写笔的尺寸信息。
22.根据权利要求14至21中任一项所述的方法,其特征在于,所述视频数据还包括用于获取所述第一笔迹图像的原始数据和用于获取所述第一握笔姿势的原始数据。
23.根据权利要求22所述的方法,其特征在于,
所述用于获取所述第一笔迹图像的原始数据包括所述第一手写笔的笔尖位置数据、所述第一手写笔的笔尖压力数据;和/或
所述用于获取所述第一握笔姿势的原始数据包括所述第一用户的握笔位置数据、所述第一手写笔的笔身倾角数据、所述第一用户的手部支撑数据。
24.根据权利要求14至23中任一项所述的方法,其特征在于,所述方法还包括:
所述第一电子设备向第二电子设备直接发送所述视频数据;或者,
所述第一电子设备通过服务器向第二电子设备转发所述视频数据。
25.根据权利要求14至24中任一项所述的方法,其特征在于,所述方法还包括:
所述第一电子设备将所述视频数据保存于本地或云端。
26.一种电子设备,其特征在于,包括:
一个或多个处理器;
一个或多个存储器;
所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1至13中任一项所述的方法。
27.一种电子设备,其特征在于,包括:
一个或多个处理器;
一个或多个存储器;
所述一个或多个存储器存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求14至25中任一项所述的方法。
28.一种通信***,其特征在于,包括如权利要求26所述的电子设备、如权利要求27所述的电子设备和第一手写笔,其中所述第一手写笔与如权利要求26所述的电子设备通信连接。
29.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至25中任一项所述的方法。
30.一种芯片,其特征在于,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以执行如权利要求1至25中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210415510.XA CN114816088A (zh) | 2022-04-20 | 2022-04-20 | 线上教学方法、电子设备和通信*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210415510.XA CN114816088A (zh) | 2022-04-20 | 2022-04-20 | 线上教学方法、电子设备和通信*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114816088A true CN114816088A (zh) | 2022-07-29 |
Family
ID=82504753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210415510.XA Pending CN114816088A (zh) | 2022-04-20 | 2022-04-20 | 线上教学方法、电子设备和通信*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114816088A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115348328A (zh) * | 2022-08-11 | 2022-11-15 | 环胜电子(深圳)有限公司 | 手写数据处理方法与手写数据处理*** |
-
2022
- 2022-04-20 CN CN202210415510.XA patent/CN114816088A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115348328A (zh) * | 2022-08-11 | 2022-11-15 | 环胜电子(深圳)有限公司 | 手写数据处理方法与手写数据处理*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103513894B (zh) | 显示设备、远程控制设备及其控制方法 | |
US9454834B2 (en) | Storage medium storing image processing program for implementing controlled image display according to input coordinate, and information processing device | |
CN105335001B (zh) | 具有弯曲显示器的电子设备以及用于控制其的方法 | |
CN110427110B (zh) | 一种直播方法、装置以及直播服务器 | |
EP2919104B1 (en) | Information processing device, information processing method, and computer-readable recording medium | |
CN110456907A (zh) | 虚拟画面的控制方法、装置、终端设备及存储介质 | |
KR20130088104A (ko) | 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법 | |
KR20210023680A (ko) | 증강 현실 환경에서의 콘텐트 생성 | |
TW201346640A (zh) | 影像處理裝置及電腦程式產品 | |
CN111045511B (zh) | 基于手势的操控方法及终端设备 | |
WO2022052620A1 (zh) | 图像生成方法及电子设备 | |
CN110489027B (zh) | 手持输入设备及其指示图标的显示位置控制方法和装置 | |
US8643679B2 (en) | Storage medium storing image conversion program and image conversion apparatus | |
KR20220154763A (ko) | 이미지 처리 방법 및 전자 장비 | |
CN113223129B (zh) | 一种图像渲染方法、电子设备及*** | |
CN109829982B (zh) | 模型匹配方法、装置、终端设备及存储介质 | |
CN111432123A (zh) | 图像处理方法及装置 | |
CN110717993B (zh) | 一种分体式ar眼镜***的交互方法、***及介质 | |
CN113129411A (zh) | 一种仿生动画生成方法及电子设备 | |
CN204945943U (zh) | 用于为外部显示设备提供远程控制信号的远程控制设备 | |
CN114816088A (zh) | 线上教学方法、电子设备和通信*** | |
CN113360009A (zh) | 图像显示方法和电子设备 | |
TW201439813A (zh) | 顯示設備及其控制系統和方法 | |
CN113160031A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
KR20160072306A (ko) | 스마트 펜 기반의 콘텐츠 증강 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |