CN113052078A - 空中书写轨迹识别方法、装置、存储介质及电子设备 - Google Patents

空中书写轨迹识别方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113052078A
CN113052078A CN202110323503.2A CN202110323503A CN113052078A CN 113052078 A CN113052078 A CN 113052078A CN 202110323503 A CN202110323503 A CN 202110323503A CN 113052078 A CN113052078 A CN 113052078A
Authority
CN
China
Prior art keywords
writing
data
recognition
track
aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110323503.2A
Other languages
English (en)
Inventor
曾理
张晓帆
钟卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110323503.2A priority Critical patent/CN113052078A/zh
Publication of CN113052078A publication Critical patent/CN113052078A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种空中书写轨迹识别方法、装置、存储介质及电子设备，其中，方法包括：接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成，基于所述姿态感应参数生成书写轨迹数据，将所述书写轨迹数据输入至书写识别模型中，将所述书写轨迹数据输入至书写识别模型中，基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。采用本申请实施例，可以提高空中书写轨迹识别的准确率。

Description

空中书写轨迹识别方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种空中书写轨迹识别方法、装置、存储介质及电子设备。
背景技术
空中书写作为一种新的人机交互手段，它不同于传统的人机交互方式，空中手写可允许用户操控智能设备(如可穿戴设备)以自然且无拘束的方式在空中进行书写，显示设备(如智能电视、大屏显示器)可对用户基于智能设备在空中书写时的空中书写轨迹进行识别，以得到用户期望输入的书写数据；空中书写提供了更加直观、方便、舒适的互动体验。
发明内容
本申请实施例提供了一种空中书写轨迹识别方法、装置、存储介质及电子设备。本申请实施例的技术方案如下：
第一方面，本申请实施例提供了一种空中书写轨迹识别方法，所述方法包括：
接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成；
基于所述姿态感应参数生成书写轨迹数据；
将所述书写轨迹数据输入至书写识别模型中，基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。
第二方面，本申请实施例提供了一种空中书写轨迹识别方法，所述方法包括：
感测到针对所述显示设备的空中书写操作，并采集所述空中书写操作对应的姿态感应数据；
将所述姿态感应数据发送至所述显示设备，以使所述显示设备生成所述姿态感应数据对应的书写轨迹数据，并将所述书写轨迹数据输入至书写识别模型中输出书写识别结果。
第三方面，本申请实施例提供了一种空中书写轨迹识别装置，所述装置包括：
感应参数接收模块，用于接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成；
书写数据生成模块，用于基于所述姿态感应参数生成书写轨迹数据；
书写数据输出模块，用于将所述书写轨迹数据输入至书写识别模型中，基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。
第四方面，本申请实施例提供了一种空中书写轨迹识别装置，所述装置包括：
数据感测模块，用于感测到针对所述显示设备的空中书写操作，并采集所述空中书写操作对应的姿态感应数据；
数据发送模块，用于将所述姿态感应数据发送至所述显示设备，以使所述显示设备生成所述姿态感应数据对应的书写轨迹数据，并将所述书写轨迹数据输入至书写识别模型中输出书写识别结果。
第五方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第六方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请一个或多个实施例中，显示设备可以接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成；然后基于所述姿态感应参数生成出书写轨迹数据；再将所述书写轨迹数据输入至书写识别模型中，输出所述书写轨迹数据对应的准确的书写识别结果，另外，在一些实施例中，该书写识别模型可以是基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到，基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题，提升了跨设备的协同操控的便捷性；以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别，书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别，极大的减小了空中书写识别的计算量，提升了识别处理的效率；以及在空中书写识别阶段，采用基于迁移学***面介质的第四书写数据)获得性能一般的通用预训练模型，再使用少量领域数据对模型进行微调，获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性，仅需少量空中书写数据即可保证空中书写轨迹识别的准确率，提升识别处理的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种空中书写轨迹识别方法的流程示意图；
图2是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔迹采样的场景示意图；
图3是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔画落下提起分隔的场景示意图；
图4是本申请实施例提供的另一种空中书写轨迹识别方法的流程示意图；
图5是本申请实施例提供的空中书写轨迹识别方法涉及的一种空中书写场景下参数示意图；
图6是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔迹采样的场景示意图；
图7是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔迹调整的场景示意图；
图8是本申请实施例提供的空中书写轨迹识别方法涉及的一种显示书写识别结果的场景使用图；
图9是本申请实施例提供的一种空中书写轨迹识别方法的流程示意图；
图10是本申请实施例提供的一种空中书写轨迹识别方法的流程示意图；
图11是本申请实施例提供的一种空中书写轨迹识别装置的结构示意图；
图12是本申请实施例提供的一种感应参数接收模块的结构示意图；
图13是本申请实施例提供的一种参数确定单元的结构示意图；
图14是本申请实施例提供的另一种空中书写轨迹识别装置的结构示意图；
图15是本申请实施例提供的另一种空中书写轨迹识别装置的结构示意图；
图16是本申请实施例提供的一种电子设备的结构示意图；
图17是本申请实施例提供的操作***和用户空间的结构示意图；
图18是图16中安卓操作***的架构图；
图19是图16中IOS操作***的架构图；
图20是本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合具体的实施例对本申请进行详细说明。
在一个实施例中，如图1所示，特提出了一种空中书写轨迹识别方法，应用于显示设备，该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的空中书写轨迹识别装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
所述空中书写轨迹识别装置可以是一种显示设备，所述显示设备包括但不限于：个人电脑、平板电脑、智能电视、车载设备、大屏显示设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中显示设备可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personaldigital assistant，PDA)、5G网络或未来演进网络中的显示设备等。
具体的，该空中书写轨迹识别方法包括：
步骤S101：接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成。
所述智能设备与显示设备可配合使用，所述智能设备可以是便于用户进行空中书写操作的电子设备，空中书写作为一种新的人机交互手段，它不同于传统的人机交互方式，在本申请中，空中手写可允许用户操控智能设备以自然且无拘束的方式在空中进行书写，这样提供了更加直观、方便、舒适的互动体验，例如，在一些场景下显示设备可以是一种弱输入设备(如电视、会议平板)也即不方便用户直接进行相关信息输入，如书写字符、画画等。因此在一些交互场景下，基于智能设备的空中书写是可以完成复杂信息指令输入目的的交互形态。空中书写包含以纸质或电子介质作为书写表面的书写输入形式，以及在三维空中介质中挥动手指/手腕/手臂等感官进行空中手写的输入形式。在平面介质进行书写的识别技术已经较为成熟，如各种智能手机搭载的触屏输入法。在一些实施场景中，随着虚拟现实、物联网领域技术产品的成熟，基于智能设备(如智能手环、智能手表、智能笔等)的空中书写不受限于平面的特点可以很好地与不便于用户直接书写的显示设备(如电视、会议平板等)结合应用。
另外，在一些实施场景中，显示设备可以不主动采集智能设备或使用智能设备的用户所对应的相关姿态数据，如显示设备在包含图像采集器件的情况下，可不通过图像采集器件主动采集姿态数据，而是智能设备在检测到用户的空中书写操作时，由智能设备通过所包含的传感器件采集空中书写操作对应的姿态感应数据，然后将该姿态感应数据发送至显示设备进行空中书写操作时的空中书写轨迹的识别。
其中，所述姿态感应数据是指可移动或旋转对象(如智能设备)基于所包含的传感器件感测到(当前采样时间点)的位置、姿态、角速度数据、加速度数据等，在本申请中，可以理解为用户在操控智能设备时智能设备在空间中所处的位置和/或其在该位置上的姿态。在本实施例中，通过该姿态感应数据可以用于表征或用于量化智能设备当前的姿态。如智能设备的角速度变化(相邻两个采样时刻之间的旋转角度)、移动速度变化、移动方向变化、智能设备相当于参考二维平面(可以是显示设备、所处环境物体(如墙体)所处的参考二维平面)的角度参数(显示设备指向与参考二维平面如显示设备法线之间的夹角为α)和距离参数(如智能设备距离参考二维平面如显示设备的距离R)等等。
进一步的，所述智能设备具有多种实时检测当前位姿信息的传感器件，该传感器件包括但不限于加速度传感器、磁力传感器、陀螺仪、物理量感应器等，所述控制设备通过所述电子部件获取到当前的物理量参数，所述物理量参数可以是加速度参数、磁力参数、角速度参数、相对参考二维平面如显示设备的相对距离、相对角度等等，并对所述物理量参数进行姿态计算，即可以得到所述智能设备的姿态感应数据。
具体的，智能设备在感测到用户操作智能设备进行空中书写操作时，智能设备可通过所包含的传感器件来感测当前姿态传感数据，在实际应用中，智能设备可以与显示设备建立通信连接(如蓝牙连接、无线局域网络连接等)，然后在采集到当前的姿态传感数据之后，基于该通信连接将姿态传感数据传输至显示设备，这样显示设备即可通过该通信连接接收到显示设备的姿态传感数据。
步骤S102：基于所述姿态感应参数生成书写轨迹数据。
在实际应用中，空中书写操作时的姿态感应数据时在三维空间采集的对应的是三维空间设备自身姿态变化的数据，在本申请中，空中书写笔迹识别也即基于姿态感应数据将其在空中的书写时的姿态感应参数映射到二维平面，从而确定空中书写操作对应的二维平面上的书写轨迹数据，如字符笔迹、汉字笔迹、英文笔迹、图画笔迹等书写轨迹数据。在本申请中，主要基于姿态感应数据中的角速度来确定移动轨迹，进而形成移动轨迹对应的书写轨迹数据，其中，所述书写轨迹数据是表征移动轨迹的图片、预定格式(如txt格式)的数据等。
在一种具体的实施场景中，显示设备可以基于所述姿态感应参数，确定在空中书写时所述智能设备的角速度以及辅助识别参数。基于角速度以及辅助识别参数，确定所述角速度对应的移动轨迹，并生成所述移动轨迹对应的书写轨迹数据。
所述辅助识别参数用于计算或确定移动轨迹。本申请的一些实施例中，所述辅助识别参数可以是预设的识别分辨率，另外所述识别分辨率与显示设备的屏幕分辨率不相关，识别分辨率基于显示设备与智能设备的实际空中书写环境确定的一个辅助计算移动轨迹的经验值，进一步的，该识别分辨率也可称之为识别灵敏度参数，在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高，如大于100Hz，这样相邻两个角速度笔迹采样点之间角速度变化较小，自然书写的动作速度和幅度均变化较小，因此可基于采取大量样本数据确定的显示设备的辅助识别参数和实际确定的角速度来计算移动轨迹，如将角速度与辅助识别参数的乘积可作为相邻两个角速度笔迹采样点之间对应的移动轨迹的距离，这样再基于初始采样点(如开始书写时的采样点的位置)、书写时对应的笔迹书写方向以及两个角速度笔迹采样点之间对应的移动轨迹的距离，就可以确定相邻两个角速度笔迹采样点之间对应的移动轨迹，从而生成移动轨迹对应的书写轨迹数据。
实际应用中，智能设备通常对应一个采样率，如200Hz，智能设备通过所包含的感应器件来测算每个采样时间点内的角速度θ，然后基于每个采样时间点对应的角速度θ，如图2所示，图2是本申请涉及到的一种笔迹采样的场景示意图，基于预设的采样率，可在采样时间点t1对应图中采样点a1(采样初始点)、采样时间点t2对应图中采样点a2...采样时间点tn对应图中采样点an(采样结束点)。示意性的，采样时间点t2对应的采样点a2，智能设备可感测到当前采样时间点t2的角速度θ2，也即采样点a1至采样点a2的旋转角度θ2。
这样可以基于角速度θ和识别分辨率r或识别灵敏度参数r，计算当前采样时间点t相对于上一采样时间点t-1所对应的采样移动位移x，以当前采样时间点t2的角速度θ2为例，就可以计算当前采样时间点t2相对于上一采样时间点1所对应的采样移动位移x，也即采样点a1至采样点a2的位移；
也即x＝θ*r；其中，r可基于实际应用环境中智能设备相对于参考书写平面(如显示设备的平面)的距离R和误差调整系数k确定。
其中，在实际环境中，在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高，如大于100Hz，这样相邻两个笔迹采样点之间幅度变化较小，且相对于参考书写平面(如显示设备的平面)的距离R通常均在一个固定的范围内(如相对于显示设备电视机，每个用户与电视机的距离R相差不大，这对于确定笔迹时的误差可相对忽略)，因此可基于实际应用环境中采取大量样本数据来确定一个经验值：显示设备的辅助识别参数-识别分辨率r。可适用于用户通过智能设备进行书写时自然书写幅度变化不大的场景，具体衡量可通过设置幅度变化参数进行判决，如设置角速度变化阈值、速度变化阈值、书写距离阈值等等。
另在一种具体的实施场景中，在基于姿态感应参数识别智能设备在一段采集时间内所对应的书写轨迹时，通常基于每对两两采样点之间的采样移动位移x和角速度θ，即可确定当前采样点所在的位置，如可确定当前采样点在坐标系下的位置坐标，智能设备通常对应一个采样率，如200Hz，基于预设的采样率从初始采样时刻t1开始采样，在采样时刻t1采样得到对应图2中采样点a1(采样初始点),实际应用中可以是以采样初始点为坐标原点建立一个表征移动轨迹变化的坐标系，假设采样点a1为(0,0)，在采样时间点t1的下一采样时间点t2对应图中采样点a2...采样时间点tn对应图中采样点an(采样结束点)。示意性的，采样时间点ti-1对应的采样点ai-1，智能设备可感测到当前采样时间点ti的角速度θi，也即采样点ai-1至采样点ai的旋转角度θi。这样可以基于角速度θ和识别分辨率r或识别灵敏度参数r，计算当前采样时间点ti相对于上一采样时间点ti-1所对应的采样移动位移x。在确定采样移动位移x和采样点ai-1至采样点ai的旋转角度θi之后，由于前一采样点ai-1坐标已知，这样可基于前一采样点ai-1坐标、旋转角度θi、采样移动位移x来确定当前采样点ai的坐标，假设ai-1坐标为(a，b),则当前采样点ai的坐标通常可表示为(a+xsinθi,b+xcosθi)。
参照前述释义，假设智能设备在空中运行了一段位移S，所花费时间为T，这段距离可能并不是规则的直线，而可能是一段比较弯曲的线，与数字、字母以及中文文字等的笔画对应。根据微积分原理，如果设置的采样时间越小，则S的轨迹则越可能接近直线，只要能保证该时间T能达到所要求的精度，比如0.1秒，在这0.1秒内主要基于智能设备采集的角速度显示设备可确定其运动的轨迹基本上可以视为直线运动，显示设备就可以很简单的根据每个采样时间点基于角速度和辅助识别参数(如识别分别率)确定当前采样时间点与上一采样时间点的位移x，这样可以方便的把智能设备这段两两采样点之间的位移轨迹确定出来。那么在很长的一段空中书写的时间内，智能设备运动的轨迹(可看做用户空中书写的轨迹)曲线根据微积分的原理分成若干很小的部分，则所有若干很小的位移的总和即为智能设备运动的轨迹。也即整个过程可基于前一采样点ai-1坐标、旋转角度θi、采样移动位移x来确定依次确定当前采样点ai的坐标，当将所有采样点的坐标按照采样时序两两相联，采样时间内就会得到一个移动轨迹，也即前述移动轨迹数据，
可选的，在一些实施方式中考虑到书写情况的特殊性，如字符的特殊性，例如汉字，同一个字的很多笔画是独立的，不同的汉字之间也需要相对独立，用户在控制智能设备运动时，智能设备的运动轨迹却是连续的。如果在对智能设备的运动轨迹的采样过程中不区别对待，则传输给显示设备识别后的运动轨迹图像将是连体的，这样显示设备的识别难度将很大，识别的速度和效率将降低。基于此，可设置空中书写笔画提起状态对应的落下信号(笔画提起之后的笔迹不落入参考)和落下状态(笔画落下之后的笔迹需落入参考)的提起信号，可以是智能设备上设置有间隔操作指令并可基于交互对象控制，给出书写的落下信号和提起信号。交互对象控制可以是实体的按钮，也可是对触碰屏的单击、双击、长按等动作，也可是智能设备上触碰屏上的虚拟按钮区域，也可以是设置时间阈值来区分，如图3所示，图3是本申请涉及的一种笔画落下提起分隔的场景示意图；当用户需要输入一个字符(如输入时，采用的是草体)时，字符的各个笔画存在连笔，则在每一个笔画输入完成后，短时间松开按键则认为输入提起信号(该按键被松开持续的时间小于阈值T0)，则智能默认此时按键松开只是同一字符不同笔画之间的过渡，并不是一个字符输入完成，则智能设备数据采集时对输入提起信号的时间点进行标记即可，这样在传输至显示设备，显示设备可智能对该提起信号至所述提起信号对应的下一落下信号之间的笔迹进行清除即可，示意性的，以图3为例。则显示设备对姿态感应数据进行识别，识别出的移动轨迹大致是字符“王”。
步骤S103：将所述书写轨迹数据输入至书写识别模型中，基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。
在一些实施例中，所述书写识别模型可以是一种神经网络模型。进一步的，所述书写识别模型可以是基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到，也即书写识别模块可以是结合实际应用环境考虑到三维空中书写训练集较少，而创造性的采用迁移学习的方式对书写识别模型训练得到。
所述书写识别模型可以是基于迁移学***面介质的第四书写数据迁移训练得到，如书写识别模型可以是基于逻辑回归模型(Logistic Regression，LR)、支持向量机(Support Vector Machine，SVM)、决策树、朴素贝叶斯分类器、卷积神经网络(Convolutional Neural Network，CNN)、递归神经网络(Recurrent Neural Networks，RNN)等中的一种或多种实现。在一些实施例中，可以基于已经标注笔迹标签(如标准字符、标准图案)的样本数据对初始的书写识别模型进行训练，可以得到训练好的书写识别模型。其中，具体模型训练过程可参考本申请的其他实施例。
其中，所述空中介质也即空中书写介质，通常用户所持智能设备在三维空间的空中介质进行书写时，简而言之当用户在空中操作智能设备书写样本笔迹(字符、英文、数字、笔画、手势等)时所对应的样本数据也即书写轨迹数据；
所述平面介质，也即平面书写介质，如用户可直接在手机、电视机、平板等设备的屏幕直接进行书写样本笔迹(字符、英文、数字、笔画等)时所对应的样本数据也即书写识别结果。可以理解的是在基于平面介质进行书写时，书写笔迹的识别较之于空中介质较为简单，样本数据通常是海量的；而针对空中书写笔迹的识别通常需要将空中书写的姿态数据映射到二维平面上生成二维平面上的书写笔迹，则三维转换至二维时通常会存在一定的误差，且这种样本数据较少。
在实际应用中，基于智能设备的传感器间采集的姿态感应数据的空中书写识别，仅仅将其转化到二维平面上书写轨迹数据也即将姿态感应数据恢复成相应的平面轨迹，然而它们的可读性还是很差，仅凭人眼观察或机器进行识别，难以从波形辨识具体的书写内容。因此，在本申请中预先训练有基于迁移训练的书写识别模型，训练好的书写识别模型可对书写轨迹数据进行有效识别，实际应用中，只需将所述书写轨迹数据输入至书写识别模型中，即可输出书写识别结果，书写识别结果可读性、可视性较之于书写轨迹数据要高。
在一种具体的实施场景中，显示设备可采用如下步骤进行空中书写轨迹识别，如下：
步骤S1001：接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成。
具体可参见步骤S101，此处不再赘述。
步骤S1002：从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一辅助识别参数，所述第一辅助识别参数包括预设的识别分辨率。
在一些实际使用场景中，用户通过智能设备进行书写时自然书写幅度变化较小，此时显示设备获取所述姿态感应参数所包含的角速度，以及获取一辅助识别参数，也即预设的识别分辨率，另外所述识别分辨率与显示设备的屏幕分辨率不相关，识别分辨率主要基于显示设备与智能设备的实际空中书写环境确定的一个辅助计算移动轨迹的经验值，进一步的，该识别分辨率也可称之为识别灵敏度参数，在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高，如大于100Hz，这样相邻两个角速度笔迹采样点之间角速度变化较小，自然书写的动作速度和幅度均变化较小，因此可基于采取大量样本数据确定的显示设备的识别分辨率和实际确定的角速度来计算移动轨迹，如将角速度与识别分辨率的乘积可作为相邻两个角速度笔迹采样点之间对应的移动轨迹的距离，这样再基于初始采样点(如开始书写时的采样点的位置)、书写时对应的笔迹书写方向以及两个角速度笔迹采样点之间对应的移动轨迹的距离，就可以确定相邻两个角速度笔迹采样点之间对应的移动轨迹，从而生成移动轨迹对应的书写轨迹数据。
步骤S1003：将所述角速度与所述识别分辨率的乘积作为第一移动瞬时位移，基于所述第一移动瞬时位移确定第一移动轨迹。
在实际环境中，在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高，如大于100Hz，这样相邻两个笔迹采样点之间幅度变化较小，且相对于参考书写平面(如显示设备的平面)的距离R通常均在一个固定的范围内(如相对于显示设备电视机，每个用户与电视机的距离R相差不大，这对于确定笔迹时的误差可相对忽略)，因此可基于实际应用环境中采取大量样本数据来确定一个经验值：显示设备的辅助识别参数-识别分辨率r。可适用于用户通过智能设备进行书写时自然书写幅度变化不大的场景，基于此构思，在确定空中书写轨迹时可大幅节省计算轨迹的时间，其中，技术特征“将所述角速度与所述识别分辨率的乘积作为第一移动瞬时位移”以及识别分别率的推导原理可参考本申请的其他实施例。
步骤S1004：将所述书写轨迹数据输入至书写识别模型中，基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。
具体可参见步骤S103，此处不再赘述。
在一种具体的实施场景中，显示设备可采用如下步骤进行空中书写轨迹识别，如下：
步骤S2001：接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成。
具体可参见步骤S101，此处不再赘述。
步骤S2002：从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第二辅助识别参数，所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离，所述法向角为所述智能设备相对所述显示设备的法向角度。
根据一些实施例中，通常在这种扩展书写轨迹识别场景下，可以实现对用户通过智能设备进行书写时书写幅度的精准量化，此时显示设备可获取所述姿态感应参数所包含的角速度作为智能设备在空中书写时对应的变化参数以及第二辅助识别参数，其中，在一些实施方式中，显示设备获取的第二辅助识别参数可以是从所述姿态感应参数，也即智能设备在采集空中书写操作对应的角速度时还采集法向角(所述智能设备相对参考二维平面(如显示设备)的法向角度α)、智能设备与相对参考二维平面(如显示设备)的间隔距离R。如图5所示，图5是本申请涉及的空中书写场景下参数示意图，各参数的关系如图所示，角速度即为θ。在一些实施方式中，显示设备获取的第二辅助识别参数可以显示设备通过所包含的传感器件(红外器件、测距器件)等测算得到的。
示意性的，智能设备距离显示设备距离为R，智能设备指向与显示设备法线之间的夹角为α，某采样时刻间隔设备旋转瞬时角度也即角速度为θ。
步骤S2003：将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中，输出第二移动瞬时位移，基于所述第二移动瞬时位移确定第二移动轨迹。
以图5为例，对应到参考二维平面上每个采样时间点的移动瞬时位移的移动距离x计算为：
Figure BDA0002993128160000061
这样就得到了目标瞬时位移公式，
Figure BDA0002993128160000062
其中，x为所述第二移动瞬时位移、R为所述间隔距离、α为所述法向角，θ为所述角速度。
基于上述目标瞬时位移公式，将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中，实际应用中将显示设备采样周期对应的各采样时间点的角速度值法向角以及所述间隔距离输入至目标瞬时位移公式中，输出各采样时间点对应的一小段位移轨迹x，并基于角速度可确定“一小段位移轨迹x”(也即第二移动瞬时位移)的方向，然后基于各采样时间点对应的确定的方向和“一小段位移轨迹x”按照时序进行累加即为第二移动轨迹。
步骤S1004：将所述书写轨迹数据输入至书写识别模型中，基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。
具体可参见步骤S103，此处不再赘述。
在本申请实施例中，显示设备可以接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成；然后基于所述姿态感应参数生成出书写轨迹数据；再将所述书写轨迹数据输入至书写识别模型中，输出准确的书写识别结果，另外，该书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到，基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题，提升了跨设备的协同操控的便捷性；以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别，书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别，极大的减小了空中书写识别的计算量，提升了识别处理的效率；以及在空中书写识别阶段，采用基于迁移学***面介质的第四书写数据)获得性能一般的通用预训练模型，再使用少量领域数据对模型进行微调，获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性，仅需少量空中书写数据即可保证空中书写轨迹识别的准确率，提升识别处理的效率。
请参见图4，图4是本申请提出的一种空中书写轨迹识别方法的另一种实施例的流程示意图。具体的：
步骤S201：接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成。
具体可参见步骤S101，此处不再赘述。
步骤S202：基于所述姿态感应参数以及预设的姿态参数阈值，确定所述空中书写操作的书写类型。
其中，所述姿态参数阈值用于衡量用户操控智能设备书写时的书写变化程度，从而确定空中书写操作的书写类型，继而采用不同书写类型对应的笔迹确定方式来计算或确定姿态感应参数对应的移动轨迹。
其中，第一书写类型可以理解为用户通过智能设备进行书写时自然书写幅度变化不大的场景，在为第一书写类型时，可采取预设的识别分辨率和姿态感应参数中的角速度参数来确定移动轨迹；
其中，第二书写类型可以理解为用户通过智能设备进行书写时自然书写幅度变化较大的场景，在为第二书写类型时，仅通过预设的识别分辨率来计算误差较大，此时就需要基于第二辅助识别参数和角速度来确定移动轨迹，所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离。
示意性的，姿态感应参数的类型可以是上述实施例中涉及的多种参考姿态参数(速度、加速度、距离等等)，姿态感应参数至少包含角速度即可，姿态参数阈值为用于衡量书写类型的参考姿态参数的门限值或临界值，数量可以是多个，当参考姿态参数(速度、加速度、距离等至少一种)大于参考姿态参数对应类型的姿态参数阈值时，认为用户通过智能设备进行书写时自然书写幅度变化较大，此时确定空中书写操作为第二书写类型；反之，当参考姿态参数(速度、加速度、距离等至少一种)小于或等于参考姿态参数对应类型的姿态参数阈值时，认为用户通过智能设备进行书写时自然书写幅度变化较小，此时确定空中书写操作为第一书写类型。
步骤S203：当所述书写类型为第二书写类型时，获取所述姿态感应参数所包含的角速度以及第二辅助识别参数，所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离，所述法向角为所述智能设备相对所述显示设备的法向角度。
具体的，当所述书写类型为第二书写类型，通常在这种场景下用户通过智能设备进行书写时自然书写幅度变化较大，此时显示设备获取所述姿态感应参数所包含的角速度以及第二辅助识别参数，其中，在一些实施方式中，显示设备获取的第二辅助识别参数可以是从所述姿态感应参数，也即智能设备在采集空中书写操作对应的角速度时还采集法向角(所述智能设备相对参考二维平面(如显示设备)的法向角度α)、智能设备与相对参考二维平面(如显示设备)的间隔距离R。如图5所示，图5是本申请涉及的空中书写场景下参数示意图，各参数的关系如图所示，角速度即为θ。在一些实施方式中，显示设备获取的第二辅助识别参数可以显示设备通过所包含的传感器件(红外器件、测距器件)等测算得到的。
示意性的，智能设备距离显示设备距离为R，智能设备指向与显示设备法线之间的夹角为α，某采样时刻间隔设备旋转瞬时角度也即角速度为θ。
步骤S204：将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中，输出第二移动瞬时位移，基于所述第二移动瞬时位移确定第二移动轨迹。
实际应用中，智能设备通常对应一个采样率，如200Hz，智能设备通过所包含的感应器件来测算每个采样时间点内的角速度θ，然后基于每个采样时间点对应的角速度θ，如图6所示，图6是本申请涉及到的一种笔迹采样的场景示意图，基于预设的采样率，可在采样时间点t1对应图中采样点a1(采样初始点)、采样时间点t2对应图中采样点a2...采样时间点tn对应图中采样点an(采样结束点)。示意性的，采样时间点t2对应的采样点a2，智能设备可感测到当前采样时间点t2的角速度θ2，也即采样点a1至采样点a2的旋转角度θ2，另外，假设智能设备在空中运行了一段位移S，所花费时间为T，这段距离可能并不是规则的直线，而可能是一段比较弯曲的线，与数字、字母以及中文文字等的笔画对应。根据微积分原理，如果设置的采样时间越小，则S的位移轨迹则越可能接近直线，只要能保证该时间T能达到所要求的精度，比如0.1秒，在这0.1秒内主要基于智能设备采集的角速度显示设备可确定其运动的轨迹基本上可以视为直线运动，显示设备就可以很简单的基于角速度和辅助识别参数(如识别分别率)把智能设备这段轨迹S计算出来。那么在很长的一段空中书写的时间内，智能运动的轨迹(可看做用户空中书写的轨迹)曲线根据微积分的原理分成若干很小的部分，则所有若干很小的位移x的总和即为智能设备运动的轨迹。
因此，移动轨迹的确定关键在于确定移动瞬时位移x。
以图5为例，对应到参考二维平面上每个采样时间点的移动瞬时位移的移动距离x计算为：
Figure BDA0002993128160000071
这样就得到了目标瞬时位移公式，
Figure BDA0002993128160000072
其中，x为所述第二移动瞬时位移、R为所述间隔距离、α为所述法向角，θ为所述角速度。
基于上述目标瞬时位移公式，将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中，实际应用中将显示设备采样周期对应的各采样时间点的角速度值法向角以及所述间隔距离输入至目标瞬时位移公式中，输出各采样时间点对应的一小段位移轨迹x，并基于角速度可确定“一小段位移轨迹x”(也即第二移动瞬时位移)的方向，然后基于各采样时间点对应的确定的方向和“一小段位移轨迹x”按照时序进行累加即为第二移动轨迹。
步骤S205：当所述书写类型为第一书写类型时，获取所述姿态感应参数所包含的角速度以及第一辅助识别参数，所述第一辅助识别参数包括预设的识别分辨率。
步骤S206：将所述角速度与所述识别分辨率乘积作为第一移动瞬时位移，基于所述第一移动瞬时位移确定第一移动轨迹。
具体的，当所述书写类型为第一书写类型，通常在这种场景下用户通过智能设备进行书写时自然书写幅度变化较小，此时显示设备获取所述姿态感应参数所包含的角速度即可。
本申请的一些实施例中，所述辅助识别参数可以是预设的识别分辨率，另外所述识别分辨率与显示设备的屏幕分辨率不相关，识别分辨率基于显示设备与智能设备的实际空中书写环境确定的一个辅助计算移动轨迹的经验值，进一步的，该识别分辨率也可称之为识别灵敏度参数，在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高，如大于100Hz，这样相邻两个角速度笔迹采样点之间角速度变化较小，自然书写的动作速度和幅度均变化较小，因此可基于采取大量样本数据确定的显示设备的识别分辨率和实际确定的角速度来计算移动轨迹，如将角速度与识别分辨率的乘积可作为相邻两个角速度笔迹采样点之间对应的移动轨迹的距离，这样再基于初始采样点(如开始书写时的采样点的位置)、书写时对应的笔迹书写方向以及两个角速度笔迹采样点之间对应的移动轨迹的距离，就可以确定相邻两个角速度笔迹采样点之间对应的移动轨迹，从而生成移动轨迹对应的书写轨迹数据。
实际应用中，所述书写类型为第一书写类型时，实际是基于上述目标瞬时位移公式推导过程中对角速度的近似等效，且在书写类型为第一书写类型时，这样进行移动轨迹的近似确定，误差相对不大。具体如下，
以图5为例，对应到参考二维平面上每个采样时间点的移动瞬时位移的移动距离x计算为：
x＝R tan(α+θ)-R tan α
≈k(R(α+θ)-Rα)
＝kRθ
＝rθ
在实际环境中，在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高，如大于100Hz，这样相邻两个笔迹采样点之间幅度变化较小，且相对于参考书写平面(如显示设备的平面)的距离R通常均在一个固定的范围内(如相对于显示设备电视机，每个用户与电视机的距离R相差不大，这对于确定笔迹时的误差可相对忽略)，因此可基于实际应用环境中采取大量样本数据来确定一个经验值：显示设备的辅助识别参数-识别分辨率r。可适用于用户通过智能设备进行书写时自然书写幅度变化不大的场景，基于此构思，在确定空中书写轨迹时可大幅节省计算轨迹的时间，同时在生成书写轨迹数据之后，为了提高轨迹识别的准确性，还将其输入至书写识别模型中，输出书写识别结果。
步骤S207：生成所述移动轨迹对应的书写轨迹数据，对所述书写轨迹数据进行轨迹样式调整处理，得到调整后的目标书写轨迹数据。其中移动轨迹为上述第一移动轨迹或第二移动轨迹。
其中，生成所述移动轨迹对应的书写轨迹数据可参考步骤S102，此处不再赘述。
在一种具体的实施方式中，在生成所述移动轨迹对应的书写轨迹数据之后，由于用户操控智能设备时书写风格、书写心情等客观因素为了进一步提升书写数据的可视性，还可以对书写轨迹数据进行轨迹样式调整处理，另外基于调整后的书写数据输入至书写识别模型中，可提升书写识别结果的准确识别性。
由于基于三维空中介质进行书写和在二维平面介质的书写方式有较大区别，因此书写结果书写轨迹数据也存在显著差异，如图6，左图为在纸上的手写字符，右图为显示设备识别出的空中书写结果。可看出，手写数据由于书写的工具、介质的不同，以及用户风格的差异，会出现颜色深浅、字形大小、笔划粗细的变化；而经电子介质显示设备显示的字符，其笔划粗细、颜色统一标准。直接使用显示设备识别出的空中书写结果通常会存在较大的几率书写轨迹数据可读性以及可视较差；因此，可进行风格统一，对书写轨迹数据进行轨迹样式调整处理，可以是：
1、对所述书写轨迹数据对应的灰度图进行字符检测处理，确定目标字符区域；
实际应用中先进行二值化转换：将原书写轨迹数据对应的灰度图转换为二值图。一种方式可以是设原字符图片像素点灰度值为，转换方法为：
Figure BDA0002993128160000081
其中τ为转换门限，可自定义设置，如τ＝230。
二值化转换之后，再检测书写轨迹数据中移动轨迹(如字符、数字)的有效矩形区域，也即目标轨迹区域，目标轨迹区域可正好容纳所述移动轨迹(如字符、数字等)，对空白区域进行裁剪删除处理，确定目标轨迹区域。
2、对所述目标轨迹区域进行轨迹缩放处理，生成预设规格的目标书写轨迹数据。实际应用中，以轨迹为字符类型为例，将上述目标轨迹区域按比例缩放至预设规格的像素大小，如192×192像素大小，再在周侧补充空白区域，如在目标轨迹区域上下左右分别补充相应像素长度的空白，形成大小统一(256×256)的预设规格的手写字符图片，也即第一目标书写数据。
可选的，对所述目标轨迹区域进行轨迹缩放处理之前，还可以确定所述目标字符区域对应的基准补全线(可以是目标字符区域的最长字符边)，以所述基准补全线为参考，将所述目标字符区域调整至预设形状。示意性的，可以检测目标轨迹区域(如字符有效矩形区域)，以较长边为基准，保持字符居中将较短边补全至较长边长度，形成正方形区域。
这样再对预设形状的目标轨迹区域进行轨迹缩放处理，生成预设规格的目标书写轨迹数据。将上述预设形状(如正方形形状)的目标轨迹区域按比例缩放至预设规格的像素大小，如192×192像素大小，再在周侧补充空白区域，如在目标轨迹区域上下左右分别补充相应像素长度的空白，形成大小统一(256×256)的预设规格的手写字符图片，也即第一目标书写数据，如图7所示，图7左图为截取的目标轨迹区域，然后以较长边为基准，保持字符居中将较短边补全至较长边长度，形成正方形形状的目标轨迹区域。
步骤S208：将所述目标书写轨迹数据输入至书写识别模型中，输出书写识别结果。
具体可参见步骤S103，此处不再赘述。
步骤S209：显示所述书写识别结果对应的至少一个标准书写对象。
所述标准书写对象至少可以为书写识别结果对应的标准书写汉字、标准书写字符、标准书写数字、标准书写图案等等。
在一种具体的实施场景中，显示设备可提供用于展示基于空中书写轨迹确定的至少一个标准书写对象，显示设备可提供针对智能设备的输入显示框，在空中书写过程中，显示设备可以实时将识别到的书写识别结果对应的至少一个标准书写对象如至少一个标准书写字符显示在输入显示框中，如图8所示，图8是本申请提供的一种显示书写识别结果的场景使用图，在图8中，显示设备可以是智能电视或智能显示屏，用户携带智能设备如可穿戴设备进行空中书写操作，智能设备如可穿戴设备采集空中书写操作对应姿态感应数据发送至显示设备(如智能电视)，智能电视基于姿态感应数据确定书写识别结果并将书写识别结果对应的至少一个标准书写字显示在图8所示的书写字符显示区域；也可基于书写识别结果的识别结果，显示设备确定多个高概率的标准书写对象，如高概率的字符识别结果待选项，进一步的，用户可通过移动智能设备如可穿戴设备来控制显示设备上显示区域内光标，并结合交互控件(如按钮)进行识别结果选择确认。若当前备选项中未包含用户希望输入的标准书写对象，还可通过控件控制重新输入识别，等等。
在本申请实施例中，显示设备可以接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成；然后基于所述姿态感应参数生成出书写轨迹数据；再将所述书写轨迹数据输入至书写识别模型中，输出准确的书写识别结果，另外，该书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到，基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题，提升了跨设备的协同操控的便捷性；以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别，书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别，极大的减小了空中书写识别的计算量，提升了识别处理的效率；以及在空中书写识别阶段，采用基于迁移学***面介质的第四书写数据)获得性能一般的通用预训练模型，再使用少量领域数据对模型进行微调，获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性，仅需少量空中书写数据即可保证空中书写轨迹识别的准确率，提升识别处理的效率。
请参见图9，图9是本申请提出的一种空中书写轨迹识别方法的另一种实施例的流程示意图。具体的：
步骤S301：获取基于空中介质的第三书写数据以及基于平面介质的所述第四书写数据。
根据一些实施例中，所述空中介质也即空中书写介质，通常用户所持智能设备在三维空间的空中介质进行书写时，简而言之当用户在空中操作智能设备书写样本笔迹(字符、英文、数字、笔画、手势等)时所对应的样本数据也即第三轨迹数据；进一步的，通常基于空中介质的第三书写数据的数据量较少，本申请可基于智能设备在相应实验环境下采集实际应用环境下的样本生成第三书写数据并可对该第三书写数据标注标准对象标签(如标准字符、标注数字、标注图案)等；
所述平面介质，也即平面书写介质，如用户可直接在手机、电视机、平板等设备的屏幕直接进行书写样本笔迹(字符、英文、数字、笔画等)时所对应的样本数据也即第四书写数据。可以理解的是在基于平面介质进行书写时，书写笔迹的识别较之于空中介质较为简单，样本数据通常是海量的；而针对空中书写笔迹的识别通常需要将空中书写的姿态数据映射到二维平面上生成二维平面上的书写笔迹，则三维转换至二维时通常会存在一定的误差，且这种样本数据较少。在二维平面，尤其是纸质介质的手写数据集则较为完善，可从相应公开数据集获取到基于平面介质的第四书写数据。
在本申请中，仅基于空中书写介质的书写轨迹数据训练模型通常手写识别方案需要基于海量数据驱动，通过学***面，尤其是纸质介质的手写数据集则较为完善，因此使用手写数据集来训练获得可具备空中书写识别的模型，可极大降低***实现的工作开销。
在一种具体实施方式中，进行模型训练前，还可对获取到的样本数据进行轨迹样式调整处理，也即可获取基于所述空中介质的第三样本数据，然后对所述第一样本数据进行轨迹样式调整处理，得到调整后的第三书写数据；以及，可获取基于所述平面介质的第四样本数据，对所述第四样本数据进行轨迹样式调整处理，得到调整后的第四书写数据。
其中，轨迹样式调整处理可参考步骤S206，其与对书写轨迹数据的处理过程类似。实际应用中，对所述书写数据对应的灰度图进行轨迹检测处理，确定目标轨迹区域；确定所述目标字符区域对应的基准补全线，以所述基准补全线为参考，将所述目标字符区域调整至预设形状。对所述目标轨迹区域进行轨迹缩放处理，生成预设规格的目标书写数据。
步骤S302：将所述第四书写数据输入至神经网络模型进行训练，生成初始书写识别模型。
在本申请中，创造性考虑到仅基于空中书写介质的书写轨迹数据训练模型通常手写识别方案需要基于海量数据驱动，通过学***面，尤其是纸质介质的手写数据集则较为完善，因此使用手写数据集来训练获得可具备书写识别的初始书写识别模型，再利用基于空中介质的第三数据书写数据输入至初始书写识别模型，得到训练好的书写识别模型，可极大降低***实现的工作开销。
所述迁移学***面介质的第四书写数据通常是海量的，而所述基于空中介质的第三书写数据较之于所述第四书写数据较少，所述第四书写数据在迁移学习中可称为源数据，所述第三书写数据可称为目标数据，用户终端通过预先将源数据-第四书写数据输入至神经网络模型进行训练，得到训练好的初始书写识别模型，再将目标数据-第四书写数据输入到所述初始书写识别模型中，对所述初始书写识别模型进行训练并对所述初始书写识别模型的参数进行调整，然后生成的书写识别模型，以达到较好的拟合效果。
所述神经网络模型可以是基于卷积神经网络(Convolutional Neural Network，CNN)模型，深度神经网络(Deep Neural Network，DNN)模型、循环神经网络(RecurrentNeural Networks，RNN)、模型、嵌入(embedding)模型、梯度提升决策树(GradientBoosting Decision Tree，GBDT)模型、逻辑回归(Logistic Regression，LR)模型等模型中的一种或多种的拟合实现的。在本实施例中，可采用基于深度神经网络，在现有神经网络模型基础上引入误差反向传播算法进行优化，根据实际输出的识别结果与真实标签之间的损失函数进行反向传播(BP)，迭代调整网络参数提升性能，进而提高神经网络模型的识别准确率。
在一种可行的实施方式中，将所述第四书写数据划分为至少一个第一数据训练集和第一数据测试集；
其中，第一数据训练集用于对神经网络模型进行训练，第一数据测试集用于在训练阶段对神经网络模型的识别效果进行验证。进一步的，数据训练集和数据测试集的数量划分可按照一定比列，如7:3等，具体可根据实际应用环境确定。
基于当前的第一数据训练集对神经网络模型进行训练，并采用所述第一数据测试集测试所述神经网络模型的第一识别准确率；
示意性的，其中，所述神经网络模型可至少由输入层、隐层、输出层组成。所述输入层用于根据输入所述深度神经网络的第一书写训练集提取书写特征，基于书写特征计算输入至最底层的隐层单元的输出值，所述输入层通常包括多个输入单元，所述输入单元用于根据输入的书写特征计计算输入至最底层的隐层单元的输出值。将所述语音特征输入至所述输入单元后，所述输入单元根据自身的加权值利用输入至所述输入单元的书写特征计计算向最底层的隐层输出的输出值。
所述隐层通常为多个，每一层隐层包括多个隐层单元，所述隐层单元接收来自于下一隐层中的隐层单元的输入值。根据本层的加权值对来自于下一层隐层中的隐层单元的输入值进行加权求和，并将加权求和的结果作为输出至上一层隐层的隐层单元的输出值。
所述输出层包括多个输出单元，所述输出单元接收来自于最上层隐层中的隐层单元的输入值，根据本层的加权值对来自于最上层隐层中的隐层单元的输入值进行加权求和，根据加权求和的结果计算实际输出值，基于期望输出值与实际输出值的误差从输出层反向传播并沿输出路径调整各层连接权重值和阈值。
具体的，本实施例中可采用引入误差反向传播算法的DNN-HMM模型创建初始模型，在提取所述第四书写数据的书写特征之后，将所述书写特征输入到所述神经网络模型中，所述神经网络模型的训练过程通常由正向传播和反向传播两部分组成，在正向传播过程中，电子设备输入样本第四书写数据从所述神经网络模型的输入层经过隐层神经元(也称节点)的传递函数(又称激活函数、转换函数)运算后，传向输出层，其中每一层神经元状态影响下一层神经元状态，在输出层计算实际输出值-识别书写结果，计算所述实际输出值与期望输出值的期望误差，基于所述期望误差调整所述神经网络模型的参数，所述参数包含每一层的权重值和阈值，数据集训练完成后。并采用所述第一数据测试集测试所述神经网络模型的第一识别准确率。
第一识别准确率的确定：将用所述第一数据测试集输入至神经网络模型，根据实际输出的识别结果和第一数据测试集对应的标注真实标签计算正确率，也即第一识别准确率。
若所述第一识别准确率小于第一预设阈值，则获取所述当前的第一数据训练集的下一个第一数据训练集，将所述下一个第一数据训练集作为所述当前的第一数据训练集，并执行所述基于当前的第一数据训练集对神经网络模型进行训练的步骤；
若所述第一识别准确率大于或等于第一预设阈值，则认为达到预期的识别效果，则停止训练，保存当前神经网络模型参数，将所述神经网络模型作为初始书写识别模型。
另外，在一些实施方式中，可以设置数据集对神经网络模型的训练轮数来确定训练停止。
步骤S303：将所述第三书写数据输入至所述初始书写识别模型进行迁移学习，生成书写识别模型。
在一种可行的实施方式中，将所述第三书写数据划分为至少一个第二数据训练集和第二数据测试集；
其中，第二数据训练集用于对神经网络模型进行训练，第二数据测试集用于在训练阶段对神经网络模型的识别效果进行验证。进一步的，数据训练集和数据测试集的数量划分可按照一定比列，如7:3等，具体可根据实际应用环境确定。
然后基于当前的第二数据训练集对所述初始书写识别模型进行训练，并采用所述第二数据测试集测试所述初始书写识别模型的第二识别准确率；
第二识别准确率的确定：将用所述第二数据测试集输入至神经网络模型，根据实际输出的识别结果和第二数据测试集对应的标注真实标签计算正确率，也即第二识别准确率。
若所述第二识别准确率小于第二预设阈值，则获取所述当前的第二数据训练集的下一个第二数据训练集，将所述下一个第二数据训练集作为所述当前的第二数据训练集，并执行所述基于当前的第二数据训练集对初始书写识别模型进行训练的步骤；
若所述第二识别准确率大于或等于第二预设阈值，则将所述初始书写识别模型作为书写识别模型。
步骤S304：接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成。
步骤S305：基于所述姿态感应参数生成书写轨迹数据，将所述书写轨迹数据输入至书写识别模型中，输出书写识别结果。
具体可参见步骤S101-S103。
在本申请实施例中，显示设备可以接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成；然后基于所述姿态感应参数生成出书写轨迹数据；再将所述书写轨迹数据输入至书写识别模型中，输出准确的书写识别结果，另外，该书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到，基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题，提升了跨设备的协同操控的便捷性；以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别，书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别，极大的减小了空中书写识别的计算量，提升了识别处理的效率；以及在空中书写识别阶段，采用基于迁移学***面介质的第四书写数据)获得性能一般的通用预训练模型，再使用少量领域数据对模型进行微调，获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性，仅需少量空中书写数据即可保证空中书写轨迹识别的准确率，提升识别处理的效率。
在一个实施例中，如图10所示，特提出了一种空中书写轨迹识别方法，应用于智能设备，该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的空中书写轨迹识别装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
智能设备可以是具有通信功能的电子设备，所述智能设备可以是功能全、可不依赖显示设备(如智能手机)实现完整或者部分的功能，例如智能手表、智能眼镜、智能音箱、智能牙刷、智能笔、智能手环等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，例如，各类进行操作监测的智能手环、智能首饰、智能书包等智能设备。
具体的，该空中书写轨迹识别方法包括：
步骤S401：感测到针对所述显示设备的空中书写操作，并采集所述空中书写操作对应的姿态感应数据。
根据一些实施例中，所述智能设备与显示设备可配合使用，所述智能设备可以是便于用户进行空中书写操作的电子设备，空中书写作为一种新的人机交互手段，它不同于传统的人机交互方式，在本申请中，空中手写可允许用户提高智能设备以自然且无拘束的方式在空中进行书写，这样提供了更加直观、方便、舒适的互动体验，例如，在一些场景下显示设备可以是一种弱输入设备(如电视、会议平板)也即不方便用户直接进行相关信息输入，如书写字符、画画等。因此在一些交互场景下，基于智能设备的空中书写是可以完成复杂信息指令输入目的的交互形态。空中书写包含以纸质或电子介质作为书写表面的书写输入形式，以及在三维空中介质中挥动手指/手腕/手臂等感官进行空中手写的输入形式。在平面介质进行书写的识别技术已经较为成熟，如各种智能手机搭载的触屏输入法。在一些实施场景中，随着虚拟现实、物联网领域技术产品的成熟，基于智能设备(如智能手环、智能手表、智能笔等)的空中书写不受限于平面的特点可以很好地与不便于用户直接书写的显示设备(如电视、会议平板等)结合应用。
根据一些实施例中，所述姿态感应数据是指可移动或旋转对象(如智能设备)基于所包含的传感器件感测到(当前采样时间点)的位置、姿态、角速度数据、加速度数据等，在本申请中，可以理解为用户在操控智能设备时智能设备在空间中所处的位置和/或其在该位置上的姿态。在本实施例中，通过该姿态感应数据可以用于表征或用于量化智能设备当前的姿态。如智能设备的角速度变化(相邻两个采样时刻之间的旋转角度)、移动速度变化、移动方向变化、智能设备相当于参考二维平面(可以是显示设备、所处环境物体(如墙体)所处的参考二维平面)的角度参数(显示设备指向与参考二维平面如显示设备法线之间的夹角为α)和距离参数(如智能设备距离参考二维平面如显示设备的距离R)等等。
进一步的，所述智能设备具有多种实时检测当前位姿信息的传感器件，该传感器件包括但不限于加速度传感器、磁力传感器、陀螺仪、物理量感应器等，所述控制设备通过所述电子部件获取到当前的物理量参数，所述物理量参数可以是加速度参数、磁力参数、角速度参数、相对参考二维平面如显示设备的相对距离、相对角度等等，并对所述物理量参数进行姿态计算，即可以得到所述智能设备的姿态感应数据。
步骤S402：将所述姿态感应数据发送至所述显示设备，以使所述显示设备生成所述姿态感应数据对应的书写轨迹数据，并将所述书写轨迹数据输入至书写识别模型中输出书写识别结果。
具体的，智能设备在感测到用户操作智能设备进行空中书写操作时，智能设备可通过所包含的传感器件来感测当前姿态传感数据，在实际应用中，智能设备可以与显示设备建立通信连接(如蓝牙连接、无线局域网络连接等)，然后在采集到当前的姿态传感数据之后，基于该通信连接将姿态传感数据传输至显示设备，这样显示设备即可通过该通信连接接收到显示设备的姿态传感数据。
所述通信连接包括但不限于：蓝牙通信连接、无线局域网连接、紫峰通信连接等等。
其中，所述书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到。
在一种可行的实施方式中，智能设备可以基于所述姿态感应数据生成书写轨迹数据，并将所述书写轨迹数据输入至所述书写识别模型中，输出所述书写识别结果，将所述书写识别结果发送至所述显示设备。
在一种可行的实施方式中，智能设备可以基于所述姿态感应数据生成书写轨迹数据，将所述书写轨迹数据发送至所述显示设备。以使所述显示设备将所述书写轨迹数据输入至书写识别模型中输出书写识别结果。
在本申请实施例中，智能设备在感测到空中书写操作时，采集空中书写操作的姿态感应参数然后可将其发送至显示设备，显示设备可以接收智能设备发送的姿态感应参数；然后基于所述姿态感应参数生成出书写轨迹数据；再将所述书写轨迹数据输入至书写识别模型中，输出准确的书写识别结果，另外，该书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到，基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题，提升了跨设备的协同操控的便捷性；以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别，书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别，极大的减小了空中书写识别的计算量，提升了识别处理的效率；以及在空中书写识别阶段，采用基于迁移学***面介质的第四书写数据)获得性能一般的通用预训练模型，再使用少量领域数据对模型进行微调，获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性，仅需少量空中书写数据即可保证空中书写轨迹识别的准确率，提升识别处理的效率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图11，其示出了本申请一个示例性实施例提供的空中书写轨迹识别装置的结构示意图。该空中书写轨迹识别装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括感应参数接收模块11、书写数据生成模块12和书写数据输出模块13。
感应参数接收模块11，用于接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成；
书写数据生成模块12，用于基于所述姿态感应参数生成书写轨迹数据；
书写数据输出模块13，用于将所述书写轨迹数据输入至书写识别模型中，基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。
可选的，如图12所示，所述感应参数接收模块11，包括：
参数确定单元111，用于基于所述姿态感应参数，确定在空中书写时所述智能设备的角速度以及辅助识别参数；
数据生成单元112，用于基于所述角速度以及所述辅助识别参数，确定所述角速度对应的移动轨迹，并生成所述移动轨迹对应的书写轨迹数据。
可选的，所述参数确定单元111，具体用于：
从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一辅助识别参数，所述第一辅助识别参数包括预设的识别分辨率。
可选的，所述参数确定单元111，具体用于：
从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一辅助识别参数，所述第一辅助识别参数包括预设的识别分辨率。
可选的，所述数据生成单元112，具体用于：
将所述角速度与所述识别分辨率的乘积作为第一移动瞬时位移，基于所述第一移动瞬时位移确定第一移动轨迹。
可选的，所述参数确定单元111，具体用于：
从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第二辅助识别参数，所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离，所述法向角为所述智能设备相对所述显示设备的法向角度。
可选的，如图13所示，所述参数确定单元111，包括：
类型确定子单元1111，用于基于所述姿态感应参数以及预设的姿态参数阈值，确定所述空中书写操作的书写类型；
参数确定子单元1112，用于当所述书写类型为第一书写类型时，获取所述姿态感应参数所包含的角速度以及第一辅助识别参数，所述第一辅助识别参数包括预设的识别分辨率；
所示参数确定子单元1112，还用于当所述书写类型为第二书写类型时，获取所述姿态感应参数所包含的角速度以及第二辅助识别参数，所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离，所述法向角为所述智能设备相对所述显示设备的法向角度。
可选的，所述书写类型为第一书写类型时，所述数据生成单元112，具体用于：
将所述角速度与所述识别分辨率乘积作为第一移动瞬时位移，基于所述第一移动瞬时位移确定第一移动轨迹。
可选的，所述书写类型为第二书写类型时，所述数据生成单元112，具体用于：
将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中，输出第二移动瞬时位移，基于所述第二移动瞬时位移确定第二移动轨迹；
其中，所述目标瞬时位移公式为：
Figure BDA0002993128160000131
其中，x为所述第二移动瞬时位移、R为所述间隔距离、α为所述法向角、θ为所述角速度。
可选的，所述装置1，具体用于：
对所述书写轨迹数据进行轨迹样式调整处理，得到调整后的目标书写轨迹数据；
将所述目标书写轨迹数据输入至书写识别模型中。
可选的，所述装置1，具体用于：
对所述书写轨迹数据对应的灰度图进行轨迹检测处理，确定目标轨迹区域；
对所述目标轨迹区域进行轨迹缩放处理，生成预设规格的目标书写轨迹数据。
可选的，所述装置1，具体用于：
确定所述目标字符区域对应的基准补全线，以所述基准补全线为参考，将所述目标字符区域调整至预设形状。
可选的，如图14所示，所述装置1，还包括：
模型训练模块14，用于获取基于空中介质的第三书写数据以及基于平面介质的所述第四书写数据；
模型训练模块14，用于将所述第四书写数据输入至神经网络模型进行训练，生成初始书写识别模型；
迁移学习模块15，用于将所述第三书写数据输入至所述初始书写识别模型进行迁移学习，生成书写识别模型。
可选的，所述模型训练模块14，具体用于：
获取基于所述空中介质的第一样本数据，对所述第一样本数据进行轨迹样式调整处理，得到调整后的书写轨迹数据；以及，
获取基于所述平面介质的第二样本数据，对所述第二样本数据进行轨迹样式调整处理，得到调整后的书写识别结果。
可选的，所述模型训练模块14，具体用于：
将所述第四书写数据划分为至少一个第一数据训练集和第一数据测试集；
基于当前的第一数据训练集对神经网络模型进行训练，并采用所述第一数据测试集测试所述神经网络模型的第一识别准确率；
若所述第一识别准确率小于第一预设阈值，则获取所述当前的第一数据训练集的下一个第一数据训练集，将所述下一个第一数据训练集作为所述当前的第一数据训练集，并执行所述基于当前的第一数据训练集对神经网络模型进行训练的步骤；
若所述第一识别准确率大于或等于第一预设阈值，则将所述神经网络模型作为初始书写识别模型。
可选的，所述迁移学习模块15，具体用于：
将所述第三书写数据划分为至少一个第二数据训练集和第二数据测试集；
基于当前的第二数据训练集对所述初始书写识别模型进行训练，并采用所述第二数据测试集测试所述初始书写识别模型的第二识别准确率；
若所述第二识别准确率小于第二预设阈值，则获取所述当前的第二数据训练集的下一个第二数据训练集，将所述下一个第二数据训练集作为所述当前的第二数据训练集，并执行所述基于当前的第二数据训练集对初始书写识别模型进行训练的步骤；
若所述第二识别准确率大于或等于第二预设阈值，则将所述初始书写识别模型作为书写识别模型。
可选的，所述装置1还用于：显示所述书写识别结果对应的至少一个标准书写对象。
需要说明的是，上述实施例提供的空中书写轨迹识别装置在执行空中书写轨迹识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的空中书写轨迹识别装置与空中书写轨迹识别方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
请参见图15，其示出了本申请一个示例性实施例提供的空中书写轨迹识别装置的结构示意图。该空中书写轨迹识别装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置2包括数据感测模块21和数据发送模块22。
数据感测模块21，用于感测到针对所述显示设备的空中书写操作，并采集所述空中书写操作对应的姿态感应数据；
数据发送模块22，用于将所述姿态感应数据发送至所述显示设备，以使所述显示设备生成所述姿态感应数据对应的书写轨迹数据，并将所述书写轨迹数据输入至书写识别模型中输出书写识别结果；所述书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到。
可选的，所述装置2，具体用于：
基于所述姿态感应数据生成书写轨迹数据，并将所述书写轨迹数据输入至所述书写识别模型中，输出所述书写识别结果，将所述书写识别结果发送至所述显示设备；或，
基于所述姿态感应数据生成书写轨迹数据，将所述书写轨迹数据发送至所述显示设备。以使所述显示设备将所述书写轨迹数据输入至书写识别模型中输出书写识别结果。
需要说明的是，上述实施例提供的空中书写轨迹识别装置在执行空中书写轨迹识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的空中书写轨迹识别装置与空中书写轨迹识别方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图10所示实施例的所述空中书写轨迹识别方法，具体执行过程可以参见图1-图10所示实施例的具体说明，在此不进行赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1-图10所示实施例的所述空中书写轨迹识别方法，具体执行过程可以参见图1-图10所示实施例的具体说明，在此不进行赘述。
请参考图16，其示出了本申请一个示例性实施例提供的电子设备的结构方框图。本申请中的电子设备可以包括一个或多个如下部件：处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(digital signal processing，DSP)、现场可编程门阵列(field－programmable gate array，FPGA)、可编程逻辑阵列(programmable logicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessing unit，CPU)、图像处理器(graphics processing unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(random Access Memory，RAM)，也可以包括只读存储器(read-only memory，ROM)。可选地，该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作***可以是安卓(Android)***，包括基于Android***深度开发的***、苹果公司开发的IOS***，包括基于IOS***深度开发的***或其它***。存储数据区还可以存储电子设备在使用中所创建的数据比如电话本、音视频数据、聊天记录数据，等。
参见图17所示，存储器120可分为操作***空间和用户空间，操作***即运行于操作***空间，原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果，操作***针对不同第三方应用程序为其分配相应的***资源。然而，同一第三方应用程序中不同应用场景对***资源的需求也存在差异，比如，在本地资源加载场景下，第三方应用程序对磁盘读取速度的要求较高；在动画渲染场景下，第三方应用程序则对GPU性能的要求较高。而操作***与第三方应用程序之间相互独立，操作***往往不能及时感知第三方应用程序当前的应用场景，导致操作***无法根据第三方应用程序的具体应用场景进行针对性的***资源适配。
为了使操作***能够区分第三方应用程序的具体应用场景，需要打通第三方应用程序与操作***之间的数据通信，使得操作***能够随时获取第三方应用程序当前的场景信息，进而基于当前场景进行针对性的***资源适配。
以操作***为Android***为例，存储器120中存储的程序和数据如图17所示，存储器120中可存储有Linux内核层320、***运行时库层340、应用框架层360和应用层380，其中，Linux内核层320、***运行库层340和应用框架层360属于操作***空间，应用层380属于用户空间。Linux内核层320为电子设备的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。***运行库层340通过一些C/C++库来为Android***提供了主要的特性支持。如SQLite库提供了数据库的支持，OpenGL/ES库提供了3D绘图的支持，Webkit库提供了浏览器内核的支持等。在***运行时库层340中还提供有安卓运行时库(Android runtime)，它主要提供了一些核心库，能够允许开发者使用Java语言来编写Android应用。应用框架层360提供了构建应用程序时可能用到的各种API，开发者也可以通过使用这些API来构建自己的应用程序，比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序，这些应用程序可以是操作***自带的原生应用程序，比如联系人程序、短信程序、时钟程序、相机应用等；也可以是第三方开发者所开发的第三方应用程序，比如游戏类应用程序、即时通信程序、相片美化程序等。
以操作***为IOS***为例，存储器120中存储的程序和数据如图17所示，IOS***包括：核心操作***层420(Core OS layer)、核心服务层440(Core Services layer)、媒体层460(Media layer)、可触摸层480(Cocoa Touch Layer)。核心操作***层420包括了操作***内核、驱动程序以及底层程序框架，这些底层程序框架提供更接近硬件的功能，以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的***服务和/或程序框架，比如基础(Foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口，如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(AirPlay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架，可触摸层480负责用户在电子设备上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(User Interface，UI)框架、用户界面UIKit框架、地图框架等等。
在图18所示出的框架中，与大部分应用程序有关的框架包括但不限于：核心服务层440中的基础框架和可触摸层480中的UIKit框架。基础框架提供许多基本的对象类和数据类型，为所有应用程序提供最基本的***服务，和UI无关。而UIKit框架提供的类是基础的UI类库，用于创建基于触摸的用户界面，iOS应用程序可以基于UIKit框架来提供UI，所以它提供了应用程序的基础架构，用于构建用户界面，绘图、处理和用户交互事件，响应手势等等。
其中，在IOS***中实现第三方应用程序与操作***数据通信的方式以及原理可参考Android***，本申请在此不再赘述。
其中，输入装置130用于接收输入的指令或数据，输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据，输出装置140包括但不限于显示设备和扬声器等。在一个示例中，输入装置130和输出装置140可以合设，输入装置130和输出装置140为触摸显示屏，该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作，以及显示各个应用程序的用户界面。触摸显示屏通常设置在电子设备的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合，本申请实施例对此不加以限定。
除此之外，本领域技术人员可以理解，上述附图所示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(wireless fidelity，WiFi)模块、电源、蓝牙模块等部件，在此不再赘述。
在本申请实施例中，各步骤的执行主体可以是上文介绍的电子设备。可选地，各步骤的执行主体为电子设备的操作***。操作***可以是安卓***，也可以是IOS***，或者其它操作***，本申请实施例对此不作限定。
本申请实施例的电子设备，其上还可以安装有显示设备，显示设备可以是各种能实现显示功能的设备，例如：阴极射线管显示器(cathode ray tubedisplay，简称CR)、发光二极管显示器(light-emitting diode display，简称LED)、电子墨水屏、液晶显示屏(liquid crystal display，简称LCD)、等离子显示面板(plasma display panel，简称PDP)等。用户可以利用电子设备101上的显示设备，来查看显示的文字、图像、视频等信息。所述电子设备可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality，增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。
在图17所示的电子设备中，其中电子设备可以是一种终端，处理器110可以用于调用存储器120中存储的空中书写轨迹识别应用程序，并具体执行以下操作：
接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成；
基于所述姿态感应参数生成书写轨迹数据；
将所述书写轨迹数据输入至书写识别模型中，基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。
在一个实施例中，所述处理器110在执行所述基于所述姿态感应参数生成书写轨迹数据时，具体执行以下步骤：
基于所述姿态感应参数，确定在空中书写时所述智能设备的角速度以及辅助识别参数；
基于所述角速度以及所述辅助识别参数，确定所述角速度对应的移动轨迹，并生成所述移动轨迹对应的书写轨迹数据。
在一个实施例中，所述处理器110在执行所述基于所述姿态感应参数，确定角速度以及辅助识别参数，包括：
基于所述姿态感应参数以及预设的姿态参数阈值，确定所述空中书写操作的书写类型；
当所述书写类型为第一书写类型时，获取所述姿态感应参数所包含的角速度以及第一辅助识别参数，所述第一辅助识别参数包括预设的识别分辨率；
当所述书写类型为第二书写类型时，获取所述姿态感应参数所包含的角速度以及第二辅助识别参数，所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离，所述法向角为所述智能设备相对所述显示设备的法向角度。
在一个实施例中，所述处理器110在执行所述书写类型为第一书写类型时，所述基于所述角速度以及所述辅助识别参数，确定所述角速度对应的移动轨迹时，执行以下操作：
将所述角速度与所述识别分辨率乘积作为第一移动瞬时位移，基于所述第一移动瞬时位移确定第一移动轨迹。
在一个实施例中，所述处理器110在执行所述书写类型为第二书写类型时，所述基于所述角速度以及所述辅助识别参数，确定所述角速度对应的移动轨迹，包括：
将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中，输出第二移动瞬时位移，基于所述第二移动瞬时位移确定第二移动轨迹；
其中，所述目标瞬时位移公式为：
Figure BDA0002993128160000171
其中，x为所述第二移动瞬时位移、R为所述间隔距离、α为所述法向角、θ为所述角速度。
在一个实施例中，所述处理器110在执行所述将所述书写轨迹数据输入至书写识别模型中时，具体执行以下步骤：
对所述书写轨迹数据进行轨迹样式调整处理，得到调整后的目标书写轨迹数据；
将所述目标书写轨迹数据输入至书写识别模型中。
在一个实施例中，所述处理器110在执行所述对所述书写轨迹数据进行轨迹样式调整处理，得到调整后的目标书写轨迹数据，包括：
对所述书写轨迹数据对应的灰度图进行轨迹检测处理，确定目标轨迹区域；
对所述目标轨迹区域进行轨迹缩放处理，生成预设规格的目标书写轨迹数据。
在一个实施例中，所述处理器110在执行所述对所述目标字符区域中的第一字符进行字符缩放处理之前，还执行以下操作：
确定所述目标字符区域对应的基准补全线，以所述基准补全线为参考，将所述目标字符区域调整至预设形状。
在一个实施例中，所述处理器110在执行所述接收智能设备发送的姿态感应参数之前，还执行以下操作：
获取基于空中介质的第三书写数据以及基于平面介质的所述第四书写数据；
将所述第四书写数据输入至神经网络模型进行训练，生成初始书写识别模型；
将所述第三书写数据输入至神经网络模型进行训练，生成书写识别模型。
在一个实施例中，所述处理器110在执行所述获取基于空中介质的第三书写数据以及基于平面介质的所述第四书写数据时，具体执行以下步骤：
获取基于所述空中介质的第三样本数据，对所述第三样本数据进行轨迹样式调整处理，得到调整后的第三书写数据；以及，
获取基于所述平面介质的第四样本数据，对所述第四样本数据进行轨迹样式调整处理，得到调整后的第四书写数据。
在一个实施例中，所述处理器110在执行所述将所述第四书写数据输入至神经网络模型进行训练，生成初始书写识别模型时，具体执行以下步骤：
将所述第四书写数据划分为至少一个第一数据训练集和第一数据测试集；
基于当前的第一数据训练集对神经网络模型进行训练，并采用所述第一数据测试集测试所述神经网络模型的第一识别准确率；
若所述第一识别准确率小于第一预设阈值，则获取所述当前的第一数据训练集的下一个第一数据训练集，将所述下一个第一数据训练集作为所述当前的第一数据训练集，并执行所述基于当前的第一数据训练集对神经网络模型进行训练的步骤；
若所述第一识别准确率大于或等于第一预设阈值，则将所述神经网络模型作为初始书写识别模型。
在一个实施例中，所述处理器110在执行所述将所述第三书写数据输入至神经网络模型进行训练，生成书写识别模型时，具体执行以下步骤：将所述第三书写数据划分为至少一个第二数据训练集和第二数据测试集；
基于当前的第二数据训练集对所述初始书写识别模型进行训练，并采用所述第二数据测试集测试所述初始书写识别模型的第二识别准确率；
若所述第二识别准确率小于第二预设阈值，则获取所述当前的第二数据训练集的下一个第二数据训练集，将所述下一个第二数据训练集作为所述当前的第二数据训练集，并执行所述基于当前的第二数据训练集对初始书写识别模型进行训练的步骤；
若所述第二识别准确率大于或等于第二预设阈值，则将所述初始书写识别模型作为书写识别模型。
在一个实施例中，所述处理器110在执行所述输出书写识别结果之后，还执行以下操作：
显示所述书写识别结果对应的至少一个标准书写对象。
在本申请实施例中，显示设备可以接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成；然后基于所述姿态感应参数生成出书写轨迹数据；再将所述书写轨迹数据输入至书写识别模型中，输出准确的书写识别结果，另外，该书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到，基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题，提升了跨设备的协同操控的便捷性；以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别，书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别，极大的减小了空中书写识别的计算量，提升了识别处理的效率；以及在空中书写识别阶段，采用基于迁移学***面介质的第四书写数据)获得性能一般的通用预训练模型，再使用少量领域数据对模型进行微调，获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性，仅需少量空中书写数据即可保证空中书写轨迹识别的准确率，提升识别处理的效率。
请参见图15，为本申请实施例提供了另一种电子设备的结构示意图。如图15所示，所述电子设备2000可以包括：至少一个处理器2001，至少一个网络接口2004，用户接口2003，存储器2005，至少一个通信总线2002。
其中，通信总线2002用于实现这些组件之间的连接通信。
其中，用户接口2003可以包括显示屏(Display)，可选用户接口2003还可以包括标准的有线接口、无线接口。
其中，网络接口2004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器2001可以包括一个或者多个处理核心。处理器2001利用各种借口和线路连接整个服务器2000内的各个部分，通过运行或执行存储在存储器2005内的指令、程序、代码集或指令集，以及调用存储在存储器2005内的数据，执行服务器2000的各种功能和处理数据。可选的，处理器2001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器2001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器2001中，单独通过一块芯片进行实现。
其中，存储器2005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器2005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器2005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器2005可选的还可以是至少一个位于远离前述处理器2001的存储装置。如图15所示，作为一种计算机存储介质的存储器2005中可以包括操作***、网络通信模块、用户接口模块以及空中书写轨迹识别应用程序。
在图15所示的电子设备2000中，用户接口2003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器2001可以用于调用存储器2005中存储的空中书写轨迹识别应用程序，并具体执行以下操作：
感测到针对所述显示设备的空中书写操作，并采集所述空中书写操作对应的姿态感应数据；
将所述姿态感应数据发送至所述显示设备，以使所述显示设备生成所述姿态感应数据对应的书写轨迹数据，并将所述书写轨迹数据输入至书写识别模型中输出书写识别结果；所述书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到。
在一个实施例中，所述处理器2001在执行所述空中书写轨迹识别方法时，还执行以下操作：
基于所述姿态感应数据生成书写轨迹数据，并将所述书写轨迹数据输入至所述书写识别模型中，输出所述书写识别结果，将所述书写识别结果发送至所述显示设备；或，
基于所述姿态感应数据生成书写轨迹数据，将所述书写轨迹数据发送至所述显示设备。以使所述显示设备将所述书写轨迹数据输入至书写识别模型中输出书写识别结果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (18)

1.一种空中书写轨迹识别方法，其特征在于，所述方法包括：
接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能设备在感测到空中书写操作时生成；
基于所述姿态感应参数生成书写轨迹数据；
将所述书写轨迹数据输入至书写识别模型中，基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述姿态感应参数生成书写轨迹数据，包括：
基于所述姿态感应参数，确定在空中书写时所述智能设备的角速度以及辅助识别参数；
基于所述角速度以及所述辅助识别参数，确定所述角速度对应的移动轨迹，并生成所述移动轨迹对应的书写轨迹数据。
3.根据权利要求2所述的方法，其特征在于，所述基于所述姿态感应参数，确定在空中书写时所述智能设备的角速度以及辅助识别参数，包括：
从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一辅助识别参数，所述第一辅助识别参数包括预设的识别分辨率。
4.根据权利要求3所述的方法，其特征在于，所述基于所述角速度以及所述辅助识别参数，确定所述角速度对应的移动轨迹，包括：
将所述角速度与所述识别分辨率的乘积作为第一移动瞬时位移，基于所述第一移动瞬时位移确定第一移动轨迹。
5.根据权利要求2所述的方法，其特征在于，所述基于所述姿态感应参数，确定在空中书写时所述智能设备的角速度以及辅助识别参数，包括：
从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第二辅助识别参数，所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离，所述法向角为所述智能设备相对所述显示设备的法向角度。
6.根据权利要求5所述的方法，其特征在于，所述基于所述角速度以及所述辅助识别参数，确定所述角速度对应的移动轨迹，包括：
将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中，输出第二移动瞬时位移，基于所述第二移动瞬时位移确定第二移动轨迹；
其中，所述目标瞬时位移公式为：
Figure FDA0002993128150000011
其中，x为所述第二移动瞬时位移、R为所述间隔距离、α为所述法向角、θ为所述角速度。
7.根据权利要求1所述的方法，其特征在于，所述将所述书写轨迹数据输入至书写识别模型中，包括：
对所述书写轨迹数据进行轨迹样式调整处理，得到调整后的目标书写轨迹数据；
将所述目标书写轨迹数据输入至书写识别模型中。
8.根据权利要求7所述的方法，其特征在于，所述对所述书写轨迹数据进行轨迹样式调整处理，得到调整后的目标书写轨迹数据，包括：
对所述书写轨迹数据对应的灰度图进行轨迹检测处理，确定目标轨迹区域；
对所述目标轨迹区域进行轨迹缩放处理，生成预设规格的目标书写轨迹数据。
9.根据权利要求8所述的方法，其特征在于，所述对所述目标字符区域中的第一字符进行字符缩放处理之前，还包括：
确定所述目标字符区域对应的基准补全线，以所述基准补全线为参考，将所述目标字符区域调整至预设形状。
10.根据权利要求1所述的方法，其特征在于，所述接收智能设备发送的姿态感应参数之前，还包括：
获取基于空中介质的第三书写数据以及基于平面介质的所述第四书写数据；
将所述第四书写数据输入至神经网络模型进行训练，生成初始书写识别模型；
将所述第三书写数据输入至神经网络模型进行训练，生成书写识别模型。
11.根据权利要求10所述的方法，其特征在于，所述获取基于空中介质的第三书写数据以及基于平面介质的所述第四书写数据，包括：
获取基于所述空中介质的第三样本数据，对所述第三样本数据进行轨迹样式调整处理，得到调整后的第三书写数据；以及，
获取基于所述平面介质的第四样本数据，对所述第四样本数据进行轨迹样式调整处理，得到调整后的第四书写数据。
12.根据权利要求10所述的方法，其特征在于，所述将所述第四书写数据输入至神经网络模型进行训练，生成初始书写识别模型，包括：
将所述第四书写数据划分为至少一个第一数据训练集和第一数据测试集；
基于当前的第一数据训练集对神经网络模型进行训练，并采用所述第一数据测试集测试所述神经网络模型的第一识别准确率；
若所述第一识别准确率小于第一预设阈值，则获取所述当前的第一数据训练集的下一个第一数据训练集，将所述下一个第一数据训练集作为所述当前的第一数据训练集，并执行所述基于当前的第一数据训练集对神经网络模型进行训练的步骤；
若所述第一识别准确率大于或等于第一预设阈值，则将所述神经网络模型作为初始书写识别模型。
13.根据权利要求10所述的方法，其特征在于，所述将所述第三书写数据输入至神经网络模型进行训练，生成书写识别模型，包括：
将所述第三书写数据划分为至少一个第二数据训练集和第二数据测试集；
基于当前的第二数据训练集对所述初始书写识别模型进行训练，并采用所述第二数据测试集测试所述初始书写识别模型的第二识别准确率；
若所述第二识别准确率小于第二预设阈值，则获取所述当前的第二数据训练集的下一个第二数据训练集，将所述下一个第二数据训练集作为所述当前的第二数据训练集，并执行所述基于当前的第二数据训练集对初始书写识别模型进行训练的步骤；
若所述第二识别准确率大于或等于第二预设阈值，则将所述初始书写识别模型作为书写识别模型。
14.根据权利要求1所述的方法，其特征在于，所述基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果之后，还包括：
显示所述书写识别结果对应的至少一个标准书写对象。
15.一种空中书写字符识别方法，其特征在于，所述方法包括：
感测到针对显示设备的空中书写操作，并采集所述空中书写操作对应的姿态感应数据；
将所述姿态感应数据发送至所述显示设备，以使所述显示设备生成所述姿态感应数据对应的书写轨迹数据，并将所述书写轨迹数据输入至书写识别模型中输出书写识别结果。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
基于所述姿态感应数据生成书写轨迹数据，并将所述书写轨迹数据输入至所述书写识别模型中，输出所述书写识别结果，将所述书写识别结果发送至所述显示设备；或，
基于所述姿态感应数据生成书写轨迹数据，将所述书写轨迹数据发送至所述显示设备，以使所述显示设备将所述书写轨迹数据输入至所述书写识别模型中输出书写识别结果。
17.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～14或15～16任意一项的方法步骤。
18.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～14或15～16任意一项的方法步骤。
CN202110323503.2A 2021-03-25 2021-03-25 空中书写轨迹识别方法、装置、存储介质及电子设备 Pending CN113052078A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110323503.2A CN113052078A (zh) 2021-03-25 2021-03-25 空中书写轨迹识别方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110323503.2A CN113052078A (zh) 2021-03-25 2021-03-25 空中书写轨迹识别方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113052078A true CN113052078A (zh) 2021-06-29

Family

ID=76515218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110323503.2A Pending CN113052078A (zh) 2021-03-25 2021-03-25 空中书写轨迹识别方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113052078A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115528A (zh) * 2021-11-02 2022-03-01 深圳市雷鸟网络传媒有限公司 虚拟对象控制方法、装置、计算机设备和存储介质
WO2023179264A1 (zh) * 2022-03-25 2023-09-28 华为技术有限公司 隔空输入方法、设备以及***
CN117315790A (zh) * 2023-11-28 2023-12-29 恒银金融科技股份有限公司 手部书写动作的分析方法和智能笔

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115528A (zh) * 2021-11-02 2022-03-01 深圳市雷鸟网络传媒有限公司 虚拟对象控制方法、装置、计算机设备和存储介质
CN114115528B (zh) * 2021-11-02 2024-01-19 深圳市雷鸟网络传媒有限公司 虚拟对象控制方法、装置、计算机设备和存储介质
WO2023179264A1 (zh) * 2022-03-25 2023-09-28 华为技术有限公司 隔空输入方法、设备以及***
CN117315790A (zh) * 2023-11-28 2023-12-29 恒银金融科技股份有限公司 手部书写动作的分析方法和智能笔
CN117315790B (zh) * 2023-11-28 2024-03-19 恒银金融科技股份有限公司 手部书写动作的分析方法和智能笔

Similar Documents

Publication Publication Date Title
US11270104B2 (en) Spatial and temporal sequence-to-sequence modeling for handwriting recognition
US11750770B2 (en) Real time painting of a video stream
US10733466B2 (en) Method and device for reproducing content
WO2021232930A1 (zh) 应用分屏方法、装置、存储介质及电子设备
US11093769B2 (en) Stroke extraction in free space
US9430093B2 (en) Monitoring interactions between two or more objects within an environment
CN113052078A (zh) 空中书写轨迹识别方法、装置、存储介质及电子设备
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
US10528249B2 (en) Method and device for reproducing partial handwritten content
CN104102336A (zh) 提供非接触交互的便携式设备和方法
US10438385B2 (en) Generating ink effects for a digital ink stroke
CN106227452B (zh) 在三维地图中选择视图的装置、方法和图形用户接口
Yin et al. Toward natural interaction in the real world: Real-time gesture recognition
US10401947B2 (en) Method for simulating and controlling virtual sphere in a mobile device
CN109815462B (zh) 一种文本生成方法及终端设备
CN111127469A (zh) 缩略图显示方法、装置、存储介质以及终端
CN112788583A (zh) 设备寻找方法、装置、存储介质及电子设备
US10339372B2 (en) Analog strokes to digital ink strokes
WO2023250361A1 (en) Generating user interfaces displaying augmented reality graphics
CN112995562A (zh) 摄像头的调用方法、装置、存储介质及终端
JP6699406B2 (ja) 情報処理装置、プログラム、位置情報作成方法、情報処理システム
CN113204283A (zh) 一种文本输入方法、装置、存储介质及电子设备
Eliseeva et al. Gesture Recognizing Technology Development for Interaction with Mobile Devices
CN117991967A (zh) 虚拟键盘交互方法、装置、设备、存储介质和程序产品
CN117193539A (zh) 一种指纹检测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination