CN111796708A - 一种在触摸屏上再现图像三维形状特征的方法 - Google Patents

一种在触摸屏上再现图像三维形状特征的方法 Download PDF

Info

Publication number
CN111796708A
CN111796708A CN202010488750.3A CN202010488750A CN111796708A CN 111796708 A CN111796708 A CN 111796708A CN 202010488750 A CN202010488750 A CN 202010488750A CN 111796708 A CN111796708 A CN 111796708A
Authority
CN
China
Prior art keywords
image
touch screen
deep learning
force
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010488750.3A
Other languages
English (en)
Other versions
CN111796708B (zh
Inventor
陈大鹏
刘佳
宋爱国
陈旭
魏李娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202010488750.3A priority Critical patent/CN111796708B/zh
Publication of CN111796708A publication Critical patent/CN111796708A/zh
Application granted granted Critical
Publication of CN111796708B publication Critical patent/CN111796708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种在触摸屏上再现图像三维形状特征的方法，所述方法包括以下步骤：(1)构建能去除图像的细节特征而保留图像中物体的主要结构特征的深度学***滑，再利用从明暗恢复形状技术从平滑图像中恢复出物体的三维形状特征；使用力触觉装置在触摸屏上滑动时，分别采用基于侧向力场和基于位移场的力触觉表达方法来再现图像的形状特征。本发明可在触摸屏设备上实现对图像的快速平滑和形状恢复，保证了交互的实时性和真实感。

Description

一种在触摸屏上再现图像三维形状特征的方法
技术领域
本发明涉及图像处理及人机交互，特别涉及一种在触摸屏上再现图像三维形状特征的方法。
背景技术
图像中通常包含着丰富的以混叠方式呈现的物体结构(形状和轮廓)和表面细节(纹理和小的轮廓)等特征信息。当触觉感知物体时，物体的结构特征是人们识别物体的基础，过多的细节信息不但无助于对物体的整体感知，还会给空间信息的整合带来混乱。因此，供人们通过触觉感知的图像一般需要在保持结构特征的情况下，对物体表面进行平滑和纹理去除，从而生成符合触觉低带宽特性的触觉图像。这种需求恰好与图像平滑的目标相一致。
图像平滑作为一种基本的图像处理技术，已经被广泛的研究。传统的图像平滑方法主要包括局部滤波的方法和全局优化的方法。其中，局部滤波方法与输入图像的局部统计特征高度相关，并利用局部空间邻域过滤图像的每一个像素，其主要包括各向异性扩散、双边滤波、加权中值滤波和滚动引导滤波等方法。这些基于滤波核的方法虽然通常是简单和高效的，但它们无法在任意尺度上判断是否需要对某些边缘进行平滑，且不直接适用于高级图像编辑任务。全局优化的方法通过求解由数据保真项和正则化项组成的目标函数的最优解来获得期望的图像边缘识别和滤波效果。例如，作为在结构和纹理分解方面的开创性工作，全变分以梯度函数作为约束，并通过最小化输入和输出图像之间的平方差来保持结构的一致性。在此基础之上，后续研究通过修改正则化项和约束条件，又提出了基于加权最小二乘法、局部极值、L0范数平滑和相对全变分(Relative Total Variation，RTV)等全局优化方法。在这些方法中，RTV根据纹理和主要结构所表现出的不同性质，在一个优化框架中采用不同的惩罚函数对结构和纹理进行处理。通过将窗口全变分和窗口固有变分组合成一个更有效的正则化项，RTV滤波器可有效的提取图像的结构特征，并抑制具有强梯度的纹理，从而获得结构清晰和表面平滑的图像。然而，由于目标函数需要经过多次的迭代操作才能获得最优解，全局优化的方法普遍存在计算开销大和耗时长的问题。这些缺点为实时的交互操作带来很大挑战。尤其是在计算能力有限的触摸屏设备上进行图像形状特征再现的应用，RTV等基于全局优化的图像平滑算法将更加难以快速和有效的实现。
近年来，基于深度学***滑方面，利用深度学***滑算法的过滤效果，将能够解决传统方法计算开销大和耗时长的问题，并为在触摸屏设备上快速提取出图像的形状特征带来便利。
发明内容
发明目的：本发明的目的在于提供一种可快速去除图像的细节特征而保留图像中物体的主要结构特征，以便后续提取出更加符合人的触觉感知特性的图像三维形状特征的方法。
技术方案：本发明所述的一种在触摸屏上再现图像三维形状特征的方法，包括以下在步骤：
(1)利用公开的图像数据库，在外部服务器上构建能去除图像的细节特征而保留图像中物体的主要结构特征的深度学习模型；
(2)开发适用于Android***的应用软件，将在外部服务器上训练好的深度学习模型移植到触摸屏设备上；
(3)设计用于与触摸屏交互和力触觉再现的力触觉装置；
(4)对于在触摸屏中显示的新图像，先使用深度学***滑，再利用SFS技术从平滑图像中恢复出物体的三维形状特征；然后使用力触觉装置在触摸屏上滑动，采用基于侧向力场或基于位移场的力触觉表达方法来再现图像的形状特征。
进一步的，步骤(1)中，所述深度学***滑结果作为ground truth来训练网络。
进一步的，步骤(2)中，所述深度学习模型采用TensorFlow框架构建，训练好的深度学习模型移植到触摸屏设备上后，Android应用程序通过JNI技术调用深度学习模型中由C++实现的方法。
进一步的，步骤(2)中，所述触摸屏设备是基于Android操作***的。
进一步的，步骤(3)中，所述力触觉装置为指套式或手持式力触觉装置。
进一步的，步骤(4)中，所述SFS技术是基于计算量较小的Tsai&Shah算法实现的。
有益效果：与现有技术相比，本发明具有以下显著效果：(1)本发明借助触摸屏设备便携、使用广泛和成本低等优势，提出一种便捷的向用户再现图像三维形状特征的方法。该方法不但能实现人对图像中物体三维形状的“所见即所感”，还为视障者感知图像的三维形状特征和与数字世界的无障碍交流提供了一条重要途径。(2)本发明构建的能够模拟RTV滤波器图像平滑效果的深度学***滑，为后续使用SFS技术快速恢复出平坦、光滑的物体三维形状特征打下了基础，并很好地满足了力触觉交互对实时性的需求。(3)本发明设计的符合触摸屏交互特点的小型指套式和手持式力触觉装置，可分别通过基于侧向力场和基于位移场的力触觉表达方法来再现图像的形状特征，解决了日常使用的触摸屏设备由于缺乏丰富的力触觉反馈能力而无法有效地向用户传达图像的三维形状特征的问题。
附图说明
图1为本发明方法流程图；
图2为本发明中的基于卷积神经网络的图像平滑模型工作流程图；
图3为本发明中的指套式力触觉装置的结构示意图；
图4为本发明中的指套式力触觉装置与触摸屏交互的场景示意图；
图5为本发明中的手持式力触觉装置的结构示意图；
图6为本发明中的手持式力触觉装置与触摸屏交互的场景示意图。
具体实施方式
下面结合实施例对本发明做详细说明。
如图1所示，一种在触摸屏上再现图像三维形状特征的方法，包括以下在步骤：
(1)利用公开的图像数据库，在外部服务器上构建能去除图像的细节特征而保留图像中物体的主要结构特征的深度学习模型；
如图2所示，深度学***滑结果作为ground truth来训练网络。具体过程为：对于一个彩色输入图像I，其在RTV滤波器的过滤下得到平滑图像L(I)，其中L(·)表示RTV滤波器的非线性滤波过程。任何输入图像I通过基于CNN的前馈深度网络FW(I)都能近似获得L(I)的平滑效果，其中F表示CNN的结构，W表示控制前馈过程的网络参数。
输入层是输入图像I在水平和垂直方向的梯度图
Figure BDA0002520238010000041
和
Figure BDA0002520238010000042
其中
Figure BDA0002520238010000043
表示梯度图。卷积层1包含256个特征图，其是由一个大小为16×16的卷积核对梯度图
Figure BDA0002520238010000044
进行卷积，再经过tanh函数的计算得到的。卷积层1的作用是将梯度图
Figure BDA0002520238010000045
中的每个局部色块映射成256维的像素矢量。接着，卷积层2由大小为1×1的卷积核与卷积层1中的所有特征面进行卷积，并经过tanh函数的计算得到。故卷积层2也包含256个特征面。该过程的作用是对卷积层1中经处理的像素矢量进行加权平均，以执行“平滑”操作。最后，使用一个大小为8×8的卷积核对卷积层2进行卷积运算，用于恢复尖锐边缘，即“边缘识别”处理，从而得到最终平滑后的梯度图。图2中的CNN没有使用池化层，这是因为池化层对图像的位置特征可能会有弱化的作用，这对于图像平滑来说是不利的。
(2)开发适用于Android***的应用软件，将在外部服务器上训练好的深度学习模型移植到触摸屏设备上；
深度学***台的触摸屏设备上进行图像平滑，一般需要开启一个新的线程，并在该线程中使用TensorFlowInferenceInterface接口函数对图像进行处理。该接口函数主要包括feed()方法、run()方法和fetch()方法，分别用于读取图像数据、执行基于CNN的图像平滑过程，以及输出平滑后的图像。
(3)设计用于与触摸屏交互和力触觉再现的力触觉装置；
如图3-4所示，指套式力触觉装置包括导电橡胶环1、直流电机2、装置主体3、手指固定套4、蓝牙模块、控制电路和可充电电池；手指固定套4与装置主体3连接，用户将手指置于手指固定套4与装置主体3中，使手指与装置之间不发生相对运动。导电橡胶环1与直流电机2的输出轴连接，均设于装置主体3的下部，导电橡胶环1用于与触摸屏6接触，既能让触摸屏实时检测到交互发生的位置，又与触摸屏6之间具有较大的摩擦系数。直流电机2通过正转和反转，为用户使用装置在触摸屏6上的滑动时，提供可变大小和方向的侧向反馈力。蓝牙模块集成于控制单元5内，用于与触摸屏设备进行数据通信。控制电路和可充电电池均集成于控制单元5内。
如图5-6所示，手持式力触觉装置包括电容笔头7、直流电机8、丝杆机构9、套环10、蓝牙模块、控制电路11、可充电电池12及控制单元13。电容笔头7用于与触摸屏6接触，并让触摸屏6实时检测到交互发生的位置。直流电机8与丝杆机构9组合成电机-丝杆机构，可带动套环10上下运动，蓝牙模块用于与触摸屏6设备进行数据通信。蓝牙模块、控制电路11和可充电电池12均集成于控制单元13内。
(4)对于在触摸屏中显示的新图像，先使用深度学***滑，再利用SFS技术从平滑图像中恢复出物体的三维形状特征；然后使用力触觉装置在触摸屏上滑动，采用基于侧向力场或基于位移场的力触觉表达方法来再现图像的形状特征。
上述SFS技术是基于计算量较小的Tsai&Shah算法实现的。
如图4所示，基于侧向力场的力触觉表达方法是借助于M.Minsky等提出的基于侧向力的触觉错觉理论，用户的手指戴上指套式力触觉装置在触摸屏上滑动的过程中，该表达方法根据交互点处物体三维形状的梯度和装置在触摸屏上的运动方向来改变装置向手指传递的侧向反馈力的大小和方向。具体过程为：在触摸屏表面定义平行于触摸屏长边的方向为x轴，平行于触摸屏短边的方向为y轴。指套式力触觉装置与触摸屏交互的过程中，触摸屏实时检测交互的位置P(x,y)。对于虚拟物体的表面几何形状函数F(x,y)，接触点P(x,y)处的梯度为：
Figure BDA0002520238010000051
其中
Figure BDA0002520238010000061
为x轴和y轴方向上的单位矢量。
装置在触摸屏上的运动方向的单位矢量为：
Figure BDA0002520238010000062
其中Pi为ti时刻装置在触摸屏上的位置矢量。由此可计算装置在交互位置P(x,y)和运动方向
Figure BDA0002520238010000063
条件下提供的侧向力为：
Figure BDA0002520238010000064
其中fi是ti时刻的侧向力的标量值，f0是装置可以提供的最大侧向力，θi是矢量
Figure BDA0002520238010000065
和
Figure BDA0002520238010000066
之间的角度。
如图6所示，基于位移场的力触觉表达方法将图像的形状高度信息与套环的上下运动相关联，即用户的手握住手持式力触觉装置在触摸屏上滑动的过程中，在交互位置P(x,y)，由Tsai&Shah算法计算该位置处虚拟物体的归一化高度值，并将该高度值映射为套环的位置，从而使装置内的电机-丝杆机构通过驱动套环来带动手指随图像的形状高度而上下运动。

Claims (6)

1.一种在触摸屏上再现图像三维形状特征的方法，其特征在于：包括以下步骤：
(1)利用公开的图像数据库，在外部服务器上构建能去除图像的细节特征而保留图像中物体的主要结构特征的深度学习模型；
(2)开发适用于Android***的应用软件，将在外部服务器上训练好的深度学习模型移植到触摸屏设备上；
(3)设计用于与触摸屏交互和力触觉再现的力触觉装置；
(4)对于在触摸屏中显示的新图像，先使用深度学***滑，再利用从明暗恢复形状(Shape From Shading，SFS)技术从平滑图像中恢复出物体的三维形状特征；然后使用力触觉装置在触摸屏上滑动，采用基于侧向力场或基于位移场的力触觉表达方法来再现图像的形状特征。
2.根据权利要求1所述的在触摸屏上再现图像三维形状特征的方法，其特征在于：步骤(1)中，所述深度学***滑结果作为ground truth来训练网络。
3.根据权利要求1所述的在触摸屏上再现图像三维形状特征的方法，其特征在于：步骤(2)中，所述深度学习模型采用TensorFlow框架构建，训练好的深度学习模型移植到触摸屏设备上后，Android应用程序通过JNI技术调用深度学习模型中，由C++实现的方法。
4.根据权利要求1所述的在触摸屏上再现图像三维形状特征的方法，其特征在于：步骤(2)中，所述触摸屏设备是基于Android操作***的。
5.根据权利要求1所述的在触摸屏上再现图像三维形状特征的方法，其特征在于：步骤(3)中，所述力触觉装置为指套式或手持式力触觉装置。
6.根据权利要求1所述的在触摸屏上再现图像三维形状特征的方法，其特征在于：步骤(4)中，所述SFS技术是基于计算量较小的Tsai&Shah算法实现的。
CN202010488750.3A 2020-06-02 2020-06-02 一种在触摸屏上再现图像三维形状特征的方法 Active CN111796708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010488750.3A CN111796708B (zh) 2020-06-02 2020-06-02 一种在触摸屏上再现图像三维形状特征的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010488750.3A CN111796708B (zh) 2020-06-02 2020-06-02 一种在触摸屏上再现图像三维形状特征的方法

Publications (2)

Publication Number Publication Date
CN111796708A true CN111796708A (zh) 2020-10-20
CN111796708B CN111796708B (zh) 2023-05-26

Family

ID=72806245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010488750.3A Active CN111796708B (zh) 2020-06-02 2020-06-02 一种在触摸屏上再现图像三维形状特征的方法

Country Status (1)

Country Link
CN (1) CN111796708B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835448A (zh) * 2021-01-27 2021-05-25 南京工程学院 一种基于单目图像明暗恢复技术与交互数据信息融合的物体三维形状重建方法
CN113311946A (zh) * 2021-07-29 2021-08-27 南京信息工程大学 一种面向移动终端应用的多模式指套式装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262876A1 (en) * 2004-08-26 2006-11-23 Ladue Christoph K Wave matrix mechanics method & apparatus
CN102521611A (zh) * 2011-12-13 2012-06-27 广东威创视讯科技股份有限公司 一种基于触摸屏的触摸物识别方法
CN106529511A (zh) * 2016-12-13 2017-03-22 北京旷视科技有限公司 图像结构化方法及装置
CN106814853A (zh) * 2016-12-15 2017-06-09 上海眼控科技股份有限公司 一种基于机器学习的眼控跟踪方法
CN107831892A (zh) * 2017-11-01 2018-03-23 东南大学 一种基于指套式装置的虚拟物体三维形状再现方法
WO2018194227A1 (ko) * 2017-04-20 2018-10-25 한국생산기술연구원 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법
US20190317633A1 (en) * 2018-04-13 2019-10-17 Silicon Integrated Systems Corp Method and system for identifying tap events on touch panel, and touch-controlled end project
CN110737339A (zh) * 2019-10-28 2020-01-31 福州大学 基于深度学习的视觉—触觉交互模型构建方法
CN111079333A (zh) * 2019-12-19 2020-04-28 华南理工大学 柔性触觉传感器深度学习感知方法
CN111144401A (zh) * 2019-11-06 2020-05-12 华能国际电力股份有限公司海门电厂 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262876A1 (en) * 2004-08-26 2006-11-23 Ladue Christoph K Wave matrix mechanics method & apparatus
CN102521611A (zh) * 2011-12-13 2012-06-27 广东威创视讯科技股份有限公司 一种基于触摸屏的触摸物识别方法
CN106529511A (zh) * 2016-12-13 2017-03-22 北京旷视科技有限公司 图像结构化方法及装置
CN106814853A (zh) * 2016-12-15 2017-06-09 上海眼控科技股份有限公司 一种基于机器学习的眼控跟踪方法
WO2018194227A1 (ko) * 2017-04-20 2018-10-25 한국생산기술연구원 딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법
CN107831892A (zh) * 2017-11-01 2018-03-23 东南大学 一种基于指套式装置的虚拟物体三维形状再现方法
US20190317633A1 (en) * 2018-04-13 2019-10-17 Silicon Integrated Systems Corp Method and system for identifying tap events on touch panel, and touch-controlled end project
CN110737339A (zh) * 2019-10-28 2020-01-31 福州大学 基于深度学习的视觉—触觉交互模型构建方法
CN111144401A (zh) * 2019-11-06 2020-05-12 华能国际电力股份有限公司海门电厂 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法
CN111079333A (zh) * 2019-12-19 2020-04-28 华南理工大学 柔性触觉传感器深度学习感知方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835448A (zh) * 2021-01-27 2021-05-25 南京工程学院 一种基于单目图像明暗恢复技术与交互数据信息融合的物体三维形状重建方法
CN112835448B (zh) * 2021-01-27 2024-02-06 南京工程学院 一种基于单目图像明暗恢复技术与交互数据信息融合的物体三维形状重建方法
CN113311946A (zh) * 2021-07-29 2021-08-27 南京信息工程大学 一种面向移动终端应用的多模式指套式装置
CN113311946B (zh) * 2021-07-29 2021-09-28 南京信息工程大学 一种面向移动终端应用的多模式指套式装置

Also Published As

Publication number Publication date
CN111796708B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110221690B (zh) 基于ar场景的手势交互方法及装置、存储介质、通信终端
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
Khan et al. Survey on gesture recognition for hand image postures
CN111680594B (zh) 一种基于手势识别的增强现实交互方法
CN110610453A (zh) 一种图像处理方法、装置及计算机可读存储介质
Rautaray et al. Real time multiple hand gesture recognition system for human computer interaction
CN113496507A (zh) 一种人体三维模型重建方法
Badi et al. Hand posture and gesture recognition technology
CN111796708B (zh) 一种在触摸屏上再现图像三维形状特征的方法
CN111124117B (zh) 基于手绘草图的增强现实交互方法和设备
CN111639531A (zh) 一种基于手势识别的医学模型交互可视化方法及***
CN106293099A (zh) 手势识别方法及***
CN108664126B (zh) 一种虚拟现实环境下可变形手抓取交互方法
CN111796710B (zh) 一种在触摸屏上再现图像轮廓特征的方法
CN111353069A (zh) 一种人物场景视频生成方法、***、装置及存储介质
CN111796709A (zh) 一种在触摸屏上再现图像纹理特征的方法
Abdallah et al. An overview of gesture recognition
CN116721419A (zh) 结合视觉大模型sam的辅助标注方法
CN116665274A (zh) 人脸驱动方法和装置
Adithya et al. An efficient method for hand posture recognition using spatial histogram coding of nct coefficients
CN114779942A (zh) 一种虚拟现实沉浸式互动***、设备及方法
Ardizzone et al. Pose classification using support vector machines
Xu et al. A novel multimedia human-computer interaction (HCI) system based on kinect and depth image understanding
Lee et al. Hand gesture recognition using blob detection for immersive projection display system
CN114296543A (zh) 一种指尖力检测及手势识别的智能交互***及智能指环

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant