CN102184342B - 一种虚实融合的手功能康复训练***及方法 - Google Patents
一种虚实融合的手功能康复训练***及方法 Download PDFInfo
- Publication number
- CN102184342B CN102184342B CN201110160698XA CN201110160698A CN102184342B CN 102184342 B CN102184342 B CN 102184342B CN 201110160698X A CN201110160698X A CN 201110160698XA CN 201110160698 A CN201110160698 A CN 201110160698A CN 102184342 B CN102184342 B CN 102184342B
- Authority
- CN
- China
- Prior art keywords
- hand
- virtual scene
- real
- training system
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012549 training Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003993 interaction Effects 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 230000035876 healing Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 230000008713 feedback mechanism Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000010205 computational analysis Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims 1
- 230000006378 damage Effects 0.000 abstract description 8
- 238000007654 immersion Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract 4
- 238000005516 engineering process Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种虚实融合的手功能康复训练***及方法，其中康复训练***包括图像采集设备，用于实时采集用户的多视点手部图像，并进行预处理后发送至后台处理设备；后台处理设备，接收多视点预处理图像，进行三维建模生成手部三维模型，并将手部模型置于虚拟场景中，虚拟场景对手部输入产生实时反馈，显示输出。本康复训练***，在虚实交互中实现手部动作能力的训练，加快手功能康复，而且不会加重手部负担；设备结构简单，占用空间小；本康复训练方法，操作简单；在无专业医师的指导下用户也可以自行训练，对用户无伤害；***具有良好的沉浸感和实时性，通过虚实融合获得较好的训练效果。
Description
技术领域
本发明涉及一种虚实融合的手功能康复训练***，属于计算机视觉和医学虚拟现实技术领域。
背景技术
一些肢体受到损伤的病人除了必要的临床治疗外，还需要辅助以科学的康复训练，才能使损伤部位得到较好的恢复。随着科技水平的进步，医学虚拟现实技术研究也取得了一定进展，它可以弥补现有医学条件和资源的不足，避免真实实验或操作给患者所可能带来的危险，提高医疗服务的整体水平。目前，一些研究机构主要集中在康复机器人技术的研究，它是基于器械康复疗法，辅以虚拟现实和机器人技术，进行病人的肢体功能训练。但是，康复机器人设备昂贵，占用空间大，训练单调乏味，且需要医师指导。目前大型医院的康复科仍然以器械辅助的方法来进行康复训练。
还有一些通过使用数据手套对患者进行手部功能训练，该装置通过在手套中设置数据采集元件，对患者的手部动作进行采集，由于电子元器件过多，造成手套沉重，患者佩戴麻烦，而且沉重的手套有可能会对患者造成伤害，康复训练效果不佳。
基于此，如何研发一种手功能康复训练***，使用安全、方便，占用空间小，且能够辅助患者获得较好的康复效果，是本发明需要解决的主要技术问题。
发明内容
本发明针对现有的康复训练***，提供了一种虚实融合的手功能康复训练***，成本低，占用空间小，对患者无伤害。
为了解决上述技术问题，本发明采用以下技术方案予以实现：
一种虚实融合的手功能康复训练***，包括：
图像采集设备，用于实时采集多视点用户手部图像，并进行预处理后发送至后台处理设备；
后台处理设备，生成虚拟场景并显示输出，将所述多视点预处理图像进行三维建模生成手部三维模型，显示于虚拟场景中,并建立人机交互反馈机制。
进一步的，所述的图像采集设备包括：至少两台用于从不同视点采集图像的摄像机、用于支撑所述摄像机的支架、以及与摄像机一一对应连接的客户端，所述客户端接收摄像机采集的图像，并且对图像预处理。
为了便于调节摄像机的角度，在所述支架上设置有与所述摄像机一一对应活动连接的云台。
由于需要采集用户手部的多方位图像，所述的摄像机优选采用5台。
再进一步的，所述的后台处理设备包括服务器和显示器，所述的服务器生成虚拟场景，并输出至显示器进行显示，服务器同时接收预处理图像并进行三维建模，且将建立的手部三维模型显示于虚拟场景中，并且建立人机交互反馈机制。
其中，所述的人机交互反馈机制为：服务器对手部三维模型的变化进行计算分析，将虚拟场景做相应改变并显示输出。
基于上述的手功能康复训练***，本发明同时提供了一种虚实融合的手功能康复训练方法，包括以下步骤：
（1）、图像采集设备采集背景信息，并存储；
（2）、图像采集设备实时采集多视点用户手部图像，并进行预处理后发送至后台处理设备；
（3）、后台处理设备显示输出虚拟场景，并对所述多视点预处理图像实时建模，将建立的手部三维模型显示于虚拟场景中；
（4）、虚拟场景根据手部三维模型的变化作出相应改变并显示输出。
进一步的，所述后台处理设备包括服务器和显示器，步骤（3）中包括以下子步骤：
（31）、在显示器端显示初始虚拟场景；
（32）、服务器实时接收多视点预处理图像，并建立手部三维模型；
（33）、将建立的手部三维模型显示于虚拟场景中。
又进一步的，步骤（3）中实时建模方法为：
（a）、根据八叉树建模原理对初始空间进行逐层剖分，得到手部的体素可视外壳模型；
（b）、利用行进立方体方法对体素可视外壳模型表面进行网格化处理；
（c）、利用基于视点的纹理贴图方法对表面网格化的可视外壳模型进行纹理映射。
再进一步的，在步骤（31）之前还包括标定摄像机的内外参数的步骤。
与现有技术相比，本发明的优点和积极效果是：本发明的虚实融合的手功能康复训练***，通过搭建一个虚拟的训练环境，引导用户动作，使其在虚实交互中实现手部动作能力的训练，加快手功能康复，而且不会加重手部负担，做到了对手部无损伤；设备结构简单，占用空间小；制作成本低；本发明的虚实融合的手功能康复训练方法，操作简单；在无专业医师的指导下用户也可以进行适当训练，对用户无伤害；采用沉浸式的虚实交互***进行实时训练，获得较好的训练效果。
结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。
附图说明
图1是本发明所提出的虚实融合的手功能康复训练***的一种实施例结构示意图；
图2是本发明所提出的虚实融合的手功能康复训练方法的一种实施例流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的说明。
本发明为了解决现有器械辅助患者康复训练有可能会对患者造成机械损伤，而目前的康复机器人设备昂贵，占用空间大，且实际应用意义不大的问题，提供了一种虚实融合的手功能康复训练***，使用多个摄像机实时采集用户的多视点手部图像，进行手部三维建模，生成手部三维模型并显示于虚拟场景中，当实际手部动作时，手部三维模型随之动作，而虚拟场景做出实时的响应，实现了实际的手部与虚拟环境无缝融合，用户沉浸感好，设备简单，占用空间小，且对用户无损伤。
实施例一，本实施例的虚实融合的手功能康复训练***，包括：图像采集设备和后台处理设备，所述的图像采集设备实时采集用户手部图像，并将所采集的手部图像进行预处理后发送至后台处理设备，所述后台处理设备接收预处理图像，利用三维建模技术，将所述预处理图像进行三维建模生成手部三维模型，并显示输出虚拟场景以及手部三维模型，该手部三维模型置于虚拟场景中，与虚拟场景无缝融合。由于图像采集设备实时采集用户的手部图像并建模，因此，当用户的手部动作时，其三维模型也随之动作，后台处理设备通过建立人机交互反馈机制，对手部三维模型的变化进行计算分析，将虚拟场景做相应的改变并显示输出。本虚实融合的手功能康复训练***通过搭建一个虚拟场景，该虚拟场景能对手部的变化产生相应的反馈，形成一个虚实融合、主动引导的康复训练环境，引导用户动作，使其在虚实交互中实现手部动作能力的训练，加快手功能康复，而且不会加重手部负担，做到了对手部无损伤。
作为一个具体的实施例，参见图1所示，所述的图像采集设备包括：用于采集图像的摄像机1-1、支架1-2、以及客户端1-3，所述摄像机1-1设置在支架1-2上，由支架1-2支撑摄像机1-1，由于摄像机1-1必须从多个视角采集手部信息，因此摄像机1-1至少为两台，为了既能获得多视点的图像，便于三维建模后更加真实，以及同时考虑到节省成本，减小运算量，所述的摄像机1-1优选采用5台。所述的客户端1-3的个数与摄像机1-1的个数相等，且客户端1-3与摄像机1-1一一对应连接，所述客户端1-3接收摄像机1-1采集的图像，并且对图像进行预处理后发送至后台处理设备。图像预处理包括去噪、手部前景信息提取等。
所述的后台处理设备包括服务器2-1和显示器2-2，所述的服务器2-1生成虚拟场景，并输出至显示器2-2进行显示，服务器2-1同时接收客户端1-3发送的预处理图像，由于预处理图像为多视点图像，因此服务器2-1通过分析计算，可以采用一定的建模方法对手部进行三维建模，且将建立的手部三维模型无缝地显示于虚拟场景中。由于摄像机1-1实时采集用户的手部图像并由服务器2-1实时建模，因此，当用户的手部动作时，其三维模型也随之动作，服务器2-1通过计算，将虚拟场景做相应的改变，模拟真实的场景，实现人机交互，引导用户更好的在虚拟训练环境中完成手部功能训练。通过显示器2-2显示虚拟场景以及手部三维模型，用户可以观察到自己的手部运动情况，能够根据显示的虚拟场景的引导主动动作，更加有利于功能恢复。客户端1-3与服务器2-1的信息传输优选采用局域网络传输实现，因此，在所述客户端1-3与服务器2-1之间设置有网络交换机3。
为了便于调节摄像机1-1的角度，在所述支架1-2上设置有与所述摄像机一一对应活动连接的云台1-4。本领域技术人员可以容易获知：云台是专业的安装、固定摄像机的支撑设备，可以灵活的对摄像机的监视角度进行调整，在此不做详细阐述。
基于上述的手功能康复训练***，本实施例同时提供了一种虚实融合的手功能康复训练方法，包括以下步骤：
S1、图像采集设备采集背景信息，并存储；
S2、图像采集设备实时采集用户的多视点手部图像，并进行预处理后发送至后台处理设备；
S3、后台处理设备显示输出虚拟场景，并对所述多视点预处理图像实时建模，而且将建立的手部三维模型显示于虚拟场景中；
S4、虚拟场景根据手部三维模型的变化作出相应改变并显示输出。
其中，图像采集设备采集背景信息，为了便于在步骤S2中提取用户手部图像信息，首先采集背景图像，并存储，当用户的手部置于空间中时，利用背景差法可以非常方便的将手部前景信息提取出来，图像预处理包括图像去噪以及手部图像的前景信息提取等。
作为一个具体实施例，所述后台处理设备包括服务器和显示器，步骤S3中包括以下子步骤：
S31、在显示器端显示初始虚拟场景；
S32、服务器实时接收多视点预处理图像，并建立手部三维模型；
S33、将建立的手部三维模型显示于虚拟场景中。
在步骤S31中，由于虚拟场景为服务器端所建立，而且当用户的手部动作时，其三维模型也随之动作，服务器通过计算分析，将虚拟场景做相应的改变，并在显示器显示输出，因此，服务器通过显示器首先显示初始虚拟场景。
其中，步骤S3中实时建模方法为：
（a）、根据八叉树建模原理对空间剖分，得到手部的体素可视外壳模型；
（b）、利用行进立方体方法对体素可视外壳模型表面进行网格化处理；
（c）、利用基于视点的纹理贴图方法对表面网格化的可视外壳模型进行纹理映射。
由于八叉树方法在建模中运算速度快，本实施例优选采用八叉树建模原理进行建模，满足本虚实融合的手功能康复训练方法的实时性要求，八叉树方法建模为现有技术，在此不做详细阐述。
为了使建立的手部三维模型表面平滑，精度更高，本实施例优选采用行进立方体方法对上一步建立的体素可视外壳模型进行网格化处理。
为了使手部三维模型更具逼真性和沉浸感，更加接近真实人体皮肤，本实施例中还包括对表面网格化的可视外壳模型进行纹理映射，纹理源为预处理之后的多视点手部图像，使其看起来更接近真实，纹理映射的方法为基于视点的纹理贴图方法，该方法为现有技术，在此不做详细说明。
此外，由于摄像机的拍摄角度可能会被调整，相应的一些参数（比如摄像机内部和外部参数等）会改变，因此，在步骤S31之前还包括标定摄像机的内外参数的步骤，本步骤设置在其他步骤之间，可以离线处理。摄像机标定可以采用以下方式实现：用一个均匀的黑白棋盘格模板作为目标对象，摄像机固定好之后，采集不同位置和角度的模板的图像，用这组图像进行角点的提取和计算，从而求出摄像机的模型，即摄像机的内外参数。
本实施例的虚实融合的手功能康复训练方法，操作简单，在无专业医师的指导下用户也可以进行适当训练，对用户无伤害，采用沉浸式和交互式的虚实融合场景进行训练，获得较好的训练效果。
当然，本虚实融合手功能康复训练***不仅局限于进行手部功能康复训练，也可以通过改造，用于人体其他部位功能康复训练，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (6)
1.一种虚实融合的手功能康复训练***，其特征在于，包括：
图像采集设备，用于实时采集用户多视点手部图像，进行预处理后发送至后台处理设备；
后台处理设备，生成虚拟场景并显示输出，将所述多视点预处理图像进行三维建模生成手部三维模型，显示于虚拟场景中, 并且建立人机交互反馈机制，当用户的手部动作时，其三维模型也随之动作；
所述虚实融合的手功能康复训练***采用以下康复训练方法：
（1）、图像采集设备采集背景信息，并存储；
（2）、图像采集设备实时采集多视点用户手部图像，并进行预处理后发送至后台处理设备；
（3）、后台处理设备显示输出虚拟场景，并对所述多视点预处理图像实时建模，并将建立的手部三维模型显示于虚拟场景中；
（4）、虚拟场景根据手部三维模型的变化作出响应，并显示输出， 即虚拟场景是随用户手势动作的变化而变化的；建立人机交互反馈机制，对手部三维模型的变化进行计算分析，将虚拟场景做相应的改变并显示输出,该虚拟场景对手部的变化产生相应的反馈，形成一个虚实融合、主动引导的康复训练环境，引导用户动作;
所述的后台处理设备包括服务器和显示器，所述的服务器生成虚拟场景，并输出至显示器进行显示，服务器同时接收预处理图像并进行三维建模，且将建立的手部三维模型显示于虚拟场景中，并且建立人机交互反馈机制；
其中，所述的人机交互反馈机制为：服务器对手部三维模型的变化进行计算分析，将虚拟场景做相应改变并显示输出；
步骤（3）中实时建模方法为：
（a）、根据八叉树建模原理对初始空间进行逐层剖分，得到手部的体素可视外壳模型；
（b）、利用行进立方体方法对体素可视外壳模型表面进行网格化处理；
（c）、利用基于视点的纹理贴图方法对表面网格化的可视外壳模型进行纹理映射。
2.根据权利要求1 所述的虚实融合的手功能康复训练***，其特征在于，所述的图像采集设备包括：至少两台用于从不同视点采集图像的摄像机、用于支撑所述摄像机的支架、以及与摄像机一一对应连接的客户端，所述客户端接收摄像机采集的图像，并且对图像预处理。
3.据权利要求2 所述的虚实融合的手功能康复训练***，其特征在于，在所述支架上设置有与所述摄像机一一对应活动连接的云台。
4.据权利要求2 所述的虚实融合的手功能康复训练***，其特征在于，所述的摄像机为5 台。
5.根据权利要求1 所述的虚实融合的手功能康复训练***，其特征在于，步骤（3）中包括以下子步骤：
（31）、在显示器端显示初始虚拟场景；
（32）、服务器实时接收多视点预处理图像，并建立手部三维模型；
（33）、将建立的手部三维模型显示于虚拟场景中。
6.根据权利要求5 所述的虚实融合的手功能康复训练***，其特征在于，在步骤（31）之前还包括标定摄像机的内外参数的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110160698XA CN102184342B (zh) | 2011-06-15 | 2011-06-15 | 一种虚实融合的手功能康复训练***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110160698XA CN102184342B (zh) | 2011-06-15 | 2011-06-15 | 一种虚实融合的手功能康复训练***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102184342A CN102184342A (zh) | 2011-09-14 |
| CN102184342B true CN102184342B (zh) | 2013-11-20 |
Family
ID=44570518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110160698XA Expired - Fee Related CN102184342B (zh) | 2011-06-15 | 2011-06-15 | 一种虚实融合的手功能康复训练***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102184342B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102650906B (zh) * | 2012-04-06 | 2015-11-04 | 深圳创维数字技术有限公司 | 一种用户界面的控制方法及装置 |
| DE102012216193B4 (de) * | 2012-09-12 | 2020-07-30 | Continental Automotive Gmbh | Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten |
| CN103279191B (zh) * | 2013-06-18 | 2016-01-06 | 北京科技大学 | 一种基于手势识别技术的3d虚拟交互方法及*** |
| CN104000586B (zh) * | 2014-05-12 | 2017-12-29 | 燕山大学 | 基于脑肌电和虚拟场景的脑卒中患者康复训练***及方法 |
| US20180060333A1 (en) * | 2016-08-23 | 2018-03-01 | Google Inc. | System and method for placement of virtual characters in an augmented/virtual reality environment |
| CN110503710A (zh) * | 2019-09-04 | 2019-11-26 | 北京国润视光科技有限公司 | 一种基于现实增强技术的复杂场景康复训练方法 |
| CN111047708B (zh) * | 2019-11-26 | 2022-12-13 | 中国人民解放军空军工程大学 | 一种基于混合现实的复杂设备高风险项目训练*** |
| CN110890148B (zh) * | 2019-12-19 | 2022-05-17 | 上海金矢机器人科技有限公司 | 一种基于康复训练器的安全防护***及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101539804A (zh) * | 2009-03-11 | 2009-09-23 | 上海大学 | 基于增强虚拟现实与异型屏的实时人机互动方法及*** |
| CN101650834A (zh) * | 2009-07-16 | 2010-02-17 | 上海交通大学 | 复杂场景下人体表面三维重建方法 |
-
2011
- 2011-06-15 CN CN201110160698XA patent/CN102184342B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101539804A (zh) * | 2009-03-11 | 2009-09-23 | 上海大学 | 基于增强虚拟现实与异型屏的实时人机互动方法及*** |
| CN101650834A (zh) * | 2009-07-16 | 2010-02-17 | 上海交通大学 | 复杂场景下人体表面三维重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102184342A (zh) | 2011-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102184342B (zh) | 一种虚实融合的手功能康复训练***及方法 | |
| JP7061694B2 (ja) | 画像処理方法および装置、画像機器、ならびに記憶媒体 | |
| CN109003301B (zh) | 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练*** | |
| CN104699247B (zh) | 一种基于机器视觉的虚拟现实交互***及方法 | |
| JP2021103564A (ja) | 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体 | |
| CN101231752B (zh) | 无标记真三维全景显示与交互装置 | |
| CN102801994B (zh) | 一种信息物理图像融合装置与方法 | |
| CN105243375B (zh) | 一种动作特征提取方法及装置 | |
| CN105739703A (zh) | 面向无线头戴显示设备的虚拟现实体感交互***及方法 | |
| CN110931121A (zh) | 一种基于Hololens的远程手术指导装置及操作方法 | |
| CN204406327U (zh) | 基于三维体感摄影机的肢体康复模拟仿真训练*** | |
| CN105006011B (zh) | 真实感三维场景的体感交互式绘制***与方法 | |
| CN105955483A (zh) | 虚拟现实终端及其视觉虚拟方法和装置 | |
| CN104656893A (zh) | 一种信息物理空间的远程交互式操控***及方法 | |
| CN113362452A (zh) | 一种手部姿态三维重建方法、装置及存储介质 | |
| Wei et al. | Multi-view merging for robot teleoperation with virtual reality | |
| WO2024094227A1 (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
| CN109785415A (zh) | 一种基于外骨骼技术的动作采集***及其方法 | |
| CN102479386A (zh) | 基于单目视频的人体上半身三维运动跟踪方法 | |
| CN109395375A (zh) | 一种基于增强现实与移动交互的三维游戏接口设计方法 | |
| CN103679712A (zh) | 人体姿态估计方法及*** | |
| CN105487660A (zh) | 基于虚拟现实技术的沉浸式舞台表演交互方法及*** | |
| CN107038682B (zh) | 一种三维人体模型的缩放***及方法 | |
| Anvari et al. | 3D human body pose estimation in virtual reality: a survey | |
| CN112069873A (zh) | 一种基于LeapMotion手势识别的屏幕控制***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211008 Address after: 266000 Room 305, building 2, No. 153, Zhuzhou Road, Laoshan District, Qingdao, Shandong Patentee after: Qingdao Shuji Technology Co.,Ltd. Address before: 266061 Songling Road, Laoshan District, Qingdao, Shandong Province, No. 99 Patentee before: QINGDAO University OF SCIENCE AND TECHNOLOGY |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211126 Address after: Room 1101-70, No. 379, Tayuan Road, high tech Zone, Suzhou, Jiangsu 215000 Patentee after: Suzhou Jimu Technology Co.,Ltd. Address before: 266000 Room 305, building 2, No. 153, Zhuzhou Road, Laoshan District, Qingdao, Shandong Patentee before: Qingdao Shuji Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131120 |