CN110941331A - 使用3d毫米波雷达的手势识别 - Google Patents

使用3d毫米波雷达的手势识别 Download PDF

Info

Publication number
CN110941331A
CN110941331A CN201910893783.3A CN201910893783A CN110941331A CN 110941331 A CN110941331 A CN 110941331A CN 201910893783 A CN201910893783 A CN 201910893783A CN 110941331 A CN110941331 A CN 110941331A
Authority
CN
China
Prior art keywords
data
hci
radar
processing
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910893783.3A
Other languages
English (en)
Inventor
A·特扎多克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN110941331A publication Critical patent/CN110941331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/10—Systems for measuring distance only using transmission of interrupted, pulse modulated waves
    • G01S13/22—Systems for measuring distance only using transmission of interrupted, pulse modulated waves using irregular pulse repetition frequency
    • G01S13/222—Systems for measuring distance only using transmission of interrupted, pulse modulated waves using irregular pulse repetition frequency using random or pseudorandom pulse repetition frequency
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/354—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S2013/0236—Special technical features
    • G01S2013/0245—Radar with phased array antenna

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请的各实施例涉及使用3D毫米波雷达的手势识别。用于人机交互(HCI)处理的方法包括接收从可操纵波束天线的反射信号得出的数据以及在深度学习机器架构中处理所接收的数据。

Description

使用3D毫米波雷达的手势识别
技术领域
本发明总体上涉及自然人机交互(HCI)(诸如增强现实(AR)或虚拟现实(VR))***。更具体地，手部手势识别使用毫米(MM)雷达(例如，相控阵列收发器)而被提供，毫米雷达将数据提供到可训练的递归三维(3D)卷积神经网络(CNN)中。
背景技术
自然免提HCI多年来一直是技术挑战。由于AR和VR中的最近进步，它变得比以往任何时候都更加重要。手部手势识别仍然是现场研究领域。这一领域中的大部分研究已集中在最近可用的现成感测模式上。最成熟的方法例如是使用立体RGB相机或基于红外的接近传感器。此外，超声成像已实现了使用可穿戴设备、捕获肌肉运动并使用光流对肌肉的运动流应用分类的手姿势检测方法。针对手部手势的这样的超声深度成像建议在LSTM(如在递归神经网络中常被用来记住预设时间间隔内的单元值的长短期记忆单元)之前、针对强度和深度使用分离的2D CNN流水线。
微软已能够在它们Hololens***中展示有前景的解决方案，该解决方案提供了从计算机接收全息信号的立体头戴式显示器。然而，这一解决方案仅允许2.5D交互，并且虽然它是免提的，但它不允许3D空间中的自然交互。这是由于正被使用的感测技术(通过组合结构光和视觉域)的限制。这一组合只允许访问正面的表面，并且看不到超越前表面的任何东西。这意味着双手操作(一只手遮挡另一只手)是不可能的。
Google已经开发了Soli，Soli是可以检测靠近传感器的精细运动的非常短距离、超宽带宽(7GHz)的专用芯片，其可以被用于虚拟地控制移动设备。技术流水线包括提取距离多普勒图像(RDI)、应用先进的预处理以改进信号以及提取基本特征、并且然后馈送到机器语言流水线中。类似于在图像识别***中被使用的技术，两个RDI图像使用CNN而被处理。具有明显不同签名的四个基本手势被展示。然而，由于它的广角响应，这一解决方案在更自然的AR/VR交互上不太实用。此外，由于元件的小数量，定向对Soli是挑战。因此，尽管Soli消耗低功率并且在非常接近的应用(诸如控制移动设备)中工作得很好，但它的有限的距离效率将不适合AR/VR应用。
发明内容
根据示例性实施例，本发明描述了用于人机交互(HCI)处理的方法，该方法包括：接收从可操纵波束天线的反射信号得出的数据；以及在深度学习机器架构中处理所接收的数据。
本文还描述了人机交互(HCI)***，人机交互(HCI)***包括将可操纵波束天线图案实现为雷达传感器的收发器；以及用于执行对由收发器的接收器接收的数据的卷积神经网络(CNN)处理的处理器。
本文还描述了数据结构，数据结构被有形地体现在非暂时性存储器设备中的预定格式和组织中，数据结构包括从可操纵波束天线图案的反射信号得出的、作为四维(4D)张量的数据。
附图说明
图1示例性地示出了在本发明的示例性实施例中被使用的相位阵列天线传播图案和通用可操纵雷达***；
图2以框图格式示例性地示出了在本发明中被使用的信号采集流水线3D雷达的示例性实施例；
图3使用体素表示以及在图2中被示出的2D颜色表示示出了3D雷达的单个帧的第二示例性表示，第二示例性表示是4D张量数据的基础；
图4示出了在本发明的示例性原型配置中被使用的各种示例性机器学习架构；
图5以框图格式示出了本发明示例性实施例的***配置；以及
图6示例性地示出了可以被用于实现本发明的机器学习方面的计算机配置。
具体实施方式
现在参考图1且与以上针对自然HCI而被的常规方法相反，本发明基于不同的操作原理，提供具有捕获解决方案的认知3D雷达***100，该捕获解决方案能够操纵窄雷达波束并捕获快速3D返回雷达信号。返回信号的时序序列数据然后被馈送到人工智能(AI)架构中，人工智能架构使用可训练的递归3D卷积神经网络(CNN)执行唯一的时序容量分类(例如，4D张量)。
AI架构允许在对具有挑战性的自然双手手势的训练的同时使用相对窄(与7GHz的Soli相比)带宽(1GHz)。这一窄带宽允许使用常规的通信基带，这针对至少三个原因有利：1)它允许更多用户共享相同的环境；2)增加有效范围(1至6英尺)；3)它使用相同的通信芯片进行雷达和通信。
因此，本文所描述的方法通常用于HCI、用于1至6英尺距离内的任何手势识别应用(包括诸如控制计算机或机器人的应用)，并且本文所描述的实验证明其对AR和VR应用是有用的。更一般地，本发明的方法的技术限制是雷达波束的形成，本发明的方法实际上需要距雷达天线大约一英尺，其中原型配置在大约15cm到105cm的范围内提供有效结果。
本发明的雷达芯片使用相位阵列天线传播图案102(例如，图1中示例性说明的)。这样的图案提供3D雷达输出，在本发明中使用的短程范围内，3D雷达输出提供径向形状的体素响应。体素的容量随范围的平方增加。范围分辨率为1GHz分配的基带带宽中定义的15cm。在本发明的演示原型中，体素的角度步进在水平和垂直方向上均为5度，并且使用收发器天线的所有16个元件，主瓣具有大约20度的波瓣宽度。
注意，尽管用于解释本发明的方法和算法涉及1GHz带宽，但是这样的带宽不应被视为对该方法的限制。相反，值得注意的是，即使在这种窄带宽条件下，证明本发明也是有效的。
使用原型配置的实验已证明手势在距离传感器15cm至105cm的范围内接收良好的雷达响应。在一个非限制性演示原型配置中，使用每帧5×5个波束方向，具有超过30度的视场(FoV)。机器学习架构接收3D雷达数据作为数据结构，并且能够使用相对粗略的分辨率来检测可以集中在20至50立方厘米中的手势。在一个示例性原型配置中，捕获每秒50帧(FPS)，每帧具有25(5×5)个波束方向。针对原型实验选择的容量每个波束方向使用七个范围单元，覆盖预期的15cm至105cm范围。
然而，再次注意，在1GHz的非常窄的带宽下解释了本发明。利用更宽的带宽，上述矩阵维度上的范围将更长，但是方向性仍将取决于波束图案的相位阵列控制，并且不会受益于更宽的带宽。
图2以框图格式200示出了本发明示例性实施例的整个捕获***。左侧示出的相控阵列收发器板202使用众所周知的雷达技术(例如，调频连续波(FMCW)或伪随机二进制序列(PRBS))来获得右侧的输出帧204，输出帧204是来自25个波束方向的容量响应。波束方向在X和Y方向上以5×5网格步进，并且对于这25个波束方向中的每一个，所得到的输出被归入七个深度区域中的一个中。输出数据可以表示为2D彩色图202，其中25个方向和7个深度区间显示为7×25图像，每帧产生175个数据点。如图3中示例性地示出的，相同数据的容量表示可以呈现为3D体素。无论是存储为2D彩色图数据还是3D体素，来自传感器部分的经调节的输出数据(在本文中更一般地描述为4D张量)在存储器装置中被存储为数据结构，以作为输入数据进入CNN处理的后续阶段。技术上，本发明的4D张量通常被定义为n帧×i垂直方向×j水平方向×k深度。因此，在示例性演示设置配置中，4D张量示例性地具有30×5×5×7的特定维度。应注意，如果带宽比示例性1GHz配置更高(更宽)，则深度维度将增加。另外，应注意，深度维度可包括诸如相位信息的附加信息。
在非限制性示例性实施例中，***基于最后30帧(每个5×5×7)预测每个帧。总体来说，每推断的输入矢量是5250(5×5×7×30)，时间维度是主要贡献者。鉴于小规模的输入数据，为了提取高级别的特征，期望扩展时间维度，然后设计并入深度网络的架构。在一个示例性实施例中，深度3D卷积网络提取时间和容量特征并且堆叠的LSTM检测时间趋势。
图4示出了在各种原型配置中使用的各种示例性、非限制性机器学习架构。第一示例性架构包括3D CNN加上时间延迟LSTM模块、其后是分类器模块。第二示例性架构包括3DCNN、1D CNN和分类器模块，并且第三示例性架构包括3D CNN、2D CNN和分类器模块。在随后的训练练习中，第二和第三个架构的性能优于第一架构。尽管这些1D CNN、2D CNN、3D CNN、LSTM组件或其变体是本领域普通技术人员容易理解的，但是本发明还旨在具有使用4D CNN机器学习组件的示例性实施例。
为了捕获针对每个手势的数据，使用每秒50帧(FPS)，针对被训练用于分类的每个明显不同的手势记录30秒的数据，从而为每个手势提供1500帧(30×50))。在演示中，要求用户执行动态手势，以执行八个手势中的一个：(1)来回移动；(2)左下到右上之间的移动；(3)左上到右下之间的移动；(4)调整深度；(5)调整宽度；(6)旋转；(7)旋转并保持以及(8)挥动。
每个训练和测试样本由30个连续帧组成，使得可以从每个记录中提取1470个训练/测试样本。对于9个手势中的每一个和实验中使用的9个人，每人每个手势收集12个记录，总共用于训练和测试的12×9×9×1470个样本。
通过对原型的训练和测试，实现了98％识别率的准确度，范围分辨率为15cm。在这些演示期间，注意到当两个不同的人以不同方式执行相同的语义手势(例如，挥动并从左下移动到右上)时，这两个类可能变得模糊。这种潜在的模糊性允许用户意识到他们预期手势中可能的模糊性，从而允许该用户决定是否修改其手势，或者在优选实施例中，将***分类引擎个性化来训练新的手势。
与超宽带宽雷达相比，本发明允许仅使用少量雷达数据来成功学习手势分类。本发明的输入张量具有非常小的维度(特别是用于4D张量(30×5×5×7))，其中时间维度是主要贡献者。为了比较，超宽带宽雷达将产生224×224(50,176像素)的高分辨率下采样帧(几乎是本发明的5×5×7(175像素)帧的300倍)。机器学习架构利用相控阵列波束操控功能将HCL手势分类为经定义的类。已演示了涉及单手或双手的手势。演示结果表明，即使不使用可生成大量输入数据集的雷达技术，也可实现高识别率。
尽管上面描述了原型配置的细节，但是这些细节应仅被认为是示例性的，因为本领域普通技术人员应清楚可以进行各种修改(例如，改变所使用的体素的数量、从FMCW切换到PRBS、使用较窄的带宽来为干扰等提供附加的鲁棒性)。本发明的关键特征是其使用毫米波雷达将输入数据提供到用于自然HCI应用的机器学习架构中的应用。
本发明的原型配置使用针对5G通信设计的现有毫米波相控阵列收发器，利用相对窄的带宽来允许多个用户之间的共享。由于对高速通信的需求增加，毫米波通信预计将在未来几年内上市。预计5G移动通信将在60GHz毫米波段操作的网络上运行。虽然60GHz波不能像2.4GHz一样传递通过墙壁，但它允许通过小型天线阵列窄幅操控波束，以提高能效和高速流量。这将在几年内增加对60GHz频率的相控阵列技术的需求，使得如使用GoogleSoli技术的7GHz带宽预期的那样，本发明将提供方便地适应这种即将到来的技术的HCI解决方案，而不会在多个用户之间产生潜在的干扰。图5示例性地以框图格式500示出了利用雷达R/T模块502及其相关联的天线504实现本发明的通用***。如上所述，这样的雷达***目前是可用的并且可以作为芯片安装在小型封装件中。处理器506提供对雷达收发器的控制，并对所接收并存储在相关联的存储器设备中的数据执行机器学习模块。I/O部分508向***提供电源和用户接口。
尽管图5中所示的***可以是具有专用于3D雷达502、504的控制和处理的处理器506的独立***，但是如图6中示例性示出的，***处理器506还可以包括具有用于实现本发明的方法的程序的通用计算机。
如图6中所示，计算机***/服务器12可以在正由计算机***执行的计算机***可执行指令(诸如程序模块)的一般上下文中被描述。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。如图6中所示，计算机***/服务器12以通用计算设备的形式表现。计算机***/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机***/服务器12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机***/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图中未显示，通常称为“硬盘驱动器”)。尽管图1中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机***/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机***/服务器12交互的设备通信，和/或与使得该计算机***/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机***/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机***/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机***/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
因为它的透视的能力、允许针对单手和双手手势二者的手部手势识别技术，本发明还提供针对HCI的基于RF的解决方案，由于快速帧速率2至100K帧/秒(FPS)的能力，基于RF的解决方案还提供快速响应时间。
因此，以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
虽然本发明已根据若干示例性实施例而被描述，但是本领域技术人员将认识到，本发明可以利用修改而被实践明。
此外，应注意，即使稍后在审查期间被修改，申请人的意图也在于涵盖所有权利要求要素的等同物。

Claims (20)

1.一种用于人机交互(HCI)处理的方法，所述方法包括：
接收从可操纵波束天线的反射信号得出的数据；以及
在深度学习机器架构中处理所接收的所述数据。
2.根据权利要求1所述的方法，其中所述反射信号包括针对双手手势识别的数据，所述双手手势识别能够在多个可能的手部手势之间区分，所述多个可能的手部手势包括单手手势和双手手势、包括其中第一只手在手势的至少一部分期间遮挡第二只手的双手手势。
3.根据权利要求1所述的方法，其中所述深度学习机器架构包括提供所接收的所述数据的容量和时间分析的卷积神经网络(CNN)处理。
4.根据权利要求3所述的方法，其中所述CNN处理包括：
第一处理阶段，包括至少一个三维(3D)CNN处理(3DCNN)；
第二处理阶段，用于检测时间转换、时间签名以及时间和特征关系签名中的至少一项；以及
第三处理阶段，包括分类器处理。
5.根据权利要求1所述的方法，其中所述HCI处理距所述可操纵波束天线超过英尺有效。
6.根据权利要求1所述的方法，其中所接收的所述数据作为表示四维(4D)张量的数据结构被存储在存储器设备中。
7.根据权利要求6所述的方法，其中所述4D张量包括多个3D雷达帧。
8.根据权利要求1所述的方法，被应用于以下一项中：增强现实(AR)***；虚拟现实(VR)***；手部手势识别***；机器人控制***；以及计算机控制***。
9.一种人机交互(HCI)***，包括：
收发器，将可操纵波束天线图案实现为雷达传感器；以及
处理器，用于执行对由所述收发器的接收器接收的数据的卷积神经网络(CNN)处理。
10.根据权利要求9所述的HCI***，其中所述雷达传感器以1GHz的带宽操作。
11.根据权利要求10所述的HCI***，包括能够在包括单手手势和双手手势二者的多个可能的手部手势之间区分的双手手势识别***。
12.根据权利要求10所述的HCI***，其中所述雷达传感器以近似每秒50个3D雷达帧(FPS)的速率捕获数据。
13.根据权利要求12所述的HCI***，其中所述雷达传感器在预设的多个波束方向中捕获数据，并且每个波束方向在预设的多个距离单元中捕获数据。
14.根据权利要求9所述的HCI***，针对距离所述雷达传感器1至6英尺之间的信号返回有效。
15.根据权利要求14所述的HCI***，针对距离所述雷达传感器15至105cm之间的信号返回有效。
16.根据权利要求9所述的HCL***，还包括存储器设备，用于将所接收的所述数据存储为表示四维(4D)张量的数据结构。
17.根据权利要求13所述的HCL***，其中所述4D张量包括多个雷达帧。
18.根据权利要求9所述的HCL***，被应用于以下一项：增强现实(AR)***；虚拟现实(VR)***；手部手势识别***；机器人控制***；以及计算机控制***。
19.一种被有形地体现在非暂时性存储器设备中的预定格式和组织中的数据结构，所述数据结构包括从可操纵波束天线图案的反射信号得出的数据作为四维(4D)张量。
20.根据权利要求18所述的数据结构，包括多个3D雷达帧，每个雷达帧包括体素的3D表示。
CN201910893783.3A 2018-09-21 2019-09-20 使用3d毫米波雷达的手势识别 Pending CN110941331A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862734743P 2018-09-21 2018-09-21
US62/734,743 2018-09-21
US16/375,564 US10732726B2 (en) 2018-09-21 2019-04-04 Gesture recognition using 3D MM-wave radar
US16/375,564 2019-04-04

Publications (1)

Publication Number Publication Date
CN110941331A true CN110941331A (zh) 2020-03-31

Family

ID=69884859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910893783.3A Pending CN110941331A (zh) 2018-09-21 2019-09-20 使用3d毫米波雷达的手势识别

Country Status (2)

Country Link
US (1) US10732726B2 (zh)
CN (1) CN110941331A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427031A (zh) * 2020-04-09 2020-07-17 浙江大学 一种基于雷达信号的身份及手势识别方法
US11639985B2 (en) 2020-07-02 2023-05-02 International Business Machines Corporation Three-dimensional feature extraction from frequency modulated continuous wave radar signals

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004567B2 (en) 2017-08-15 2021-05-11 Koko Home, Inc. System and method for processing wireless backscattered signal using artificial intelligence processing for activities of daily life
US11143743B2 (en) * 2018-11-16 2021-10-12 Koko Home, Inc. System and method for processing multi-directional ultra wide band wireless backscattered signals
US11997455B2 (en) 2019-02-11 2024-05-28 Koko Home, Inc. System and method for processing multi-directional signals and feedback to a user to improve sleep
US11971503B2 (en) 2019-02-19 2024-04-30 Koko Home, Inc. System and method for determining user activities using multiple sources
US10810850B2 (en) 2019-02-19 2020-10-20 Koko Home, Inc. System and method for state identity of a user and initiating feedback using multiple sources
US11719804B2 (en) 2019-09-30 2023-08-08 Koko Home, Inc. System and method for determining user activities using artificial intelligence processing
US11240635B1 (en) 2020-04-03 2022-02-01 Koko Home, Inc. System and method for processing using multi-core processors, signals, and AI processors from multiple sources to create a spatial map of selected region
US11184738B1 (en) 2020-04-10 2021-11-23 Koko Home, Inc. System and method for processing using multi core processors, signals, and AI processors from multiple sources to create a spatial heat map of selected region
CN111965636A (zh) * 2020-07-20 2020-11-20 重庆大学 一种基于毫米波雷达和视觉融合的夜间目标检测方法
DE102022116737A1 (de) * 2022-07-05 2024-01-11 Friedrich-Alexander-Universität Erlangen-Nürnberg, Körperschaft des öffentlichen Rechts System, Verfahren, Computerprogramm und computerlesbares Medium
CN115195757B (zh) * 2022-09-07 2023-08-04 郑州轻工业大学 电动公交起步驾驶行为建模及识别训练方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160041617A1 (en) * 2014-08-07 2016-02-11 Google Inc. Radar-Based Gesture Recognition
US20160054804A1 (en) * 2013-04-01 2016-02-25 Shwetak N. Patel Devices, systems, and methods for detecting gestures using wireless communication signals
US20170206405A1 (en) * 2016-01-14 2017-07-20 Nvidia Corporation Online detection and classification of dynamic gestures with recurrent convolutional neural networks
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法
CN107430189A (zh) * 2015-02-27 2017-12-01 德州仪器公司 使用调频连续波雷达的手势辨识
US20180005136A1 (en) * 2016-07-01 2018-01-04 Yi Gai Machine learning in adversarial environments
CN108509910A (zh) * 2018-04-02 2018-09-07 重庆邮电大学 基于fmcw雷达信号的深度学习手势识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9254099B2 (en) * 2013-05-23 2016-02-09 Medibotics Llc Smart watch and food-imaging member for monitoring food consumption
US10769849B2 (en) * 2015-11-04 2020-09-08 Intel Corporation Use of temporal motion vectors for 3D reconstruction
US20170161607A1 (en) 2015-12-04 2017-06-08 Pilot Ai Labs, Inc. System and method for improved gesture recognition using neural networks
CN105607745A (zh) 2016-03-16 2016-05-25 京东方科技集团股份有限公司 显示控制电路、显示控制方法和显示装置
US11687822B2 (en) * 2016-07-13 2023-06-27 Metric Masters Ltd. Automated functional understanding and optimization of human/machine systems
US10768278B2 (en) * 2016-10-25 2020-09-08 Texas Instruments Incorporated Field monitoring of analog signals in a radar system
US10261685B2 (en) * 2016-12-29 2019-04-16 Google Llc Multi-task machine learning for predicted touch interpretations
US11243293B2 (en) * 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions
US10733431B2 (en) * 2017-12-03 2020-08-04 Facebook, Inc. Systems and methods for optimizing pose estimation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160054804A1 (en) * 2013-04-01 2016-02-25 Shwetak N. Patel Devices, systems, and methods for detecting gestures using wireless communication signals
US20160041617A1 (en) * 2014-08-07 2016-02-11 Google Inc. Radar-Based Gesture Recognition
CN107430189A (zh) * 2015-02-27 2017-12-01 德州仪器公司 使用调频连续波雷达的手势辨识
US20170206405A1 (en) * 2016-01-14 2017-07-20 Nvidia Corporation Online detection and classification of dynamic gestures with recurrent convolutional neural networks
US20180005136A1 (en) * 2016-07-01 2018-01-04 Yi Gai Machine learning in adversarial environments
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法
CN108509910A (zh) * 2018-04-02 2018-09-07 重庆邮电大学 基于fmcw雷达信号的深度学习手势识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
不解_F1C1: "解读英伟达芯的雷达手势识别", pages 1, Retrieved from the Internet <URL:https://www.jianshu.com/p/b285b7a5492b> *
射频百花潭: "商业主流毫米波雷达趋势新解，24GHz异军突起", pages 1, Retrieved from the Internet <URL:https://www.sohu.com/a/146622953_423129> *
陈哲: "谷歌Project Soli深入解析", pages 1, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/21384539> *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427031A (zh) * 2020-04-09 2020-07-17 浙江大学 一种基于雷达信号的身份及手势识别方法
CN111427031B (zh) * 2020-04-09 2021-12-07 浙江大学 一种基于雷达信号的身份及手势识别方法
US11639985B2 (en) 2020-07-02 2023-05-02 International Business Machines Corporation Three-dimensional feature extraction from frequency modulated continuous wave radar signals

Also Published As

Publication number Publication date
US20200097092A1 (en) 2020-03-26
US10732726B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
CN110941331A (zh) 使用3d毫米波雷达的手势识别
US10509479B2 (en) Multi-sensor based user interface
US11686815B2 (en) Character recognition in air-writing based on network of radars
Molchanov et al. Multi-sensor system for driver's hand-gesture recognition
US8660362B2 (en) Combined depth filtering and super resolution
EP4088134A1 (en) Object size estimation using camera map and/or radar information
US10922536B2 (en) Age classification of humans based on image depth and human pose
EP2339507B1 (en) Head detection and localisation method
US20190043520A1 (en) Detection and reduction of wind noise in computing environments
KR101476799B1 (ko) 깊이 정보를 이용한 객체 검출 시스템 및 방법
US20230222817A1 (en) Method and apparatus for 3d object detection and segmentation based on stereo vision
US20190045169A1 (en) Maximizing efficiency of flight optical depth sensors in computing environments
Ghaffar et al. Hand pointing gestures based digital menu board implementation using IR-UWB transceivers
US20220277595A1 (en) Hand gesture detection method and apparatus, and computer storage medium
JP7484492B2 (ja) レーダーに基づく姿勢認識装置、方法及び電子機器
Li et al. Digital gesture recognition based on millimeter wave radar
Wu et al. A scalable gesture interaction system based on mm-wave radar
Zhou et al. Efficiently user-independent ultrasonic-based gesture recognition algorithm
Shamalik et al. Real time human gesture recognition: methods, datasets and strategies
US11639985B2 (en) Three-dimensional feature extraction from frequency modulated continuous wave radar signals
Jian et al. Real‐time multi‐trajectory matching for dynamic hand gesture recognition
Yuan et al. A Real-time Digit Gesture Recognition System Based on mmWave Radar
Park et al. Air Writing Gesture Recognition Using FMCW Radar and Deep Learning
Song et al. Soli Radar Image-Based Target Localization
Chen et al. A Lightweight Remote Gesture Recognition System with Body-motion Suppression and Foreground Segmentation Using FMCW Radar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination