CN110515092B - 基于激光雷达的平面触摸方法 - Google Patents

基于激光雷达的平面触摸方法 Download PDF

Info

Publication number
CN110515092B
CN110515092B CN201911011503.8A CN201911011503A CN110515092B CN 110515092 B CN110515092 B CN 110515092B CN 201911011503 A CN201911011503 A CN 201911011503A CN 110515092 B CN110515092 B CN 110515092B
Authority
CN
China
Prior art keywords
laser radar
points
coordinates
touch
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911011503.8A
Other languages
English (en)
Other versions
CN110515092A (zh
Inventor
杨帆
白立群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology Jiangsu Co ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN201911011503.8A priority Critical patent/CN110515092B/zh
Publication of CN110515092A publication Critical patent/CN110515092A/zh
Application granted granted Critical
Publication of CN110515092B publication Critical patent/CN110515092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种基于激光雷达的平面触摸方法，包括：步骤1、在测量区域内布置至少一个激光雷达；步骤2、对于测量区域内的任意两个测量点，利用激光雷达连续获取两个测量点的测量得到雷达返回的多组数据，其中激光雷达以固定的增量角度进行扫描，所述返回的每组数据包括激光雷达当前角度测量点的累加角度、激光雷达当前角度测量点的距离；步骤3、根据激光雷达返回的数据，将其转换成深度感知图；步骤4、根据深度感知图，获取每一段亮斑的左右端点的索引；步骤5、将上述直角坐标系的坐标转换成显示平面中的像素坐标。本发明将点云数据与图像处理相结合，运用图像的方式可以高效的直观的计算出预估点，有较强的抗干扰能力。通过对灰度图像求取区域内重心的方法得到每个点的预估角度和预估距离，提高了数据的鲁邦和稳定性。

Description

基于激光雷达的平面触摸方法
技术领域
本发明涉及图像触摸交互技术领域，具体而言涉及一种基于激光雷达的平面触摸方法。
背景技术
目前，触摸技术主要分为电容式和电阻式，其中电容式、电阻式触摸检测都需要使用特定的触摸介质，例如电容屏或者电阻屏，不论他们是以独立的形式存在，或者以组合拼接的方式，例如手机电容/电阻屏幕，其中有一层触摸屏用来实现光电转换，这类触摸方式成本较高，无法适用大场景下的触摸支持。
发明内容
本发明目的在于针对现有电容式/电阻式触摸交互方式在大场景下适用时的支持困难，安装难度和成本较为昂贵的问题，提出一种基于激光雷达的平面触摸方法，使用单个或者多个激光雷达即可，不需要其他媒介，使用光电感应式进行测距，并转换为平面坐标，获得测量范围内获取多点触摸坐标，解决任意平面的触摸交互问题。
为实现上述目的，本发明所采用的技术方案如下：
基于激光雷达的平面触摸方法，包括以下步骤：
步骤1、在测量区域内布置至少一个激光雷达；
步骤2、对于测量区域内的任意两个测量点，其位置用极坐标分别表示为
Figure 922281DEST_PATH_IMAGE001
和
Figure 361265DEST_PATH_IMAGE002
，利用激光雷达连续获取两个测量点的测量得到雷达返回的多组数据，其中激光雷 达以固定的增量角度进行扫描，所述返回的每组数据包括激光雷达当前角度测量点的累加 角度、激光雷达当前角度测量点的距离；
步骤3、根据激光雷达返回的数据，将其转换成一个横坐标为激光雷达当前角度测量点的累加角度、纵坐标为1的深度感知图，深度感知图的图像亮度表示激光雷达当前角度测量点的距离；
步骤4、根据深度感知图，获取每一段亮斑的左右端点的索引，即每个亮斑左右端点的索引为其以激光雷达作为圆心产生的直角坐标系的坐标；
步骤5、将上述直角坐标系的坐标转换成显示平面中的像素坐标。
进一步地，所述步骤4中，获取每一段亮斑的左右端点的索引具体包括：
提取亮斑所在区域；
确定预估横坐标
Figure 759494DEST_PATH_IMAGE003
和预估深度值，具体包括：
Figure 500672DEST_PATH_IMAGE005
，
Figure 404780DEST_PATH_IMAGE006
I表示深度图，即：一行t列的一张伪图像，I(x)表示的是当横坐标为x时，图像亮度 代表的深度数值，使用灰度重心方法求得预估横坐标
Figure 364558DEST_PATH_IMAGE007
，使用高斯分布作为该点的质量用 来计算预估深度值，由此输入深度图像，计算出每个光斑分段区域内的一个预估
Figure 257517DEST_PATH_IMAGE008
和
Figure 365765DEST_PATH_IMAGE007
； 再经过坐标转换将其转换到直角坐标系下：
对每个分段计算出来的预估
Figure 24115DEST_PATH_IMAGE008
和
Figure 180947DEST_PATH_IMAGE007
带入上面公式，计算出每个触摸区域的预估点 的索引。
进一步地，所述像素坐标的转换包括：
在触摸平面投影一画面，画面中有四个位于对角线的触摸点1-4号，1号触摸点坐标为需要映射的原点坐标，标定期间依次触摸1-4号，记录每个点在激光雷达坐标系下的坐标；设定1-4号点需要映射的像素坐标，记录四点对应的测量坐标，计算得到旋转平移矩阵作为矫正参数。
进一步地，所述x由激光雷达的扫描精度决定。
进一步地，所述预估深度值
Figure 566972DEST_PATH_IMAGE008
构建为一经过高斯分布调制的加权平均深度。
本发明的有益效果在于：本发明克服现有技术需要使用特殊触控屏媒介的问题，提出一种使用单个或者多个激光雷达进行触摸和标定，不需要其他媒介，使用光电感应式进行测距，并转换为平面坐标。
本发明的方法将点云数据与图像处理相结合，运用图像的方式可以高效的直观的计算出预估点，有较强的抗干扰能力。通过对灰度图像求取区域内重心的方法得到每个点的预估角度和预估距离，提高了数据的鲁邦和稳定性。
附图说明
图1是本发明平面触摸方法的原理图。
图2是本发明的纵向拉伸的深度感知图的示意图。
图3是本发明的亮斑索引示意图。
图4是激光雷达平面、测量平面与显示平面的示意图。
图5是本发明的坐标标定的示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施。
结合图1-图5所示，根据本发明的实施例的基于激光雷达的平面触摸方法，包括以下步骤：
步骤1、在测量区域内布置至少一个激光雷达；
步骤2、对于测量区域内的任意两个测量点，其位置用极坐标分别表示为
Figure 828804DEST_PATH_IMAGE001
和
Figure 632986DEST_PATH_IMAGE002
，利用激光雷达连续获取两个测量点的测量得到雷达返回的多组数据，其中激光雷 达以固定的增量角度进行扫描，所述返回的每组数据包括激光雷达当前角度测量点的累加 角度、激光雷达当前角度测量点的距离；
步骤3、根据激光雷达返回的数据，将其转换成一个横坐标为激光雷达当前角度测量点的累加角度、纵坐标为1的深度感知图，深度感知图的图像亮度表示激光雷达当前角度测量点的距离；
步骤4、根据深度感知图，获取每一段亮斑的左右端点的索引，即每个亮斑左右端点的索引为其以激光雷达作为圆心产生的直角坐标系的坐标；
步骤5、将上述直角坐标系的坐标转换成显示平面中的像素坐标。
其中，本发明中再测量场景中安装一个或者多个激光雷达作为传感器，使用激光雷达测量触摸点在雷达自身坐标系下的角度和距离触摸点的距离。图1中激光雷达原点在激光雷达中心，激光雷达顺时针方向为正方向，激光雷达旋转一周测量t次，每次测量触摸点深度单位为米。
在优选的实施例中，可以使用PNPOLY算法预先划定测量区域，测量区域可以使任意多边形。激光雷达数据经过PNPOLY算法过滤掉不在测量区域内的点，返回测量区域内的点的集合S。
通过雷达返回的多组数据，我们根据测量角度和测量距离，可以得到一张伪图像的尺寸为t行1列的一张黑白图像，简称为深度感知图像。因此，所以我们将二维点云信息转换为一个长为激光雷达返回的测量个角度，宽为1，并且将激光雷达车辆深度距离作为图像的亮度信息的一列图像信息。
结合图3所示，提取光斑所在区域，例如[r0, r1], [r2, r3], [r4, r5]区域。其中r0,r1分别为光斑区域中的左右锚点。
更加优选地，再所述步骤4中，获取每一段亮斑的左右端点的索引具体包括：
提取亮斑所在区域；
确定预估横坐标
Figure 847804DEST_PATH_IMAGE003
和预估深度值
Figure 461528DEST_PATH_IMAGE004
，具体包括：
Figure 556347DEST_PATH_IMAGE005
，
I表示深度图，即：一行t列的一张伪图像，I(x)表示的是当横坐标为x时，图像亮度 代表的深度数值，使用灰度重心方法求得预估横坐标
Figure 59541DEST_PATH_IMAGE007
，使用高斯分布作为该点的质量用 来计算预估深度值，由此输入深度图像，计算出每个光斑分段区域内的一个预估
Figure 137974DEST_PATH_IMAGE008
和
Figure 759491DEST_PATH_IMAGE007
； 再经过坐标转换将其转换到直角坐标系下：
Figure 423168DEST_PATH_IMAGE009
对每个分段计算出来的预估和
Figure 319153DEST_PATH_IMAGE007
带入上面公式，计算出每个触摸区域的预估点 的索引。
预估点坐标集合是以激光雷达为中心建立的直角坐标系下的点，通常这些点还需要映射到屏幕坐标系下。
图4显示了激光雷达平面->测量平面->显示平面三者之间的坐标关系，标定可确定变换矩阵，完成从激光雷达坐标向显示平面坐标的映射。
结合图5所示，标定过程包括：在触摸平面投影一画面，画面中有四个位于对角线的触摸点1-4号，1号触摸点坐标为需要映射的原点坐标，标定期间依次触摸1-4号，记录每个点在激光雷达坐标系下的坐标；设定1-4号点需要映射的像素坐标，记录四点对应的测量坐标，计算得到旋转平移矩阵作为矫正参数。
最终，预估点坐标集合乘以矫正参数，即得到最终输出的触摸点坐标集合。
在另一些实施例中，还可以通过绑定***触摸事件，模拟***鼠标点击事件，从而完成触摸动作。
本发明将点云数据与图像处理相结合，运用图像的方式可以高效的直观的计算出预估点，有较强的抗干扰能力。通过对灰度图像求取区域内重心的方法得到每个点的预估角度和预估距离，提高了数据的鲁邦和稳定性。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (4)

1.一种基于激光雷达的平面触摸方法，其特征在于，包括以下步骤：
步骤1、在测量区域内布置至少一个激光雷达；
步骤2、对于测量区域内的任意两个测量点，其位置用极坐标分别表示为和
Figure 627155DEST_PATH_IMAGE002
，利用激光雷达连续获取两个测量点的测量得到雷达返回的多组数据，其中激光雷达以固定的增量角度进行扫描，所述返回的每组数据包括激光雷达当前角度测量点的累加角度、激光雷达当前角度测量点的距离；
步骤3、根据激光雷达返回的数据，将其转换成一个横坐标为激光雷达当前角度测量点的累加角度、纵坐标为1的深度感知图，深度感知图的图像亮度表示激光雷达当前角度测量点的距离；
步骤4、根据深度感知图，获取每一段亮斑的左右端点的索引，即每个亮斑左右端点的索引为其以激光雷达作为圆心产生的直角坐标系的坐标；
步骤5、将上述直角坐标系的坐标转换成显示平面中的像素坐标；
其中，所述步骤4中，获取每一段亮斑的左右端点的索引具体包括：
提取亮斑所在区域；
确定预估横坐标
Figure DEST_PATH_IMAGE003
和预估深度值
Figure 643052DEST_PATH_IMAGE004
，具体包括：
Figure DEST_PATH_IMAGE005
I表示深度图，即：一行t列的一张伪图像，I(x)表示的是当横坐标为x时，图像亮度代表的深度数值，使用灰度重心方法求得预估横坐标
Figure 858179DEST_PATH_IMAGE003
，使用高斯分布作为该点的质量用来计算预估深度值
Figure 542357DEST_PATH_IMAGE004
，由此输入深度图像，计算出每个光斑分段区域内的一个预估
Figure 698228DEST_PATH_IMAGE003
和
Figure 547509DEST_PATH_IMAGE004
；再经过坐标转换将其转换到直角坐标系下：
对每个分段计算出来的预估
Figure DEST_PATH_IMAGE007
和带入上面公式，计算出每个触摸区域的预估点的索引。
2.根据权利要求1所述的基于激光雷达的平面触摸方法，其特征在于，所述像素坐标的转换包括：
在触摸平面投影一画面，画面中有四个位于对角线的触摸点1-4号，1号触摸点坐标为需要映射的原点坐标，标定期间依次触摸1-4号，记录每个点在激光雷达坐标系下的坐标；设定1-4号点需要映射的像素坐标，记录四点对应的测量坐标，计算得到旋转平移矩阵作为矫正参数。
3.根据权利要求1所述的基于激光雷达的平面触摸方法，其特征在于，所述x由激光雷达的扫描精度决定。
4.根据权利要求1所述的基于激光雷达的平面触摸方法，其特征在于，所述预估深度值
Figure DEST_PATH_IMAGE009
构建为一经过高斯分布调制的加权平均深度。
CN201911011503.8A 2019-10-23 2019-10-23 基于激光雷达的平面触摸方法 Active CN110515092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911011503.8A CN110515092B (zh) 2019-10-23 2019-10-23 基于激光雷达的平面触摸方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911011503.8A CN110515092B (zh) 2019-10-23 2019-10-23 基于激光雷达的平面触摸方法

Publications (2)

Publication Number Publication Date
CN110515092A CN110515092A (zh) 2019-11-29
CN110515092B true CN110515092B (zh) 2020-01-10

Family

ID=68633547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911011503.8A Active CN110515092B (zh) 2019-10-23 2019-10-23 基于激光雷达的平面触摸方法

Country Status (1)

Country Link
CN (1) CN110515092B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831162B (zh) * 2020-07-23 2023-10-10 吕嘉昳 基于触摸屏的毛笔笔形校正方法
CN111831161B (zh) * 2020-07-23 2023-10-03 吕嘉昳 基于触摸方法自动识别显示屏幕中触点位置的方法
CN112774181B (zh) * 2021-01-11 2023-11-10 北京星汉云图文化科技有限公司 雷达数据的处理方法、处理***以及计算机存储介质
CN116990787B (zh) * 2023-09-26 2023-12-15 山东科技大学 基于机载激光雷达***的扫描平台坐标系误差校正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335021A (zh) * 2015-09-09 2016-02-17 浙江工业大学 基于激光雷达的人机交互***
CN105306991A (zh) * 2015-09-09 2016-02-03 浙江工业大学 一种基于激光雷达的交互电视
CN105320367A (zh) * 2015-09-09 2016-02-10 浙江工业大学 一种舞台交互***
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法

Also Published As

Publication number Publication date
CN110515092A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN110515092B (zh) 基于激光雷达的平面触摸方法
CN109477710B (zh) 基于点的结构化光***的反射率图估计
JP7180646B2 (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
US20200380653A1 (en) Image processing device and image processing method
CN102968800B (zh) 一种图像清晰度的评价方法
CN103729846A (zh) 基于不规则三角网的LiDAR点云数据边缘检测方法
CN116704048B (zh) 一种双光配准方法
CN114140592A (zh) 高精地图生成方法、装置、设备、介质及自动驾驶车辆
CN114814758B (zh) 相机-毫米波雷达-激光雷达的联合标定方法、设备
CN110378174A (zh) 道路线提取方法和装置
CN110765631B (zh) 基于有效成像像素的红外辐射特性测量小目标判断方法
CN110716209B (zh) 地图构建方法、设备及存储装置
CN116342452A (zh) 图像生成方法和融合成像***
KR102025113B1 (ko) LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN112965052A (zh) 一种单目相机目标测距方法
CN111583191A (zh) 基于光场epi傅里叶变换的折射特征检测方法
US20220262026A1 (en) Depth image generation method and apparatus, reference image generation method and apparatus, electronic device, and computer-readable storage medium
CN115436936A (zh) 用于目标检测的雷达图确定方法、装置、设备及介质
CN115327540A (zh) 基于雷达图的山体滑坡检测方法、装置、设备及介质
CN114387378A (zh) 基于数字孪生渲染引擎的图像生成方法、装置及电子设备
CN116089546A (zh) 一种台风云系识别方法、***、终端以及存储介质
CN111047635A (zh) 基于深度图像的平面触摸方法、装置与触摸***
CN111222504A (zh) 一种弹孔报靶方法、装置、设备及介质
JP7527532B1 (ja) 画像点群データ処理装置、画像点群データ処理方法、及び画像点群データ処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd.

Address before: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd.