CN113595608A - 基于视觉感知的毫米波/太赫兹通信方法、装置和*** - Google Patents

基于视觉感知的毫米波/太赫兹通信方法、装置和*** Download PDF

Info

Publication number
CN113595608A
CN113595608A CN202110698104.4A CN202110698104A CN113595608A CN 113595608 A CN113595608 A CN 113595608A CN 202110698104 A CN202110698104 A CN 202110698104A CN 113595608 A CN113595608 A CN 113595608A
Authority
CN
China
Prior art keywords
mobile terminal
base station
reflecting surface
camera
intelligent reflecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110698104.4A
Other languages
English (en)
Other versions
CN113595608B (zh
Inventor
高飞飞
张腾宇
张�浩
王鸣锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110698104.4A priority Critical patent/CN113595608B/zh
Publication of CN113595608A publication Critical patent/CN113595608A/zh
Application granted granted Critical
Publication of CN113595608B publication Critical patent/CN113595608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/04013—Intelligent reflective surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/08—Position of single direction-finder fixed by determining direction of a plurality of spaced sources of known location
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q3/00—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system
    • H01Q3/26—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system varying the relative phase or relative amplitude of energisation between two or more active radiating elements; varying the distribution of energy across a radiating aperture
    • H01Q3/30—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system varying the relative phase or relative amplitude of energisation between two or more active radiating elements; varying the distribution of energy across a radiating aperture varying the relative phase between the radiating elements of an array
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q3/00—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system
    • H01Q3/26—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system varying the relative phase or relative amplitude of energisation between two or more active radiating elements; varying the distribution of energy across a radiating aperture
    • H01Q3/30—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system varying the relative phase or relative amplitude of energisation between two or more active radiating elements; varying the distribution of energy across a radiating aperture varying the relative phase between the radiating elements of an array
    • H01Q3/32—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system varying the relative phase or relative amplitude of energisation between two or more active radiating elements; varying the distribution of energy across a radiating aperture varying the relative phase between the radiating elements of an array by mechanical means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0617—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal for beam forming

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种基于视觉感知的毫米波/太赫兹通信方法、装置和***，其中通信方法包括：利用相机实时采集图像信息以及移动端的深度信息；利用所述智能反射面根据所述图像信息识别出移动端在图像中的位置；基于所述移动端的深度信息，将移动端在图像中的位置转化为移动端的三维坐标；基于所述移动端的三维坐标所计算出的移动端所在实时位置的俯仰角和方位角，控制智能反射面的天线将信号波束指向移动端方向。本发明可以快速识别移动端并确定目标位置，并控制智能反射面的相控阵天线产生对应方向的俯仰角和方位角，可以使波束更快指向对应目标，提高识别移动端位置的能力，降低时延，实现实时波束跟踪。

Description

基于视觉感知的毫米波/太赫兹通信方法、装置和***
技术领域
本发明涉及通信技术领域，尤其涉及一种基于视觉感知的毫米波/太赫兹通信方法、装置和***。
背景技术
通信技术行业自诞生以来一直遵循着“十年一换代”的“摩尔定律”，从1980年开始的第一代移动通信(1G)的模拟通信方式，到1990左右以TDMA为核心技术的2G，再到本世纪初以CDMA为核心技术的3G时代，再到2010年左右以OFDM技术为核心的4G移动通信网络的大规模商用，移动通信整体在朝着越来越快、越来越稳定、越来越安全的方向发展。2020年因为第五代移动通信技术(5G)的问世而被称为“5G元年”，其在增强的移动带宽通信(eMBB)、超可靠低时延通信(URLLC)、大规模机器类型通信(mMTC)等场景有着很好的表现。
目前，传统的高频通信领域的智能反射面的波束赋形与跟踪基本采用如下方式：先使用导频扫描和遍历智能反射面方向上的所有相位，以确定移动端的方向。当移动端移动时，传统方法需要不断发送导频扫描移动端方向附近的信噪比，移动端需要通过上行信道将信噪比的值反馈给智能反射面，随后智能反射面选取最大的方向的信噪比为反射波束的方向；在雷达相控阵领域，主要采用的是将信道分为通信信道和信标信道，依赖差功分网络对信标信道的信道值进行波达算法分析，由此判断信号来源方向。
上述***对智能反射面的硬件依赖程度较大，当扫描信号能量较弱或信标信号能量难以检测时，不便确定移动端方向。并且导频占用了较多的信道资源。当移动端数较多的时候，计算复杂度也急剧上升，时延较大。
发明内容
本发明提供一种基于视觉感知的毫米波/太赫兹通信方法、装置和***，用以解决现有技术中存在的技术缺陷，以实现使用光谱判断目标位置，并跟踪目标，节约了导频所占用的信道资源；当移动端数目较多时，计算复杂度并未改变，时延较小。
本发明提供一种基于视觉感知的毫米波/太赫兹通信方法，包括：
利用相机实时采集图像信息以及移动端的深度信息；所述相机设置在智能反射面上；
利用所述智能反射面根据所述图像信息识别出移动端在图像中的位置；
基于所述移动端的深度信息，将移动端在图像中的位置转化为移动端的三维坐标；
基于所述移动端的三维坐标所计算出的移动端所在实时位置的俯仰角和方位角，控制智能反射面的天线将信号波束指向移动端方向。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述相机坐标原点在相机表面的几何中心处，所述智能反射面的坐标原点近似地和相机坐标原点相同；
所述移动端在相机坐标系中的坐标为：
(XOQ,YOQ,ZOQ)
所述移动端在智能反射面坐标系中的坐标为：
Figure BDA0003129350770000021
所述移动端在相机坐标系中以及在智能反射面坐标系中的坐标的转换公式为：
Figure BDA0003129350770000031
所述移动端的俯仰角θ由下式求得：
Figure BDA0003129350770000032
所述移动端的方位角
Figure BDA0003129350770000033
由下式求得：
Figure BDA0003129350770000034
所述方法还包括：按照下式计算出所述智能反射面的每根天线对应的反射波束的相角
Figure BDA0003129350770000035
Figure BDA0003129350770000036
上式中，j为虚数单位，e为自然对数的底，M为矩阵行数，N为矩阵列数，λ为电磁波波长，d为天线间距。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用所述智能反射面根据所述图像信息识别出基站端在图像中的位置；
基于所述基站端的深度信息，将基站端在图像中的位置转化为基站端的三维坐标；
基于所述基站端的三维坐标所计算出的基站端所在实时位置的俯仰角和方位角，对所述智能反射面的天线进行入射角补偿。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述基于所述基站端的三维坐标所计算出的基站端所在实时位置的俯仰角和方位角，包括：
按照下式计算出所述智能反射面的每根天线对应的入射角：
Figure BDA0003129350770000041
上式中，
Figure BDA0003129350770000042
为基站端俯仰角，θ0为基站端的方位角。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述控制智能反射面的天线将信号波束指向移动端方向之前，通过下式得到所述智能反射面的天线的移相相位
Figure BDA0003129350770000043
Figure BDA0003129350770000044
其中，·表示点乘，即两个维度相同的矩阵对应位置的元素相乘。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用相机所采集的图像识别移动端与智能反射面的位置；当基站端与移动端之间的直射径可达的情况下，基站端根据相机采集的图像判断移动端的位置，再控制阵列天线将波束指向移动端的位置，所输入的相角矩阵为
Figure BDA0003129350770000045
当直射径被遮挡时，基站端根据相机采集的图像判断智能反射面的位置，再控制阵列天线将波束指向智能反射面的位置，所输入的相角矩阵为
Figure BDA0003129350770000046
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用相机采集的图像识别基站端与智能反射面的位置，当基站端与移动端之间的直射径可达的情况下，移动端根据其相机采集的图像判断基站端位置，再控制阵列天线将波束指向基站端的位置，所输入的相角矩阵为
Figure BDA0003129350770000047
当直射径被遮挡时，移动端根据其相机采集的图像判断智能反射面的位置，再控制阵列天线将波束指向智能反射面的位置，所输入的相角矩阵为
Figure BDA0003129350770000051
本发明还提供了一种基于视觉感知的毫米波/太赫兹通信装置，包括：相机、基站端、智能反射面、移动端；
所述相机用于实时采集图像信息以及移动端的深度信息；所述相机设置在智能反射面上；
所述智能反射面根据所述图像信息识别出移动端在图像中的位置；所述相机还用于基于所述移动端的深度信息，将移动端在图像中的位置转化为移动端的三维坐标；
所述智能反射面还用于基于所述移动端的三维坐标所计算出的移动端所在实时位置的俯仰角和方位角，控制智能反射面的天线将信号波束指向移动端方向。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述智能反射面根据所述图像信息识别出基站端在图像中的位置；所述相机还用于基于所述基站端的深度信息，将基站端在图像中的位置转化为基站端的三维坐标；
所述智能反射面还用于基于所述基站端的三维坐标所计算出的基站端所在实时位置的俯仰角和方位角，对所述智能反射面的天线进行入射角补偿。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述智能反射面的天线采用无源相控阵天线，和/或，所述相机具有计算物体左右距离及深度的功能，和/或，所述相机为双目相机。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述相机坐标原点在相机表面的几何中心处，所述智能反射面的坐标原点近似地和相机坐标原点相同。
本发明还提供了一种基于视觉感知的毫米波/太赫兹通信***，包括所述的基于视觉感知的毫米波/太赫兹通信装置。
本发明提供的基于视觉感知的毫米波/太赫兹通信方法、装置和***，使用相机作为视觉辅助，可以快速识别移动端并确定目标位置，并控制智能反射面的相控阵天线产生对应方向的俯仰角和方位角，可以使波束更快指向对应目标，提高识别移动端位置的能力，降低时延。当移动端运动时，能够计算出移动端实时位置，控制智能反射面随之改变反射方向，实现实时波束跟踪。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于视觉感知的毫米波/太赫兹通信方法的流程示意图；
图2是本发明提供的相机获取的图片转化成的空间三维坐标的示意图；
图3是本发明提供的智能反射面设定俯仰角与方位角时参考的坐标系的示意图。
图4是本发明提供的基于视觉感知的毫米波/太赫兹通信装置之三的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于视觉感知的毫米波/太赫兹通信方法，参见图1，该方法包括：
S1、利用相机10实时采集图像信息以及移动端的深度信息；
所述相机10可以设置在基站端20、智能反射面30或移动端40上，也可以是两个相机10分别设置在基站端20、智能反射面30、移动端40中的其中两端，或是三个相机10分别设置在基站端20、智能反射面30以及移动端40上，以上几种情况皆可实现，所述相机10用于实时采集图像信息；
S2、利用所述智能反射面30根据所述图像信息识别出移动端40在图像中的位置；
根据图片识别移动端40在图像中的位置既可以通过基于HSV成像原理的传统图像处理技术，也可以通过深度神经网络的人工智能技术。此时，相机10设置在智能反射面30上。
S3、基于所述移动端的深度信息，将移动端40在图像中的位置转化为移动端40的三维坐标；
S4、基于所述移动端40的三维坐标所计算出的移动端40所在实时位置的俯仰角和方位角，控制智能反射面30的天线将信号波束指向移动端40方向。
所述智能反射面30的天线采用无源相控阵天线。
所述基于视觉感知的毫米波/太赫兹通信方法中需要使用的硬件部分包括相机10、多核服务器、由PXIe机箱、FPGA协处理器、时钟处理模块和软件定义无线电等设备构成的基站端20、连接基站的智能反射面30、智能反射面30和由无人小车、PC机以及连接PC机的软件定义无线电模块等设备构成的移动端40。所述相机10是指相机10及其上位机，相机10位于智能反射面30上，会实时采集图像信息。相机10连接的上位机根据图像，使用传统图像处理算法或深度学习算法识别出移动端40(或基站端20)在图像中的位置，再根据相机10获取移动端40的深度信息，使用相机10的内参矩阵将图像中的二维位置转化为空间中的三维坐标。相机10的上位机根据三维坐标计算出移动端40所在位置的俯仰角和方位角，将角度信息发送给智能反射面30，使波束指向该方向。当移动端40运动时，相机10及其上位机器能够计算出移动端40实时位置，控制智能反射面30随之改变反射方向，实现实时波束跟踪。
上述基站与移动端40的通信可以遵循4G-LTE、5G-NR协议或其它，软件可以使用LabVIEW、LabVIEW NXG或其它，频段可以选择任意毫米波和太赫兹等高频频段。相机10可以为双目相机10或其它，基站端20与移动端40的硬件组成可以上述硬件或其它，本方案不做限制。可以根据实际情况或需要进行合理配置。
本发明提供的基于视觉感知的毫米波/太赫兹通信方法，使用相机10作为视觉辅助，可以快速识别移动端40并确定目标位置，并控制智能反射面30的相控阵天线产生对应方向的俯仰角和方位角，可以使波束更快指向对应目标，提高识别移动端40位置的能力，降低时延。当移动端40运动时，能够计算出移动端40实时位置，控制智能反射面30随之改变反射方向，实现实时波束跟踪。
上述智能反射面30设定俯仰角与方位角时参考的坐标系如图3所示。当站在智能反射面30后方看去，原点在智能反射面30的右上角顶点所在的位置，X轴向下，Y轴向左，Z轴向前。
在此坐标系下，θ为移动端40与原点的连线OQ与Z轴正向的夹角，
Figure BDA0003129350770000081
为移动端40在XOY平面的投影点与原点的连线OS与X轴正向的夹角。其中
Figure BDA0003129350770000082
在X轴左半边为正，在右半边为负。为便于描述与计算，规定以下几个主要的问题：
相机10坐标原点在相机10表面的几何中心处；
智能反射面30的坐标原点近似地和相机10坐标原点相同；
坐标系都是右手系，且X/Y/Z坐标都是自带正负性的。移动端40不论在哪个坐标系中，Z坐标都大于0，而X坐标与Y坐标的正负性没有限制。
上述上位机将相机10拍摄的图片转化成的空间三维坐标如图2。当站在相机10后方看去，原点在相机10的右眼所在的位置，X轴向右，Y轴向下，Z轴向前。这是由相机10原始设定的，在此坐标系下得到移动端40位置的三维坐标。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述相机10坐标原点在相机10表面的几何中心处，所述智能反射面30的坐标原点近似地和相机10坐标原点相同；
所述移动端40在相机10坐标系中的坐标为：
(XOQ,YOQ,ZOQ)
所述移动端40在智能反射面30坐标系中的坐标为：
Figure BDA0003129350770000091
所述移动端40在相机10坐标系中以及在智能反射面30坐标系中的坐标的转换公式为：
Figure BDA0003129350770000092
为了避免不必要的计算，简化算法，下面所有的公式都只使用(XOQ,YOQ,ZOQ)作为已知量进行表示。
所述移动端40的俯仰角θ由下式求得：
Figure BDA0003129350770000093
所述移动端40的方位角
Figure BDA0003129350770000094
由下式求得：
Figure BDA0003129350770000101
相机10的上位机按照以上公式求出θ与
Figure BDA0003129350770000102
然后，所述方法还包括：按照下式计算出所述智能反射面30的每根天线对应的反射波束的相角
Figure BDA0003129350770000103
Figure BDA0003129350770000104
上式中，j为虚数单位，e为自然对数的底，M为矩阵行数，N为矩阵列数，λ为电磁波波长，d为天线间距。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用所述智能反射面30根据所述图像信息识别出基站端20在图像中的位置；
基于所述基站端的深度信息，将基站端20在图像中的位置转化为基站端20的三维坐标；
基于所述基站端20的三维坐标所计算出的基站端20所在实时位置的俯仰角和方位角，对所述智能反射面30的天线进行入射角补偿。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述基于所述基站端20的三维坐标所计算出的基站端20所在实时位置的俯仰角和方位角，包括：
按照下式计算出所述智能反射面30的每根天线对应的入射角：
Figure BDA0003129350770000105
上式中，
Figure BDA0003129350770000106
为基站端20俯仰角，θ0为基站端20的方位角，同上所述，M为矩阵行数，N为矩阵列数，λ为电磁波波长，d为天线间距。
在本实施例中，M＝N＝8，设中心频段为f＝30GHz，则λ＝10mm,d＝40mm。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述控制智能反射面30的天线将信号波束指向移动端40方向之前，通过下式得到所述智能反射面30的天线的移相相位
Figure BDA0003129350770000111
Figure BDA0003129350770000112
其中，·表示点乘，即两个维度相同的矩阵对应位置的元素相乘，结果仍然为相同维度的矩阵。移相相位
Figure BDA0003129350770000113
的每个元素即为天线阵列上对应位置天线需要相位移相的相位。
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用相机10所采集的图像识别移动端与智能反射面30的位置，此时相机10设置在基站端20；当基站端20与移动端40之间的直射径可达的情况下，基站端20根据相机10采集的图像判断移动端40的位置，再控制阵列天线将波束指向移动端40的位置，所输入的相角矩阵为
Figure BDA0003129350770000114
当直射径被遮挡时，基站端20根据相机10采集的图像判断智能反射面30的位置，再控制阵列天线将波束指向智能反射面30的位置，所输入的相角矩阵为
Figure BDA0003129350770000115
优选的，所述的基于视觉感知的毫米波/太赫兹通信方法，其中，所述方法还包括：
利用相机10采集的图像识别基站端20与智能反射面30的位置，此时相机10设置在移动端40，当基站端20与移动端40之间的直射径可达的情况下，移动端40根据其相机10采集的图像判断基站端20位置，再控制阵列天线将波束指向基站端20的位置，所输入的相角矩阵为
Figure BDA0003129350770000116
当直射径被遮挡时，移动端40根据其相机采集的图像判断智能反射面30的位置，再控制阵列天线将波束指向智能反射面30的位置，所输入的相角矩阵为
Figure BDA0003129350770000121
本发明还提供了一种基于视觉感知的毫米波/太赫兹通信装置，包括：相机10、基站端20、智能反射面30、移动端40；
所述相机10用于实时采集图像信息以及移动端的深度信息；
此时，所述相机10设置在智能反射面30上；
所述智能反射面30根据所述图像信息识别出移动端40在图像中的位置；所述相机10还用于基于所述移动端的深度信息，将移动端40在图像中的位置转化为移动端40的三维坐标；
所述智能反射面30还用于基于所述移动端40的三维坐标所计算出的移动端40所在实时位置的俯仰角和方位角，控制智能反射面30的天线将信号波束指向移动端40方向。
参见图4，当所述相机10位于智能反射面30上时，所述智能反射面30根据所述图像信息识别出移动端40的实时位置、控制智能反射面30的天线将第二信号波束指向移动端40方向。
本发明提供的基于视觉感知的毫米波/太赫兹通信装置，使用相机10作为视觉辅助，可以快速识别移动端40并确定目标位置，并控制智能反射面30的相控阵天线产生对应方向的俯仰角和方位角，可以使波束更快指向对应目标，提高识别移动端40位置的能力，降低时延。整个方案是感知通信一体化的具体实现和创新型应用。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述智能反射面30根据所述图像信息识别出基站端20在图像中的位置；所述相机10还用于基于所述基站端的深度信息，将基站端20在图像中的位置转化为基站端20的三维坐标；
所述智能反射面30还用于基于所述基站端20的三维坐标所计算出的基站端20所在实时位置的俯仰角和方位角，对所述智能反射面30的天线进行入射角补偿。
需要指出，智能反射面30的入射角
Figure BDA0003129350770000122
一般情况下是固定的，也可以通过手动测量后输入至智能反射面30，或者使用相机10识别基站端20并判断其位置，进而计算出入射角。参见图4，当所述相机10位于智能反射面30上时，所述智能反射面30根据所述图像信息识别出基站端20的实时位置，对所述智能反射面30的天线进行入射角补偿。
相机10需要将基站端20发射至智能反射面30的波束的入射角补偿后，再将反射至移动端40的反射角度写入。相机10的上位机按照
Figure BDA0003129350770000131
写入智能反射面30。
本方案在通信领域的波束成形与跟踪方向上比传统方法的应用场景更加广泛、时延更低，是感知通信一体化的具体实现与应用。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述智能反射面30的天线采用无源相控阵天线，和/或，所述相机10具有计算物体左右距离及深度的功能，和/或，所述相机10为双目相机10。相机10也可以是其他具有计算物体左右距离及深度的功能的相机，作为优选，相机10拍照不受频段限制，因此该装置适用于任意毫米波和太赫兹等高频频段。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述相机10坐标原点在相机10表面的几何中心处，所述智能反射面30的坐标原点近似地和相机10坐标原点相同。近似地和相机10坐标原点相同表示基本接近相同状态，因为很难达到完全相同，因此达到基本相同的程度即可。
优选的，所述的基于视觉感知的毫米波/太赫兹通信装置，其中，所述移动端40的天线为全向天线或喇叭天线。
本发明还提供了一种基于视觉感知的毫米波/太赫兹通信***，包括所述的基于视觉感知的毫米波/太赫兹通信装置，所述基于视觉感知的毫米波/太赫兹通信装置，包括：相机10、基站端20、智能反射面30、移动端40；
所述相机10用于实时采集图像信息以及移动端的深度信息；
此时，所述相机10设置在智能反射面30上；
所述智能反射面30根据所述图像信息识别出移动端40在图像中的位置；所述相机10还用于基于所述移动端的深度信息，将移动端40在图像中的位置转化为移动端40的三维坐标；
所述智能反射面30还用于基于所述移动端40的三维坐标所计算出的移动端40所在实时位置的俯仰角和方位角，控制智能反射面30的天线将信号波束指向移动端40方向。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于视觉感知的毫米波/太赫兹通信方法，其特征在于，包括：
利用相机实时采集图像信息以及移动端的深度信息；
利用所述智能反射面根据所述图像信息识别出移动端在图像中的位置；
基于所述移动端的深度信息，将移动端在图像中的位置转化为移动端的三维坐标；
基于所述移动端的三维坐标所计算出的移动端所在实时位置的俯仰角和方位角，控制智能反射面的天线将信号波束指向移动端方向。
2.根据权利要求1所述的基于视觉感知的毫米波/太赫兹通信方法，其特征在于，所述相机坐标原点在相机表面的几何中心处，所述智能反射面的坐标原点近似地和相机坐标原点相同；
所述移动端在相机坐标系中的坐标为：
(XOQ,YOQ,ZOQ)
所述移动端在智能反射面坐标系中的坐标为：
Figure FDA0003129350760000011
所述移动端在相机坐标系中以及在智能反射面坐标系中的坐标的转换公式为：
Figure FDA0003129350760000012
所述移动端的俯仰角θ由下式求得：
Figure FDA0003129350760000013
所述移动端的方位角
Figure FDA0003129350760000014
由下式求得：
Figure FDA0003129350760000021
所述方法还包括：按照下式计算出所述智能反射面的每根天线对应的反射波束的相角
Figure FDA0003129350760000022
Figure FDA0003129350760000023
上式中，j为虚数单位，e为自然对数的底，M为矩阵行数，N为矩阵列数，λ为电磁波波长，d为天线间距。
3.根据权利要求2所述的基于视觉感知的毫米波/太赫兹通信方法，其特征在于，所述方法还包括：
利用相机实时采集基站端的深度信息；
利用所述智能反射面根据所述图像信息识别出基站端在图像中的位置；
基于所述基站端的深度信息，将基站端在图像中的位置转化为基站端的三维坐标；
基于所述基站端的三维坐标所计算出的基站端所在实时位置的俯仰角和方位角，对所述智能反射面的天线进行入射角补偿。
4.根据权利要求3所述的基于视觉感知的毫米波/太赫兹通信方法，其特征在于，所述基于所述基站端的三维坐标所计算出的基站端所在实时位置的俯仰角和方位角，包括：
按照下式计算出所述智能反射面的每根天线对应的入射角：
Figure FDA0003129350760000024
上式中，
Figure FDA0003129350760000025
为基站端俯仰角，θ0为基站端的方位角。
5.根据权利要求4所述的基于视觉感知的毫米波/太赫兹通信方法，其特征在于，所述控制智能反射面的天线将信号波束指向移动端方向之前，通过下式得到所述智能反射面的天线的移相相位
Figure FDA0003129350760000031
Figure FDA0003129350760000032
其中，·表示点乘，即两个维度相同的矩阵对应位置的元素相乘。
6.根据权利要求5所述的基于视觉感知的毫米波/太赫兹通信方法，其特征在于，所述方法还包括：
利用相机所采集的图像识别移动端与智能反射面的位置；当基站端与移动端之间的直射径可达的情况下，基站端根据相机采集的图像判断移动端的位置，再控制阵列天线将波束指向移动端的位置，所输入的相角矩阵为
Figure FDA0003129350760000033
当直射径被遮挡时，基站端根据相机采集的图像判断智能反射面的位置，再控制阵列天线将波束指向智能反射面的位置，所输入的相角矩阵为
Figure 1
7.根据权利要求5或6所述的基于视觉感知的毫米波/太赫兹通信方法，其特征在于，所述方法还包括：
利用相机采集的图像识别基站端与智能反射面的位置，当基站端与移动端之间的直射径可达的情况下，移动端根据其相机采集的图像判断基站端位置，再控制阵列天线将波束指向基站端的位置，所输入的相角矩阵为
Figure FDA0003129350760000035
当直射径被遮挡时，移动端根据其相机采集的图像判断智能反射面的位置，再控制阵列天线将波束指向智能反射面的位置，所输入的相角矩阵为
Figure FDA0003129350760000036
8.一种基于视觉感知的毫米波/太赫兹通信装置，其特征在于，包括：相机、基站端、智能反射面、移动端；
所述相机用于实时采集图像信息以及移动端的深度信息；
所述智能反射面根据所述图像信息识别出移动端在图像中的位置；所述相机还用于基于所述移动端的深度信息，将移动端在图像中的位置转化为移动端的三维坐标；
所述智能反射面还用于基于所述移动端的三维坐标所计算出的移动端所在实时位置的俯仰角和方位角，控制智能反射面的天线将信号波束指向移动端方向。
9.根据权利要求8所述的基于视觉感知的毫米波/太赫兹通信装置，其特征在于，所述智能反射面根据所述图像信息识别出基站端在图像中的位置；所述相机还用于基于所述基站端的深度信息，将基站端在图像中的位置转化为基站端的三维坐标；
所述智能反射面还用于基于所述基站端的三维坐标所计算出的基站端所在实时位置的俯仰角和方位角，对所述智能反射面的天线进行入射角补偿。
10.一种基于视觉感知的毫米波/太赫兹通信***，其特征在于，包括如权利要求8至9任一所述的基于视觉感知的毫米波/太赫兹通信装置。
CN202110698104.4A 2021-06-23 2021-06-23 基于视觉感知的毫米波/太赫兹通信方法、装置和*** Active CN113595608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698104.4A CN113595608B (zh) 2021-06-23 2021-06-23 基于视觉感知的毫米波/太赫兹通信方法、装置和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698104.4A CN113595608B (zh) 2021-06-23 2021-06-23 基于视觉感知的毫米波/太赫兹通信方法、装置和***

Publications (2)

Publication Number Publication Date
CN113595608A true CN113595608A (zh) 2021-11-02
CN113595608B CN113595608B (zh) 2022-04-12

Family

ID=78244366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698104.4A Active CN113595608B (zh) 2021-06-23 2021-06-23 基于视觉感知的毫米波/太赫兹通信方法、装置和***

Country Status (1)

Country Link
CN (1) CN113595608B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520980A (zh) * 2022-01-12 2022-05-20 山西大学 一种三维ris辅助的煤矿通感一体化网络优化方法及装置
CN114828128A (zh) * 2022-02-25 2022-07-29 北京邮电大学 高速移动列车的多小区通信覆盖方法及相关设备
CN114845332A (zh) * 2022-05-05 2022-08-02 东南大学 基于视觉信息融合的毫米波通信链路阻塞预测方法
WO2023133766A1 (zh) * 2022-01-13 2023-07-20 华为技术有限公司 波束控制方法及装置
CN116488740A (zh) * 2023-04-17 2023-07-25 军事科学院***工程研究院网络信息研究所 一种空间太赫兹通信载荷***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102374860A (zh) * 2011-09-23 2012-03-14 奇瑞汽车股份有限公司 三维视觉定位方法及***
US20150117602A1 (en) * 2013-10-29 2015-04-30 Nuctech Company Limited Stereoscopic imaging systems and methods
CN107579759A (zh) * 2017-09-19 2018-01-12 清华大学 一种无人机卫星通信***中天线波束的稳定方法及装置
CN110411375A (zh) * 2019-08-05 2019-11-05 上海亨临光电科技有限公司 一种基于被动式毫米波/太赫兹成像技术的三维成像方法
CN111245494A (zh) * 2020-01-13 2020-06-05 东南大学 基于智能反射面的定位信息辅助波束控制方法
CN112994765A (zh) * 2021-03-04 2021-06-18 电子科技大学 智能反射面辅助毫米波通信***的波束对准方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102374860A (zh) * 2011-09-23 2012-03-14 奇瑞汽车股份有限公司 三维视觉定位方法及***
US20150117602A1 (en) * 2013-10-29 2015-04-30 Nuctech Company Limited Stereoscopic imaging systems and methods
CN107579759A (zh) * 2017-09-19 2018-01-12 清华大学 一种无人机卫星通信***中天线波束的稳定方法及装置
CN110411375A (zh) * 2019-08-05 2019-11-05 上海亨临光电科技有限公司 一种基于被动式毫米波/太赫兹成像技术的三维成像方法
CN111245494A (zh) * 2020-01-13 2020-06-05 东南大学 基于智能反射面的定位信息辅助波束控制方法
CN112994765A (zh) * 2021-03-04 2021-06-18 电子科技大学 智能反射面辅助毫米波通信***的波束对准方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520980A (zh) * 2022-01-12 2022-05-20 山西大学 一种三维ris辅助的煤矿通感一体化网络优化方法及装置
WO2023133766A1 (zh) * 2022-01-13 2023-07-20 华为技术有限公司 波束控制方法及装置
CN114828128A (zh) * 2022-02-25 2022-07-29 北京邮电大学 高速移动列车的多小区通信覆盖方法及相关设备
CN114828128B (zh) * 2022-02-25 2023-08-22 北京邮电大学 高速移动列车的多小区通信覆盖方法及相关设备
CN114845332A (zh) * 2022-05-05 2022-08-02 东南大学 基于视觉信息融合的毫米波通信链路阻塞预测方法
CN116488740A (zh) * 2023-04-17 2023-07-25 军事科学院***工程研究院网络信息研究所 一种空间太赫兹通信载荷***
CN116488740B (zh) * 2023-04-17 2023-11-07 军事科学院***工程研究院网络信息研究所 一种空间太赫兹通信载荷***

Also Published As

Publication number Publication date
CN113595608B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN113595608B (zh) 基于视觉感知的毫米波/太赫兹通信方法、装置和***
Xu et al. Computer vision aided mmWave beam alignment in V2X communications
CN109946748A (zh) 应用于柱面扫描安检成像体制的稀疏阵列天线设计方法
CN113093094B (zh) 一种基于相位调控超表面的智能入射波方向探测方法
CN109597076B (zh) 用于地基合成孔径雷达的数据处理方法及装置
CN110794471A (zh) 一种毫米波稀疏阵列远程监视成像方法及***
CN113156435B (zh) 一种基于嵌入式gpu的弹载sar前侧视时域成像方法
CN113917461A (zh) 一种mimo雷达成像方法及***
CN107729627B (zh) 机会阵列天线的单元快速选取方法
CN106374224A (zh) 电磁波成像***及天线阵列信号校正方法
CN101403791A (zh) 快速实时空间谱估计超分辨测向装置及方法
CN112649806B (zh) 一种mimo雷达近场三维成像方法
CN111145264A (zh) 多传感器的标定方法、装置及计算设备
CN215835399U (zh) 基于视觉感知的毫米波/太赫兹通信装置和***
Guo et al. Real-time indoor 3D human imaging based on MIMO radar sensing
US11743741B1 (en) Computational sensing for telecommunication target localization
EP3482562B1 (en) An apparatus and a method for generating data representative of a pixel beam
CN110673160B (zh) 数据融合处理方法及激光相机、对应的智能车或无人机
CN112099102A (zh) 一种天线阵列机械扫描式全息图像重建方法
CN110873859A (zh) 基于定向天线的收发端位置确定方法、装置、介质及设备
CN113176566B (zh) 一种用于mimo-sar的三维快速成像方法
Qi et al. Application of optimized sparse antenna array in near range 3D microwave imaging
CN217428122U (zh) 基于机械转动的波束反射通信***
Tipauksorn et al. Stereo Vision-based Turn-Alignment Optimization for Wireless Power Transmission Positioning
US20240137776A1 (en) Computational sensing for telecommunication target localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant