CN113359807A - 一种无人机第一视角飞行的控制方法及***、智能眼镜 - Google Patents
一种无人机第一视角飞行的控制方法及***、智能眼镜 Download PDFInfo
- Publication number
- CN113359807A CN113359807A CN202110800387.9A CN202110800387A CN113359807A CN 113359807 A CN113359807 A CN 113359807A CN 202110800387 A CN202110800387 A CN 202110800387A CN 113359807 A CN113359807 A CN 113359807A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- channel
- glasses
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 258
- 238000000034 method Methods 0.000 title description 52
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 153
- 230000000007 visual effect Effects 0.000 claims abstract description 55
- 239000004984 smart glass Substances 0.000 claims description 199
- 230000006870 function Effects 0.000 description 48
- 230000003287 optical effect Effects 0.000 description 45
- 238000003384 imaging method Methods 0.000 description 42
- 210000003128 head Anatomy 0.000 description 29
- 230000003190 augmentative effect Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000036544 posture Effects 0.000 description 8
- 238000002834 transmittance Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000003416 augmentation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明提供了一种无人机的控制***,所述控制***包括遥控器以及智能眼镜,其中所述智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立的第一信道,以使智能眼镜通过第一信道直接从无人机接收并显示第一视角图像数据,遥控器能够在无需智能眼镜进行中继的情况下与所述无人机直接建立第二信道,以使遥控器能够通过第二信道直接向所述无人机发送第一飞行控制指令,智能眼镜能够进一步与遥控器直接建立第三信道,以使智能眼镜通过所述第三信道直接从遥控器接收眼镜控制指令,并根据眼镜控制指令执行相应的操作。
Description
技术领域
本发明属于无人机技术领域,具体涉及一种无人机第一视角飞行的控制方法及***、智能眼镜。
背景技术
第一视角飞行,是无人机发展得一个新的方向,通过无人机上的图传模块,将无人机上相机拍到的图像实时传输到眼镜上,用户通过观看相机图像,来操控无人机飞行,使用第一视角飞行的特点是,用户不必再仰视无人机,而是能够获得无人机同样的视角,以无人机的视角进行操控,从而达到身临其境的飞行体验。
现有实现第一视角飞行的方式是无人机与遥控器通过私有通讯协议或WIFI等无线方式连接,遥控器收到无人机上的图像信号后在通过USB或其他有线方式传递给眼镜。
但是这样的方式,由于需要遥控器进行中继,往往导致图传和操控信号的延迟,不能即时准确的控制无人机的飞行,带来安全隐患。
发明内容
有鉴于此,本发明实施例提供一种无人机第一视角飞行的控制方法及***、智能眼镜,能够在无需中继的情况下直接控制无人机,避免图传和操控信号的延迟,提高控制准确度。
第一方面,本发明实施例提供一种无人机的控制***,所述控制***包括遥控器以及智能眼镜,其中所述智能眼镜能够在无需所述遥控器进行中继的情况下与所述无人机直接建立的第一信道,以使所述智能眼镜通过所述第一信道直接从所述无人机接收并显示第一视角图像数据,所述遥控器能够在无需所述智能眼镜进行中继的情况下与所述无人机直接建立第二信道,以使所述遥控器能够通过所述第二信道直接向所述无人机发送第一飞行控制指令。
其中,所述智能眼镜通过所述第一信道直接从所述无人机接收并显示飞行状态数据。
其中,所述飞行状态数据以增强现实的方式与所述第一视角图像数据叠加显示。
其中,所述智能眼镜能够对所述智能眼镜的姿态进行感测,并生成云台控制指令,所述智能眼镜进一步通过所述第一信道直接向所述无人机发送所述云台控制指令。
其中,所述智能眼镜能够对用户手势进行感测,并生成眼镜控制指令,所述智能眼镜进一步根据所述眼镜控制指令执行相应的操作。
其中,所述智能眼镜能够对用户手势进行感测,并生成第二飞行控制指令,所述智能眼镜进一步通过所述第一信道直接向所述无人机发送所述第二飞行控制指令。
其中,所述智能眼镜包括摄像头和处理器,摄像头摄取用户手势操作图像,所述处理器对所述手势操作图像进行处理,确定所述手势操作的坐标,与所述智能眼镜上显示的控制所述无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第二飞行控制指令并执行对应的操作。
其中,所述智能眼镜包括摄像头、存储器和处理器,所述摄像头用于摄取用户手势动作,所述存储器内存储有多个用户手势动作模型以及所述多个用户手势动作模型所对应的第二飞行控制指令,所述处理器与所述摄像头和所述存储器均电连接,所述处理器用于根据所述摄像头摄取的用户手势动作生成一手势动作模型,并与所述存储器内存储的多个用户手势动作模型作比对,当与所述存储器内存储的多个用户手势动作模型中的其中一个一致时,触发所述手势动作模型所对应的第二飞行控制指令。
其中,所述存储器内存储的多个用户手势动作模型,是通过所述摄像头预先拍摄并对每个用户手势动作模型先定义来完成。
其中,所述智能眼镜能够进一步与所述遥控器直接建立第三信道,以使所述智能眼镜通过所述第三信道直接从所述遥控器接收眼镜控制指令,并根据所述眼镜控制指令执行相应的操作。
其中,所述控制***进一步包括移动终端,所述移动终端与所述遥控器直接建立第四信道,所述遥控器进一步通过所述第二信道从所述无人机接收所述第一视角图像数据和/或飞行状态数据,并通过所述第四信道发送至所述移动终端进行显示。
其中,所述移动终端进一步根据用户输入生成所述第一飞行控制指令和/或云台控制指令,并通过所述第四信道发送至所述遥控器,再由所述遥控器通过所述第二信道发送至所述无人机。
其中,所述遥控器进一步通过所述第三信道发送禁用指令至所述智能眼镜,以对所述智能眼镜的与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。
其中,所述控制***进一步包括移动终端,所述移动终端与所述智能眼镜直接建立第四信道,所述智能眼镜进一步将从所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第四信道发送至所述移动终端进行显示。
其中,所述移动终端进一步根据用户输入生成所述第一飞行控制指令和/或云台控制指令,并通过所述第四信道发送至所述智能眼镜,再由所述智能眼镜通过所述第一信道发送至所述无人机。
其中,所述智能眼镜在从所述移动终端接收到所述第一飞行控制指令和/或云台控制指令后对自身与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。
其中,所述第三信道和所述第四信道为无线信道或有线信道。
其中,所述控制***进一步包括移动终端,所述移动终端与所述无人机直接建立无线信道,所述移动终端通过所述无线信道从所述无人机接收并显示所述第一视角图像,所述无人机通过所述无线信道从所述移动终端接收第一飞行控制指令。
其中,所述智能眼镜通过所述第一信道直接从所述无人机获取无人机的录像文件,并在所述智能眼镜上进行回放。
其中,所述智能眼镜为一个或者多个。
第二方面,提供一种无人机的控制***,所述控制***包括无人机以及智能眼镜,所述智能眼镜能够在无需中继的情况下与所述无人机直接建立第一信道,以通过所述第一信道直接从所述无人机接收并显示第一视角图像数据,所述智能眼镜进一步能够对用户手势进行感测,并生成第一飞行控制指令,并通过所述第一信道直接向所述无人机发送第一飞行控制指令。
其中,所述控制***进一步包括移动终端,所述移动终端与所述智能眼镜直接建立第二信道,所述智能眼镜进一步将所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第二信道发送至所述移动终端进行显示。
其中,所述控制***进一步包括移动终端,所述移动终端与所述无人机直接建立无线信道,所述移动终端通过所述无线信道从所述无人机接收并显示所述第一视角图像,所述无人机通过所述无线信道从所述移动终端接收第一飞行控制指令。
其中,所述智能眼镜包括摄像头和处理器,摄像头摄取用户手势操作图像,所述处理器对所述手势操作图像进行处理,确定所述手势操作的坐标,与所述智能眼镜上显示的控制所述无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第一飞行控制指令并执行对应的操作。
其中,所述智能眼镜包括摄像头、存储器和处理器,所述摄像头用于摄取用户手势动作,所述存储器内存储有多个用户手势动作模型以及所述多个用户手势动作模型所对应的第一飞行控制指令,所述处理器与所述摄像头和所述存储器均电连接,所述处理器用于根据所述摄像头摄取的用户手势动作生成一手势动作模型,并与所述存储器内存储的多个用户手势动作模型作比对,当与所述存储器内存储的多个用户手势动作模型中的其中一个一致时,触发所述手势动作模型所对应的第一飞行控制指令。
其中,所述存储器内存储的多个用户手势动作模型,是通过所述摄像头预先拍摄并对每个用户手势动作模型先定义来完成。
第三方面,提供一种无人机第一视角飞行的控制方法,所述方法包括:控制智能眼镜与所述无人机直接建立第一信道,并控制智能眼镜通过第一信道直接从所述无人机接收并显示第一视角图像数据;控制遥控器与所述无人机直接建立第二信道,并控制遥控器通过所述第二信道直接向所述无人机发送第一飞行控制指令。
其中,所述方法还包括控制所述智能眼镜通过所述第一信道直接从所述无人机接收并显示飞行状态数据。
其中,所述飞行状态数据以增强现实的方式与所述第一视角图像叠加显示。
其中,所述方法还包括控制所述智能眼镜对所述智能眼镜的姿态进行感测,并生成云台控制指令,控制所述智能眼镜进一步通过所述第一信道直接向所述无人机发送所述云台控制指令。
其中,控制所述智能眼镜对用户手势进行感测,并生成第二飞行控制指令,将所述第二飞行控制指令通过所述第一信道直接发送到无人机。
其中,所述控制所述智能眼镜对用户手势进行感测,并生成第二飞行控制指令的步骤包括:控制所述智能眼镜的摄像头摄取用户手势操作图像,对所述手势操作图像进行处理,确定所述手势操作的坐标,与智能眼镜上显示的控制无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第二飞行控制指令并执行对应的操作;或控制所述智能眼镜的摄像头摄取用户手势动作,根据所述用户手势动作生成一手势动作模型,与所述智能眼镜中预存的多个用户手势动作模型作比对,当与所述预存的多个用户手势动作模型中的其中一个一致时,触发与所述手势动作模型所对应的第二飞行控制指令。
其中,所述预存的多个用户手势动作模型,是通过智能眼镜的摄像头预先拍摄并对每个用户手势动作模型先定义来完成。
其中,所述方法还包括:控制所述智能眼镜与所述遥控器直接建立第三信道,并控制所述智能眼镜通过所述第三信道直接从所述遥控器接收眼镜控制指令,并根据所述眼镜控制指令执行相应的操作。
其中,所述方法还包括:控制移动终端与所述遥控器直接建立第四信道,并控制所述遥控器通过所述第二信道从所述无人机接收所述第一视角图像数据和/或飞行状态数据,并通过所述第四信道发送至所述移动终端进行显示;或控制移动终端与所述智能眼镜直接建立第四信道,并控制所述智能眼镜进一步将从所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第四信道发送至所述移动终端进行显示。
其中,所述方法还包括:当移动终端与所述遥控器直接建立第四信道时,控制所述移动终端进一步根据用户输入生成所述第一飞行控制指令和/或云台控制指令,并通过所述第四信道发送至所述遥控器,再由所述遥控器通过所述第二信道发送至所述无人机;或当移动终端与所述智能眼镜直接建立第四信道时,控制所述移动终端进一步根据用户输入生成所述第一飞行控制指令和/或云台控制指令,并通过所述第四信道发送至所述智能眼镜,再由所述智能眼镜通过所述第一信道发送至所述无人机。
其中,所述方法还包括:控制所述遥控器进一步通过所述第三信道发送禁用指令至所述智能眼镜,以对所述智能眼镜的与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用;或控制所述智能眼镜在从所述移动终端接收到所述第一飞行控制指令和/或云台控制指令后对自身与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。
其中,所述第三信道和所述第四信道为无线信道或有线信道。
其中,所述控制方法还包括:控制所述移动终端与所述无人机直接建立无线信道,所述移动终端通过所述无线信道从所述无人机接收并显示所述第一视角图像,所述无人机通过所述无线信道从所述移动终端接收第一飞行控制指令。
其中,所述方法还包括:控制所述智能眼镜通过所述第一信道直接从所述无人机获取无人机的录像文件,并在所述智能眼镜上进行回放。
其中,所述智能眼镜为一个或者多个。
第四方面,提供一种无人机第一视角飞行的控制方法,所述控制方法包括:控制智能眼镜在无需中继的情况下与所述无人机直接建立第一信道,以通过所述第一信道直接从所述无人机接收并显示第一视角图像数据,控制所述智能眼镜进一步对用户手势进行感测,并生成第一飞行控制指令,并通过所述第一信道直接向所述无人机发送第一飞行控制指令。
其中,所述控制方法还包括:
控制移动终端与所述智能眼镜直接建立第二信道,并控制所述智能眼镜进一步将所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第二信道发送至所述移动终端进行显示;或控制移动终端与所述无人机直接建立无线信道,并控制所述移动终端通过所述无线信道从所述无人机接收并显示所述第一视角图像,以及控制所述无人机通过所述无线信道从所述移动终端接收第一飞行控制指令。
其中,所述控制所述智能眼镜进一步对用户手势进行感测,并生成第一飞行控制指令包括:控制所述智能眼镜的摄像头摄取用户手势动作,根据所述用户手势动作生成一手势动作模型,与所述智能眼镜中预存的多个用户手势动作模型作比对,当与所述预存的多个用户手势动作模型中的其中一个一致时,触发与所述手势动作模型所对应的第一飞行控制指令。
其中,所述预存的多个用户手势动作模型,是通过智能眼镜的摄像头预先拍摄并对每个用户手势动作模型先定义来完成。
第五方面,提供一种智能眼镜,所述智能眼镜包括:壳体,所述壳体包括:相对设置的第一侧面和第二侧面,以及分别与所述第一侧面和第二侧面连接且彼此相对设置的第三侧面和第四侧面;第一透镜组和第二透镜组,间隔设置于所述第一侧面上;第一显示屏和第二显示屏,分别设置于所述第三侧面和第四侧面上;第一光学镜和第二光学镜,交叉设置于所述壳体内,其中所述第一光学镜用于将所述第一显示屏所显示的虚拟场景的光线反射至所述第一透镜组,所述第二光学镜用于将所述第二显示屏所输出的图像光线反射至所述第二透镜组;选择性遮光元件,设置于所述第二侧面上,其中所述选择性遮光元件可以在遮光状态以及透光状态之间切换,当所述选择性遮光元件处于透光状态时,所述第一光学镜和所述第二光学镜进一步将所述智能眼镜外部的现实场景的光线透射至所述第一透镜组和第二透镜组,以使得用户通过所述第一透镜组和第二透镜组同时观察到所述现实场景与所述虚拟场景。
其中,当所述选择性遮光元件处于遮光状态时,所述选择性遮光元件屏蔽所述智能眼镜外部的现实场景的光线,以使得所述用户仅观察到所述虚拟场景。
其中,所述第一透镜组和第二透镜组为凹透镜与凸透镜的组合透镜。
其中,所述智能眼镜与无人机连接,所述第一显示屏和所述第二显示屏上进一步显示所述无人机的状态信息,以使用户通过所述第一透镜组和第二透镜组可以同时看到所述无人机的状态信息。
其中,所述选择性遮光元件的透光度可调。
其中,所述选择性遮光元件为液晶屏,所述液晶屏根据所施加的电压强度调整所述透光度。
其中,所述第一透镜组和第二透镜组的光轴方向彼此并行,且所述第一显示屏和第二显示屏的显示面与所述光轴方向平行。
其中,所述第一透镜组和第二透镜组在所述第一侧面上的位置可调。
其中,所述第一光学镜和第二光学镜分别相对于所述第一透镜组和第二透镜组的光轴方向倾斜设置,所述第一光学镜和第二光学镜分别相对于所述第一透镜组和第二透镜组的倾斜角度能够根据所述第一透镜组和第二透镜组在所述第一侧面上的位置进行调整。
其中,所述智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立第一信道,以使所述智能眼镜通过所述第一信道直接从所述无人机接收并显示第一视角图像数据。
其中,所述智能眼镜通过所述第一信道直接从所述无人机接收并显示飞行状态数据。
其中,所述飞行状态数据以增强现实的方式与所述第一视角图像数据叠加显示。
其中,所述虚拟场景为虚拟操作界面,所述智能眼镜还包括摄像头和处理器,所述摄像头设置于所述壳体上,通过所述摄像头拍摄用户的手势操作图像,所述处理器对所述手势操作图像进行处理,确定所述手势操作的坐标,与所述虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的控制指令并执行对应的操作。
其中,所述智能眼镜还包括摄像头、存储器和处理器,所述摄像头设置于所述壳体上,通过所述摄像头摄取用户手势动作,所述存储器内存储有多个用户手势动作模型以及所述多个用户手势动作模型所对应的控制指令,所述处理器与所述摄像头和所述存储器均电连接,所述处理器用于根据所述摄像头摄取的用户手势动作生成一手势动作模型,并与所述存储器内存储的多个用户手势动作模型进行比对,当与所述存储器内存储的多个用户手势动作模型中的其中一个一致时,触发所述手势动作模型所对应的控制指令。
其中,所述控制指令为对无人机的云台进行控制的云台控制指令,或对智能眼镜进行控制的眼镜控制指令,或对无人机进行控制的飞行控制指令。
其中,所述智能眼镜能够进一步与遥控器直接建立第二信道,以使所述智能眼镜通过所述第二信道直接从所述遥控器接收眼镜控制指令,并根据所述眼镜控制指令执行相应的操作。
其中,所述智能眼镜能够进一步与移动终端直接建立第三信道,所述智能眼镜进一步将从所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第三信道发送至所述移动终端进行显示。
其中,所述智能眼镜在从所述移动终端接收到所述第一飞行控制指令和/或云台控制指令后对自身与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。
其中,所述第二信道和所述第三信道为无线信道或有线信道。
其中,所述智能眼镜通过所述第一信道直接从所述无人机获取无人机的录像文件,并在所述智能眼镜上进行回放。
本发明实施例提供的无人机的控制***,其中智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立第一信道,以通过第一信道直接从无人机接收并显示第一视角图像数据,遥控器能够在无需智能眼镜进行中继的情况下与无人机直接建立第二信道,以通过第二信道直接向无人机发送第一飞行控制指令。通过这样的方式,由于遥控器和智能眼镜都是直接与无人机建立通信信道,从而不需要进行图传和操控信号的中转,避免图传和操控信号的延迟,提高对无人机控制的准确度,提高无人机飞行的安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的一种智能眼镜的结构示意图;
图2是本发明第二实施例提供的一种智能眼镜的结构示意图;
图3是本发明第一实施例提供的一种无人机的控制***的结构示意图;
图4是本发明第二实施例提供的一种无人机的控制***的结构示意图;
图5是本发明第三实施例提供的一种无人机的控制***的结构示意图;
图6是本发明实施例提供的一种无人机第一视角飞行的控制方法的流程图;
图7是本发明实施例提供的另一种无人机第一视角飞行的控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1和图2,图1和图2分别是本发明实施例提供的一种智能眼镜的结构示意图,如图所示,本实施例的智能眼镜包括壳体,壳体包括:
相对设置的第一侧面11和第二侧面12,以及与第一侧面和第二侧面均连接且彼此相对设置的第三侧面13和第四侧面14;
第一透镜组15和第二透镜组16,该第一透镜组15和第二透镜组16间隔设置于第一侧面11上;
第一显示屏17和第二显示屏18,分别设置于第三侧面13和第四侧面14上;
第一光学镜19和第二光学镜20,交叉设置于壳体内,其中第一光学镜19用于将第一显示屏17所输出的图像光线反射至第一透镜组15,第二光学镜20用于将第二显示屏18所输出的图像光线反射至第二透镜组16;
选择性遮光元件21,设置于第二侧面12上,其中选择性遮光元件21可以在遮光状态以及透光状态之间切换。本实施例中,所述第一光学镜19和第二光学镜20均为半反半透镜,当选择性遮光元件21处于透光状态时,第一光学镜19和第二光学镜20进一步将智能眼镜外部的现实场景的光线透射至第一透镜组15和第二透镜组16,以使得用户通过第一透镜组15和第二透镜组16同时观察到现实场景与虚拟场景。
其中,在一种具体的实现方式中,第一显示屏17和第二显示屏18可以为1920×1080或2560×1440分辨率,60Hz刷新率,分别放置在智能眼镜的两端(即智能眼镜壳体的第三侧面和第四侧面),与人眼的光轴方向平行。
在一种具体的实现方式中,第一透镜组15和第二透镜组16为凹透镜与凸透镜的组合,凹透镜的作用为限制视场,只允许一定范围内的光线通过透镜组,凸透镜的作用是进一步放大图像,提高沉浸感,与第一显示屏17和第二显示屏18呈一定角度设置,其中最优的设置方式为呈90°角放置。
在其中一种实现方式中,第一透镜组15和第二透镜组16的光轴方向彼此平行,其第一显示屏17和第二显示屏18的显示面与所述光轴方向平行。
在另一种实现方式中,第一透镜组15和第二透镜组16在第一侧面11上的位置可调,即可以在第一侧面11上进行相对移动。
其中,第一光学镜19和第二光学镜20为可将入射光部分反射部分投射的玻璃或有机玻璃镜片,比如透射率可选取为30%,反射率为70%,或者第一光学镜19和第二光学镜20均为透光玻璃,该两个透光玻璃上均镀有一层半反半透膜。第一光学镜19和第二光学镜20分别相对于第一透镜组15和第二透镜组16的光轴方向倾斜设置,而第一光学镜19和第二光学镜20分别相对于第一透镜组15和第二透镜组16的倾斜角度能够根据第一透镜组15和第二透镜组16在第一侧面11上的位置进行调整。其中,最优的一种设置方式为呈45°角放置。
可以理解的是,在其他实施例中,第一光学镜19和第二光学镜20也可以为反射镜,并不限于本实施方式。
其中,上述中的选择性遮光元件21的透光度可调。在其中一种实施方式中,选择性遮光元件21可以为液晶屏(LCD屏),LCD屏根据所施加的电压强度调整透光度。从而可以使得选择性遮光元件21工作为两种状态:一是透明状态,二是遮光状态,透明状态时,透光率要接近100%,遮光状态时,要求光线完全不能通过。
当选择性遮光元件21处于遮光状态时,此时智能眼镜外部的光线无法进入到智能眼镜中,进入透镜组的光线只有第一显示屏17和第二显示屏18经过第一光学镜19和第二光学镜20反射的光线,人眼的视觉体验是沉浸在虚拟的现实中。其中,选择性遮光元件21可以与第一显示屏17和第二显示屏18呈一定角度设置,一种最优的设置方式是将选择性遮光元件21与第一显示屏17和第二显示屏18呈90°角放置。
当选择性遮光元件21通过调节为透明时,此时眼镜外部的光线可以进入到眼镜中,透过第一光学镜19和第二光学镜20并与其反射的第一显示屏17和第二显示屏18叠加产生增强现实的效果。
外界景物与第一显示屏17和第二显示屏18的叠加效果由第一光学镜19和第二光学镜20的透光率,外界光线强度,第一显示屏17和第二显示屏18的亮度共同决定,第一显示屏17和第二显示屏18的亮度可由外部光线强度调节,来达到不同场景下稳定的叠加效果,另外,用户亦可手动调节第一显示屏17和第二显示屏18的亮度。
在其中一个实施例中,智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立第一信道,以使智能眼镜通过第一信道直接从无人机接收并显示第一视角图像数据,并在第一显示屏17和第二显示屏18上进行显示。
另外,智能眼镜还可以直接从无人机处获取无人机的飞行状态数据,第一显示屏17和第二显示屏18上可以进一步在第一视角图像数据的基础上叠加显示无人机的飞行状态数据,以使用户通过第一透镜组15和第二透镜组16可以同时看到无人机的飞行状态数据。其中,无人机的飞行状态数据可以但不限于是无人机所处位置,无人机方向,剩余电量,飞行轨迹,障碍信息,飞行高度以及飞行速度、无人机机头朝向以及无人机上的云台朝向、操作提示,第一视角影像等等。
在另一个实施例中,上述的虚拟场景为虚拟操作界面,请继续参阅图1和图2,本实施例的智能眼镜还包括摄像头22和用于对来自摄像头22的图像进行处理的处理器(图未示),其中,摄像头22设置于壳体上,通过摄像头22拍摄用户的手势操作图像,处理器设置于壳体内,用于对手势操作图像进行处理,确定手势操作的坐标,与虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的控制指令并执行对应的操作。
也就是说,通过第一显示屏17和第二显示屏18上显示操作界面,然后透过第一光学镜19和第二光学镜20反射而形成虚拟操作界面,摄像头22采集用户的手势操作图像,并经处理器23处理,确定手势操作的坐标,然后与虚拟操作界面的成像位置进行比对,从而识别出用户手势操作对应的控制指令并执行对应的操作。
当虚拟操作界面为眼镜菜单的虚拟操作界面,则这里的控制指令为智能眼镜的控制指令,当虚拟操作界面为无人机遥控器的虚拟操作界面时,这里的控制指令即为无人机控制指令,无人机控制指令包括云台控制指令和无人机飞行控制指令,分别用于控制无人机云台以及云台上的成像装置和无人机的飞行。
在另外一种实现方式中,智能眼镜也可以直接对用户手势动作进行识别以执行对应的操作。在这种实现方式中,请继续参阅图1和图2,智能眼镜包括摄像头22、存储器和处理器(图未示),摄像头22设置于壳体上,摄像头22用于摄取用户手势动作,存储器内存储有多个用户手势动作模型以及多个用户手势动作模型所对应的控制指令,存储器和处理器都设置于壳体内,处理器与摄像头22和存储器均电连接,处理器用于根据摄像头22摄取的用户手势动作生成一手势动作模型,并与存储器内存储的多个用户手势动作模型作比对,当与存储器内存储的多个用户手势动作模型中的其中一个一致时,触发手势动作模型所对应的控制指令。
其中,上述中存储器内存储的多个用户手势动作模型,是通过所述摄像头预先拍摄并对每个用户手势动作模型先定义来完成。也就是说,通过预先拍摄多个用户手势动作,对多个用户手势动作识别分别生成对应的用户手势动作模型,然后为每个用户手势动作模型定义唯一对应的一控制指令,并存储在存储器中。
其中,这里的控制指令可以是对无人机的云台进行控制的云台控制指令,或者是对智能眼镜进行控制的眼镜控制指令,或者是对无人机进行控制的飞行控制指令。当然,还可以是其他的控制指令,本发明不一一进行举例说明。
另外,基于智能眼镜上设置的摄像头22,第一显示屏17和第二显示屏18上显示的内容也可以基于具体的应用场景进行自定义。比如可以通过摄像头22采集人脸图像或者二维码图像等,在第一显示屏17和第二显示屏18上可以显示人脸或二维码等,通过处理器进行人脸识别或二维码识别,从而可以实现行人检测、人脸识别以及二维码识别等功能。当然,具体实现的功能并不以上述举例为限。
其中,本发明实施例中的智能眼镜能够进一步与遥控器直接建立第二信道,以使智能眼镜通过第二信道直接从遥控器接收眼镜控制指令,并根据眼镜控制指令执行相应的操作。
也就是说,可以通过遥控器的按键控制实现智能眼镜的菜单功能,比如通过智能眼镜菜单操作实现的显示屏背光亮度,相机设置,拍照,录像等都可由遥控器上的五维键完成。当通过遥控器实现智能眼镜的菜单功能时,遥控器通过第三信道发送禁用指令至智能眼镜,以对智能眼镜的菜单功能进行禁用,具体来说可以是对智能眼镜的与第一飞行控制指令和云台控制指令对应的控制功能进行禁用。即智能眼镜检测到有遥控器接入的情况下,其菜单功能失效,以遥控器的眼镜控制指令控制智能眼镜。
通过遥控器的按键直接控制智能眼镜实现智能眼镜的菜单功能,与通过眼镜上的按键控制菜单相比,用户操作比较方便,无需在遥控器按键操作和智能眼镜按键操作之间不停切换。
在另一种实现方案中,智能眼镜能够进一步与移动终端直接建立第三信道,智能眼镜进一步将从无人机接收的第一视角图像数据和/或飞行状态数据通过第三信道发送至移动终端进行显示。
更进一步地,移动终端进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第三信道发送至智能眼镜,再由智能眼镜通过第一信道发送至无人机。
另外,智能眼镜在从移动终端接收到第一飞行控制指令和/或云台控制指令后对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。也就是说,这种情况下,以来自移动终端的控制指令为主实现对应的控制功能。当然,在智能眼镜和移动终端都能实现对应的控制功能的情况下,如果只有来自两者之一的控制指令时,直接执行控制指令对应的操作,当同时有分别来自两者的控制指令时,可以根据预定规则进行优先级判断,执行优先级高的控制指令对应的操作。预定规则可以根据需要进行设定,比如设定来自智能眼镜指令优先,或来自移动终端的控制指令优先,本发明对此不作限定。
其中,在具体应用过程中,无人机可以通过无线信道与智能眼镜通信,进行图传和控制信号的收发。也可以是通过无线WIFI与移动终端通信,进行图传与控制信号的收发。
其中,上述的第二信道和第三信道为无线信道或有线信道。
其中,本发明的具体实现方案并不局限于以上所述,在其他的实现方案中,智能眼镜、遥控器、移动终端除可以无线连接外,也可以通过有线方式连接,比如可以通过usb方式连接。
另外,智能眼镜还可以通过所述第一信道直接从无人机获取无人机的录像文件,并在智能眼镜上进行回放。
请参阅图3,图3是本发明实施例提供的无人机的控制***的结构示意图,如图所示,本发明实施例提供的无人机的控制***包括遥控器11以及智能眼镜12,其中,智能眼镜12能够在无需遥控器11进行中继的情况下与无人机100直接建立第一信道,以使智能眼镜12通过第一信道直接从无人机接收并显示第一视角图像数据,遥控器11能够在无需智能眼镜12进行中继的情况下与无人机100直接建立第二信道,以使遥控器能够通过第二信道直接向无人机发送第一飞行控制指令。
其中,第一飞行控制指令是用于控制无人机飞行的控制指令,举例来说,第一飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。
其中,在具体实现时,智能眼镜12还可以进一步通过第一信道直接从无人机接收并显示飞行状态数据。飞行状态数据可以但不限于是无人机所处位置,无人机方向,剩余电量,飞行轨迹,障碍信息,飞行高度以及飞行速度、无人机机头朝向以及无人机上的云台朝向等等。
作为一种优选的实现方案,本发明实施例中的智能眼镜12是集虚拟现实和增强现实一体的智能眼镜。通过本发明的智能眼镜,将飞行状态数据以增强现实的方式与上述的第一视角图像数据叠加显示。也就是第一视角图像数据与飞行状态数据以画中画的方式进行显示。可以理解的是,所述智能眼镜12也可以是虚拟现实眼镜或增强现实眼镜,并不限于本实施方式。
作为一种优选的实现方案,本实施例的智能眼镜12能够通过内置的姿态感测器对智能眼镜12的姿态进行感测,并生成云台控制指令,智能眼镜12进一步通过第一信道直接向无人机发送云台控制指令。所述姿态感测器可以是惯性传感器(inertial measurementunit(IMU))等。
也就是说,可以通过智能眼镜12的姿态感测器感测智能眼镜12的姿态,然后转换成对应的云台控制指令以用于控制无人机上的云台以及设置于云台上的成像装置比如相机、摄像机望远镜、远程摄像机和测量仪等。具体可以通过云台控制指令来实现对所述成像装置的增稳、随意调节所述成像装置的姿态(例如:改变所述成像装置的倾角和拍摄方向),以实现高质量的拍摄和/或照相等。比如通过智能眼镜向下控制云台上的成像装置摄像头往下调整,智能眼镜向左转动控制云台上的成像装置摄像头往左调整等等,本发明实施例不一一进行举例说明。
在另一种实现方式中,本实施例的智能眼镜12能够对用户手势进行感测,并生成眼镜控制指令,智能眼镜12进一步根据眼镜控制指令执行相应的操作。这里的眼镜控制指令可以是用于对智能眼镜本身进行设置的指令,比如智能眼镜12的显示屏背光亮度调整、分辨率等等,也可以是用于控制无人机成像装置的控制指令,比如相机设置,拍照,录像等控制指令。
也就是说,可以通过智能眼镜感测用户手势来代替智能眼镜的菜单操作,通过手势操作来实现智能眼镜菜单功能。作为一种具体的实现方式,智能眼镜12包括前置摄像头,在增强现实模式下,用户通过手指点击到眼镜图标所处的位置来进行操作。比如在增强现实模式下,画面上显示智能眼镜12的操作菜单,用户通过点击对应的操作菜单,智能眼镜12的摄像头抓取用户点击操作的图像,识别出一定时间内用户手指位置稳定的坐标,通过与眼镜中真实的菜单相对位置做比对,从而识别出用户手势操作对应的眼镜控制指令执行对应的操作。
其中,在另一种实现方式中,智能眼镜12还能够对用户手势进行感测,并生成第二飞行控制指令,智能眼镜12进一步通过第一信道直接向无人机发送第二飞行控制指令。
其中,需要说明的是,这里的第二飞行控制指令与第一飞行控制指令相同,都是用于控制无人机飞行的控制指令。举例来说,第二飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。也就是说,可以通过智能眼镜感测用户手势操作来实现对无人机的飞行控制。当然,可以理解,在没有接收到遥控器11的第一飞行控制指令的情况下,无人机接收到来自智能眼镜12的第二飞行控制指令时,以第二控制指令控制无人机飞行。在没有接收到来自智能眼镜12的第二飞行控制指令的情况下,无人机接收到来自遥控器11的第一飞行控制指令时,以第一控制指令控制无人机飞行。当同时接收到来自智能眼镜12和遥控器11的飞行控制指令时,无人机可以基于预定规则进行优先级判断后以优先级高的控制指令控制无人机的飞行。以优先级高的控制指令操控无人机。预定规则可以根据需要进行预先设置,比如以智能眼镜的控制指令优先,或以遥控器的控制指令优先。
其中,在一种实现方式中,智能眼镜包括摄像头和处理器,摄像头摄取用户手势操作图像,处理器对手势操作图像进行处理,确定手势操作的坐标,与智能眼镜上显示的控制无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第二飞行控制指令并执行对应的操作。
也就是说,通过智能眼镜上显示屏显示虚拟操作界面,然后通过摄像头摄取用户的手势操作图像,并经处理器处理,确定手势操作的坐标,然后与虚拟操作界面的成像位置进行比对,从而识别出用户是哦苏操作对应的第二飞行控制指令并执行对应的控制操作。
在另一种实现方式中,智能眼镜包括摄像头、存储器和处理器,摄像头用于摄取用户手势动作,存储器内存储有多个用户手势动作模型以及多个用户手势动作模型所对应的第二飞行控制指令,处理器与摄像头和存储器均电连接,处理器用于根据摄像头摄取的用户手势动作生成一手势动作模型,并与存储器内存储的多个用户手势动作模型作比对,当与存储器内存储的多个用户手势动作中的其中一个一致时,触发手势动作模型所对应的第二飞行控制指令。
其中,存储器内存储的多个用户手势动作模型,是通过摄像头预先拍摄并对每个用户手势动作模型先定义来完成。也就是说,通过预先拍摄多个用户手势动作,对多个用户手势动作识别分别生成对应的用户手势动作模型,然后为每个用户手势动作模型定义唯一对应的一第二飞行控制指令,并存储在存储器中。
其中,在具体应用过程中,无人机可以通过无线信道与智能眼镜通信,进行图传和控制信号的收发。也可以是通过无线WIFI与移动终端通信,进行图传与控制信号的收发。
并且,基于本发明实施例以上公开的无人机控制***,可以在需要时接入多个智能眼镜配合工作。
另外,在一种可能的实现方式中,智能眼镜上不仅可以播放无人机拍摄的实时视频,还可以通过有线或无线信道从无人机获取无人机的录像文件,在智能眼镜上进行回放。
请继续参阅图3,在另一种具体实现方案中,智能眼镜12能够进一步与遥控器11直接建立第三信道,以使智能眼镜12通过第三信道直接从遥控器11接收眼镜控制指令,并根据眼镜控制指令执行相应的操作。也就是说,可以通过遥控器11的按键控制实现智能眼镜12的菜单功能,比如通过智能眼镜12菜单操作实现的显示屏背光亮度,相机设置,拍照,录像等都可由遥控器11上的五维键完成。当通过遥控器11实现智能眼镜12的菜单功能时,遥控器11通过第三信道发送禁用指令至智能眼镜12,以对智能眼镜12的菜单功能进行禁用,具体来说可以是对智能眼镜12的与第一飞行控制指令和云台控制指令对应的控制功能进行禁用。即智能眼镜12检测到有遥控器11接入的情况下,其菜单功能失效,以遥控器的眼镜控制指令控制智能眼镜12。
通过遥控器11的按键直接控制智能眼镜12实现智能眼镜的菜单功能,与通过眼镜上的按键控制菜单相比,用户操作比较方便,无需在遥控器11按键操作和智能眼镜12按键操作之间不停切换。
请继续参阅图3,本实施例的控制***还可以进一步包括移动终端13,移动终端13与遥控器11直接建立第四信道,遥控器11进一步将从无人机接收的第一视角图像数据和/或飞行状态数据通过第四信道发送至移动终端13进行显示。
更进一步地,移动终端可以根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第四信道发送至遥控器11,再由遥控器11通过第二信道发送至无人机,以实现在移动终端13上控制无人机的飞行以及无人机上搭载的成像装置。
当遥控器11从移动终端13接收到第一飞行控制指令和/或云台控制指令后,可以对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用,也就是说,这种情况下,以来自移动终端13的控制指令为主实现对应的控制功能。当然,在遥控器11和移动终端13都能够实现对应的控制功能的情况下,如果只有来自两者之一的控制指令,直接执行控制指令对应的操作,当同时有分别来自两者的控制指令时,可以根据预定规则进行优先级判断,执行优先等级高的控制指令对应的操作。预定规则可以根据需要进行设定,比如设定遥控器指令优先,或来自移动终端的控制指令优先,本发明对此不作限定。
当控制***包括移动终端13时,作为另一种实现方式,请参阅图4,图4是本发明实施例提供的另一种控制***的结构示意图,在本实施例中,移动终端13与智能眼镜12直接建立第四信道,智能眼镜12进一步将从无人机接收的第一视角图像数据和/或飞行状态数据通过第四信道发送至移动终端13进行显示。
更进一步地,移动终端13进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第四信道发送至智能眼镜12,再由智能眼镜12通过第一信道发送至无人机。
其中,当智能眼镜12从移动终端13接收到第一飞行控制指令和/或云台控制指令后,对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。也就是说,这种情况下,以来自移动终端的控制指令为主实现对应的控制功能。当然,在智能眼镜12和移动终端13都能实现对应的控制功能的情况下,如果只有来自两者之一的控制指令时,直接执行控制指令对应的操作,当同时有分别来自两者的控制指令时,可以根据预定规则进行优先级判断,执行优先级高的控制指令对应的操作。预定规则可以根据需要进行设定,比如设定来自智能眼镜指令优先,或来自移动终端的控制指令优先,本发明对此不作限定。
在本发明提供的上述控制***的基础上,可以实现通过遥控器11控制无人机的飞行,通过智能眼镜12体验身临其境的第一视角飞行,并通过移动终端实时观看回传的图像。在这种模式下,可以实现单人或多人操控无人机。比如单人操控时,用户通过遥控器11操控无人机的飞行,并通过智能眼镜12体验身临其境的第一视角飞行,用户对眼镜的菜单控制,如显示屏背光亮度,相机设置,拍照,录像可由遥控器上的五维键完成。或者是双人或多人操控时,第一用户通过遥控器11控制无人机的飞行,第二用户可以佩戴智能眼镜12随时加入或退出,相机设置,拍照,录像可以由第一用户或第二用户进行控制。或者是第一用户佩戴智能眼镜12并使用遥控器11操控无人机,第二用户通过移动终端APP观看图传,相机设置,拍照,录像可以由第二用户通过移动终端来进行控制。当然,以上只是具体举例,具体的控制实现可以根据需要进行适当调整。
以上本发明实施例提供的无人机的控制***中,其中的无人机、遥控器11以及智能眼镜12和移动终端13,可以通过私有无线通信协议实现彼此之间相互连接,从而实现不需要进行中继的情况下相互之间直接通信。
本发明的具体实现方案并不局限于以上所述,在其他的实现方案中,无人机的控制***中的智能眼镜12、遥控器11、移动终端13除可以无线连接外,也可以通过有线方式连接,比如可以通过usb方式连接。
以上本发明实施例所提供的无人机的控制***,其中智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立第一信道,以通过第一信道直接从无人机接收并显示第一视角图像数据,遥控器能够在无需智能眼镜进行中继的情况下与无人机直接建立第二信道,以通过第二信道直接向无人机发送第一飞行控制指令。通过这样的方式,由于遥控器和智能眼镜都是直接与无人机建立通信信道,从而不需要进行图传和操控信号的中转,避免图传和操控信号的延迟,提高对无人机控制的准确度,提高无人机飞行的安全性。
另外,可以通过遥控器的按键控制实现智能眼镜的菜单功能,从而不需要用户在遥控器按键与智能眼镜之间进行频繁切换,用户操作更加方便。
还有,可以进一步通过移动终端观看图传,并可以进一步通过移动终端进行无人机的操控,可以同时实现多人对无人机的操控和体验第一视角飞行体验。
请参阅图5,图5是本发明第三实施例提供的一种无人机的控制***的结构示意图,本实施例的无人机的控制***包括无人机100,智能眼镜110,智能眼镜110能够在无需中继的情况下与无人机100直接建立第一信道,以通过第一信道直接从无人机接收并显示第一视角图像数据,智能眼镜110进一步能够对用户手势进行感测,并生成第一飞行控制指令,并通过第一信道直接向无人机发送第一飞行控制指令。
其中,第一飞行控制指令是用于控制无人机飞行的控制指令,举例来说,第一飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。
在其中一种实现方案中,智能眼镜包括摄像头和处理器,摄像头用于摄取用户手势操作图像,处理器对手势操作图像进行处理,确定手势操作的坐标,与智能眼镜上显示的控制无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第一飞行控制指令,并执行对应的操作。
也就是说,通过识别手势操作图像确定手势操作的坐标,与无人机的虚拟操作界面的成像位置比对,确定手势操作对应于虚拟操作界面哪个操作键位置,从而直接执行对应的操作按键对应的飞行控制操作。
在另一种实现方案中,智能眼镜包括摄像头、存储器和处理器,摄像头用于摄取用户手势动作,存储器内存储有多个用户手势动作模型以及多个用户手势动作模型所对应的第一飞行控制指令,处理器与摄像头和存储器均电连接,处理器用于根据摄像头摄取的用户手势动作生成一手势哦那个在模型,并与存储器内存储的多个用户手势动作模型进行比对,当与存储器内存储的多个用户手势动作模型中的其中一个一致时,触发手势动作模型所对应的第一飞行控制指令。
其中,存储器内存储的多个用户手势动作模型,是通过摄像头预先拍摄并对每个用户手势动作模型先定义来完成。也就是说,通过预先拍摄多个用户手势动作,对多个用户手势动作识别分别生成对应的用户手势动作模型,然后为每个用户手势动作模型定义唯一对应的一第一飞行控制指令,并存储在存储器中。
其中,在具体实现时,智能眼镜110还可以进一步通过第一信道直接从无人机接收并显示飞行状态数据。飞行状态数据可以但不限于是无人机所处位置,无人机方向,剩余电量,飞行轨迹,障碍信息,飞行高度以及飞行速度,无人机的机头朝向,无人机上的云台朝向等等。
作为一种优选的实现方案,本发明实施例中的智能眼镜110是集虚拟现实和增强现实一体的智能眼镜。通过本发明的智能眼镜,将飞行状态数据以增强现实的方式与上述的第一视角图像数据叠加显示。也就是第一视角图像数据与飞行状态数据以画中画的方式进行显示。可以理解的是,所述智能眼镜110也可以是虚拟现实眼镜或增强现实眼镜,并不限于本实施方式。
作为一种优选的实现方案,本实施例的智能眼镜110能够通过设置于其内的姿态感测器对智能眼镜110的姿态进行感测,并生成云台控制指令,智能眼镜110进一步通过第一信道直接向无人机发送云台控制指令。
也就是说,可以通过智能眼镜110的姿态感测器感测智能眼镜110的姿态,然后转换成对应的云台控制指令以用于控制无人机上的云台以及设置于云台上的成像装置比如相机、摄像机望远镜、远程摄像机和测量仪等。具体可以通过云台控制指令来实现对所述成像装置的增稳、随意调节所述成像装置的姿态(例如:改变所述成像装置的倾角和拍摄方向),以实现高质量的拍摄和/或照相等。比如通过智能眼镜向下控制云台上的成像装置摄像头往下调整,智能眼镜向左转动控制云台上的成像装置摄像头往左调整等等,本发明实施例不一一进行举例说明。
在另一种实现方式中,本实施例的智能眼镜110能够对用户手势进行感测,并生成眼镜控制指令,智能眼镜110进一步根据眼镜控制指令执行相应的操作。这里的眼镜控制指令可以是用于对智能眼镜本身进行设置的指令,比如智能眼镜110的显示屏背光亮度调整、分辨率等等,也可以是用于控制无人机成像装置的控制指令,比如相机设置,拍照,录像等控制指令。
也就是说,可以通过智能眼镜感测用户手势来代替智能眼镜的菜单操作,通过手势操作来实现智能眼镜菜单功能。作为一种具体的实现方式,智能眼镜110包括前置摄像头,在增强现实模式下,用户通过手指点击到眼镜图标所处的位置来进行操作。比如在增强现实模式下,画面上显示智能眼镜110的操作菜单,用户通过点击对应的操作菜单,智能眼镜110的摄像头抓取用户点击操作的图像,识别出一定时间内用户手指位置稳定的坐标,通过与眼镜中真实的菜单相对位置做比对,从而识别出用户手势操作对应的眼镜控制指令执行对应的操作。
请继续参阅图5,本实施例中的控制***还可以进一步包括移动终端120,移动终端120与智能眼镜110直接建立第二信道,智能眼镜110进一步将从无人机100接收的第一视角图像数据和/或飞行状态数据通过第二信道发送至移动终端120进行显示。
更进一步地,移动终端120进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第二信道发送至智能眼镜110,再由智能眼镜110通过第一信道发送至无人机100。
其中,当智能眼镜110从移动终端120接收到第一飞行控制指令和/或云台控制指令后,对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。也就是说,这种情况下,以来自移动终端的控制指令为主实现对应的控制功能。
其中,在具体应用过程中,无人机100可以通过无线信道与智能眼镜110通信,进行图传和控制信号的收发。也可以是通过无线WIFI与移动终端120通信,进行图传与控制信号的收发。
并且,基于本发明实施例以上公开的无人机控制***,可以在需要时接入多个智能眼镜110配合工作。
另外,在一种可能的实现方式中,智能眼镜110上不仅可以播放无人机拍摄的实时视频,还可以通过有线或无线信道从无人机获取无人机的录像文件,在智能眼镜110上进行回放。
上述本发明实施例提供的无人机的控制***,通过智能眼镜直接与无人机进行通信,在无需任何中继的情况下,实现智能眼镜直接操控无人机。能够避免图传和操控信号的延迟,提高对无人机控制的准确度,提高无人机飞行的安全性。
并且可以进一步通过移动终端120的接入,更加方便用户查看图传,并可以进一步通过移动终端上的操作实现对无人机和智能眼镜的控制,方便用户操作。
以上本发明实施例提供的无人机的控制***中,其中的无人机100以及智能眼镜110和移动终端120,可以通过私有无线通信协议实现彼此之间相互连接,从而实现不需要进行中继的情况下相互之间直接通信。
本发明的具体实现方案并不局限于以上所述,在其他的实现方案中,无人机的控制***中的智能眼镜110、移动终端120除可以无线连接外,也可以通过有线方式连接,比如可以通过usb方式连接。
请参阅图6,图6是本发明实施例提供的一种无人机第一视觉飞行的控制方法的流程图,本实施例的无人机第一视角飞行的控制方法基于上述图1-2的智能眼镜以及图3、4的控制***来实现,如图所示,本实施例的无人机第一视觉飞行的控制方法包括以下步骤:
S101:控制智能眼镜与无人机直接建立第一信道,并控制智能眼镜通过第一信道直接从无人机接收并显示第一视觉图像数据。
控制智能眼镜与无人机通过无线私有通信协议建立连接,从而实现不需要遥控器进行中继的情况下,通过智能眼镜直接与无人机进行通信。
其中,在另一种实现方案中,无人机也可以通过无线WIFI与移动终端通信,进行图传与控制信号的收发。
其中,可以根据需要接入多个智能眼镜配合工作。
在具体实现时,控制方法还包括:控制智能眼镜进一步通过第一信道直接从无人机接收并显示飞行状态数据。飞行状态数据可以但不限于是无人机所处位置,无人机方向,剩余电量,飞行轨迹,障碍信息,飞行高度以及飞行速度、无人机机头朝向以及无人机上的云台朝向等等。
作为一种优选的实现方案,本实施例中的智能眼镜是集虚拟现实和增强现实一体的智能眼镜。通过本发明的智能眼镜,将飞行状态数据以增强现实的方式与上述的第一视角图像数据叠加显示。也就是第一视角图像数据与飞行状态数据以画中画的方式进行显示。可以理解的是,所述智能眼镜也可以是虚拟现实眼镜或增强现实眼镜,并不限于本实施方式。
另外,本实施例的控制方法还包括通过内置的姿态感测器控制智能眼镜对智能眼镜的姿态进行感测,并生成云台控制指令,并控制智能眼镜进一步通过第一信道直接向无人机发送云台控制指令。所述姿态感测器可以是惯性传感器(inertial measurement unit(IMU))等。
也就是说,可以通过智能眼镜的姿态感测器感测智能眼镜的姿态,然后转换成对应的云台控制指令以用于控制无人机上的云台以及设置于云台上的成像装置比如相机、摄像机望远镜、远程摄像机和测量仪等。具体可以通过云台控制指令来实现对所述成像装置的增稳、随意调节所述成像装置的姿态(例如:改变所述成像装置的倾角和拍摄方向),以实现高质量的拍摄和/或照相等。比如通过智能眼镜向下控制云台上的成像装置摄像头往下调整,智能眼镜向左转动控制云台上的成像装置摄像头往左调整等等,本发明实施例不一一进行举例说明。
在另一种实现方式中,本发明的控制方法还包括控制智能眼镜对用户手势进行感测,并生成眼镜控制指令,控制智能眼镜进一步根据眼镜控制指令执行相应的操作。这里的眼镜控制指令可以是用于对智能眼镜本身进行设置的指令,比如智能眼镜的显示屏背光亮度调整、分辨率等等,也可以是用于控制无人机成像装置的控制指令,比如相机设置,拍照,录像等控制指令。
也就是说,可以通过智能眼镜感测用户手势来代替智能眼镜的菜单操作,通过手势操作来实现智能眼镜菜单功能。作为一种具体的实现方式,智能眼镜包括前置摄像头,在增强现实模式下,用户通过手指点击到眼镜图标所处的位置来进行操作。比如在增强现实模式下,画面上显示智能眼镜的操作菜单,用户通过点击对应的操作菜单,智能眼镜的摄像头抓取用户点击操作的图像,识别出一定时间内用户手指位置稳定的坐标,通过与眼镜中真实的菜单相对位置做比对,从而识别出用户手势操作对应的眼镜控制指令执行对应的操作。
其中,具体实现过程中,智能眼镜上不仅可以播放无人机拍摄的实时视频,还可以通过有线或无线信道从无人机获取无人机的录像文件,在智能眼镜上进行回放。
S102:控制遥控器与无人机直接建立第二信道,并控制遥控器通过第二信道直接向无人机发送第一飞行控制指令。
其中,第一飞行控制指令是用于控制无人机飞行的控制指令,举例来说,第一飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。
其中,在另一种实现方式中,本实施例的方法还包括控制智能眼镜对用户手势进行感测,并生成第二飞行控制指令,并控制智能眼镜进一步通过第一信道直接向无人机发送第二飞行控制指令。
其中,需要说明的是,这里的第二飞行控制指令与第一飞行控制指令相同,都是用于控制无人机飞行的控制指令。举例来说,第一飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。也就是说,可以通过智能眼镜感测用户手势操作来实现对无人机的飞行控制。当然,可以理解,在没有接收到遥控器的第一飞行控制指令的情况下,无人机接收到来自智能眼镜的第二飞行控制指令时,以第二控制指令控制无人机飞行。在没有接收到来自智能眼镜的第二飞行控制指令的情况下,无人机接收到来自遥控器的第一飞行控制指令时,以第一控制指令控制无人机飞行。当同时接收到来自智能眼镜和遥控器的飞行控制指令时,无人机可以基于预定规则进行优先级判断后以优先级高的控制指令控制无人机的飞行。预定规则可以根据需要进行预先设置,比如以智能眼镜的控制指令优先,或以遥控器的控制指令优先。
在另一种具体实现方案中,本实施例的方法还包括控制智能眼镜与遥控器直接建立第三信道,以使智能眼镜通过第三信道直接从遥控器接收眼镜控制指令,并根据眼镜控制指令执行相应的操作。也就是说,可以通过遥控器的按键控制实现智能眼镜的菜单功能,比如通过智能眼镜菜单操作实现的显示屏背光亮度,相机设置,拍照,录像等都可由遥控器上的五维键完成。当通过遥控器实现智能眼镜的菜单功能时,遥控器通过第三信道发送禁用指令至智能眼镜,以对智能眼镜的菜单功能进行禁用,具体来说可以是对智能眼镜的与第一飞行控制指令和云台控制指令对应的控制功能进行禁用。即智能眼镜检测到有遥控器接入的情况下,其菜单功能失效,以遥控器的眼镜控制指令控制智能眼镜。
通过遥控器的按键直接控制智能眼镜实现智能眼镜的菜单功能,与通过智能眼镜上的按键控制菜单相比,用户操作比较方便,无需在遥控器按键操作和智能眼镜按键操作之间不停切换。
其中,本实施例中上述S101以及S102步骤只是为了区分不同步骤而进行的编号,并不用以限定具体步骤实现的先后顺序。事实上,本发明实施例中的上述步骤S101以及S102,并不严格区分先后顺序,甚至在一种可能的实现方式中,两个步骤可以是同步执行的。
在另一种实现方式中,本实施例的控制方法还进一步包括控制移动终端与遥控器直接建立第四信道,并控制遥控器通过第二信道从无人机接收第一视角图像数据和/或飞行状态数据,并通过第四信道发送至移动终端进行显示。
当移动终端与遥控器直接建立第四信道时,可以控制移动终端进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并根据第四信道发送至遥控器,再由遥控器通过第二信道发送至无人机。
当遥控器从移动终端接收到第一飞行控制指令和/或云台控制指令后,可以对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用,也就是说,这种情况下,以来自移动终端的控制指令为主实现对应的控制功能。当然,在遥控器和移动终端都能够实现对应的控制功能的情况下,如果只有来自两者之一的控制指令,直接执行控制指令对应的操作,当同时有分别来自两者的控制指令时,可以根据预定规则进行优先级判断,执行优先级高的控制指令对应的操作。预定规则可以根据需要进行设定,比如设定遥控器指令优先,或来自移动终端的控制指令优先,本发明对此不作限定。
在另一种实现方式中,控制移动终端与智能眼镜直接建立第四信道,并控制智能眼镜进一步将从无人机接收的第一视角图像数据和/或飞行状态数据通过第四信道发送至移动终端进行显示。
当移动终端与智能眼镜直接建立第四信道时,控制移动终端进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第四信道发送至智能眼镜,再由智能眼镜通过第一信道发送至无人机。
其中,上述的第三信道和第四信道可以是无线信道,也可以是有线信道。
其中,当智能眼镜从移动终端接收到第一飞行控制指令和/或云台控制指令后,对自身与第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。也就是说,这种情况下,以来自移动终端的控制指令为主实现对应的控制功能。当然,在智能眼镜和移动终端都能实现对应的控制功能的情况下,如果只有来自两者之一的控制指令时,直接执行控制指令对应的操作,当同时有分别来自两者的控制指令时,可以根据预先规则进行优先级判断,执行优先级高的控制指令对应的操作。预定规则可以根据需要进行设定,比如设定来自智能眼镜指令优先,或来自移动终端的控制指令优先,本发明对此不作限定。
其中,上述实施例中,无人机、遥控器以及智能眼镜和移动终端,可以通过私有无线通信协议实现彼此之间相互连接,从而不需要进行中继的情况下相互之间直接通信。
在另一种实现方案中,还可以控制移动终端与无人机直接建立无线信道,移动终端通过无线信道从无人机接收并显示第一视角图像,无人机通过无线信道从移动终端接收第一飞行控制指令。
当然,本发明的具体实现方案并不局限于此,在其他的实现方案中,智能眼镜、遥控器以及移动终端除可以无线连接外,也可以通过有线方式连接,比如可以是通过usb方式连接。
另外,在另一种实现方案中,控制方法还包括控制智能眼镜通过第一信道直接从无人机获取无人机的录像文件,并在智能眼镜上进行回放。
其中,在具体实现过程中,可以根据需要控制接入多个智能眼镜配合工作。
以上本发明实施例提供的无人机第一视角飞行的控制方法及***,其中智能眼镜能够在无需遥控器进行中继的情况下与无人机直接建立第一信道,以通过第一信道直接从无人机接收并显示第一视角图像数据,遥控器能够在无需智能眼镜进行中继的情况下与无人机直接建立第二信道,以通过第二信道直接向无人机发送第一飞行控制指令。通过这样的方式,由于遥控器和智能眼镜都是直接与无人机建立通信信道,从而不需要进行图传和操控信号的中转,避免图传和操控信号的延迟,提高对无人机控制的准确度,提高无人机飞行的安全性。
另外,可以通过遥控器的按键控制实现智能眼镜的菜单功能,从而不需要用户在遥控器按键与智能眼镜之间进行频繁切换,用户操作更加方便。
还有,可以进一步通过移动终端观看图传,并可以进一步通过移动终端进行无人机的操控,可以同时实现多人对无人机的操控和体验第一视角飞行体验。
请参阅图7,图7是本发明实施例提供的另一种无人机第一视觉飞行的控制方法的流程图,本实施例的无人机第一视角飞行的控制方法基于上述图1-2的智能眼镜以及图5所示的控制***来实现,如图所示,本实施例的无人机第一视觉飞行的控制方法包括以下步骤:
S201:控制智能眼镜在无需中继的情况下与无人机直接建立第一信道,以通过第一信道直接从无人机接收并显示第一视角图像数据。
其中,在具体实现过程中,本实施例的控制方法还可以包括:控制智能眼镜进一步通过第一信道直接从无人机接收并显示飞行状态数据。飞行状态数据可以但不限于是无人机所处位置,无人机方向,剩余电量,飞行轨迹,障碍信息,飞行高度以及飞行速度,无人机的机头朝向,无人机上的云台朝向等等。
其中,智能眼镜可以是集虚拟现实和增强现实于一体的智能眼镜,可以将飞行状态数据以增强现实的方式与第一视角图像数据叠加显示。也就是第一视角图像数据与飞行状态数据以画中画的方式进行显示。可以理解的是,所述智能眼镜也可以是虚拟现实眼镜或增强现实眼镜,并不限于本实施方式。
S202:控制智能眼镜进一步对用户手势进行感测,并生成第一飞行控制指令,并通过第一信道直接向无人机发送第一飞行控制指令。
其中,第一飞行控制指令是用于控制无人机飞行的控制指令,举例来说,第一飞行控制指令可以是控制无人机起飞,返航,前后左右飞行,油门,左转,右转等飞行状态的控制指令。
其中,本发明实施例提供对用户手势进行感测,并生成第一飞行控制指令的两种可能的实现方式,具体如下:
第一种可能的实现方式:控制智能眼镜的摄像头摄取用户手势操作图像,对手势操作图像进行处理,确定手势操作的坐标,与智能眼镜上显示的控制所述无人机的虚拟操作界面的成像位置进行比对,以识别用户手势操作对应的第一飞行控制指令并执行对应的操作。
也就是说,通过识别手势操作图像确定手势操作的坐标,与无人机的虚拟操作界面的成像位置比对,确定手势操作对应于虚拟操作界面哪个操作键位置,从而直接执行对应的操作按键对应的飞行控制操作。
第二种可能的实现方式:控制智能眼镜的摄像头摄取用户手势动作,根据用户手势动作生成一手势动作模型,与智能眼镜中预存的多个用户手势动作模型作比对,当与预存的多个用户手势动作模型中的其中一个一致时,触发与手势动作模型所对应的第一飞行控制指令。
其中,所述预存的多个用户手势动作模型,是通过智能眼镜的摄像头预先拍摄并对每个用户手势动作模型先定义来完成。也就是说,通过预先拍摄多个用户手势动作,对多个用户手势动作识别分别生成对应的用户手势动作模型,然后为每个用户手势动作模型定义唯一对应的一第一飞行控制指令,并存储在存储器中。
其中,在一种实现方式中,可以通过智能眼镜通过设置于其内的姿态感测去对智能眼镜的姿态进行感测,并生成云台控制指令,控制智能眼镜进一步通过第一信道直接向无人机发送云台控制指令。
也就是说,可以通过智能眼镜的姿态感测器感测智能眼镜的姿态,然后转换成对应的云台控制指令以用于控制无人机上的云台以及设置于云台上的成像装置比如相机、摄像机望远镜、远程摄像机和测量仪等。具体可以通过云台控制指令来实现对所述成像装置的增稳、随意调节所述成像装置的姿态(例如:改变所述成像装置的倾角和拍摄方向),以实现高质量的拍摄和/或照相等。比如通过智能眼镜向下控制云台上的成像装置摄像头往下调整,智能眼镜向左转动控制云台上的成像装置摄像头往左调整等等,本发明实施例不一一进行举例说明。
在另一种实现方式中,还可以控制智能眼镜对用户手势进行感测,并生成眼镜控制指令,根据眼镜控制指令执行相应的操作。这里的眼镜控制指令可以是用于对智能眼镜本身进行设置的指令,比如智能眼镜的显示屏背光亮度调整、分辨率等等,也可以是用于控制无人机成像装置的控制指令,比如相机设置,拍照,录像等控制指令。
也就是说,可以通过智能眼镜感测用户手势来代替智能眼镜的菜单操作,通过手势操作来实现智能眼镜菜单功能。作为一种具体的实现方式,智能眼镜包括前置摄像头,在增强现实模式下,用户通过手指点击到眼镜图标所处的位置来进行操作。比如在增强现实模式下,画面上显示智能眼镜的操作菜单,用户通过点击对应的操作菜单,智能眼镜的摄像头抓取用户点击操作的图像,识别出一定时间内用户手指位置稳定的坐标,通过与眼镜中真实的菜单相对位置做比对,从而识别出用户手势操作对应的眼镜控制指令执行对应的操作。
其中,本实施例的控制方法还可以进一步包括:控制移动终端与智能眼镜直接建立第二信道,并控制智能眼镜进一步将从无人机接收的第一视角图像数据和/或飞行状态数据通过第二信道发送至移动终端进行显示。
更进一步地,控制移动终端进一步根据用户输入生成第一飞行控制指令和/或云台控制指令,并通过第二信道发送至智能眼镜,再由智能眼镜通过第一信道发送至无人机。
在另一种实现方案中,控制方法还可以包括:控制移动终端与无人机直接建立无线信道,并控制移动终端通过无线信道从无人机接收并显示第一视角图像,以及控制无人机通过无线信道从移动终端接收第一飞行控制指令。
也就是说,无人机可以通过无线信道与智能眼镜通信,进行图传和控制信号的收发。也可以是通过无线WIFI与移动终端通信,进行图传与控制信号的收发。
并且,上述无人机第一视角飞行的控制方法中,可以在需要时接入多个智能眼镜配合工作。
另外,还可以控制智能眼镜通过有线或无线信道从无人机获取无人机的录像文件,并在智能眼镜上进行回放。
其中,上述控制方法中,智能眼镜、移动终端除可以无线连接外,也可以通过有线方式连接,比如可以通过usb方式连接。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种无人机的控制***,其特征在于,所述控制***包括遥控器以及智能眼镜,其中所述智能眼镜能够在无需所述遥控器进行中继的情况下与所述无人机直接建立的第一信道,以使所述智能眼镜通过所述第一信道直接从所述无人机接收并显示第一视角图像数据,所述遥控器能够在无需所述智能眼镜进行中继的情况下与所述无人机直接建立第二信道,以使所述遥控器能够通过所述第二信道直接向所述无人机发送第一飞行控制指令;
所述智能眼镜能够进一步与所述遥控器直接建立第三信道,以使所述智能眼镜通过所述第三信道直接从所述遥控器接收眼镜控制指令,并根据所述眼镜控制指令执行相应的操作。
2.根据权利要求1所述的控制***,其特征在于,所述智能眼镜能够对所述智能眼镜的姿态进行感测,并生成云台控制指令,所述智能眼镜进一步通过所述第一信道直接向所述无人机发送所述云台控制指令。
3.根据权利要求1所述的控制***,其特征在于,所述智能眼镜能够对用户手势进行感测,并生成眼镜控制指令,所述智能眼镜进一步根据所述眼镜控制指令执行相应的操作。
4.根据权利要求1所述的控制***,其特征在于,所述智能眼镜能够对用户手势进行感测,并生成第二飞行控制指令,所述智能眼镜进一步通过所述第一信道直接向所述无人机发送所述第二飞行控制指令。
5.根据权利要求1所述的控制***,其特征在于,所述控制***进一步包括移动终端,所述移动终端与所述遥控器直接建立第四信道,所述遥控器进一步通过所述第二信道从所述无人机接收所述第一视角图像数据和/或飞行状态数据,并通过所述第四信道发送至所述移动终端进行显示。
6.根据权利要求5所述的控制***,其特征在于,所述移动终端进一步根据用户输入生成所述第一飞行控制指令和/或云台控制指令,并通过所述第四信道发送至所述遥控器,再由所述遥控器通过所述第二信道发送至所述无人机。
7.根据权利要求1所述的控制***,其特征在于,所述遥控器进一步通过所述第三信道发送禁用指令至所述智能眼镜,以对所述智能眼镜的与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。
8.根据权利要求1所述的控制***,其特征在于,所述控制***进一步包括移动终端,所述移动终端与所述智能眼镜直接建立第四信道,所述智能眼镜进一步将从所述无人机接收的所述第一视角图像数据和/或飞行状态数据通过所述第四信道发送至所述移动终端进行显示。
9.根据权利要求8所述的控制***,其特征在于,所述移动终端进一步根据用户输入生成所述第一飞行控制指令和/或云台控制指令,并通过所述第四信道发送至所述智能眼镜,再由所述智能眼镜通过所述第一信道发送至所述无人机。
10.根据权利要求8所述的控制***,其特征在于,所述智能眼镜在从所述移动终端接收到所述第一飞行控制指令和/或云台控制指令后对自身与所述第一飞行控制指令和/或云台控制指令对应的控制功能进行禁用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110800387.9A CN113359807A (zh) | 2016-04-29 | 2016-04-29 | 一种无人机第一视角飞行的控制方法及***、智能眼镜 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201680004387.5A CN107223223B (zh) | 2016-04-29 | 2016-04-29 | 一种无人机第一视角飞行的控制方法及***、智能眼镜 |
PCT/CN2016/080605 WO2017185316A1 (zh) | 2016-04-29 | 2016-04-29 | 一种无人机第一视角飞行的控制方法及***、智能眼镜 |
CN202110800387.9A CN113359807A (zh) | 2016-04-29 | 2016-04-29 | 一种无人机第一视角飞行的控制方法及***、智能眼镜 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680004387.5A Division CN107223223B (zh) | 2016-04-29 | 2016-04-29 | 一种无人机第一视角飞行的控制方法及***、智能眼镜 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113359807A true CN113359807A (zh) | 2021-09-07 |
Family
ID=59927624
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110800387.9A Pending CN113359807A (zh) | 2016-04-29 | 2016-04-29 | 一种无人机第一视角飞行的控制方法及***、智能眼镜 |
CN201680004387.5A Expired - Fee Related CN107223223B (zh) | 2016-04-29 | 2016-04-29 | 一种无人机第一视角飞行的控制方法及***、智能眼镜 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680004387.5A Expired - Fee Related CN107223223B (zh) | 2016-04-29 | 2016-04-29 | 一种无人机第一视角飞行的控制方法及***、智能眼镜 |
Country Status (3)
Country | Link |
---|---|
US (2) | US11235871B2 (zh) |
CN (2) | CN113359807A (zh) |
WO (1) | WO2017185316A1 (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205327A (zh) * | 2016-12-20 | 2018-06-26 | 昊翔电能运动科技(昆山)有限公司 | 用于无人机的辅助操控方法和*** |
CN113759948A (zh) * | 2017-11-16 | 2021-12-07 | 深圳市大疆创新科技有限公司 | 智能眼镜及其控制云台的方法、云台、控制方法和无人机 |
CN107831791B (zh) * | 2017-11-17 | 2020-12-15 | 深圳意动航空科技有限公司 | 一种无人机的操控方法、装置、操控设备及存储介质 |
CN109155666A (zh) * | 2017-11-22 | 2019-01-04 | 深圳市大疆创新科技有限公司 | 无人机的通信***、设备、方法以及计算装置 |
CN108170153A (zh) * | 2017-12-19 | 2018-06-15 | 广州亿航智能技术有限公司 | 无人机飞行控制***及其方法 |
WO2019119340A1 (zh) * | 2017-12-21 | 2019-06-27 | 深圳市大疆创新科技有限公司 | 云台控制方法和设备、云台以及无人机 |
WO2019134124A1 (zh) * | 2018-01-05 | 2019-07-11 | 深圳市大疆创新科技有限公司 | 控制方法、无人机、遥控设备以及非易失性存储介质 |
US11048277B1 (en) | 2018-01-24 | 2021-06-29 | Skydio, Inc. | Objective-based control of an autonomous unmanned aerial vehicle |
US20190250601A1 (en) * | 2018-02-13 | 2019-08-15 | Skydio, Inc. | Aircraft flight user interface |
WO2019161531A1 (en) * | 2018-02-22 | 2019-08-29 | SZ DJI Technology Co., Ltd. | Monitoring method and device |
CN110622074A (zh) * | 2018-02-27 | 2019-12-27 | 深圳市大疆创新科技有限公司 | 移动设备控制方法以及控制终端 |
US11010975B1 (en) | 2018-03-06 | 2021-05-18 | Velan Studios, Inc. | Remote camera augmented reality system |
CN108646770A (zh) * | 2018-03-28 | 2018-10-12 | 深圳臻迪信息技术有限公司 | 一种无人机飞行控制方法、装置及*** |
EP3591337B1 (en) * | 2018-07-03 | 2024-05-15 | Autel Robotics Europe GmbH | Coordinate system transformation method and apparatus, heading control method for aerial vehicle, and aerial vehicle |
US11307584B2 (en) | 2018-09-04 | 2022-04-19 | Skydio, Inc. | Applications and skills for an autonomous unmanned aerial vehicle |
CN111356112A (zh) * | 2018-12-21 | 2020-06-30 | 深圳市中兴微电子技术有限公司 | 一种无人机的通信方法及无人机 |
CN111610797A (zh) * | 2019-02-25 | 2020-09-01 | 广州极飞科技有限公司 | 无人机的控制方法、***及装置 |
CN109933095B (zh) * | 2019-03-01 | 2022-08-05 | 西安蜂语信息科技有限公司 | 望远镜的控制方法及装置 |
CN110097796A (zh) * | 2019-04-29 | 2019-08-06 | 武汉鹿行科技有限公司 | 一种基于vr眼镜的航摄可视仿真方法、设备、终端和*** |
CN110262541B (zh) * | 2019-05-16 | 2022-02-11 | 沈阳无距科技有限公司 | 无人机控制方法、装置、无人机、遥控器及存储介质 |
CN110187700B (zh) * | 2019-06-10 | 2021-01-08 | 北京科技大学 | 基于虚拟现实的仿生扑翼飞行机器人远程控制***和方法 |
WO2020248285A1 (zh) * | 2019-06-14 | 2020-12-17 | 深圳市大疆创新科技有限公司 | 移动平台控制***、方法、终端设备及遥控设备 |
CN111684813A (zh) * | 2019-06-14 | 2020-09-18 | 深圳市大疆创新科技有限公司 | 数据处理方法、***、移动平台、终端及存储介质 |
WO2021012181A1 (zh) * | 2019-07-23 | 2021-01-28 | 深圳市大疆创新科技有限公司 | 遥控可移动平台控制方法、设备及计算机可读存储介质 |
CN111176330A (zh) * | 2020-02-17 | 2020-05-19 | 深圳市荣盛智能装备有限公司 | 一种无人机的双操控方法 |
CN112995890A (zh) * | 2021-02-06 | 2021-06-18 | 广东特视能智能科技有限公司 | 无人机定位方法、装置、存储介质及无人机机巢 |
PL4047434T3 (pl) * | 2021-02-19 | 2024-04-15 | Anarky Labs Oy | Urządzenie, sposób i oprogramowanie do wspomagania operatora w pilotowaniu drona z użyciem pilota zdalnego sterowania i okularów rozszerzonej rzeczywistości ar |
USD991255S1 (en) | 2021-05-17 | 2023-07-04 | Uavpatent Corp. | Headset |
US20230012962A1 (en) * | 2021-07-13 | 2023-01-19 | Beta Air, Llc | Methods and systems for a fly by view in an electric aircraft |
US11669087B2 (en) * | 2021-07-15 | 2023-06-06 | Howe & Howe Inc. | Controlling and monitoring remote robotic vehicles |
CN113784046A (zh) * | 2021-08-31 | 2021-12-10 | 北京安博盛赢教育科技有限责任公司 | 一种随动拍摄方法、装置、介质和电子设备 |
CN114089784B (zh) * | 2021-11-23 | 2023-03-24 | 广东工业大学 | 一种基于mr眼镜的无人机控制方法及*** |
CN117651926A (zh) * | 2022-01-28 | 2024-03-05 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、无人机、控制装置、***及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130038692A1 (en) * | 2011-08-09 | 2013-02-14 | Kabushiki Kaisha Topcon | Remote Control System |
CN203193785U (zh) * | 2012-12-14 | 2013-09-11 | 国家电网公司 | 一种眼镜 |
CN103543752A (zh) * | 2013-10-09 | 2014-01-29 | 深圳市大疆创新科技有限公司 | 一种遥控方法和遥控*** |
CN104111658A (zh) * | 2014-07-17 | 2014-10-22 | 金陵科技学院 | 一种可通过智能眼镜进行监控拍摄及控制的无人机 |
CN104781873A (zh) * | 2012-11-13 | 2015-07-15 | 索尼公司 | 图像显示装置、图像显示方法、移动装置、图像显示***、以及计算机程序 |
CN104820497A (zh) * | 2015-05-08 | 2015-08-05 | 东华大学 | 一种基于增强现实的3d交互显示*** |
CN204925512U (zh) * | 2015-09-17 | 2015-12-30 | 上海塔普仪器制造有限公司 | 适用于无人机控制及成像的智能眼镜 |
CN105334864A (zh) * | 2015-11-24 | 2016-02-17 | 杨珊珊 | 一种用于控制无人机的智能眼镜及控制方法 |
CN106796761A (zh) * | 2014-09-30 | 2017-05-31 | 深圳市大疆创新科技有限公司 | 用于支持模拟移动的***和方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8712426B2 (en) * | 2006-11-20 | 2014-04-29 | The Mitre Corporation | Location-based method to specify ratio frequency spectrum rights |
CN100495275C (zh) * | 2006-11-24 | 2009-06-03 | 中国科学院沈阳自动化研究所 | 小型无人直升机自主飞行控制*** |
EP2539759A1 (en) * | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
FR2957266B1 (fr) * | 2010-03-11 | 2012-04-20 | Parrot | Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante. |
US8903568B1 (en) * | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
CN103558691A (zh) * | 2013-11-01 | 2014-02-05 | 王洪亮 | 3d智能设备及其3d图像显示方法 |
CN104811615A (zh) * | 2015-04-17 | 2015-07-29 | 刘耀 | 一种体感控制摄像***及方法 |
FR3035523B1 (fr) * | 2015-04-23 | 2017-04-21 | Parrot | Systeme de pilotage de drone en immersion |
CN205121341U (zh) * | 2015-10-27 | 2016-03-30 | 四川豪斯特电子技术有限责任公司 | 一种无人机地面指挥*** |
CN105222761A (zh) * | 2015-10-29 | 2016-01-06 | 哈尔滨工业大学 | 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶***及驾驶方法 |
CN105334863B (zh) * | 2015-11-23 | 2019-04-26 | 杨珊珊 | 一种多控制端的无人机及其控制台和控制切换方法 |
-
2016
- 2016-04-29 WO PCT/CN2016/080605 patent/WO2017185316A1/zh active Application Filing
- 2016-04-29 CN CN202110800387.9A patent/CN113359807A/zh active Pending
- 2016-04-29 CN CN201680004387.5A patent/CN107223223B/zh not_active Expired - Fee Related
-
2018
- 2018-09-17 US US16/133,316 patent/US11235871B2/en active Active
-
2022
- 2022-01-31 US US17/589,434 patent/US20220153412A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130038692A1 (en) * | 2011-08-09 | 2013-02-14 | Kabushiki Kaisha Topcon | Remote Control System |
CN104781873A (zh) * | 2012-11-13 | 2015-07-15 | 索尼公司 | 图像显示装置、图像显示方法、移动装置、图像显示***、以及计算机程序 |
CN203193785U (zh) * | 2012-12-14 | 2013-09-11 | 国家电网公司 | 一种眼镜 |
CN103543752A (zh) * | 2013-10-09 | 2014-01-29 | 深圳市大疆创新科技有限公司 | 一种遥控方法和遥控*** |
CN104111658A (zh) * | 2014-07-17 | 2014-10-22 | 金陵科技学院 | 一种可通过智能眼镜进行监控拍摄及控制的无人机 |
CN106796761A (zh) * | 2014-09-30 | 2017-05-31 | 深圳市大疆创新科技有限公司 | 用于支持模拟移动的***和方法 |
CN104820497A (zh) * | 2015-05-08 | 2015-08-05 | 东华大学 | 一种基于增强现实的3d交互显示*** |
CN204925512U (zh) * | 2015-09-17 | 2015-12-30 | 上海塔普仪器制造有限公司 | 适用于无人机控制及成像的智能眼镜 |
CN105334864A (zh) * | 2015-11-24 | 2016-02-17 | 杨珊珊 | 一种用于控制无人机的智能眼镜及控制方法 |
Also Published As
Publication number | Publication date |
---|---|
US11235871B2 (en) | 2022-02-01 |
CN107223223A (zh) | 2017-09-29 |
US20190011908A1 (en) | 2019-01-10 |
CN107223223B (zh) | 2021-08-13 |
WO2017185316A1 (zh) | 2017-11-02 |
US20220153412A1 (en) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107223223B (zh) | 一种无人机第一视角飞行的控制方法及***、智能眼镜 | |
KR102316327B1 (ko) | 가상 공간의 캡쳐 방법 및 그 전자장치 | |
JP6919222B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
US20180068489A1 (en) | Server, user terminal device, and control method therefor | |
US10620779B2 (en) | Navigating a holographic image | |
KR20180096434A (ko) | 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치 | |
US11869156B2 (en) | Augmented reality eyewear with speech bubbles and translation | |
KR20220070292A (ko) | 자동화된 안경류 디바이스 공유 시스템 | |
US11573632B2 (en) | Eyewear including shared object manipulation AR experiences | |
WO2017022291A1 (ja) | 情報処理装置 | |
KR20220024906A (ko) | 연속 카메라 캡처를 위한 듀얼 카메라들의 활용 | |
US11195341B1 (en) | Augmented reality eyewear with 3D costumes | |
JP2019164420A (ja) | 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム | |
JP2018142764A (ja) | 表示システム、表示装置、及び、表示装置の制御方法 | |
US20210406542A1 (en) | Augmented reality eyewear with mood sharing | |
US20230007227A1 (en) | Augmented reality eyewear with x-ray effect | |
KR20240009984A (ko) | 전자 안경류 디바이스로부터 맥락에 맞는 시각 및 음성 검색 | |
KR20190061825A (ko) | Hmd 및 그 hmd의 제어 방법 | |
WO2021134575A1 (zh) | 显示控制方法和设备 | |
CN206906983U (zh) | 增强现实设备 | |
KR101973174B1 (ko) | 제스처 인식 기반 무인기 제어 장치 및 방법 | |
US20230062433A1 (en) | Eyewear controlling an uav | |
US20230063386A1 (en) | Eyewear synchronized with uav image capturing system | |
TR201706086A2 (tr) | Sanal Gerçeklik (VR) Etkileşimi İçin Gelişmiş Yöntem Ve Sistem | |
WO2024057783A1 (ja) | 360度画像視点位置同定部を備える情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |