CN109462824A - 广播通信网络标识符的方法、连接至通信网络的方法、计算机程序、宿留介质和移动终端 - Google Patents

广播通信网络标识符的方法、连接至通信网络的方法、计算机程序、宿留介质和移动终端 Download PDF

Info

Publication number
CN109462824A
CN109462824A CN201811033816.9A CN201811033816A CN109462824A CN 109462824 A CN109462824 A CN 109462824A CN 201811033816 A CN201811033816 A CN 201811033816A CN 109462824 A CN109462824 A CN 109462824A
Authority
CN
China
Prior art keywords
host medium
communication protocol
mobile terminal
attachment
transceiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811033816.9A
Other languages
English (en)
Inventor
塞巴斯蒂安·加热尔
雨果·格罗塔布西亚
克莱芒·拉西尔
托马斯·巴斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot Unmanned Aerial Vehicle Co Ltd
Parrot Drones SAS
Original Assignee
Parrot Unmanned Aerial Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot Unmanned Aerial Vehicle Co Ltd filed Critical Parrot Unmanned Aerial Vehicle Co Ltd
Publication of CN109462824A publication Critical patent/CN109462824A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W48/00Access restriction; Network selection; Access point selection
    • H04W48/08Access restriction or access information delivery, e.g. discovery data delivery
    • H04W48/10Access restriction or access information delivery, e.g. discovery data delivery using broadcasted information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/11Allocation or use of connection identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/15Setup of multiple wireless link connections
    • H04W76/16Involving different core network technologies, e.g. a packet-switched [PS] bearer in combination with a circuit-switched [CS] bearer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/26Network addressing or numbering for mobility support
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • H04W88/04Terminal devices adapted for relaying to or from another terminal or user
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W48/00Access restriction; Network selection; Access point selection
    • H04W48/08Access restriction or access information delivery, e.g. discovery data delivery
    • H04W48/12Access restriction or access information delivery, e.g. discovery data delivery using downlink control channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种用于广播与第一协议相关联的网络标识符的方法,该网络包括移动终端和用于宿留介质的可移动附件,该附件包括摄像机、根据第一协议的第一数据收发器,该广播方法由包括第二机载收发器的宿留介质实现,该第二机载收发器在宿留介质内并且能够根据第二通信协议进行通信,方法至少包括:一旦附件连接至宿留介质,则广播包括宿留介质的标识符并且代表附件的连接的消息,配置与宿留介质的标识符相同的网络标识符并通过第一收发器广播该网络标识符。还提供了一种用于连接至通信网络的方法,以及相关的计算机程序产品、宿留介质和移动通信终端。

Description

广播通信网络标识符的方法、连接至通信网络的方法、计算机 程序、宿留介质和移动终端
技术领域
本发明涉及一种用于广播与第一无线通信协议相关联的通信网络标识符的方法,该网络至少包括移动通信终端和用于宿留介质的可移动附件,所述宿留介质诸如为无机载驾驶员的便携式介质或载体(vehicle,运载工具),特别是无人机。
特别地,该无人机是旋翼无人机,或者是固定翼无人机,特别是“帆翼”型无人机。在下文中,“无人机”指的是无机载驾驶员的飞行器。无人机是自主的或被远程领航的,特别是使用控制杆实现的所述远程领航。
本发明还涉及一种用于连接至与第一无线通信协议相关联的通信网络的方法,该通信网络是前述的类型。
本发明还涉及一种包括软件指令的计算机程序,该软件指令在由计算机执行时实现前述的用于广播通信网络标识符的方法和/或前述的用于连接至该通信网络的方法。
本发明还涉及一种宿留介质,诸如无机载驾驶员的便携式介质或载体,特别是无人机,可移动附件能够连接在该宿留介质上,然后形成包括宿留介质和连接至该宿留介质的可移动附件两者的电子总成。
本发明还涉及一种能够归属于与第一无线通信协议相关联的通信网络的移动通信终端,该通信网络是前述的类型。
本发明还涉及一种至少包括前述类型的宿留介质和移动终端的电子***。
背景技术
用于附件特别是对应于摄像机的附件的便携式和移动式宿留介质是已知的,诸如能够被远程领航的无人机,特别是使用根据无线通信协议的控制杆进行的所述远程领航。
例如,出于小型化的目的并且为了限制控制和无人机的能量消耗,所使用的无线通信协议限制了对于产生控制杆与无人机之间的通信流必要的能量消耗,并且例如对应于小到中程通信协议诸如NFC(近场通信)协议,或更特别的是BLE(蓝牙低功耗)协议,也被称为“Bluetooth”。
然而,使用这种低能耗的无线协议对其进行领航的这一类型无人机不适合用于要求较高通信吞吐量的视频流的实时通信。
因此,这一类型的无人机当前不允许应用于图像的实时捕获和广播,这限制了用户的体验并且直接妨碍了这种无人机的沉浸式领航。
发明内容
于是,本发明的一个目的是提出一种解决方案,以增强用户的沉浸式体验,同时优化宿留介质以及远程控制该宿留介质的控制杆的能耗和关联容量。
为此,本发明涉及一种用于广播与第一无线通信协议相关联的通信网络标识符的方法,该网络至少包括移动通信终端和用于宿留介质的可移动附件,所述宿留介质诸如为无机载驾驶员的便携式介质或载体,特别是无人机,该附件至少包括摄像机、根据第一通信协议的第一数据收发器、以及被配置用于将该附件电连接至宿留介质的连接端口的连接器,
该广播方法由宿留介质实现,该宿留介质包括在宿留介质内的第二机载收发器,第二机载收发器能够根据与第一通信协议不同的(separate,分离的)第二通信协议进行通信,该方法至少包括:一旦附件电连接至宿留介质,
-通过第二收发器广播消息,该消息至少包括宿留介质的一个标识符,该消息还代表附件到宿留介质的连接,
-配置和广播能够由可移动附件的第一收发器发送的网络标识符,该网络标识符与宿留介质的标识符相同。
根据本发明的其他有利的方面,用于广播通信网络标识符的方法使得第一通信协议对应于Wi-Fi,并且其中,第二通信协议对应于蓝牙低功耗。
本发明还涉及一种用于连接至与第一无线通信协议相关联的通信网络的方法,该网络至少包括移动终端和用于宿留介质的可移动附件,所述宿留介质诸如为无机载驾驶员的便携式介质或载体,特别是无人机,附件至少包括摄像机、根据第一通信协议的第一数据收发器、以及被配置用于将附件电连接至宿留介质的连接端口的连接器,
广播方法由宿留介质实现,宿留介质包括在宿留介质内的第二机载收发器,第二收发器能够根据与所述第一通信协议不同的第二通信协议进行通信,
连接方法由移动终端实现并且依次包括:
-根据第二通信协议接收由宿留介质的第二收发器发送的消息,该消息包括宿留介质的标识符,该消息还代表附件到宿留介质的连接,
-接收由用户输入的宿留介质的使用选择信息,以及
-移动终端自动连接至与第一无线通信协议相关联的通信网络,通信网络由移动终端使用对应于宿留介质的标识符的网络标识符来识别。
本发明还涉及一种包括软件指令的计算机程序,该软件指令在由计算机执行时实现如上所定义的方法中的至少一个。
本发明还涉及一种宿留介质,诸如无机载驾驶员的便携式介质或载体,特别是无人机,可移动附件能够连接在宿留介质上,该附件包括至少一个摄像机、根据第一通信协议的第一数据收发器、以及被配置用于将该附件电连接至宿留介质的连接端口的连接器,
宿留介质包括:
-在宿留介质内的机载的第二收发器,该第二收发器能够:
-根据与第一通信协议不同的第二通信协议进行通信,
-一旦该附件电连接至宿留介质,广播消息,该消息包括宿留介质的标识符,该消息还代表该附件到宿留介质的连接,
-用于配置网络标识符的模块,该网络标识符能够由可移动附件的第一收发器发送,该网络标识符与宿留介质的标识符相同,通信网络与第一无线通信协议相关联并且包括至少一个移动终端和用于宿留介质的可移动附件。
根据本发明的其他有利的方面,单独考虑或者根据所有技术上可能的组合进行考虑,宿留介质包括一个或多个以下特征:
-宿留介质的连接端口是至少专用于连接所述附件的USB端口;
-宿留介质的移动能够由下述领航:
-能够独立于附件到宿留介质的连接通过控制杆使用根据第二通信协议发送的领航指令来领航上述宿留介质的移动,或
-在连接至宿留介质的包括摄像机的可移动附件存在的情况下,能够通过移动终端使用根据第一通信协议发送的领航指令来领航上述宿留介质的移动,或者在连接至宿留介质的包括摄像机的可移动附件不存在的情况下,能够通过移动终端使用根据第二通信协议发送的领航指令来领航上述宿留介质的移动;
-一旦所述移动终端连接至所述通信网络,连接至宿留介质的可移动附件的第一收发器能够根据第一通信协议向该移动终端发动由所述摄像机捕获的视频流;
-宿留介质配置成经由第一收发器根据第一通信协议传送至少一条前行取得信息(head-up retrieval information),该前行取得信息能够被实时叠加在经由所述移动终端显示的所述视频流上。
本发明还涉及一种能够归属于与第一无线通信协议相关联的通信网络的移动通信终端,该通信网络至少包括移动终端和用于宿留介质的可移动附件,所述宿留介质诸如为无机载驾驶员的便携式介质或载体,特别是无人机,该附件至少包括摄像机、根据第一通信协议的第一数据收发器、以及被配置用于将该附件电连接至宿留介质的连接端口的连接器,
广播方法由宿留介质实现,宿留介质包括在宿留介质内的第二机载收发器,第二收发器能够根据与第一通信协议不同的第二通信协议进行通信,
移动终端包括:
-关于由宿留介质的第二收发器发送的消息的、根据第二通信协议的第一收发器模块,该消息包括宿留介质的标识符,该消息还代表该附件到宿留介质的连接,
-用于接收由用户输入的宿留介质的使用选择信息的模块,以及
-用于移动终端自动连接至与第一无线通信协议相关联的通信网络的模块,通信网络由移动终端使用对应于宿留介质的标识符的网络标识符来识别。
根据本发明的其他有利的方面,单独考虑或者根据所有技术上可能的组合进行考虑,移动终端包括一个或多个以下特征:
-移动终端被配置成能够***能由用户穿戴的沉浸式观察***中;
-所述移动终端配置成:一旦该移动终端自动地连接至与第一通信协议相关联的所述通信网络,
-经由第二收发器模块根据第一通信协议接收视频流并且恢复所接收的视频流,以及
-在恢复视频流的过程中在到与第一通信协议相关联的通信网络的连接中断的情形下,在预定时段期间显示在所述中断之前接收到的最后图像。
本发明还涉及一种至少包括前述类型的宿留介质和移动终端的电子***,该电子***能够实现前述的用于广播通信网络标识符的方法以及前述的用于连接至通信网络的方法。
附图说明
基于阅读以下描述,本发明的这些特征和优点将更加清晰地呈现,以下描述仅作为非限制性的实例提供并且参照附图完成,其中:
-图1是根据本发明的用来领航用于可移动视频捕获摄像机的宿留介质的电子***的立体图,该电子***包括在远程控制设备的控制下在空中移动的无人机;
-图2是根据本发明的用于广播通信网络标识符的方法的流程图;
-图3是根据本发明的用于连接至通信网络的方法的流程图;
-图4例示了根据本发明的在移动终端上获得的连续显示的三个实例;
-图5是根据本发明的代表***内的通信交换的时序图。
具体实施方式
在本说明书的其余部分,表述“大体上等于”指的是正负10%以内的相等关系,即,具有不超过10%的变化,优选地,还指的是正负5%以内的相等关系,即,具有不超过5%的变化。
在图1中,用来领航用于可移动摄像机的宿留介质的电子***使用户12可以使用电子观察***10来优化对对应于无人机14的宿留介质的引导并且收集使用下述附件获得的视频流,所述附件包括摄像机且连接至无人机14。包括摄像机的可移动附件一旦连接至无人机14,则与无人机14一起形成移动图像捕获电子总成。
无人机14是能够被远程领航的机动化飞行载体,特别是经由允许用户12输入其飞行命令的操纵杆16被远程领航的机动化飞行载体。
无人机14,即,无机载驾驶员的飞行器,包括用于可移动附件20的连接端口18,该可移动附件至少包括一个摄像机22、根据第一通信协议P1的第一数据收发器24、以及配置成用于将该附件电连接至无人机14的连接端口18的连接器26,该第一通信协议特别地对应于Wi-Fi,该连接端口例如是USB(通用串行总线)端口。
摄像机22包括与图像传感器相关联的未示出的镜头,该镜头配置成获取包括多个对象的场景的图像。
可移动附件20的第一数据收发器24特别地能够将与由摄像机22实时捕获的视频流相关联的数据实时传送至能够***观察***10中的移动终端30。
为此,第一收发器24例如包括:根据基于受控数据包的周期性传送的RTCP(实时传输控制协议)网络协议的未示出的视频堆栈、服务器;以及根据RTP(实时传输协议)计算机通信协议的数据扩散器。第一收发器24的视频堆栈能够将视频流递送至根据因特网协议(IP)的路由模块,该路由模块能够将视频流朝向第一收发器24的未示出的Wi-Fi天线路由,使得该天线根据UDP(用户数据报协议)和RTP协议发射数据包形式的视频流,意在使移动终端30的第一Wi-Fi收发器模块R1能够:发送返回的RTCP消息,接收并在移动终端30的显示屏E上恢复(retrieve,取得、取回、检索)该视频流。
此外,根据一个特别的方面,无人机14的第一收发器24配置成根据第一通信协议P1传送至少一条前行取得信息I_HUD,该前行取得信息能够被实时叠加在经由观察***10中的所述移动终端30显示的所述视频流上。
此外,一旦与可移动附件20——该可移动附件包括摄像机22并连接至为第一收发器24供电的无人机14——的第一收发器24建立连接,移动终端30的第一Wi-Fi收发器模块R1也能够将视频调整命令发送回至无人机14,以便例如控制视频流的吞吐量、图像质量、视频流的广播/记录的开始/结束、当存在若干其他无人机用户时的Wi-Fi信道的变化、防闪烁模式的启动等等。由移动终端30发送的这些视频调整命令能够传递通过可移动附件20的第一收发器24,然后传递通过与无人机14的连接端口18相连接的可移动附件20的连接器26,在传递到无人机14的未示出的软件模块中之后恢复这些命令,该软件模块能够将该数据转换为根据以太网协议的包的形式。
无人机14例如是旋翼无人机,包括由至少一个马达致动的至少一个旋翼32(或螺旋桨)。在图1中,无人机14包括多个旋翼32,于是被称为多旋翼无人机。在该实施例中,旋翼32的数量特别地等于四,于是该无人机14是四旋翼无人机或四轴飞行器。
根据一种特别的替代方案,无人机14是“迷你无人机”型,并且具有15x15cm至20x20cm的尺寸,特别是18x18cm,适用于申请人名下的型号。
根据其他替代方案,本发明适用于尺寸比迷你无人机大的任何其他类型的无人机,无论是旋翼型的无人机还是固定翼型的无人机,例如“帆翼”型的无人机。
无人机14还设置有第二收发器34,以用于优选地通过无线电波根据第二通信协议P2交换领航数据或交换跟与包括摄像机22的可移动附件20不同的其他可移动附件相关联的数据,所述可移动附件例如是可移动抓帧器或佳能,该第二通信协议特别地对应于用于下述电子设备的BLE(蓝牙低功耗)型,也被命名为“Bluetooth”,所述电子设备诸如电子观察***10中的移动终端30的第二接收模块R2,或控制杆16的未示出的接收模块。
更具体地,根据本发明,第二收发器34能够:
-根据与第一通信协议P1不同的第二通信协议P2与移动终端30的第二接收模块R2和/或控制杆16的未示出的接收模块进行通信;
-一旦附件20电连接至宿留介质14,则广播消息M,消息M包括宿留介质14的标识符ID,例如MAMBO_thomas(对应于名字为Thomas的用户12的无人机),该消息还代表附件20到宿留介质14的连接。
此外,无人机14还设置有模块35,以用于配置能够由可移动附件20的第一收发器24发送的SSID(服务集标识符)网络标识符,SSID网络标识符与MAMBO-thomas无人机14的标识符相同,通信网络与第一无线通信协议相关联并且包括至少一个移动终端和用于宿留介质的可移动附件。
交互地,移动终端30的第二接收模块R2能够根据第二通信协议P2接收由无人机14的第二收发器34发送的消息M,消息M包括无人机14的标识符ID,该消息还代表附件到宿留介质的连接。
此外,移动终端30包括用于无人机14的使用选择信息的接收模块,该接收模块未示出,包括摄像机22的附件20连接在该无人机上,该信息由用户12经由输入接口输入,该输入接口例如是移动终端30的触敏屏E。
终端30还包括模块36,以用于移动终端30自动连接至与第一无线通信协议P1即Wi-Fi协议相关联的通信网络,移动终端30使用对应于宿留介质的标识符的网络标识符识别该通信网络,该宿留介质对应于无人机14。
换言之,一旦用户12启动对与包括摄像机22的附件20连接的无人机14的使用,则终端30仅能够根据第一通信协议P1与无人机14通信并且不再能够利用先前特别是用来接收消息M的第二通信协议P2来与无人机14进行通信。
此外,根据一个特别的方面,在恢复视频流的过程中在移动终端30到与第一通信协议P1相关联的通信网络的连接中断的情形下,移动终端30能够在预定时段期间显示在所述中断之前接收到的最后图像。该方面特别地允许用户12向无人机14在中断时的位置靠近,所恢复的最后图像代表该位置,该中断可选地是由于无人机14的撞击或事故引起的,所述撞击或事故导致可从无人机的连接端口18移除的附件20的连接断开,引起对该附件20的第一收发器24的功率供应中断。
根据示出在图1中的实例,电子观察***10允许用户12观察图像,特别是当可移动附件20连接至无人机14从而能够为第一Wi-Fi收发器24供电时经由第一协议P1从旋翼无人机14接收到的视频的图像。
电子观察***10包括移动终端30和头戴式装备37,该移动终端例如为智能手机,该移动终端设置有显示屏,该头戴式装备包括移动终端30的接收支架、跨过用户眼部抵靠用户12的面部的支承表面、以及定位在接收支架与支承表面之间的两个光学器件。
头戴式装备还包括能够将头戴式装备37维持在用户12的头上的维持带38。
移动终端30可以关于头戴式装备37移动或者集成到头戴式装备37中。例如,开始在沉浸模式中(即,当移动终端30位于头戴式装备37中并且无人机14经由控制杆16领航时)广播流之前,移动终端30位于头戴式装备37外并且能够由用户12手动地操作以特别地用于经由存储在移动终端30内的移动视频流恢复软件应用发送前述的视频调整信息。
电子观察***10例如经由未示出的数据链路连接至操纵杆16,数据链路可以是无线链路或有线链路。
观察***10例如是虚拟现实观察***,即,允许用户12观察其视场中的图像的***,具有大值的视场(或视觉场,FOV)角度,该视场角度通常大于90°,优选地大于或等于100°,以便为用户12获得沉浸式视图(也被称为“FPV”,第一人视图)。
这种观察***10是可选的并且特别地能够在沉浸式领航配置中增强“用户体验”,在不使用该观察***10或控制杆16的情况下,经由移动终端30的领航也是可能的。
操纵杆16就其本身而言是已知的,并且例如能够领航旋翼无人机14。控制杆16包括:两个握持手柄40,每个握持手柄用来由用户12的相应的手抓握;多个控制构件,这里包括两个操纵杆42,该两个操纵杆各自被定位成靠近相应的握持手柄40并且用来由用户12致动,优选地通过相应的拇指进行所述致动。
控制杆16还包括未示出的无线电天线和未示出的无线电收发器,以用于与旋翼无人机14经由第二BLE协议P2通过无线电波交换上行链路数据和下行链路数据两者。换言之,控制杆16也能够根据第二BLE协议P2广播消息,由控制杆发送的这种消息至少包括控制杆16的一个标识符。
鉴于观察***10,附加地或可替代地,移动终端30安装在控制杆16上以在领航无人机14期间协助用户。
控制杆16配置成根据第二BLE协议P2将来自用户的命令发送至集成到无人机14中的未示出的自动领航电子装置(即,用于用户手动领航的自动辅助器)。
换言之,能够通过控制杆16使用根据第二通信协议P2即BLE协议传送的领航指令来领航无人机14,上述通过控制杆对无人机的领航独立于附件20到无人机14的连接;或者在连接至宿留介质的包括摄像机22的可移动附件存在从而宿留介质和连接至其的可移动附件形成电子总成的情况下,能够通过移动终端30使用根据第一通信协议P1即Wi-Fi协议传送的领航指令来领航该无人机;或者在连接至无人机14的包括摄像机22的可移动附件20不存在的情况下,能够通过移动终端30使用根据第二通信协议P2即BLE协议传送的领航指令来领航该无人机。
将会注意到,尽管这些图解以互联电路的形式示出,但是根据一种实施方式,各种功能的实现本质上是基于软件的,因此提供的该描述仅作为例示。
根据另一实施方式,本发明能够使用一个或若干个可编程逻辑电路来实现,诸如FPGA(现场可编程门阵列),或者专用集成电路诸如安装在机载于旋翼无人机14上的电子板上的ASIC(应用特定的集成电路)形式的可编程逻辑电路。
现在将使用例示了由无人机14实现的用于广播通信网络标识符的方法45的流程图的图2、例示了由移动终端30实现的用于连接至通信网络的方法51的流程图的图3、以及例示了在根据本发明的移动终端30上获得的连续显示的三个示例的图4,对至少包括对应于前述无人机14的宿留介质和移动终端30的电子***的运行进行描述。
在图3中,由无人机14实现的用于广播通信网络标识符的方法45包括第一步骤44,该第一步骤用于通过检测可移动附件14的连接器26到无人机14的USB连接端口18的连接来检测包括摄像机22的可移动附件20到无人机14的连接。
附件20到无人机14的这种组装特别地使得能够经由无人机14的未示出的电池为附件20的Wi-Fi收发器24供电。
根据步骤46,无人机14的第二收发器34根据第二BLE通信协议P2广播包括至少一个无人机14标识符例如MAMBO_thomas(对应于名字为Thomas的用户12的无人机)的消息M,该消息还代表包括摄像机22的附件20到无人机14的连接。
这种消息M能够经由BLE协议被广泛地广播(或发BLE公告),即,一次广播至一个或若干个移动终端30。
然后,或者并行地,用于广播通信网络标识符的方法45包括步骤48,该步骤用于配置能够被连接至无人机14的可移动附件20的第一收发器24发送的SSID网络标识符,SSID网络标识符与对应于无人机14的宿留介质的标识符相同,即,例如MAMBO_thomas。
换言之,能够由第一收发器24发送的Wi-Fi网络的SSID标识符是由无人机14强加的,使得该标识符与无人机14的标识符相同。显然,该重配置48特别地允许用户12使用设置有摄像机22的任何可移动附件20(不论该附件是否属于用户12或者是否例如由与无人机14不同的另一无人机的另一用户借出),与该附件的收发器24相关联的SSID被自动地(即,没有用户12的人为干预)重配置为与跟无人机14相关联的标识符相同。
然后,根据步骤50,MAMBO_thomas Wi-Fi网络的标识符被连接至无人机14的可移动附件20的第一收发器24广播。
在图3中,由移动终端30交互地实现的用于连接至通信网络的方法51包括第一步骤52,该步骤用于根据第二通信协议P2经由BLE收发器模块R2接收由无人机14的第二BLE收发器34发送的消息M,消息M包括宿留介质14的MAMBO_thomas标识符,消息M还代表附件20到宿留介质14的连接。
这种消息M例如对应于在示出在图4中的移动终端30显示器58上的带条60,该带条同时包括无人机14标识符62例如MAMBO_thomasd、代表存在连接至无人机的摄像机22的图标64、以及选择指示符66。
然后,根据步骤54,移动终端30实现步骤54,以用于接收由用户12经由移动终端30的输入接口例如对应于触敏屏E的输入接口输入的用于无人机14的使用的选择信息IS。实际上,由于由无人机14实现的广泛广播,移动终端30能够潜在地一次性“看见”若干无人机并且取得由这些无人机中的每一个无人机分别根据BLE协议P2发送的消息的列表。由用户12实现的选择例如包括在触敏屏E上数字地选择他希望选择的与摄像机22相连接的无人机14的带60。
如在图4的示例显示器58和68中所例示的,这种选择例如相当于通过触发选择指示符66的颜色或纹理的变化来改变移动终端的显示。
用于连接至通信网络的方法51包括步骤56,该步骤用于一旦接收到选择信息54,则使移动终端30自动连接到与第一无线Wi-Fi通信协议P1相关联的通信网络,该通信网络由移动终端30使用对应于宿留介质14的MAMBO_thomas标识符的SSID MAMBO_thomas网络标识符来识别。
换言之,根据创造性的连接方法51,无需用户12干预,观察可用的Wi-Fi网络的列表,然后选择相关的Wi-Fi网络用于与连接至无人机14的附件20的摄像机22交换视频流。
因此,根据本发明,获得了视频恢复模式中的领航的时间增益和使用复杂性的降低。实际上,根据自动连接步骤,一旦由用户做出了对无人机14的选择,则移动终端30的连接模块36自动地确定待使用的Wi-Fi网络将具有与无人机14的标识符相同的标识符。
移动终端30一旦连接至可移动附件20的收发器24的Wi-Fi网络,则该移动终端能够启用专用于恢复视频流的软件应用,该软件应用的接口示出在图4的显示器68上,这种软件应用例如能够由用户使用显示屏E的触敏区域70手动地启动。
一旦软件应用被启动,则用户12将移动终端30放置在头戴式装备37中并且视频流的恢复在沉浸模式中开始,如图4的显示器72上所显示的。
在经由Wi-Fi协议实时取得视频流期间,无人机14经由包括摄像机22的可移动附件20的收发器24可选地发送一条或若干条前行取得信息I_HUD,该前行取得信息能够在专用区域74中被实时叠加在经由移动终端30显示的视频流上。
例如,前行取得信息I_HUD告知用户电池水平、在无人机14内存在用于视频流的记录介质例如SD(安全数字)卡、无人机的移动速度、无人机的高度、无人机的姿态、无人机的前进方向、无人机14与移动终端30之间的Wi-Fi网络连接的质量等等。
现利用图5的时序图对图1中的包括控制杆16、无人机14、连接至该无人机并包括摄像机22以及Wi-Fi收发器24的可移动附件20、以及移动终端30的电子***内的交换以及与用户12的交互进行描述,该时序图在时间t上示出这些不同交换。
根据第一步骤76,控制杆16通电。根据步骤78,控制杆16通过根据通信协议P2即BLE广播消息来向周围的电子设备告知其可用性,该消息被称为“BLE公告”,该消息还包括控制杆16的标识符。
并行地或相继地,如图5中所示,根据步骤80无人机14通电。根据步骤82,无人机14检测可移动附件20的连接并且配置该附件20,并且更具体地配置该附件所包含的Wi-Fi收发器24,特别是通过配置SSID网络标识符或者甚至访问该网络的密码进行上述配置。根据本发明,SSID网络标识符与对应于无人机14的宿留介质的标识符相同。包括摄像机的附件20应用由无人机14强加的这些参数并且继续等待周围的电子设备连接至与附件20的Wi-Fi收发器24相关联的Wi-Fi网络。
然后,根据步骤84,无人机14还通过根据通信协议P2即BLE广播消息来向周围的电子设备告知其可用性,该消息被称为“BLE公告”。根据步骤86,无人机14连接至可用的控制杆16。
根据步骤88,无人机14指示其在经由第一通信协议P2广播的“BLE公告”消息中的状态。
然后,这种消息例如包括无人机的标识符、连接至该无人机的可移动附件的类型(例如,可移动抓帧器或佳能,或包括摄像机22的可移动附件20)。此外,无人机14将遥测数据直接传送至摄像机,诸如姿态角度、前进方向、电池水平、高度数据,该数据构成了能够在恢复视频流时被叠加在来自该视频流的图像上的前行取得信息I_HUD。
相继地或并行地,移动终端30的专用于与无人机14通信以及视频流的取得的软件应用根据步骤90被启用。一旦该软件应用在移动终端30上被启用,则根据步骤92,该移动终端根据通信协议P2即BLE在其范围内查找所有可能的设备,并且根据步骤96,该移动终端例如以列表的形式显示范围内所有的电子设备。
根据步骤98,用户12经由移动终端30的输入接口例如触敏屏从所显示的电子设备的列表中选择他希望使用的电子设备。
然后,根据步骤100,在接收到用户输入的选择时,移动终端30自动地连接至与所选择的无人机14的可移动附件20的收发器24相关联的Wi-Fi网络,而没有与用户12的额外交互,这是由于这一事实:根据本发明,移动终端30自动地“获知”用户对连接至包括摄像机22和Wi-Fi收发器24的可移动附件20的无人机14的选择等于到与Wi-Fi收发器24相关联的网络的连接的请求和有效,该网络由与无人机14的标识符相同的SSID标识符标识。
一旦连接至Wi-Fi网络,根据步骤102,该移动终端30取得如图4中所示的视频流的恢复接口的主页68,并且根据步骤104,视频流的实时恢复由用户12手动地触发,例如通过手动按压在移动终端的触敏屏E的区域70上,如图5中所示。
此外,在该步骤104期间,用户12有机会选择视频调整命令以便例如控制视频流的吞吐量、图像质量、视频流的广播/记录的开始/结束、当存在若干其他无人机用户时Wi-Fi信道的变化、防闪烁模式的启动等等。然后,根据步骤106由移动终端30发送的这些视频调整命令根据步骤108能够传递通过可移动附件20的第一收发器24,然后传递通过可移动附件20的与无人机14的USB连接端口18相连接的连接器26,在传递到无人机14的未示出的软件模块中之后恢复这些命令,该软件模块能够将该数据转换为根据以太网协议的包的形式。
根据步骤110,一旦视频调整在无人机14内进行,控制杆16根据BLE通信协议P2向无人机14发送领航指令,根据步骤112,该无人机又将控制指令传送至摄像机。最后,根据步骤114,可移动附件20的摄像机22经由收发器24并且根据适于视频流的吞吐量的Wi-Fi通信协议P1向移动终端30传送视频流,该终端特别地当其***头戴式装备27时在沉浸式视觉中恢复用于用户12的视频流。
因此,用户12具有适于恢复视频流的通信协议P1例如Wi-Fi,在包括摄像机22和根据Wi-Fi通信协议P1的收发器24的、连接至无人机14的可移动附件20存在的情况下,该协议仅被移动终端30用于与无人机14通信,移动终端30的根据Wi-Fi通信协议P1到通信网络的连接通过先前根据与Wi-Fi通信协议P1不同的第二通信协议P2例如BLE对消息M的广播(或公告)来触发。

Claims (12)

1.一种用于广播与第一无线通信协议(P1)相关联的通信网络标识符(SSID)的方法(45),所述网络至少包括移动通信终端(30)和用于宿留介质(14)的可移动附件(20),所述宿留介质诸如为无机载驾驶员的便携式介质或载体,所述附件(20)至少包括摄像机(22)、根据第一通信协议(P1)的第一数据收发器(24)、以及被配置用于将所述附件(20)电连接至所述宿留介质(14)的连接端口(18)的连接器(26),
所述宿留介质(14)包括在所述宿留介质(14)内的第二机载收发器(34),所述第二收发器(34)能够根据与所述第一通信协议(P1)不同的第二通信协议(P2)进行通信,所述方法(45)至少包括:一旦所述附件(20)电连接至所述宿留介质,
-通过所述宿留介质的所述第二收发器(34)广播(46)消息,所述消息至少包括所述宿留介质的一个标识符,所述消息还代表所述附件(20)到所述宿留介质(14)的连接,
-通过所述宿留介质配置(48)网络标识符(SSID),并通过所述可移动附件(20)的所述第一收发器(24)广播(50)所述网络标识符(SSID),所述网络标识符与所述宿留介质(14)的标识符相同。
2.根据权利要求1所述的广播方法(45),其中,所述第一通信协议(P1)对应于Wi-Fi,并且其中,所述第二通信协议(P2)对应于蓝牙低功耗。
3.一种用于连接至与第一无线通信协议(P1)相关联的通信网络的方法(51),所述网络至少包括移动终端(30)和用于宿留介质(14)的可移动附件(20),所述宿留介质诸如为无机载驾驶员的便携式介质或载体,所述附件(20)至少包括摄像机(22)、根据所述第一通信协议(P1)的第一数据收发器(24)、以及被配置用于将所述附件(20)电连接至所述宿留介质(14)的连接端口(18)的连接器(26),所述宿留介质(14)包括在所述宿留介质(14)内的第二机载收发器(34),所述第二收发器(34)能够根据与所述第一通信协议(P1)不同的第二通信协议(P2)进行通信,
所述方法(51)由所述移动终端(30)实现并且依次包括:
-根据所述第二通信协议(P2)接收(52)由所述宿留介质(14)的所述第二收发器(34)发送的消息,所述消息包括所述宿留介质(14)的标识符,所述消息还代表所述附件(20)到所述宿留介质(14)的连接,
-接收(54)由用户输入的所述宿留介质(14)的使用选择信息,以及
-所述移动终端(30)自动连接(56)至与所述第一无线通信协议(P1)相关联的所述通信网络,所述通信网络由所述移动终端(30)使用对应于所述宿留介质(14)的标识符的网络标识符(SSID)来识别。
4.一种计算机程序产品,所述计算机程序产品包括软件指令,以用于实现根据权利要求1或2所述的方法和/或用于实现根据权利要求3所述的方法。
5.一种宿留介质(14),诸如无机载驾驶员的便携式介质或载体,可移动附件(20)能够连接在所述宿留介质上,所述附件(20)至少包括摄像机(22)、根据第一通信协议(P1)的第一数据收发器(24)、以及被配置用于将所述附件(20)电连接至所述宿留介质(14)的连接端口(18)的连接器(26),
所述宿留介质(14)包括:
-在所述宿留介质(14)内的机载的第二收发器(34),所述第二收发器(34)能够:
-根据与所述第一通信协议(P1)不同的第二通信协议(P2)进行通信,
-一旦所述附件(20)电连接至所述宿留介质(14),广播消息,所述消息包括所述宿留介质的标识符,所述消息还代表所述附件(20)到所述宿留介质(14)的连接,
-模块(35),用于配置能够由所述可移动附件的所述第一收发器发送的网络标识符,所述网络标识符与所述宿留介质(14)的标识符相同,通信网络与第一无线通信协议(P1)相关联并且包括至少一个移动终端(30)和用于宿留介质(14)的可移动附件(20)。
6.根据权利要求5所述的宿留介质(14),其中,所述宿留介质(14)的所述连接端口是至少专用于连接所述附件(20)的USB端口。
7.根据权利要求5或6所述的宿留介质(14),其中:
-能够独立于所述附件(20)到所述宿留介质(14)的连接通过控制杆(16)使用根据所述第二通信协议(P2)发送的领航指令来领航所述宿留介质(14)的移动,或
-在连接至所述宿留介质的包括所述摄像机(22)的所述可移动附件(20)存在的情况下,能够通过所述移动终端(30)使用根据所述第一通信协议(P1)发送的领航指令来领航所述宿留介质的移动,或者在连接至所述宿留介质(14)的包括所述摄像机(22)的所述可移动附件(20)不存在的情况下,能够通过所述移动终端使用根据所述第二通信协议(P2)发送的领航指令来领航所述宿留介质的移动。
8.根据权利要求5至7中任一项所述的宿留介质(14),其中,一旦所述移动终端(30)连接至所述通信网络,连接至所述宿留介质(14)的所述可移动附件(20)的所述第一收发器(24)能够根据所述第一通信协议(P1)向所述移动终端发送由所述摄像机(22)捕获的视频流。
9.根据权利要求8所述的宿留介质(14),其中,所述宿留介质(14)被配置成经由所述第一收发器(24)根据所述第一通信协议(P1)传送至少一条前行取得信息(I_HUD),所述前行取得信息能够实时叠加在经由所述移动终端(30)显示的所述视频流上。
10.一种移动通信终端(30),所述移动通信终端能够归属于与第一无线通信协议(P1)相关联的通信网络,所述通信网络至少包括所述移动终端(30)和用于宿留介质(14)的可移动附件(20),所述宿留介质诸如为无机载驾驶员的便携式介质或载体,所述附件(20)至少包括摄像机(22)、根据所述第一通信协议(P1)的第一数据收发器(24)、以及被配置用于将所述附件(20)电连接至所述宿留介质(14)的连接端口(18)的连接器(26),
所述宿留介质(14)包括在所述宿留介质(14)内的第二机载收发器(34),所述第二收发器(34)能够根据与所述第一通信协议(P1)不同的第二通信协议(P2)进行通信,
所述移动终端(30)包括:
-关于由所述宿留介质(14)的所述第二收发器(34)发送的消息的、根据所述第二通信协议(P2)的第一收发器模块(R2),所述消息包括所述宿留介质(14)的标识符,所述消息还代表所述附件到所述宿留介质的连接,
-用于接收由用户(12)输入的所述宿留介质的使用选择信息的模块,以及
-所述移动终端(30)到与所述第一无线通信协议(P1)相关联的所述通信网络的自动连接模块(31),所述通信网络由所述移动终端(30)使用对应于所述宿留介质(14)的标识符的网络标识符来识别。
11.根据权利要求10所述的移动通信终端(30),其中,所述移动终端被配置成能够***能由用户(12)穿戴的沉浸式观察***(10)中。
12.根据权利要求10或11所述的移动通信终端(30),其中,所述移动终端(30)被配置成:一旦所述移动终端自动地连接至与所述第一通信协议(P1)相关联的所述通信网络,
-经由第二收发器模块(R1)根据所述第一通信协议(P1)接收视频流并且恢复所接收的视频流,以及
-在恢复所述视频流的过程中在到与所述第一通信协议(P1)相关联的所述通信网络的连接中断的情形下,在预定时段期间显示在所述中断之前接收到的最后图像。
CN201811033816.9A 2017-09-06 2018-09-05 广播通信网络标识符的方法、连接至通信网络的方法、计算机程序、宿留介质和移动终端 Pending CN109462824A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1758222 2017-09-06
FR1758222A FR3070816A1 (fr) 2017-09-06 2017-09-06 Procede de diffusion d'un identifiant de reseau de communication, procede de connexion a un reseau de communication, programme d'ordinateur, support d'accueil et terminal mobile associes

Publications (1)

Publication Number Publication Date
CN109462824A true CN109462824A (zh) 2019-03-12

Family

ID=61223954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811033816.9A Pending CN109462824A (zh) 2017-09-06 2018-09-05 广播通信网络标识符的方法、连接至通信网络的方法、计算机程序、宿留介质和移动终端

Country Status (4)

Country Link
US (1) US20190075513A1 (zh)
EP (1) EP3454581A1 (zh)
CN (1) CN109462824A (zh)
FR (1) FR3070816A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7052793B2 (ja) * 2017-05-31 2022-04-12 株式会社ソシオネクスト 中継装置
US20190324447A1 (en) * 2018-04-24 2019-10-24 Kevin Michael Ryan Intuitive Controller Device for UAV
US11077312B2 (en) * 2019-01-03 2021-08-03 Avive Solutions, Inc. Defibrillator communications architecture
CN110062039B (zh) * 2019-04-10 2022-07-15 赵家成 基于ieee802.11协议的载具监视导航***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6252172B2 (ja) * 2013-12-27 2017-12-27 ブラザー工業株式会社 通信システム、通信装置、および情報処理プログラム
US10187666B2 (en) * 2016-01-26 2019-01-22 Twitter, Inc. Live video streaming services using one or more external devices

Also Published As

Publication number Publication date
FR3070816A1 (fr) 2019-03-08
US20190075513A1 (en) 2019-03-07
EP3454581A1 (fr) 2019-03-13

Similar Documents

Publication Publication Date Title
CN109462824A (zh) 广播通信网络标识符的方法、连接至通信网络的方法、计算机程序、宿留介质和移动终端
US20190373173A1 (en) Multi-gimbal assembly
CN109445464B (zh) 一种飞行控制方法及飞行控制***
CN108377333B (zh) 跟焦遥控器、飞行器遥控器、航拍跟焦控制***及方法
US9811083B2 (en) System and method of controlling autonomous vehicles
CN109814596A (zh) 基于移动通信的无人机飞行控制***
US20170369164A1 (en) Improved visual monitoring on smartphone screen
CN105719450A (zh) 长程无人机遥控装备
WO2021013228A1 (zh) 无线通信方法、装置、无人机以及无人机控制***
CN203946284U (zh) 一种飞行***、飞行器以及处理器
WO2017166714A1 (zh) 全景图像的拍摄方法、装置及***
CN105667775A (zh) 基于手机App的遥控微型航拍四旋翼飞行器及该飞行器的控制方法
CN110114125B (zh) 无人机操纵***、操纵信号发射器组和无人机操纵方法
CN207283716U (zh) 可切换摄像头的无人机及无人机控制***
US20170269590A1 (en) Controlled device and communication system and method utilizing the same
EP3261405A1 (fr) Réseau local pour l'échange simultané de données entre un drone et une pluralité de terminaux utilisateur
WO2017088122A1 (zh) 一种跟焦器控制方法和装置及***
JP6844898B2 (ja) 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
JP6744033B2 (ja) 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
CN106444555A (zh) 基于地面转发的无人机中短距离遥控遥测***
CN106973261A (zh) 以第三方视角观察无人机的设备、***和方法
CN206323500U (zh) 电子设备跟踪装置及***
CN108513645B (zh) 一种控制无人机的方法、设备、***及存储介质
Lu et al. Development of iOS application handlers for quadrotor UAV remote control and monitoring
CN209692805U (zh) 基于移动通信的无人机***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190312

WD01 Invention patent application deemed withdrawn after publication