WO2020158892A1 - 撮影方法 - Google Patents

撮影方法 Download PDF

Info

Publication number
WO2020158892A1
WO2020158892A1 PCT/JP2020/003532 JP2020003532W WO2020158892A1 WO 2020158892 A1 WO2020158892 A1 WO 2020158892A1 JP 2020003532 W JP2020003532 W JP 2020003532W WO 2020158892 A1 WO2020158892 A1 WO 2020158892A1
Authority
WO
WIPO (PCT)
Prior art keywords
photographing
flight
shoot
ranking
flying
Prior art date
Application number
PCT/JP2020/003532
Other languages
English (en)
French (fr)
Inventor
彰 平川
三浦 望
Original Assignee
株式会社RedDotDroneJapan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社RedDotDroneJapan filed Critical 株式会社RedDotDroneJapan
Priority to US17/055,486 priority Critical patent/US11820488B2/en
Priority to CN202080003237.9A priority patent/CN112262074A/zh
Priority to EP20748854.5A priority patent/EP3919374B1/en
Publication of WO2020158892A1 publication Critical patent/WO2020158892A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/16Initiating means actuated automatically, e.g. responsive to gust detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C13/00Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02Initiating means
    • B64C13/04Initiating means actuated personally
    • B64C13/06Initiating means actuated personally adjustable to suit individual persons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C19/00Aircraft control not otherwise provided for
    • B64C19/02Conjoint controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Definitions

  • the present invention relates to a shooting method, and more particularly to a shooting method of a shooting target using a plurality of flying objects.
  • UAV Unmanned Aerial Vehicle
  • aircraft rotary wing aircraft
  • Patent Document 1 discloses a system that achieves a specific purpose (gas detection) by linking a plurality of flying objects.
  • the flight device of Patent Document 1 is a technique for detecting gas leakage in a specific region by sensors of a plurality of flying objects.
  • the present invention provides a system that exhibits new functions that can be achieved by linking multiple flying vehicles.
  • a photographing method for photographing an object to be photographed by a plurality of flying objects including a photographing unit, A ranking step of setting a predetermined ranking for each of the aircraft, A control step of performing control based on the ranking, A shooting step of shooting the object by the shooting unit while moving the flying body in accordance with the control, How to shoot. Is obtained.
  • a new aerial photography method that can be performed by linking a plurality of flying objects can be obtained.
  • FIG. 9 is another diagram showing control of each aircraft using the system of FIG. 1.
  • FIG. 7 is still another diagram showing control of each aircraft using the system of FIG. 1.
  • the photographing method according to the embodiment of the present invention has the following configuration.
  • [Item 1] A method for photographing an object to be photographed by a plurality of flying objects including a photographing unit, A ranking step of setting a predetermined ranking for each of the aircraft, A control step of performing control based on the ranking, A shooting step of shooting the object by the shooting unit while moving the flying body in accordance with the control, How to shoot.
  • the shooting method according to Item 1 The ranking step is Further comprising a step of setting a master unit and at least one or more slave units from a plurality of the flying objects, Flight of the slave unit is controlled according to the flight state of the master unit, How to shoot.
  • the shooting method according to Item 1 The ranking step is Further comprising a step of setting a plurality of master units and a plurality of at least one slave unit corresponding to the one master unit from a plurality of the flying objects, Flight of the slave unit is controlled according to the flight state of the master unit, How to shoot.
  • the shooting method according to Item 1 The ranking step is The method further comprises the step of setting an equivalent rank for the plurality of the flying vehicles, The flight of each of the aircraft is controlled according to the flight conditions of each other, How to shoot.
  • the imaging method according to any one of Items 2 to 4 The ranking step is A first ranking step of setting the ranking of the air vehicles to a first state; A second ranking step of setting the ranking of the air vehicles to a second state different from the first state, How to shoot.
  • the shooting method according to any one of Items 1 to 5 A step of accepting an operation for at least one or more of the plurality of aircraft, The step of controlling the aircraft based on the operation, How to shoot.
  • [Item 8] The shooting method according to any one of Items 1 to 7, In the photographing step, movement is controlled based on movement paths of the plurality of the flying objects, How to shoot.
  • [Item 9] The imaging method according to any one of Items 1 to 8, In the photographing step, the flight of the other flying body is controlled according to the direction of the photographing unit of the one flying body, How to shoot.
  • [Item 10] The imaging method according to any one of Items 1 to 9, In the photographing step, the flight of the other flying body is controlled according to the activation state of the photographing unit of the one flying body, How to shoot.
  • an image capturing system embodying an image capturing method according to the present invention includes a management terminal 10, a relay device 20, a flying body 30m, a flying body 30s (a flying body 30m and a flying body 30s). (Sometimes referred to as "aircraft 30").
  • the number of flight vehicles shown is three for ease of explanation, but the number is not limited.
  • Flight information (to be described later) of each flying object 30 m and flying object 30 s is transmitted to the management terminal 10 via the relay device 20.
  • the flight information may be directly transmitted from the flying body 30 to the management terminal 10.
  • one flight body may serve as a so-called hub, and the flight information of all other flight vehicles may be collectively transmitted to the management terminal 10.
  • FIG. 2 is a diagram showing a hardware configuration of the management terminal 10.
  • the illustrated configuration is an example, and other configurations may be included.
  • the management terminal 10 is connected to the database 3 and constitutes a part of the system.
  • the management terminal 10 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.
  • the management terminal 10 includes at least a processor 10, a memory 11, a storage 12, a transmission/reception unit 13, an input/output unit 14, and the like, which are electrically connected to each other via a bus 15.
  • the processor 10 is an arithmetic unit that controls the overall operation of the management terminal 10, controls the transmission and reception of data between each element, and executes information processing necessary for execution of applications and authentication processing.
  • the processor 10 is a CPU (Central Processing Unit), and executes a program or the like stored in the storage 12 and expanded in the memory 11 to perform each information processing.
  • CPU Central Processing Unit
  • the memory 11 includes a main memory configured by a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary storage configured by a non-volatile storage device such as a flash memory or an HDD (Hard Disc Drive). ..
  • the memory 11 is used as a work area or the like of the processor 10, and also stores a BIOS (Basic Input/Output System) executed when the management terminal 10 is started, and various setting information.
  • BIOS Basic Input/Output System
  • the storage 12 stores various programs such as application programs.
  • a database that stores data used for each process may be built in the storage 12.
  • the transmitting/receiving unit 13 may connect the management terminal 10 to the network.
  • the transmission/reception unit 13 may include Bluetooth (registered trademark) and BLE (Bluetooth Low Energy) short-range communication interfaces.
  • the input/output unit 14 is an information input device such as a keyboard and a mouse, and an output device such as a display.
  • the bus 15 is commonly connected to the above-mentioned elements and transmits, for example, an address signal, a data signal and various control signals.
  • the flying body 30 in the present embodiment may be a drone, a multi copter, an unmanned aerial vehicle (UAV), an RPA (remote piloted airsyrasts, etc.), or a UAS (Unan). May be called.
  • UAV unmanned aerial vehicle
  • RPA remote piloted airsyrasts, etc.
  • UAS Unan
  • the air vehicle 30 has the functional blocks shown in FIG. Note that the functional blocks in FIG. 2 are the minimum reference configurations.
  • the flight controller is a so-called processing unit.
  • the processing unit may have one or more processors, such as programmable processors (eg, central processing unit (CPU)).
  • the processing unit has a memory 22 and can access the memory.
  • Memory 22 stores logic, code, and/or program instructions that a processing unit may execute to perform one or more steps.
  • the memory may include, for example, a separable medium such as an SD card or random access memory (RAM) or an external storage device. Data obtained from the cameras and sensors 27 may be directly transmitted to and stored in the memory 22. For example, still image/moving image data captured by a camera or the like is recorded in a built-in memory or an external memory.
  • the processing unit includes a control module configured to control the condition of the air vehicle.
  • the control module may adjust the spatial arrangement, velocity, and/or acceleration of an air vehicle having 6 degrees of freedom (translational motions x, y and z, and rotational motions ⁇ x , ⁇ y and ⁇ z ). Controls the propulsion mechanism (motor, etc.) of the air vehicle.
  • the control module can control one or more of the states of the mount and sensors.
  • the processing unit is capable of communicating with a transceiver configured to transmit and/or receive data from one or more external devices (eg, terminals, displays, or other remote controllers).
  • the transceiver can use any suitable communication means, such as wired or wireless communication.
  • the transmission/reception unit uses one or more of a local area network (LAN), a wide area network (WAN), infrared, wireless, WiFi, point-to-point (P2P) network, telecommunications network, cloud communication, and the like. be able to.
  • the transmission/reception unit can transmit and/or receive one or more of data acquired by the sensors, processing results generated by the processing unit, predetermined control data, a user command from a terminal or a remote controller, and the like. ..
  • the sensors according to the present embodiment may include an inertial sensor (acceleration sensor, gyro sensor), GPS sensor, proximity sensor (eg rider), or vision/image sensor (eg camera).
  • inertial sensor acceleration sensor, gyro sensor
  • GPS sensor GPS sensor
  • proximity sensor eg rider
  • vision/image sensor eg camera
  • the repeater 20 is installed between the flying object 30 and the management terminal 10. That is, a signal indicating a flight state input from each flying object 30 to the management terminal 10 and a control signal output from the management terminal 10 to each flying object 30 are all transmitted through the relay device 20. ..
  • the configuration according to the present embodiment is not limited to this.
  • the (part or all) air vehicle 30 and the management terminal 10 may directly communicate with each other.
  • the communication means is not limited to the IP-based computer network, but a carrier network for mobile phones and smartphones (communication means such as 4G-LTE, 5G can be used) or an LPWA network (SIGFOX, LoRa) can be used. (LoRa WAN), Wi-Fi HaLow, Wi-SUN, RPMA, Flexnet, IM920, Cat.M1, Cat.NB1 and other standards can be applied (only or in combination). is there.
  • the data obtained from the flying body includes position information, altitude information, speed information, remaining battery level, signal strength, camera image information, camera direction, zoom-in/zoom-out, and the like. There can be any data that can be obtained from the equipped sensors.
  • each flying object 30 has information regarding its own ranking (master/slave).
  • the lower ranking vehicle 30 flies according to the higher ranking vehicle 30, and the subordinate flying vehicle 30 flies according to the primary flying vehicle 30.
  • the ranking is set by the user. Further, it may be fixed from the beginning, or may be changed by some trigger or manually by the user.
  • a flight control example 1 according to the present embodiment will be described with reference to FIGS. 4 and 5.
  • the flying body 30m is used as a master unit and the two flying bodies 30s are ranked as slave units.
  • the flying object 30m is manually fly by a user by using a propo or the like.
  • the air vehicle 30s is controlled so as to keep an equal distance according to the air vehicle 30s.
  • the flying body 30m and the flying body 30s fly as a group while maintaining the initial three-dimensional relative positional relationship.
  • the “flying body 30m” will be referred to as the “main unit 30m” and the “flying unit 30s” will be referred to as the “slave unit 30s”.
  • the user controls the master device 30m by using the radio transmitter at hand.
  • the control signal is transmitted from the transmitter to the parent device 30m (SQ01), and the coordinate information regarding the movement is input to the terminal 10 via the relay device 20 (SQ02, SQ03).
  • the management terminal 10 generates a signal to be transmitted to the child device 30s_1 and the child device 30s_2, and outputs the signal as a flight instruction (SQ04) via the relay device 20 (further, the child device 30s_1 and the child device 30s_2).
  • a control signal is transmitted to each of the child devices 30s_1 and 30s_2 (via the radio) (SQ05_1 and SQ05-2).
  • the same control as the movement control performed by the parent device 30m was also applied to the child device 30s.
  • the movement amount of the child device 30s does not necessarily have to be completely the same as that of the parent device 30m.
  • the movement control of the child device may be performed by reading out/calculating some reference based on the movement amount or the position information.
  • the master unit 30m is operated to move from the initial position P 00 to P 01.
  • the spatial coordinates at the initial position P 00 of the parent device 30m are represented as (X 0 , Y 0 , Z 0 )
  • the position coordinates after the movement by the user are P 01 (X a , Y b , Z c ). It can be expressed as.
  • the amount of change in coordinates from the initial position P 00 to the destination P 01 was (+a, +b, +c).
  • the child device 30s_1 When the parent device 30m moves in this way, the child device 30s_1 having received the control signal moves from the initial position P 10 (X ⁇ , Y ⁇ , Z ⁇ ) to P 11 (X ⁇ +a , Y ⁇ +b , Z ⁇ +c ). To do.
  • the child device 30s_2 moves from the initial position P 20 (X p , Y q , Z r ) to P 21 (X p+a , Y q+b , Z r+c ).
  • the user can perform shooting while maintaining the relative positional relationship between the parent device and the child device in the initial state by controlling only the parent device.
  • the idea of the control method of the slave unit according to the present embodiment is to route the same control as the control of the master unit to the slave unit. Further, although the child device 30s_1 and the child device 30s_2 control the movement of the parent device 30m at the same timing with almost no delay, it is also possible to provide a predetermined time difference or change the flight speed.
  • the child device 30s moves from the rear ( P00 ) to the front ( P01 ) of the right side of the skier symmetrically with the parent device 30m.
  • Control 3> In the case of the control example of control 2 described above, it is possible that the partner's aircraft is reflected depending on the altitudes of the parent device 30m and the child device 30s and the orientation of the camera. Therefore, for example, when the child device is included in the shooting range at the destination when the parent device 30m is moved, control is performed to move the child device to the outside of the shooting range.
  • each of the flying bodies 30 is manually controlled by different users.
  • a plurality of users are operating the flying body in this way, it is difficult for each user to take a picture while considering the other flying bodies 30.
  • the flying object 30s shooting the skier b is also moved from P 10 to P 11.
  • the flying object 30 s positioned at P 11 may be imaged within the shooting range V of the flying object 30 m.
  • the management terminal 10 acquires information about the shooting range of each flight object, and when another flight object may enter the shooting range of each flight object, Controls the aircraft so that it does not enter the shooting range.
  • aircraft 30s is stopped at a position short of the P 12 of P 11, aircraft 30s is prevented from entering the imaging range V.
  • the relationship between the parent device and the child device may be appropriately changed according to predetermined conditions (for example, subject competition ranking, attention level, etc.).
  • the automatic flight control may be performed depending on whether or not mutual flight routes and camera directions are being recorded, a shooting range, and the like.
  • the master unit or the slave unit may be in automatic flight control.
  • the route (flight route) information may be input to the management terminal 10 in advance.
  • the functions of the management terminal 10 may be carried by any one of the flying bodies 30 (alone or in a distributed manner), and the flying bodies 30 may communicate with each other.
  • Management terminal 20 Repeater 30, 30m, 30s Aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】飛行効率を向上し得る飛行体を提供すること。 【解決手段】本発明による撮影方法は、撮影部を備える複数の飛行体によって撮影対象物を撮影するものである。撮影方法は、記飛行体の夫々に所定の順位付けを設定する順位付けステップと、順位付けに基づいた制御を行う制御ステップと、制御に応じて飛行体を移動させると共に前記撮影部によって対象物を撮影する撮影ステップとを含む、撮影方法。かかる構成によれば、複数の飛行体によって、複数の撮影対象物を様々な角度から同時に撮影を行うことが可能となる。

Description

撮影方法
 本発明は、撮影方法に関し、特に、複数の飛行体を利用した撮影対象物の撮影方法に関する。
 近年、様々な用途に利用されるドローン(Drone)に代表される無人航空機(UAV:Unmanned Aerial Vehicle)などの飛行体及び回転翼機(以下、単に「飛行体」と総称する)を利用した様々なサービスが提供されている。
 一方、特許文献1には、複数の飛行体を連携させて特定の目的(ガス検知)を果たすシステムが開示されている。
特開2016-200700号公報
特許文献1の飛行装置は、複数の飛行体のセンサによって、特定領域のガス漏れを検知する技術である。
 本発明は、複数の飛行体を連携させて為し得る新たな機能を発揮するシステムを提供する。
 本発明によれば、 撮影部を備える複数の飛行体によって撮影対象物を撮影する撮影方法であって、
 前記飛行体の夫々に所定の順位付けを設定する順位付けステップと、
 前記順位付けに基づいた制御を行う制御ステップと、
 前記制御に応じて前記飛行体を移動させると共に前記撮影部によって前記対象物を撮影する撮影ステップとを含む、
撮影方法。
が得られる。
 本発明によれば、複数の飛行体を連携させて為し得る新たな空撮方法が得られる。
本発明による撮影システムの構成図である。 図1の管理端末の構成を表す機能ブロック図である。 図1の飛行体の構成を表す機能ブロック図である。 本発明による撮影システムの他の構成図である。 図4の構成における情報の移動を示す図である。 図1のシステムを利用した各飛行体の制御を示す図である。 図1のシステムを利用した各飛行体の制御を示す他の図である。 図1のシステムを利用した各飛行体の制御を示す更に他の図である。
 本発明の実施形態の内容を列記して説明する。本発明の実施の形態による撮影方法は、以下のような構成を備える。
[項目1]
 撮影部を備える複数の飛行体によって撮影対象物を撮影する撮影方法であって、
 前記飛行体の夫々に所定の順位付けを設定する順位付けステップと、
 前記順位付けに基づいた制御を行う制御ステップと、
 前記制御に応じて前記飛行体を移動させると共に前記撮影部によって前記対象物を撮影する撮影ステップとを含む、
撮影方法。
[項目2]
 項目1に記載の撮影方法であって、
 前記順位付けステップは、
  複数の前記飛行体から、親機と、少なくとも一以上の子機とを設定するステップを更に備えており、
  前記子機は、前記親機の飛行状態に応じて、飛行が制御される、
撮影方法。
[項目3]
 項目1に記載の撮影方法であって、
 前記順位付けステップは、
  複数の前記飛行体から、複数の親機と、一の前記親機に対応する少なくとも一以上の子機とを設定するステップを更に備えており、
  前記子機は、前記親機の飛行状態に応じて、飛行が制御される、
撮影方法。
[項目4]
 項目1に記載の撮影方法であって、
 前記順位付けステップは、
  複数の前記飛行体に同等の順位を設定するステップを更に備えており、
  前記飛行体の夫々は、互いの飛行状態に応じて、飛行が制御される、
撮影方法。
[項目5]
 項目2乃至項目4のいずれかに記載の撮影方法であって、
 前記順位付けステップは、
  前記飛行体の順位付けを第1状態に設定する第1順位付けステップと、
  前記飛行体の順位付けを前記第1状態とは異なる第2状態に設定する第2順位付けステップとを備える、
撮影方法。
[項目6]
 項目1乃至項目5のいずれかに記載の撮影方法であって、
 複数の前記飛行体のうち、少なくとも一以上の飛行体に対する操作を受け付けるステップと、
 前記操作に基づいて前記飛行体が制御されるステップと、を備える、
撮影方法。
[項目7]
 項目1乃至項目6のいずれかに記載の撮影方法であって、
 前記撮影ステップは、複数の前記飛行体の相対位置に基づいて移動が制御される、
撮影方法。
[項目8]
 項目1乃至項目7のいずれかに記載の撮影方法であって、
 前記撮影ステップは、複数の前記飛行体の移動経路に基づいて移動が制御される、
撮影方法。
[項目9]
 項目1乃至項目8のいずれかに記載の撮影方法であって、
 前記撮影ステップは、一の前記飛行体の前記撮影部の向きに応じて、他の前記飛行体の飛行が制御される、
撮影方法。
[項目10]
 項目1乃至項目9のいずれかに記載の撮影方法であって、
 前記撮影ステップは、一の前記飛行体の前記撮影部の起動状態に応じて、他の前記飛行体の飛行が制御される、
撮影方法。
[項目11]
 項目10のいずれかに記載の撮影方法であって、
 前記撮影ステップは、一の前記飛行体の前記撮影部の撮影範囲に応じて、他の前記飛行体の飛行が制御される、
撮影方法。
[項目12]
 項目1乃至項目11のいずれかに記載の撮影方法であって、
 前記撮影ステップは、一の前記飛行体の前記撮影部の撮影範囲に応じて、他の前記飛行体の飛行が制御される、
撮影方法。
<本発明による実施の形態の詳細>
 以下、本発明の実施の形態による撮影方法について、図面を参照しながら説明する。なお、以下に示す実施の形態は、一例を表すにすぎず、その用途、目的又は規模等に応じて、他の既知の要素や代替手段を採用できる。
<本発明の構成>
 図1に示されるように、本発明による撮影方法を具体化した撮影システムは、管理端末10と、中継機20と、飛行体30m、飛行体30s(飛行体30m及び飛行体30sとを含めて「飛行体30」と呼ぶ場合がある)とを有している。図示される飛行体は、説明を容易にするために3台ではあるが、台数に限定はない。
 各飛行体30m、飛行体30sの飛行情報(後述する)は、中継機20を介して管理端末10に送信される。なお、本実施の形態においては、中継機20を介して飛行体30と管理端末10とを接続することとしていたが、飛行情報は、飛行体30から直接に管理端末10に送信することとしてもよい。また、一の飛行体が所謂ハブの役割を果たすなどして、他の全ての飛行体の飛行情報を一括して管理端末10に送信することとしてもよい。
<ハードウェア構成:管理端末>
 図2は、管理端末10のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
 図示されるように、管理端末10は、データベース3と接続されシステムの一部を構成する。管理端末10は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
 管理端末10は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
 プロセッサ10は、管理端末10全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)であり、ストレージ12に格納されメモリ11に展開されたプログラム等を実行して各情報処理を実施する。
 メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、管理端末10の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。
 ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
 送受信部13は、管理端末10をネットワークに接続することとしてもよい。なお、送受信部13は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インタフェースを備えていてもよい。
 入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
 バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
 
<ハードウェア構成:飛行体>
 本実施の形態における飛行体30は、ドローン(Drone)、マルチコプター(Multi Copter)、無人飛行体(Unmanned aerial vehicle:UAV)、RPAS(remote piloted aircraft systems)、又はUAS(Unmanned Aircraft Systems)等と称呼されることがある。
 飛行体30は、図3に示される機能ブロックを有している。なお、図2の機能ブロックは最低限の参考構成である。
 フライトコントローラは、所謂処理ユニットである。処理ユニットは、プログラマブルプロセッサ(例えば、中央処理ユニット(CPU))などの1つ以上のプロセッサを有することができる。処理ユニットは、メモリ22を有しており、当該メモリにアクセス可能である。メモリ22は、1つ以上のステップを行うために処理ユニットが実行可能であるロジック、コード、および/またはプログラム命令を記憶している。メモリは、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラやセンサ類27から取得したデータは、メモリ22に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。
 処理ユニットは、飛行体の状態を制御するように構成された制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θ、θ及びθ)を有する飛行体の空間的配置、速度、および/または加速度を調整するために飛行体の推進機構(モータ等)を制御する。制御モジュールは、搭載部、センサ類の状態のうちの1つ以上を制御することができる。
 処理ユニットは、1つ以上の外部のデバイス(例えば、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部と通信可能である。送受信機は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。例えば、送受信部は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。送受信部は、センサ類で取得したデータ、処理ユニットが生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。
 本実施の形態によるセンサ類は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。
<ハードウェア構成:中継機>
 本実施の形態においては、飛行体30と管理端末10との間に中継機20を設置することとしていた。即ち、各飛行体30から管理端末10にインプットされる飛行状態を示す信号や、各飛行体30に管理端末10からアウトプットされる制御信号し全て中継機20を介して伝達されることとなる。しかしながら、本実施の形態による構成はこれに限られない。例えば、(一部又は全部の)飛行体30と管理端末10とが直接に通信を行うこととしてもよい。また、通信手段についても、IPベースのコンピュータネットワークに限らず、携帯電話機やスマートフォン等に対するキャリアネットワーク(4G-LTE、5G等の通信手段等を利用することができる)や、LPWAネットワーク(SIGFOX、LoRa(LoRa WAN)、Wi-Fi HaLow、Wi-SUN、RPMA、Flexnet、IM920、Cat.M1、Cat.NB1などの規格)の帯域を(それのみで、又は併用して)適用することも可能である。
<データ:飛行情報>
 本実施の形態において、飛行体から得られるデータとしては、位置情報、高度情報、速度情報、バッテリー残量、信号強度、カメラの画像情報、カメラの方向、ズームイン/ズームアウト、等飛行体30が備えているセンサから取得できるあらゆるデータがあり得る。
 また、各飛行体30は、自己の順位(主従)に関する情報を有している。順位の低い飛行体30は、より順位の高い飛行体30に従って飛行し、従たる飛行体30は、主たる飛行体30に従って飛行する。なお、順位は使用者によって設定される。また、当初から固定されていてもよいし、何らかのきっかけによって又は使用者の手動により変更されることとしてもよい。
<制御例1>
 以下、図4及び図5を参照して、本実施の形態による飛行の制御例1を説明する。本制御例においては、図4に示されるように、飛行体30mを親機として、2つの飛行体30sは子機として順位付けがなされている。
 また、図示される例においては、飛行体30mはユーザによってプロポ等を利用して手動で飛行する。飛行体30sは、飛行体30sに従って等距離を保つように制御される。換言すれば、飛行体30m、飛行体30sは、初期の三次元的な相対的位置関係を維持したまま群として飛行する。以下、説明の際には「飛行体30m」を「親機30m」と、「飛行体30s」を「子機30s」と呼ぶ。
 より詳しくは、図5に示されるように、ユーザは、親機30mを手元のプロポにより制御を行う。かかる制御により、プロポから親機30mには制御信号が送信されるとともに(SQ01)、移動に関する座標情報が中継機20を介して端末10に入力される(SQ02、SQ03)。管理端末10は、子機30s_1と、子機30s_2とに対して送信するための信号を生成し、飛行指示(SQ04)として中継器20を介して(更には、子機30s_1及び子機30s_2のプロポを介して)制御信号を夫々の子機30s_1及び子機30s_2に送信する(SQ05_1及びSQ05-2)。
 なお、本実施の形態による飛行体30の制御においては、親機30mにされた移動制御と同じ制御が子機30sにも適用されていた。しかしながら、子機30sの移動量は必ずしも親機30mと完全同一でなくてもよい。例えば、親機30mの移動量に所定のパラメータを付加して制御することにより、子機の移動量の増加/減少、親機の移動量に応じた所定の移動パターンの適用等、親機の移動量や位置情報に基づいて何らかの基準を読み出し・算出することによって子機の移動制御を行うこととしてもよい。
 上述した制御信号により、図6に示されるように、親機30mは、初期位置P00からP01に移動操作される。この時、親機30mの初期位置P00における空間座標を(X,Y,Z)と表した場合、ユーザによる移動後の位置座標はP01(X,Y,Z)と表すことができる。なお、初期位置P00から移動先P01までの座標の変化量は(+a,+b,+c)とした。
 親機30mがこのように移動した際、制御信号を受信した子機30s_1は、初期位置P10(Xα,Yβ,Zγ)からP11(Xα+a,Yβ+b,Zγ+c)に移動する。また、子機30s_2は、初期位置P20(X,Y,Z)からP21(Xp+a,Yq+b,Zr+c)に移動する。
 かかる構成によれば、ユーザは、親機のみを制御するだけで初期状態における親機及び子機との相対的な位置関係を維持したまま、撮影を行うことができる。なお、本実施の形態による子機の制御方法の考え方としては、親機の制御と同様の制御を子機にもルーティングするというものである。また、子機30s_1と子機30s_2は、親機30mにほぼ遅延なく同じタイミングで移動制御をするものであったが、所定の時間差を設けたり、飛行速度を変更することとしてもよい。
<制御2>
 続いて、図7を参照して他の制御例を説明する。上記した例と同様に、本制御例においても、親機30mは、手動制御によるものである。図示されるように、親機30mは、スキーヤーの左側をその移動に合わせて後方(P00)から前方(P01)に移動するような移動を行う。
 子機30sは、これに対応して、スキーヤーの右側をその移動に合わせて後方(P00)から前方(P01)に親機30mと対称的に移動する。
<制御3>
 上記制御2の制御例の場合、親機30m及び子機30sの高度や、カメラの向きによっては相手型の機体が映ってしまう、ということが起こり得る。そこで例えば、親機30mを移動させた際に移動先における撮影範囲内に子機が含まれてしまう場合には、当該子機を当該撮影範囲外に移動させる制御を行う。
 具体的には、図8に示されるように、A及びBのスキーヤーを飛行体30m及び飛行体30sとで撮影している場合を例に説明する。本制御例においては、夫々の飛行体30は、別々のユーザが手動で制御している。このように複数のユーザが飛行体を操作している場合には、各ユーザは、他の飛行体30を考慮しながら撮影を行うことは難易度が高い。
 図示されるように、スキーヤーAを撮影している飛行体30mをP01からP02に移動させようとした際に、スキーヤーbを撮影している飛行体30sもP10からP11に移動させようとすると、飛行体30mの移動後のP02の位置においては当該飛行体30mの撮影範囲V内に、P11に位置する飛行体30sが映ってしまう可能性がある。
 管理端末10は(図5参照)、このような場合に、各飛行体の撮影範囲に関する情報を取得して、各飛行体の撮影範囲内に他の飛行体が進入する可能性がある場合には、当該飛行体が撮影範囲に入らないように制御する。図示される例においても、飛行体30sは、P11の手前のP12の位置で停止させ、飛行体30sが撮影範囲V内に入らないようにする。
 以上説明したように、本実施の形態によれば、飛行体同士を群として制御することにより、一つの被写体であっても様々な角度から同時に撮影することが可能となる。
 なお、例えば、親機及び子機の関係は所定の条件に応じて(例えば、被写体競技順位や、注目度等)、適宜変更することとしてもよい。
 このほか、特に子機30sの自動飛行制御の例としては、互いの飛行経路やカメラの向き録画中か否か、撮影範囲等に応じて行われることとしてもよい。
 なお、少なくとも親機又は子機のいずれかが、自動飛行制御とされていてもよい。この場合、管理端末10に予め経路(飛行ルート)の情報を入力しておくこととすればよい。
 また、管理端末10の機能の一部又は全部をいずれかの飛行体30が(単独で又は分散して)担うこととしてもよく、各飛行体30同士で通信が行われることとしてもよい。
 上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
 10    管理端末
 20    中継機
 30、30m、30s    飛行体

 

Claims (12)

  1.  撮影部を備える複数の飛行体によって撮影対象物を撮影する撮影方法であって、
     前記飛行体の夫々に所定の順位付けを設定する順位付けステップと、
     前記順位付けに基づいた制御を行う制御ステップと、
     前記制御に応じて前記飛行体を移動させると共に前記撮影部によって前記対象物を撮影する撮影ステップとを含む、
    撮影方法。
  2.  請求項1に記載の撮影方法であって、
     前記順位付けステップは、
      複数の前記飛行体から、親機と、少なくとも一以上の子機とを設定するステップを更に備えており、
      前記子機は、前記親機の飛行状態に応じて、飛行が制御される、
    撮影方法。
  3.  請求項1に記載の撮影方法であって、
     前記順位付けステップは、
      複数の前記飛行体から、複数の親機と、一の前記親機に対応する少なくとも一以上の子機とを設定するステップを更に備えており、
      前記子機は、前記親機の飛行状態に応じて、飛行が制御される、
    撮影方法。
  4.  請求項1に記載の撮影方法であって、
     前記順位付けステップは、
      複数の前記飛行体に同等の順位を設定するステップを更に備えており、
      前記飛行体の夫々は、互いの飛行状態に応じて、飛行が制御される、
    撮影方法。
  5.  請求項2乃至請求項4のいずれかに記載の撮影方法であって、
     前記順位付けステップは、
      前記飛行体の順位付けを第1状態に設定する第1順位付けステップと、
      前記飛行体の順位付けを前記第1状態とは異なる第2状態に設定する第2順位付けステップとを備える、
    撮影方法。
  6.  請求項1乃至請求項5のいずれかに記載の撮影方法であって、
     複数の前記飛行体のうち、少なくとも一以上の飛行体に対する操作を受け付けるステップと、
     前記操作に基づいて前記飛行体が制御されるステップと、を備える、
    撮影方法。
  7.  請求項1乃至請求項6のいずれかに記載の撮影方法であって、
     前記撮影ステップは、複数の前記飛行体の相対位置に基づいて移動が制御される、
    撮影方法。
  8.  請求項1乃至請求項7のいずれかに記載の撮影方法であって、
     前記撮影ステップは、複数の前記飛行体の移動経路に基づいて移動が制御される、
    撮影方法。
  9.  請求項1乃至請求項8のいずれかに記載の撮影方法であって、
     前記撮影ステップは、一の前記飛行体の前記撮影部の向きに応じて、他の前記飛行体の飛行が制御される、
    撮影方法。
  10.  請求項1乃至請求項9のいずれかに記載の撮影方法であって、
     前記撮影ステップは、一の前記飛行体の前記撮影部の起動状態に応じて、他の前記飛行体の飛行が制御される、
    撮影方法。
  11.  請求項10のいずれかに記載の撮影方法であって、
     前記撮影ステップは、一の前記飛行体の前記撮影部の撮影範囲に応じて、他の前記飛行体の飛行が制御される、
    撮影方法。
  12.  請求項1乃至請求項11のいずれかに記載の撮影方法であって、
     前記撮影ステップは、一の前記飛行体の前記撮影部の撮影範囲に応じて、他の前記飛行体の飛行が制御される、
    撮影方法。

     
PCT/JP2020/003532 2019-01-31 2020-01-30 撮影方法 WO2020158892A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/055,486 US11820488B2 (en) 2019-01-31 2020-01-30 Image capturing method
CN202080003237.9A CN112262074A (zh) 2019-01-31 2020-01-30 摄像方法
EP20748854.5A EP3919374B1 (en) 2019-01-31 2020-01-30 Image capturing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019015572A JP7274726B2 (ja) 2019-01-31 2019-01-31 撮影方法
JP2019-015572 2019-01-31

Publications (1)

Publication Number Publication Date
WO2020158892A1 true WO2020158892A1 (ja) 2020-08-06

Family

ID=71840356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003532 WO2020158892A1 (ja) 2019-01-31 2020-01-30 撮影方法

Country Status (5)

Country Link
US (1) US11820488B2 (ja)
EP (1) EP3919374B1 (ja)
JP (3) JP7274726B2 (ja)
CN (1) CN112262074A (ja)
WO (1) WO2020158892A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11820488B2 (en) 2019-01-31 2023-11-21 RedDotDroneJapan Co., Ltd. Image capturing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015191254A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム
JP2016200700A (ja) 2015-04-09 2016-12-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US20170220037A1 (en) * 2016-02-03 2017-08-03 Sony Corporation System and method for utilization of multiple-camera network to capture static and/or motion scenes

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
US20060155432A1 (en) * 2005-01-07 2006-07-13 United Technologies Corporation Methods and systems for monitoring atmospheric conditions, predicting turbulent atmospheric conditions and optimizing flight paths of aircraft
CN104168455B (zh) * 2014-08-08 2018-03-09 北京航天控制仪器研究所 一种空基大场景摄像***及方法
US20160054737A1 (en) 2014-08-22 2016-02-25 Cape Productions Inc. Methods and Apparatus for Unmanned Aerial Vehicle Autonomous Aviation
CN104298248B (zh) * 2014-10-08 2018-02-13 南京航空航天大学 旋翼无人机精确视觉定位定向方法
KR20170014609A (ko) * 2015-07-30 2017-02-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
WO2017057157A1 (ja) 2015-09-30 2017-04-06 株式会社ニコン 飛行装置、移動装置、サーバおよびプログラム
JP6214613B2 (ja) * 2015-10-26 2017-10-18 株式会社プロドローン 水中撮影装置
US10005555B2 (en) * 2016-05-02 2018-06-26 Qualcomm Incorporated Imaging using multiple unmanned aerial vehicles
CN106125758B (zh) * 2016-07-07 2019-03-15 衢州光明电力投资集团有限公司赋腾科技分公司 一种无人机编队控制***及方法
JP2018173960A (ja) 2017-03-31 2018-11-08 キヤノンマーケティングジャパン株式会社 情報処理システム、及びその制御方法、プログラム
KR101896654B1 (ko) * 2017-11-08 2018-09-07 변정태 드론을 이용한 3d 영상 처리 시스템 및 방법
CN108419052B (zh) * 2018-03-28 2021-06-29 深圳臻迪信息技术有限公司 一种多台无人机全景成像方法
JP7274726B2 (ja) 2019-01-31 2023-05-17 株式会社RedDotDroneJapan 撮影方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015191254A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 無人航空機、無人航空機の制御方法、および、管制システム
JP2016200700A (ja) 2015-04-09 2016-12-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US20170220037A1 (en) * 2016-02-03 2017-08-03 Sony Corporation System and method for utilization of multiple-camera network to capture static and/or motion scenes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11820488B2 (en) 2019-01-31 2023-11-21 RedDotDroneJapan Co., Ltd. Image capturing method

Also Published As

Publication number Publication date
EP3919374A4 (en) 2022-10-19
JP2023157917A (ja) 2023-10-26
JP2020123218A (ja) 2020-08-13
EP3919374A1 (en) 2021-12-08
JP2023099556A (ja) 2023-07-13
US11820488B2 (en) 2023-11-21
JP7274726B2 (ja) 2023-05-17
US20210107627A1 (en) 2021-04-15
EP3919374B1 (en) 2023-09-06
CN112262074A (zh) 2021-01-22
JP7333129B2 (ja) 2023-08-24

Similar Documents

Publication Publication Date Title
US20190373173A1 (en) Multi-gimbal assembly
CN109074101B (zh) 使用多个无人机的成像
JP6281720B2 (ja) 撮像システム
WO2021199449A1 (ja) 位置算出方法及び情報処理システム
US20210018938A1 (en) Computation load distribution
WO2018059295A1 (zh) 多旋翼飞行器的控制方法、装置和***
JP6481121B1 (ja) 飛行体の制御に関する情報表示方法
JP2023057120A (ja) 飛行体の制御に関する情報表示方法
JP7333129B2 (ja) 撮影方法
JP7149569B2 (ja) 建造物の測定方法
CN110622086B (zh) 可移动物体应用框架
WO2022000245A1 (zh) 飞行器的定位方法、辅助定位***的控制方法和装置
JP6582270B1 (ja) 飛行体の制御に関する情報表示方法
WO2023178487A1 (zh) 飞行器及其功耗的控制方法、控制装置和计算机存储介质
JP6978026B1 (ja) ウェイポイント設定方法及びウェイポイント修正方法、管理サーバ、情報処理システム、プログラム
JP6582265B1 (ja) 飛行体の制御に関する情報表示方法
JP6582268B1 (ja) 飛行体の制御に関する情報表示方法
JP6582266B1 (ja) 飛行体の制御に関する情報表示方法
JP6582258B1 (ja) 飛行体の制御に関する情報表示方法
JP6582267B1 (ja) 飛行体の制御に関する情報表示方法
JP6582269B1 (ja) 飛行体の制御に関する情報表示方法
JP6582264B1 (ja) 飛行体の制御に関する情報表示方法
WO2022113482A1 (ja) 情報処理装置、方法およびプログラム
WO2021038622A1 (ja) 無人移動体の制御システムおよび無人移動体の制御方法
JP7112714B2 (ja) 監視装置、監視プログラム及び飛行体を利用した監視システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20748854

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020748854

Country of ref document: EP

Effective date: 20210831