JP7392622B2 - 無人航空機の制御方法、サーバ、及び、無人航空機 - Google Patents

無人航空機の制御方法、サーバ、及び、無人航空機 Download PDF

Info

Publication number
JP7392622B2
JP7392622B2 JP2020166278A JP2020166278A JP7392622B2 JP 7392622 B2 JP7392622 B2 JP 7392622B2 JP 2020166278 A JP2020166278 A JP 2020166278A JP 2020166278 A JP2020166278 A JP 2020166278A JP 7392622 B2 JP7392622 B2 JP 7392622B2
Authority
JP
Japan
Prior art keywords
route
unmanned aircraft
processor
control method
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020166278A
Other languages
English (en)
Other versions
JP2022057829A (ja
Inventor
亜衣 宮田
由里香 田中
英男 長谷川
寛之 鈴木
克博 大原
友哉 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020166278A priority Critical patent/JP7392622B2/ja
Priority to US17/487,620 priority patent/US20220100210A1/en
Priority to CN202111152551.6A priority patent/CN114333425A/zh
Publication of JP2022057829A publication Critical patent/JP2022057829A/ja
Application granted granted Critical
Publication of JP7392622B2 publication Critical patent/JP7392622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • G08G5/0034Assembly of a flight plan
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • G08G5/0039Modification of a flight plan
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0052Navigation or guidance aids for a single aircraft for cruising
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/006Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、無人航空機の制御方法、サーバ、及び、無人航空機に関する。
従来、ドローンなどの無人航空機に飛行経路を設定して、目的地までの経路を案内する装置が提案されている。例えば、特許文献1によれば、ドローンの飛行経路を設定する装置が、ドローンの出発地と目的地との間の地形等に応じて、ドローンに対して緯度、経度、高さを含む座標点列として表現された飛行指示データを送信することが記載されている。
特開2018-165930号公報
地形及び地上の構造物等のみに基づいて無人航空機の経路が設定されると、無人航空機が不適切な経路を飛行することがある。不適切な経路は、例えば、住宅、学校、人が集まる公園、及び、繁華街等の上空を含む。このような経路は、無人航空機が飛行する経路の周辺にいる人に対して不安感及び圧迫感を感じさせたり、無人航空機が不具合等により経路上で着陸をしたとき、人及び物に対して接触をするなどの迷惑を生じさせたりすることが懸念される。
かかる事情に鑑みてなされた本開示の目的は、無人航空機を目的地まで安全な経路で飛行させることにある。
本開示の一実施形態に係る無人航空機の制御方法によれば、プロセッサが、無人航空機の現在地、目的地及び地図情報に基づいて、道路及び水路の上を優先して飛行する経路を生成する。さらに、プロセッサが、生成した前記経路に基づいて、前記無人航空機の飛行を制御する。
本開示の一実施形態に係るサーバは、複数の無人航空機と情報を送受信可能な第1の通信部と、第1のプロセッサと、地図データベースとを備える。前記第1のプロセッサは、前記無人航空機の現在地、目的地及び前記地図情報に基づいて、道路及び水路の上を優先して飛行する経路を生成し、生成した前記経路に関する経路情報を、前記第1の通信部を介して前記無人航空機に送信するように構成される。
本開示の一実施形態に係る無人航空機は、第2の通信部と、第2のプロセッサと、カメラと、飛行ユニットとを備える。前記第2の通信部は、道路及び水路の上を優先して飛行する目的地までの経路に関する経路情報、及び、地図情報を受信する。前記第2のプロセッサは、前記経路情報及び前記地図情報に基づいて前記飛行ユニットを制御し、飛行中に前記カメラにより撮像された画像から検出される前記経路を通行する歩行者及び車両の通行量に基づいて、前記目的地までの前記経路を再生成する。
本発明によれば、無人航空機を目的地まで安全な経路で飛行させる無人航空機の制御方法、サーバ、及び、上記制御方法に従う無人航空機を提供することができる。
本開示の一実施形態に係る無人航空機制御システムの概略構成を示す図である。 図1のサーバ及び無人航空機の概略構成を示す図ブロック図である。 無人航空機の経路案内の一例を説明する図である。 分岐点における無人航空機の経路選択について説明する図である。 第1の制御部及び第2の制御部が実行する処理のフロー図である。 サーバ及び無人航空機の他の概略構成例を示すブロック図である。 サーバ及び無人航空機のさらに他の概略構成例を示すブロック図である。
以下、本開示の一実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
(無人航空機制御システム)
図1は、一実施形態に係る無人航空機20の経路を制御する無人航空機制御システムの概略構成を示す。無人航空機制御システムは、サーバ10と、1つ以上の無人航空機20とを含む。サーバ10は、各無人航空機20に対して、目的地を設定することができる情報処理装置である。サーバ10は、各無人航空機20に対して、飛行経路を生成して送信してよい。サーバ10は、各無人航空機20から現在位置を取得し、各無人航空機20の現在位置を管理してよい。サーバ10は一つに限られず、複数の異なる場所に分散して配置されてよい。
無人航空機20は、サーバ10からの目的地の指示を受けて、少なくとも部分的に自律飛行する飛行物体である。無人航空機20は、ドローンとも称される。本実施形態において、無人航空機20は、物流用途に使用される。無人航空機20は、出発地で荷物を載せて目的地まで配送する。無人航空機20は、複数の回転翼を備え、これを回転させることにより揚力を発生させることができる。本実施形態における無人航空機20は、数百グラムから数キログラム程度までの小型の荷物を運搬可能な機体のものを想定している。しかし、本開示の無人航空機20は、より大きな荷物の配送を可能に構成されてよい。
サーバ10と無人航空機20とは、通信用のネットワーク50を介して接続される。サーバ10とネットワーク50とは、有線又は無線の通信システムにより接続される。ネットワーク50としては、インターネットなどの広域ネットワーク、VPN(Virtual Private Network)、及び、専用回線によるネットワークを含む。無人航空機20とネットワーク50とは、無線通信システムにより接続される。無人航空機20からネットワーク50に接続する方法としては、第3世代移動通信システム(3G)、LTE(Long Term Evolution)等の第4世代移動通信システム(4G)、第5世代移動通信システム(5G)、Wi-Fi(登録商標)、及び、WiMAX(Worldwide Interoperability for Microwave Access)等による方法を挙げることができるが、これらに限られない。
図2に、サーバ10及び無人航空機20のより詳細な構成が示される。
(サーバ)
サーバ10は、第1の制御部11、第1の通信部12、及び、地図データベース13を含む。
第1の制御部11は、単一の、または、複数のプロセッサを含んで構成される。プロセッサには、特定のプログラムを読み込ませることにより、プログラムされた機能を実行する汎用プロセッサ、および、特定の処理に特化した専用プロセッサが含まれる。専用プロセッサとしては、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)およびFPGA(Field-Programmable Gate Array)等を採用しうる。第1の制御部11を構成するプロセッサは、第1のプロセッサである。第1の制御部11は、プロセッサの実行するプログラム、および、プロセッサによる演算中の情報等を記憶することができるメモリを含んでよい。
第1の通信部12は、有線または無線によりネットワーク50に接続する通信インタフェースを備える。第1の通信部12は、情報の送信、受信に係るプロトコル処理、送信信号の変調および受信信号の復調等の処理を行う。第1の通信部12は、ネットワーク50を介して無人航空機20と情報の送受信を行うことができる。
地図データベース13は、各無人航空機20が飛行する領域全体の地図情報を格納したデータベースである。地図データベース13は、道路及び水路の情報を含む。地図データベース13は、地形の起伏、建物、電柱、歩道橋等の道路上の立体構造物、道路の立体交差などの3次元の情報を含む。地図データベース13は、さらに、飛行できない領域の情報を含んでよい。例えば、特定の施設の周辺では法律により無人航空機の飛行が禁止されている。
本願において「水路」の用語は、水面で繋がった領域を意味するものとして、広義の意味で用いられる。水路は、船舶等が通行可能な水面及び水を流すために作られた通路を含む。例えば、水路は、河川、運河、及び、用水路等を含む。
第1の制御部11は、サーバ10の各部を制御する。第1の制御部11は、第1の通信部12を介して、各無人航空機20と情報の送受信を行う。第1の制御部11は、外部からの入力を受けて、無人航空機20に目的地と目的地までの経路を設定することができる。
第1の制御部11は、無人航空機20に設定する経路を生成する経路生成部31を含む。経路生成部31は、ハードウェアモジュール又はソフトウェアモジュールとして実装されてよい。経路生成部31は、無人航空機20の現在地、目的地及び地図データベース13の地図情報に基づいて、目的地まで道路及び水路の上を優先して飛行する経路を生成する。第1の制御部11は、第1の通信部12を介して、生成した経路の情報を無人航空機20に送信する。
無人航空機20は、道路又は水路の上を優先して飛行するので、安全な経路を選択して飛行することが容易になる。仮に、飛行中に不具合が生じても、無人航空機20は、道路又は水路上に安全に着陸又は着水することができる。また、無人航空機20は、目的地まで安全に飛行するために、できるだけ、歩行者及び車両の通らない経路を選択する。これにより、不具合が生じた場合でも、無人航空機20が、歩行者又は車両に接触するなどの危険性を小さくすることができる。特に、歩行者に対して無人航空機20が自分に向かって落下するという不安感及び圧迫感を与えることなく、無人航空機20は飛行することができる。
経路生成部31は、無人航空機20の飛行する経路を生成する際、出発地から目的地まで複数の経路があるとき、それぞれの経路のリスクの高さを評価する。経路生成部31は、評価したリスクの高さに基づいて、できるだけリスクが低くなるように複数の候補経路から飛行する経路を選択する。
例えば、無人航空機20の飛行する経路は、できるだけ歩行者及び車両が通っていないことが望ましい。歩行者及び車両が通っていなければ、仮に無人航空機20に不具合が生じたとしても、歩行者又は車両に接触する危険性が無い。このため、経路生成部31は、候補経路に関する交通量の情報を取得する。交通量の情報は、第1の通信部12を介して外部の情報源から取得してよい。あるいは、経路生成部31は、サーバ10内に蓄積された過去の時間帯ごと道路ごとの交通量の情報を取得してもよい。
経路生成部31は、無人航空機20の経路を生成するにあたり、各候補経路の距離の長さを算出する。経路生成部31は、距離の長さが長い場合、距離の長さが短い場合に比べ、リスクが高いと評価することができる。
また、地図データベース13は、道路の情報として停車帯及び中央分離帯の有無を含むことができる。停車帯は、車両の停車の用に供するために設けられる帯状の車道の部分である。中央分離帯は、車道を往復の方向別に分離するため、その中央部に設けられる地帯のことである。経路生成部31は、地図データベース13から、候補経路に含まれる道路に停車帯又は中央分離帯がある場合、停車帯又は中央分離帯がない場合に比べ、リスクが小さいと評価する。道路に停車帯又は中央分離帯があれば、無人航空機20は、停車帯又は中央分離帯の上を飛行することができる。無人航空機20が停車帯又は中央分離帯の上を飛行している場合、無人航空機20に不具合が生じた場合でも、歩行者及び車両の通行していない中央分離帯又は停車帯に着陸できるので、歩行者又は車両に接触する可能性は低い。
また、地図データベース13は、道路の情報として歩行者と車両との通行区分が分離されているか否かの情報を含むことができる。歩道と車道とが設けられている道路は、歩行者と車両との通行区分が分離されている。経路生成部31は、候補経路に含まれる道路が、歩行者と車両との通行区分が分離されている場合、歩行者と車両との通行区分が分離されていない場合に比べ、リスクが低いと評価することができる。歩行者と車両との通行区分が分離されていれば、無人航空機20は、車両の通行区分の上を飛行することができる。無人航空機20が、車両の通行区分の上を飛行している場合、無人航空機20に不具合が生じた場合でも、歩行者に接触する可能性は低い。
経路生成部31は、制限速度が所定の速さ以上の道路、高速道路、及び、鉄道の線路の上を、無人航空機20ができるだけ飛行しないように経路を生成することができる。所定の速度は、無人航空機20と車両とが万が一接触した場合の危険度を評価して決定される。所定の速度は例えば、時速60kmである。これらの道路及び線路は、無人航空機20に不具合が生じた場合に安全に着陸できないと考えられるので、無人航空機20の経路から除外することができる。無人航空機20は、これらの道路又は線路を横切ることがある。しかし、無人航空機20は、これらの道路又は線路上をこれらの道路又は線路に沿って飛行しないように経路設定されることができる。
経路生成部31は、無人航空機20が、歩行者専用に設定された道路の区間の上を飛行しないように経路を生成することができる。歩行者専用に設定された道路の区間とは、例えば、休日などに設定される車両を通行止めにした歩行者ゾーン(例えば、所謂「歩行者天国」)を含む。歩行者ゾーンでは、多数の歩行者がいる場合が多いので、上空を無人航空機20が飛行すると、歩行者に不安感又は圧迫感を与える虞がある。
経路生成部31は、道路上に構造物がある経路を飛行しないように、無人航空機20の飛行する経路を生成してよい。道路上の構造物には、歩道橋及び道路上の情報表示板等を含む。
経路生成部31は、地図データベース13に記憶される地図情報に従って、ナビゲーションシステムと類似に、無人航空機20の現在地から目的地までの経路を生成することができる。無人航空機20が出発前の場合、出発地が現在地となる。経路生成部31は、ナビゲーションシステムと異なり、一方通行又は右折禁止等の交通法規に従う必要はない。経路生成部31は、経路を生成するに当たって、道路の立体交差又はトンネル等がある場合、道路の上に経路を設定できない場合がある。
(無人航空機)
一実施形態において、無人航空機20は、第2の制御部21、第2の通信部22、メモリ23、カメラ24、センサ25、飛行ユニット26、保持部27を含む。
第2の制御部21は、第1の制御部11と類似して、単一の、または、複数のプロセッサを含んで構成される。第2の制御部21を構成するプロセッサは、第2のプロセッサである。第2の制御部21は、無人航空機20の各部及び全体を制御する。第2の制御部21が実行する処理につては、さらに後述する。
第2の通信部22は、無線によりネットワーク50に接続する通信インタフェースを備える。第2の通信部22は、情報の送信、受信に係るプロトコル処理、送信信号の変調および受信信号の復調等の処理を行う。第2の通信部22は、ネットワーク50を介してサーバ10と情報の送受信を行うことができる。
メモリ23は、半導体記憶装置を含む。半導体記憶装置は、ROM(read only memory)、RAM(Random Access Memory)、フラッシュメモリ、等を含みうる。RAMにはDRAM(Dynamic Random Access Memory)とSRAM(Static Random Access Memory)とが含まれうる。メモリ23は、第2の制御部21の実行するプログラム、および、第2の制御部21の演算中の情報等を記憶することができる。メモリ23は、さらに、サーバ10から受信した出発地から目的地までの経路情報を記憶する。メモリ23は、無人航空機20が飛行を予定する経路の周辺の地図情報を記憶することができる。無人航空機20は、サーバ10の地図データベース13に含まれる地図情報の一部を、サーバ10から取得してよい。
カメラ24は、レンズ等の光学系と、CCDイメージセンサ(Charge-Coupled Device Image Sensor)、又は、CMOSイメージセンサ(Complementary MOS Image Sensor)等の撮像素子とを含む。カメラ24は、無人航空機20の周辺の画像を撮像する。カメラ24は所定のフレームレート、例えば、30fps(frame per second)で、継続的に画像を撮像してよい。カメラ24は、撮像した画像の信号を第2の制御部21に送信する。
センサ25には、多数のセンサが含まれる。センサ25には、測位センサ、方位センサ、加速度センサ、角速度センサ、対地高度センサ、障害物センサ等が含まれうる。測位センサは、緯度、経度などで表される絶対位置を検出することができる。測位センサは、全地球測位システム(GNSS:Global Navigation Satellite System)に対応した受信機を含むことができる。GNSSに対応した受信機には、GPS(Global Positioning System)受信機が含まれる。方位センサは、地磁気の磁力を検出して方位を測定することができる。加速度センサ及び角速度としては、ジャイロセンサが使用されうる。対地高度センサ及び障害物センサとしては、超音波センサ及び赤外線センサ等が使用される。センサ25は、さらに、気圧センサ等を含んでよい。
飛行ユニット26は、複数の回転翼とその駆動装置を含む。回転翼の数は、例えば、4つ又は6つであってよいが、これらに限られない。一例として、複数の回転翼は、無人航空機20の機体の中心から放射状に配置される。飛行ユニット26は、第2の制御部21の制御の下で、各回転翼の回転速度を調整することにより、無人航空機20に、静止、上昇、下降、前進、後退、旋回等の種々の動作をさせることができる。
保持部27は、荷物を保持する。保持部27は、荷物を保持するためのアームを含んでよい。保持部27は、第2の制御部21の制御の下で、飛行中に荷物を保持し、目的地でアームを広げて荷物をリリースすることができる。
第2の制御部21は、無人航空機20の各部を制御しながら、サーバ10により設定された目的地及び経路情報に基づいて目的地に向かって無人航空機20を飛行させる。第2の制御部21は、飛行制御部28及び経路制御部32の2つの機能ブロックを含んでよい。飛行制御部28及び経路制御部32は、ハードウェアモジュール又はソフトウェアモジュールとして実装されてよい。
飛行制御部28は、センサ25の検出結果に従い飛行ユニットの各部を制御して、自律的に飛行状態を維持する。例えば、飛行制御部28は、地面からの距離を所定の距離に維持する。所定の距離は、例えば、3m、6m又は9m等に設定しうる。飛行制御部28は、風等の外部要因により、無人航空機20の位置が経路上からずれた場合、飛行ユニット26を制御して経路上に戻る。さらに、飛行制御部28は、センサ25により前方に鳥などの予期しない障害物が検出された場合、これを回避するように飛行ユニット26を制御してよい。
飛行制御部28は、飛行中の経路に含まれる道路上に歩行者又は車両が存在するとき、歩行者又は車両の上を避けて飛行するように、飛行ユニット26を制御してよい。このようにすることによって、無人航空機20が、歩行者又は車両の真上を飛行しないので、歩行者又は運転者に対して不安感又は圧迫感を与えることを避けることができる。また、仮に無人航空機20に不具合が生じた場合に、歩行者又は車両に無人航空機20が接触する危険性を低減することができる。
また、飛行制御部28は、飛行中継続的にセンサ25で取得した測位情報を、第2の通信部22を介してサーバ10に送信してよい。これによりサーバ10の第1の制御部11は、無人航空機20の現在位置を管理することができる。また、無人航空機20に不具合が生じて、測位情報の送信が停止した場合、サーバ10の第1の制御部11は、不具合の発生を認識するとともに、不具合の発生した位置を特定することができる。
飛行制御部28は、無人航空機20の飛行機能に異常が発生したことを検出した場合、サーバ10又はその他の装置に緊急情報を送信してよい。緊急情報は、無人航空機20の現在位置情報を含んでよい。無人航空機20を運用する組織は、サーバ10又は他の装置を介して受信した緊急情報に基づいて、無人航空機20及び荷物の回収のため、担当者を派遣することができる。
経路制御部32は、サーバ10から受信しメモリ23に記憶された目的地及び経路情報に基づいて、無人航空機20の飛行する経路を制御する。経路制御部32は、飛行する道路の交通量等に応じて、機動的に現在地から目的地までの経路を再生成してよい。経路制御部32が再生成する経路も、道路及び水路の上を優先して飛行するように経路を選択する。
図3を用いて、経路制御部32による飛行中の無人航空機20の経路制御について説明する。図中R1は制限速度が時速60km幹線道路を示す。他の道路は、制限速度が時速40km程度の一般の道路である。無人航空機20は、出発地P1から目的地P2まで荷物を配送するものとする。
まず、サーバ10の第1の制御部11の経路生成部31が、無人航空機20の出発地P1から目的地P2までの経路を、図3の実線で例示するように生成する。無人航空機20は、目的地P2の位置情報及び目的地P2迄の経路情報並びに周辺の地図情報を、サーバ10から受信する。
無人航空機20は、出発地P1を出発すると、サーバ10が生成した経路情報に従って、実線で示される経路を飛行する。サーバ10が生成した経路は、複数の分岐点を含む。分岐点は、例えば道路の交差点に対応する。各時点において、無人航空機20の経路は、現在地、各分岐点、及び目的地P2を順次繋ぐリンクを含んで構成される。リンクは、例えば、道路の交差点間の各区間、及び、道路との間で無人航空機20が移動可能な水路の上の2点間の区間を示す。
経路制御部32は、無人航空機20が分岐点の一つに到達する度に、現在飛行中の経路を評価し、必要に応じて経路を変更することができる。このため、経路制御部32は、無人航空機20が分岐点の一つに到達する度に、次のリンク上を通行する歩行者又は車両の通行量を示す通行量情報を取得してよい。経路制御部32は、通行量情報を、カメラ24で撮像した画像から取得することができる。このため、経路制御部32は、カメラ24で撮像した画像に対して画像認識を行い、歩行者及び車両の画像を抽出することができる。経路制御部32は、通行量情報を、無人航空機20の外部から提供される交通情報から取得してよい。
図3に示す例において、無人航空機20は、出発地P1を出発した後、経路生成部31で生成された経路の通り進み、分岐点N1に到達する。分岐点N1において、経路制御部32は、飛行中の経路のリンクL1の通行量が所定の通行量より多いと判断することがある。その場合、分岐点N1において、経路制御部32は、リンクL1とリンクL2とを撮像した画像から、リンクL1とリンクL2の通行量を比較する。例えば、リンクL1よりもリンクL2の方の通行量が少ないと判断されるとき、経路制御部32は現在地から目的地P2まで新たに破線で示すリンクL2を通る経路を再生成してよい。分岐点N1を通過後、無人航空機20は、破線で示した再生成された経路を飛行してよい。
経路制御部32は、分岐点N1で次のリンクL1と分岐可能な他のリンクL2との通行量情報、及び、それぞれのリンクL1,L2を飛行した場合の現在地から目的地P2までの距離に基づいて、それぞれのリンクL1,L2に進んだ場合のリスクを評価してよい。経路制御部32は、評価したリスクに基づいて、リスクが低い方のリンクL1,L2を通るように経路を再生成してよい。リスクは、数値化して比較することができる。
図4は、経路選択の一例を説明するための図である。分岐点N1の手前のリンクL0を通り分岐点N1に到達した無人航空機20は、カメラ24により分岐点N1から分岐する各リンクL1,L2,L3を撮像して、それぞれの通行量を検出する。経路制御部32は、リンクL3について、目的地P2から遠ざかる方向なので、採用し得ない経路としてリスク度を100とする。経路制御部32は、通行量及び残りの経路を飛行する距離をそれぞれ数値化し、リスク度を通行量と残りの飛行距離の積により算出してよい。図3の例で、リンクL1のリスク度は80、リンクL2のリスク度は50である。経路制御部32は、よりリスク度の低いリンクL2を通る経路を採用することができる。経路制御部32は、目的地P2迄の経路を、リンクL2を通る経路に設定しなおす。
無人航空機20は、各分岐点で次に進むリンクに歩行者及び車両の通行量が少ない経路を順次選択することができる。これにより、無人航空機20は、できるだけ、歩行者及び車両が通らない経路を選択して飛行することができる。なお、上記説明では、無人航空機20は、道路上の通行量を検出するものとしたが、無人航空機20が水路上の経路を飛行している場合には、水路を通る船舶等について同様に検出して評価しうる。
経路生成部31による経路の生成及び経路制御部32による経路の再生成は、上述した条件以外の種々の条件を考慮に入れることができる。
経路生成部31及び経路制御部32は、前記荷物の種類又は重量を考慮して経路を生成してよい。例えば、荷物の重量が重い場合は、仮に、不具合により無人航空機20が落下した場合、歩行者又は車両と接触すると、大きな被害が発生しうる。このため、荷物の重量が所定の重量より重い場合、無人航空機20は、歩行者及び車両がほとんど通行していない経路を選択して飛行するように制御されてよい。
また、経路生成部31及び経路制御部32は、気象条件を考慮して経路を生成してよい。例えば、風が強い場合、高いビルの近くでは無人航空機20がビル風の影響を受けやすい。このため、風が所定の強度より強い場合、無人航空機20は、周辺に高い建物が無い道路又は水路の上の経路を選択して飛行するように制御されてよい。
(無人航空機の制御方法のフロー)
以下に、無人航空機20の制御方法が、図5を参照して説明される。
まず、サーバ10の第1の制御部11が、無人航空機20の出発地(現在地)から目的地まで、道路及び水路の上を優先して飛行する経路を生成する(ステップS101)。
無人航空機20の第2の制御部21が、サーバ10で生成された経路情報に従って無人航空機20の飛行を制御する(ステップ102)。第2の制御部21は、無人航空機20が目的地に到着したか否かの判断をする(ステップS103)。
第2の制御部21は、目的地に到着していないと判断したとき(ステップS103:No)、分岐点に到着したか否かを判断する(ステップS104)。
目的地に到着せず(ステップS103:No)、分岐点に到着していない場合(ステップS104:No)、第2の制御部21は、目的地又は分岐点に到着するまで、ステップS102からS104を繰り返す。
分岐点に到着すると(ステップS104:Yes)、第2の制御部21は、カメラ24を制御して分岐点から先の各リンクの画像を撮像する(ステップS105)。このため、第2の制御部21は、分岐点において停止し、各リンクの向きにカメラ24を向けるように、無人航空機20の向きを変えて画像を撮像してよい。カメラ24は、広角レンズを備え複数のリンクの方向を一度に撮像してもよい。
第2の制御部21は、カメラ24から各リンクの画像を取得し、それぞれのリンクごとの歩行者及び車両の通行量を認識する(ステップS106)。
第2の制御部21は、現在設定されている経路に含まれるリンクと他のリンクとを比較して、無人航空機20が飛行する経路を変更するか否かを判断する(ステップS107)。一例として、第2の制御部21は、現在の経路に含まれるリンクの歩行者及び車両の双方又は何れか一方の通行量が所定値より少ないと判断する場合、現在の経路をそのまま進んでよい。第2の制御部21は、現在の経路に含まれるリンクの歩行者及び車両の双方又は何れか一方の通行量が所定値より多く、他のリンクの通行量が所定値より少ないと判断した場合、経路を変更するか否かを判断する。経路の変更の判断には、目的地までの飛行距離が考慮される。所定値は、無人航空機20が、リンクを飛行する場合の安全性を考慮して設定される。
ステップS107において経路を変更しない場合(ステップS107:No)、第2の制御部21は、設定されていた経路を進むとともに、ステップS102に戻って、ステップS102以下の処理を繰り返す。
ステップS107において経路を変更する場合(ステップS107:Yes)、第2の制御部21は、経路情報を新たな経路に変更する(ステップS108)。第2の制御部21は、新たな経路を、無人航空機20が道路又は水路の上を優先して飛行するように設定する。第2の制御部21は、新たな経路を進むとともに、ステップS102に戻って、ステップS102以下の処理を繰り返す。
第2の制御部21は、無人航空機20を制御して、全ての分岐点を通過して目的地に到着すると(ステップS103:Yes)、目的地で荷物をリリースする(ステップS109)。無人航空機20は、目的地で着陸して荷物を離してから再度離陸してよい。あるいは、無人航空機20は、目的地で飛行した状態から荷物を投下してもよい。
荷物の配送が終了すると、無人航空機20は、予め出発点に戻るようにプログラムされてよい。又は、荷物の配送が終了すると、無人航空機20は、サーバ10からの指示を受けて、他の地点に向けて飛行してよい。
以上説明したように、本実施形態によれば、無人航空機20を目的地まで安全な経路で飛行させることができる。無人航空機20は、できるだけ、歩行者及び車両が通らない経路を飛行するので、歩行者及び車両の運転者に不安感及び圧迫感を与えたり、不具合が発生した際に歩行者又は車両に接触したりする危険性を低減することができる。
上記実施形態において、サーバ10の第1の制御部11に経路生成部31が含まれ、無人航空機20の第2の制御部21に経路制御部32が含まれている。しかし、経路生成部31及び経路制御部32の機能は、サーバ10と無人航空機20との間で任意に分散して配置することができる。
例えば、経路生成部31及び経路制御部32の機能は、図6に示すように、サーバ10の第1の制御部11に配置することが可能である。この場合、各分岐点において、無人航空機20の第2の制御部21は、カメラ24が撮像した画像、又は、カメラ24が撮像した画像を分析した各リンクの通行量の情報を、第2の通信部22を介してサーバ10に送信する。サーバ10は、第1の通信部12で無人航空機20から受信した情報に基づいて、第1の制御部11の経路制御部32が、無人航空機20が飛行する経路を再生成するか否かを決定する。第1の制御部11は、経路を再生成した場合、再生成した経路を第1の通信部12を介して無人航空機20に送信する。
また、経路生成部31及び経路制御部32の機能は、図7に示すように、無人航空機20の第2の制御部21に配置することが可能である。この場合、最初に、サーバ10の第1の制御部11は、第1の通信部12を介して、無人航空機20に目的地の位置情報と出発地と目的地を含む周辺の地図情報を送信する。無人航空機20では、第2の制御部21の経路生成部31が目的地までの経路を生成する。出発地を出発後、第2の制御部21の経路制御部32が、必要に応じて現在地から目的地に到着するまでの経路の再生成を実行する。
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または改変が可能である。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段またはステップ等を1つに組み合わせたり、あるいは分割したりすることが可能である。
本明細書で開示される無人航空機20の制御方法は、サーバ10及び無人航空機20に含まれるプロセッサがプログラムに従って実行することができる。そのようなプログラムは、非一時的なコンピュータ可読媒体において記憶されることが可能である。非一時的なコンピュータ可読媒体の例としては、ハードディスク、RAM、ROM、フラッシュメモリ、CD-ROM、光記憶デバイス、磁気記憶デバイス等を含むが、これらに限定されない。
10 サーバ
11 第1の制御部(第1のプロセッサ)
12 第1の通信部
13 地図データベース
20 無人航空機
21 第2の制御部(第2のプロセッサ)
22 第2の通信部
23 メモリ
24 カメラ
25 センサ
26 飛行ユニット
27 保持部
28 飛行制御部
31 経路生成部
32 経路制御部
50 ネットワーク
1 出発地
2 目的地
1 幹線道路
0,L1,L2,L3 リンク
1 分岐点

Claims (17)

  1. プロセッサが、無人航空機の現在地、目的地及び地図情報に基づいて、道路及び水路の上を優先して飛行する経路を生成し、生成した前記経路に基づいて、前記無人航空機の飛行を制御する、無人航空機の制御方法であって、
    前記プロセッサは、前記現在地から前記目的地までの複数の候補経路があるとき、それぞれの経路のリスクの高さを評価し、該リスクの高さに基づいて前記複数の候補経路から飛行する経路を選択し、
    前記プロセッサは、前記候補経路に含まれる道路に停車帯又は中央分離帯がある場合、停車帯又は中央分離帯がない場合に比べ、前記リスクが低いと評価する、制御方法
  2. 前記プロセッサは前記候補経路に係る交通量の情報を取得し、前記交通量が多い場合は前記交通量が少ない場合に比べ、前記リスクが高いと評価する、請求項に記載の制御方法。
  3. 前記プロセッサは、前記候補経路に係る距離の長さを算出し、前記距離の長さが長い場合は前記距離の長さが短い場合に比べ、前記リスクが高いと評価する、請求項1又は2に記載の制御方法。
  4. プロセッサが、無人航空機の現在地、目的地及び地図情報に基づいて、道路及び水路の上を優先して飛行する経路を生成し、生成した前記経路に基づいて、前記無人航空機の飛行を制御する、無人航空機の制御方法であって、
    前記プロセッサは、前記現在地から前記目的地までの複数の候補経路があるとき、それぞれの経路のリスクの高さを評価し、該リスクの高さに基づいて前記複数の候補経路から飛行する経路を選択し、
    前記プロセッサは、前記候補経路に含まれる道路が、歩行者と車両との通行区分が分離されている場合、歩行者と車両との通行区分が分離されていない場合に比べ、前記リスクが小さいと評価する、制御方法。
  5. 前記プロセッサは、前記車両の通行区分の上を優先して飛行するように、前記無人航空機を制御する、請求項に記載の制御方法。
  6. 前記プロセッサは、制限速度が所定の速さ以上の道路、高速道路、鉄道の線路、及び、歩行者専用に設定された道路の区間の少なくとも何れかの上を飛行しないように前記経路を生成する、請求項1からのいずれか一項に記載の制御方法。
  7. 前記プロセッサは、道路上に構造物がある経路を飛行しないように前記経路を生成する、請求項1からのいずれか一項に記載の制御方法。
  8. 前記生成した経路は、他の経路へ分岐可能な一つ以上の分岐点を含み、前記経路は、前記現在地、前記一つ以上の分岐点、及び、前記目的地を順次繋ぐリンクを含んで構成され、前記プロセッサは、前記無人航空機が前記分岐点の一つに到達する度に、次のリンク上を通行する歩行者又は車両の通行量を示す通行量情報を取得する、請求項1からの何れか一項に記載の制御方法。
  9. 前記プロセッサは、前記通行量情報を、カメラにより撮像された画像から取得する、請求項に記載の制御方法。
  10. 前記プロセッサは、前記通行量情報を、前記無人航空機の外部から取得する、請求項に記載の制御方法。
  11. 前記プロセッサは、前記通行量情報に基づいて、前記経路を再生成するか否かを決定する、請求項8から10の何れか一項に記載の制御方法。
  12. 前記プロセッサは、前記分岐点で次の前記リンクと分岐可能な他のリンクとの通行量情報、及び、それぞれのリンクを飛行した場合の目的地までの距離に基づいて、それぞれのリンクに進んだ場合のリスクを評価し、該リスクが低い方のリンクを通るように前記経路を再生成する、請求項11に記載の制御方法。
  13. 前記プロセッサは、歩行者及び車両の上を避けて飛行するように、前記無人航空機を制御する、請求項1から12の何れか一項に記載の制御方法。
  14. 前記無人航空機は荷物を配送し、前記プロセッサは、前記荷物の種類及び重量の少なくとも何れかを考慮して前記経路を生成する、請求項1から13の何れか一項に記載の制御方法。
  15. 前記プロセッサは、前記無人航空機の異常を検出したとき、前記無人航空機の外部に緊急情報を送信する、請求項1から14の何れか一項に記載の制御方法。
  16. 前記無人航空機と、前記無人航空機の外部のサーバとに分散して配置された前記プロセッサにより実行される請求項1から15に記載の制御方法。
  17. 複数の無人航空機と情報を送受信可能な第1の通信部と、第1のプロセッサと、地図情報を記憶する地図データベースとを備えるサーバであって
    前記第1のプロセッサは、前記無人航空機の現在地、目的地及び前記地図情報に基づいて、道路及び水路の上を優先して飛行する経路を生成し、生成した前記経路に関する経路情報を、前記第1の通信部を介して前記無人航空機に送信するように構成され
    前記第1のプロセッサは、前記現在地から前記目的地までの複数の候補経路があるとき、それぞれの経路のリスクの高さを評価し、該リスクの高さに基づいて前記複数の候補経路から飛行する経路を選択し、
    前記第1のプロセッサは、前記候補経路に含まれる道路に停車帯又は中央分離帯がある場合、停車帯又は中央分離帯がない場合に比べ、前記リスクが低いと評価する、サーバ。
JP2020166278A 2020-09-30 2020-09-30 無人航空機の制御方法、サーバ、及び、無人航空機 Active JP7392622B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020166278A JP7392622B2 (ja) 2020-09-30 2020-09-30 無人航空機の制御方法、サーバ、及び、無人航空機
US17/487,620 US20220100210A1 (en) 2020-09-30 2021-09-28 Control method for unmanned aircraft, server, and unmanned aircraft
CN202111152551.6A CN114333425A (zh) 2020-09-30 2021-09-29 无人航空器的控制方法、服务器以及无人航空器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020166278A JP7392622B2 (ja) 2020-09-30 2020-09-30 無人航空機の制御方法、サーバ、及び、無人航空機

Publications (2)

Publication Number Publication Date
JP2022057829A JP2022057829A (ja) 2022-04-11
JP7392622B2 true JP7392622B2 (ja) 2023-12-06

Family

ID=80822401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020166278A Active JP7392622B2 (ja) 2020-09-30 2020-09-30 無人航空機の制御方法、サーバ、及び、無人航空機

Country Status (3)

Country Link
US (1) US20220100210A1 (ja)
JP (1) JP7392622B2 (ja)
CN (1) CN114333425A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018165930A (ja) 2017-03-28 2018-10-25 株式会社ゼンリンデータコム ドローンナビゲーション装置、ドローンナビゲーション方法及びドローンナビゲーションプログラム
JP2019175166A (ja) 2018-03-28 2019-10-10 Kddi株式会社 飛行装置、飛行システム、飛行方法及びプログラム
JP2020056696A (ja) 2018-10-02 2020-04-09 パイオニア株式会社 飛行ルート処理装置、飛行ルート処理方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5462536B2 (ja) * 2009-06-30 2014-04-02 日立オートモティブシステムズ株式会社 経路案内サーバ装置、ナビゲーション装置、経路案内システムおよび経路案内方法
KR102167991B1 (ko) * 2014-12-19 2020-10-20 한국전자기술연구원 드론의 비행 경로를 설정하는 방법 및 장치
CN109416889A (zh) * 2016-06-13 2019-03-01 深圳市大疆创新科技有限公司 无人飞行器、配送***、无人飞行器的控制方法以及控制无人飞行器的程序
EP3473552B1 (en) * 2016-06-17 2023-10-18 Rakuten Group, Inc. Unmanned aircraft control system, unmanned aircraft control method, and program
EP3400494B1 (en) * 2016-11-14 2021-04-28 SZ DJI Technology Co., Ltd. Flight path determination
US10545495B2 (en) * 2017-12-14 2020-01-28 Industry Academy Cooperation Foundation Of Sejong University Remote control device and method for UAV and motion control device attached to UAV
ES2928658T3 (es) * 2017-12-21 2022-11-21 Beijing Xiaomi Mobile Software Co Ltd Procedimiento y dispositivo para determinar la trayectoria de vuelo de un vehículo aéreo no tripulado
US20200258400A1 (en) * 2019-02-13 2020-08-13 Foresight Ai Inc. Ground-aware uav flight planning and operation system
US20200286391A1 (en) * 2019-03-08 2020-09-10 Here Global B.V. Method and apparatus for computing a three-dimensional route based on risk-related data
CN111007870B (zh) * 2019-11-25 2021-12-28 广州极飞科技股份有限公司 基于城市区域的无人机飞行控制方法、无人机及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018165930A (ja) 2017-03-28 2018-10-25 株式会社ゼンリンデータコム ドローンナビゲーション装置、ドローンナビゲーション方法及びドローンナビゲーションプログラム
JP2019175166A (ja) 2018-03-28 2019-10-10 Kddi株式会社 飛行装置、飛行システム、飛行方法及びプログラム
JP2020056696A (ja) 2018-10-02 2020-04-09 パイオニア株式会社 飛行ルート処理装置、飛行ルート処理方法、及びプログラム

Also Published As

Publication number Publication date
CN114333425A (zh) 2022-04-12
JP2022057829A (ja) 2022-04-11
US20220100210A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
CN109564437B (zh) 用于利用无人飞行器监测对用户的危险的***和方法
US11281215B2 (en) Autonomous driving vehicle that avoids natural disasters
CN112689588B (zh) 一种自动驾驶车辆的控制方法及装置
US9558408B2 (en) Traffic signal prediction
US11294398B2 (en) Personal security robotic vehicle
CN110268356B (zh) 前导无人机的***
US11556124B2 (en) System and method for updating vehicle operation based on remote intervention
CN110226143B (zh) 前导无人机的方法
US20150106010A1 (en) Aerial data for vehicle navigation
US20150105933A1 (en) Remote vehicle monitoring
US10317904B2 (en) Underwater leading drone system
JP5393413B2 (ja) 自律走行車および自律走行方法
KR101421172B1 (ko) 셔틀로봇 플랫폼을 이용한 무인운송차량
KR102029173B1 (ko) 드론 비행을 위한 공중 교통체계와 그 공중 교통체계 하의 드론 자율 비행 시스템 및 방법
SE1350335A1 (sv) Reglersystem samt metod för reglering av fordon vid detektion av hinder
US11880203B2 (en) Methods and system for predicting trajectories of uncertain road users by semantic segmentation of drivable area boundaries
CN115917615A (zh) 停驻车地点管理装置、停驻车地点管理方法、车辆用装置
JP2021192011A (ja) 車両走行支援方法及び車両走行支援システム
JP2022014729A (ja) 悪環境判定装置、悪環境判定方法
JP7408793B2 (ja) 走行経路生成装置、走行経路生成方法、及び自動運転システム
JP7408308B2 (ja) 処理システム及びプログラム
JP7392622B2 (ja) 無人航空機の制御方法、サーバ、及び、無人航空機
US20220001896A1 (en) Control device, control method, and storage medium
US11760379B2 (en) Navigating an autonomous vehicle through an intersection
US20230384797A1 (en) System and method for inbound and outbound autonomous vehicle operations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R151 Written notification of patent or utility model registration

Ref document number: 7392622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151