JP2019039892A - 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム - Google Patents
光学情報処理装置、光学情報処理方法および光学情報処理用プログラム Download PDFInfo
- Publication number
- JP2019039892A JP2019039892A JP2017164212A JP2017164212A JP2019039892A JP 2019039892 A JP2019039892 A JP 2019039892A JP 2017164212 A JP2017164212 A JP 2017164212A JP 2017164212 A JP2017164212 A JP 2017164212A JP 2019039892 A JP2019039892 A JP 2019039892A
- Authority
- JP
- Japan
- Prior art keywords
- unmanned aircraft
- uav
- image
- optical information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 66
- 230000003287 optical effect Effects 0.000 title claims description 49
- 238000012545 processing Methods 0.000 title claims description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 63
- 238000005259 measurement Methods 0.000 claims description 34
- 230000010365 information processing Effects 0.000 claims description 19
- 238000003672 processing method Methods 0.000 claims description 2
- 239000004984 smart glass Substances 0.000 description 114
- 230000008569 process Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
Description
(構成)
図1には、発明を利用した位置測定装置の一例であるTS(トータルステーション)のブロック図が示されている。TS100は、飛行するUAV200を追跡しながら測距光を用いたUAV200の三次元位置の測定を行う。UAV200の追跡は、探索光を用いてUAV200が備えた反射プリズム202を探索することで行われ、UAV200の位置の測定は、測距光を反射プリズム202に照射し、その反射光を検出することで行われる。また、TS100は、本発明を利用した光学情報処理装置として機能する。この機能により、操縦者500が掛けたスマートグラスに各種の画像情報が表示される。
以下、TS100で行われる処理の一例を説明する。図3および図4は、処理の手順の一例を示すフローチャートである。図3および4の処理を実行するプログラムは、データ記憶部106等の適当な記憶領域に記憶され、そこから読み出されて実行される。当該プログラムを適当な記憶媒体やデータサーバ等に記憶させ、そこから読み出して実行する形態も可能である。
TS100の光軸上にUAV200と障害物が存在する場合、TS100のカメラ101が得た画像では、UAV200と障害物とが重なり、両者の距離感が判りづらい場合がある。この場合、以下に説明する視点変更表示をスマートグラス502上に表示する。視点変更表示は、三次元モデル作成部121で作成された三次元モデルに基づき、画像作成部115で作成される。
図5には、スマートグラス502の視界、すなわちスマートグラス502越しにUAVが小さく見えている状態が示されている。本実施形態では、このスマートグラス502越しに見えているUAVの画面上での位置にガイド表示(目印の表示)となるレチクルを表示する。このレチクルが表示されることで、スマートグラスの画面上におけるUAV200の位置が示され、またTS100が当該UAV200を捕捉している旨が表示される。
スマートグラス502の位置からTS100に向かう方向を算出する。こうして、スマートグラス502の外部標定要素を再計算する。スマートグラス502の外部標定要素は、操縦者502が移動および頭を動かすと変化するが、その修正は上述した方法で随時行われる。
スマートグラスにカメラを固定し、このカメラが撮影した画像に基づき、スマートグラスの外部標定要素を算出する方法も可能である。この場合、位置が特定された複数のターゲット、スマートグラスに取り付ける小型のカメラ、画像からターゲットを抽出するターゲット抽出部が必要であり、外部標定要素算出部122においてターゲットを用いた後方交会法によるスマートグラスの外部標定要素の算出が行われる。後方交会法を用いたカメラの外部標定要素の算出については、例えば、特開2013−186816号公報に記載されている。
ここでは、操縦者500がUAV100を見失った場合に、スマートグラス502の表示画面上に操縦者500から見たUAV100の方向をガイドする表示を行う例について説明する。TS100がUAV200を追跡しているが、操縦者500がUAV100を見失う場合がある。この場合、UAV方向算出部124の機能により、スマートグラス502の表示画面(操縦者500がスマートグラスを介して視認している視界)中にUAV100の方向をガイドする表示が行われる。
スマートグラス502をUAV200の操縦者500以外の人間かかけてもよい。UAVの表示画面上での位置をガイドする方法として、矢印の表示を行う方法、4分割や9分割された画面中のどの分割画面にUAVが位置しているかを強調表示する方法も可能である。図10のレチクル表示を行う対象として、UAV以外の位置が特定された点や対象物を選択することも可能である。図10に例示する技術は、位置が特定された対象物の監視、探索、確認等に利用できる。本明細書に開示する発明は、対象物の視認を効果的に行う技術に利用できる。
Claims (16)
- 光学的に無人航空機を追尾しつつUAVまでの距離を測定することで前記無人航空機の位置を測定する無人航空機の位置測定部と、
前記無人航空機を撮影するカメラと、
前記位置測定部が測定した前記無人航空機の位置に基づき、前記無人航空機の飛行状態を示すパラメーラを算出する飛行状態算出部と、
前記飛行状態を示すパラメータおよび前記カメラが撮影した前記無人航空機の撮影画像をディスプレイ上に表示する画像を作成する画像作成部と
を備える光学情報処理装置。 - 前記飛行状態を示すパラメータが、前記無人航空機の飛行方向である請求項1に記載の光学情報処理装置。
- 前記飛行状態を示すパラメータが、前記無人航空機の地表面からの高度および速度の一方または両方である請求項1または2に記載の光学情報処理装置。
- 前記位置測定部が測定した前記無人航空機の位置と前記無人航空機の飛行空域における三次元地形情報とに基づいて前記地表面からの高度を算出する高度算出部を備える請求項1〜3のいずれか一項に記載の光学情報処理装置。
- 前記位置測定部が測定した前記無人航空機の位置と前記無人航空機の飛行の障害となる障害物との間の距離を算出する距離算出部を備える請求項1〜4のいずれか一項に記載の光学情報処理装置。
- 前記画像作成部は、前記無人航空機と前記障害物との間の距離に基づき、前記無人航空機と前記障害物との相対位置関係を表示する画像を作成する請求項5に記載の光学情報処理装置。
- 前記画像作成部は、前記無人航空機と前記障害物との間の距離に基づき、前記無人航空機と前記障害物との衝突を警告する画像を作成する請求項5または6に記載の光学情報処理装置。
- 前記画像作成部は、前記無人航空機と前記障害物との間の距離に基づき、前記無人航空機を退避させる方向を示す画像を作成する請求項5〜7のいずれか一項に記載の光学情報処理装置。
- 前記無人航空機と前記無人航空機の飛行の障害となる障害物との間の距離が規定の値以下となった場合に、前記無人航空機と前記障害物とが前記ディスプレイ上に同時に表示されるように前記ディスプレイにおける表示倍率を調整する表示倍率調整部を備える請求項5〜8のいずれか一項に記載の光学情報処理装置。
- 点群データを得るためのレーザースキャナを備え、
前記レーザースキャナにより前記障害物の三次元データが得られる請求項5〜9のいずれか一項に記載の光学情報処理装置。 - 前記ディスプレイが透過型の頭部装着型ディスプレイである請求項1〜11のいずれか一項に記載の光学情報処理装置。
- 前記頭部装着型ディスプレイの外部標定要素を算出する外部標定要素算出部を備え、
前記無人航空機の位置と前記頭部装着型ディスプレイの外部標定要素に基づき、前記頭部装着型ディスプレイの表示画面における前記無人航空機の位置を算出する位置算出部を備える請求項11に記載の光学情報処理装置。 - 前記無人航空機の位置と前記頭部装着型ディスプレイの外部標定要素に基づき、前記頭部装着型ディスプレイを装着した人間から見た前記無人航空機の方向を算出する方向算出部を備える請求項11または12に記載の光学情報処理装置。
- 前記頭部装着型ディスプレイの外部標定要素は、前記頭部装着型ディスプレイに固定されたカメラが撮影した位置が特定された複数の点に基づく後方交会法によって算出される請求項11〜13のいずれか一項に記載の光学情報処理装置。
- 光学的に無人航空機を追尾しつつUAVまでの距離を測定することで前記無人航空機の位置を測定する無人航空機の位置測定ステップと、
前記無人航空機を撮影する撮影ステップと、
前記位置測定ステップで測定した前記無人航空機の位置に基づき、前記無人航空機の飛行状態を示すパラメーラを算出する飛行状態算出ステップと、
前記飛行状態を示すパラメータおよび前記カメラが撮影した前記無人航空機の撮影画像をディスプレイ上に表示する画像を作成する画像作成ステップと
を備える光学情報処理方法。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
光学的に無人航空機を追尾しつつUAVまでの距離を測定することで前記無人航空機の位置を測定する無人航空機の位置測定部と、
前記位置測定部が測定した前記無人航空機の位置に基づき、前記無人航空機の飛行状態を示すパラメーラを算出する飛行状態算出部と、
前記飛行状態を示すパラメータおよびカメラにより撮影した前記無人航空機の撮影画像をディスプレイ上に表示する画像を作成する画像作成部と
して機能させる光学情報処理用プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017164212A JP7011908B2 (ja) | 2017-08-29 | 2017-08-29 | 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム |
JP2021193937A JP7203935B2 (ja) | 2017-08-29 | 2021-11-30 | 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017164212A JP7011908B2 (ja) | 2017-08-29 | 2017-08-29 | 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021193937A Division JP7203935B2 (ja) | 2017-08-29 | 2021-11-30 | 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019039892A true JP2019039892A (ja) | 2019-03-14 |
JP7011908B2 JP7011908B2 (ja) | 2022-01-27 |
Family
ID=65727378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017164212A Active JP7011908B2 (ja) | 2017-08-29 | 2017-08-29 | 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7011908B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110221326A (zh) * | 2019-05-29 | 2019-09-10 | 中国第一汽车股份有限公司 | 车辆定位方法、装置、设备和存储介质 |
CN110595323A (zh) * | 2019-08-22 | 2019-12-20 | 南京林业大学 | 精密量取仪器高的测量装置及测量方法 |
CN110645962A (zh) * | 2019-10-08 | 2020-01-03 | 江西洪都航空工业集团有限责任公司 | 一种圆弧导轨式单相机测量***及其测量方法 |
JP2020204515A (ja) * | 2019-06-17 | 2020-12-24 | 株式会社ミツトヨ | 測定装置 |
JPWO2021131037A1 (ja) * | 2019-12-27 | 2021-07-01 | ||
JP2021179976A (ja) * | 2019-07-25 | 2021-11-18 | 株式会社プロドローン | 遠隔操縦システムおよびその操縦装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09243365A (ja) * | 1996-03-06 | 1997-09-19 | Toyo Constr Co Ltd | 位置検出装置、測量方法及び掘削方向制御システム |
JP2009538487A (ja) * | 2006-05-26 | 2009-11-05 | アイティーティー マニュファクチャリング エンタープライジーズ, インコーポレイテッド | 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法 |
JP2011203056A (ja) * | 2010-03-25 | 2011-10-13 | Tokyo Electric Power Co Inc:The | 距離測定装置及び飛翔***置測定装置 |
JP2013186816A (ja) * | 2012-03-09 | 2013-09-19 | Topcon Corp | 動画処理装置、動画処理方法および動画処理用のプログラム |
JP2015001450A (ja) * | 2013-06-14 | 2015-01-05 | 株式会社トプコン | 飛行体誘導システム及び飛行体誘導方法 |
JP2017501475A (ja) * | 2014-09-05 | 2017-01-12 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 状況に基づく飛行モード選択 |
-
2017
- 2017-08-29 JP JP2017164212A patent/JP7011908B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09243365A (ja) * | 1996-03-06 | 1997-09-19 | Toyo Constr Co Ltd | 位置検出装置、測量方法及び掘削方向制御システム |
JP2009538487A (ja) * | 2006-05-26 | 2009-11-05 | アイティーティー マニュファクチャリング エンタープライジーズ, インコーポレイテッド | 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法 |
JP2011203056A (ja) * | 2010-03-25 | 2011-10-13 | Tokyo Electric Power Co Inc:The | 距離測定装置及び飛翔***置測定装置 |
JP2013186816A (ja) * | 2012-03-09 | 2013-09-19 | Topcon Corp | 動画処理装置、動画処理方法および動画処理用のプログラム |
JP2015001450A (ja) * | 2013-06-14 | 2015-01-05 | 株式会社トプコン | 飛行体誘導システム及び飛行体誘導方法 |
JP2017501475A (ja) * | 2014-09-05 | 2017-01-12 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 状況に基づく飛行モード選択 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110221326A (zh) * | 2019-05-29 | 2019-09-10 | 中国第一汽车股份有限公司 | 车辆定位方法、装置、设备和存储介质 |
JP2020204515A (ja) * | 2019-06-17 | 2020-12-24 | 株式会社ミツトヨ | 測定装置 |
JP7270477B2 (ja) | 2019-06-17 | 2023-05-10 | 株式会社ミツトヨ | 測定装置 |
JP2021179976A (ja) * | 2019-07-25 | 2021-11-18 | 株式会社プロドローン | 遠隔操縦システムおよびその操縦装置 |
CN110595323A (zh) * | 2019-08-22 | 2019-12-20 | 南京林业大学 | 精密量取仪器高的测量装置及测量方法 |
CN110645962A (zh) * | 2019-10-08 | 2020-01-03 | 江西洪都航空工业集团有限责任公司 | 一种圆弧导轨式单相机测量***及其测量方法 |
JPWO2021131037A1 (ja) * | 2019-12-27 | 2021-07-01 | ||
WO2021131037A1 (ja) * | 2019-12-27 | 2021-07-01 | 日本電気株式会社 | 飛行物体管理装置、飛行物体管理方法、及び、記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP7011908B2 (ja) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7011908B2 (ja) | 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム | |
US10234278B2 (en) | Aerial device having a three-dimensional measurement device | |
JP6843773B2 (ja) | 環境の走査及び無人航空機の追跡 | |
EP3506042B1 (en) | Three-dimensional information processing unit, apparatus having three-dimensional information processing unit, unmanned aerial vehicle, informing device, method and program for controlling mobile body using three-dimensional information processing unit | |
US8019490B2 (en) | Imaging and display system to aid helicopter landings in brownout conditions | |
EP3081902B1 (en) | Method and apparatus for correcting aircraft state in real time | |
JP6390013B2 (ja) | 小型無人飛行機の制御方法 | |
CN110458961B (zh) | 基于增强现实的*** | |
US10527423B1 (en) | Fusion of vision and depth sensors for navigation in complex environments | |
EP3483554A1 (en) | Surveying device, and calibration checking method and calibration checking program for surveying device | |
US20220210335A1 (en) | Autofocusing camera and systems | |
JP7007137B2 (ja) | 情報処理装置、情報処理方法および情報処理用プログラム | |
JP2019053003A (ja) | データ処理装置、データ処理方法およびデータ処理用プログラム | |
EP3093616A1 (en) | Device and method for designating characteristic points | |
JP7050425B2 (ja) | 測量システム | |
JP2021021678A (ja) | 測量装置、測量方法および測量用プログラム | |
KR101767648B1 (ko) | 한국형 수심측량장비의 데이터 전처리를 위한 데이터 처리 소프트웨어가 탑재된 드론 비행 장치 | |
JP2018146524A (ja) | 測量システム | |
JP7362203B2 (ja) | 無人移動体 | |
JP7203935B2 (ja) | 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム | |
US20210229810A1 (en) | Information processing device, flight control method, and flight control system | |
JP6934367B2 (ja) | 位置測定装置、位置測定方法および位置測定用プログラム | |
KR20160118558A (ko) | 라이다 시스템 | |
KR102416330B1 (ko) | 드론시스템을 이용한 원격 좌표측정 시스템 | |
US20210118311A1 (en) | Flight route guidance system, flight route guidance device and flight route guidance method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7011908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |