JP6603438B2 - 情報処理装置、プログラム及び方法 - Google Patents

情報処理装置、プログラム及び方法 Download PDF

Info

Publication number
JP6603438B2
JP6603438B2 JP2019510506A JP2019510506A JP6603438B2 JP 6603438 B2 JP6603438 B2 JP 6603438B2 JP 2019510506 A JP2019510506 A JP 2019510506A JP 2019510506 A JP2019510506 A JP 2019510506A JP 6603438 B2 JP6603438 B2 JP 6603438B2
Authority
JP
Japan
Prior art keywords
unmanned aircraft
information
predetermined range
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019510506A
Other languages
English (en)
Other versions
JPWO2018185806A1 (ja
Inventor
悠太郎 高宮
義親 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Application granted granted Critical
Publication of JP6603438B2 publication Critical patent/JP6603438B2/ja
Publication of JPWO2018185806A1 publication Critical patent/JPWO2018185806A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/57Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/46Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer the aircraft being a helicopter
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Toys (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本出願において開示された技術は、無人航空機に関連した情報処理を実行する情報処理装置に関する。
近年、無人航空機の用途が広がり、多数の利用者が増えてきた。無人航空機の用途としては、その運搬能力を用いたもののほか、無人航空機にカメラを備えさせて、撮影することが行われている。例えば、特開2016−225874号公報(特許文献1)は、無人航空機(移動装置)に備えられたカメラの画像をズームする技術が提案されている。
しかしながら、無人航空機は、飛行するものであるから、操作は簡単ではなく、安全かつ自由自在にコントロールするためには、一定の訓練が必要である。例えば、特開2016−225872号公報(特許文献2)は、無人航空機の移動操作が困難であることから、新たな遠隔操作改善の技術を提案している。
特開2016−225874号公報 特開2016−225872号公報
しかしながら、上記技術文献に記載された従来技術によっても、利用者が所望するような無人航空機の飛行状態を測定する技術は実現されていない。
そこで、本発明の様々な実施形態により、利用者が無人航空機の飛行状態を測定する機能を備えた情報処理装置、プログラム又は方法を提供する。
本願発明の一実施形態は、撮像部と、前記撮像部に基づく画像の一部又は全部を画像処理する画像処理部と、前記画像処理部から得た情報の一部又は全部に基づき、前記画像内における無人航空機の位置に係る情報と、所定の値又は範囲と、を比較して判定する位置比較判定部と、を備える情報処理装置である。
本願発明の一実施形態において、前記位置比較判定部で得られた情報の一部又は全部に基づいて、前記無人航空機の飛行状態を評価する評価部と、を更に備える情報処理装置であってもよい。
本発明の一実施形態により、無人航空機の飛行状態を測定できる。
図1は、本願発明に係る一実施形態の構成を示す模式図である。 図2は、本願発明に係る一実施形態の一部を示す無人航空機の概略図である。 図3は、本願発明に係る一実施形態の一部を示す無人航空機の概略図である。 図4は、本願発明に係る一実施形態の一部を示す送信機の概略に関連する図である。 図5は、本願発明に係る一実施形態の一部に関連する情報処理装置の概略図である。 図6は、本願発明に係る一実施形態の一部に関連する情報処理装置の概略図である。 図7は、本願発明に係る一実施形態の一部に関連する情報処理装置の概略機能図である。 図8は、本願発明に係る一実施形態の一部に関連する概略図である。 図9は、本願発明に係る一実施形態の一部に関連する概略図である。 図10は、本願発明に係る一実施形態の一部である色に関連する情報が記録された例である。 図11は、本願発明に係る一実施形態の一部に関連する無人航空機の機体態様の概略図である。 図12は、本願発明に係る一実施形態の一部に関連する無人航空機の機体態様の概略図である。 図13は、本願発明に係る一実施形態の一部に関連する無人航空機の機体態様の概略図である。 図14は、本願発明に係る一実施形態の一部に関連する無人航空機の機体態様の概略図である。 図15は、本願発明に係る一実施形態の一部に関連する無人航空機の機体態様の概略図である。 図16は、本願発明に係る一実施形態の一部に関連する無人航空機の機体態様の概略図である。 図17は、本願発明に係る一実施形態の一部に関連する記憶テーブルの例である。 図18は、本願発明に係る一実施形態の一部に関連する記憶テーブルの例である。 図19は、本願発明に係る一実施形態の一部に関連する記憶テーブルの例である。 図20は、本願発明に係る一実施形態の一部に関連する表示される画像の例である。 図21は、本願発明に係る一実施形態の一部に関連する記憶テーブルの例である。 図22は、本願発明に係る一実施形態の一部に関連するフローチャートである。 図23は、本願発明に係る一実施形態の一部に関連するフローチャートである。 図24は、本願発明に係る一実施形態の一部に関連するフローチャートである。 図25は、本願発明に係る一実施形態の一部に関連するフローチャートである。 図26は、本願発明に係る一実施形態の一部に関連するフローチャートである。 図27は、本願発明に係る一実施形態の一部に関連する記憶テーブルの例である。 図28は、本願発明に係る一実施形態の一部に関連するフローチャートである。 図29は、本願発明に係る一実施形態の一部に関連する表示される画像の例である。 図30は、本願発明に係る一実施形態の一部に関連する表示される画像の例である。 図31は、本願発明に係る一実施形態の一部に関連する表示される画像の例である。
以下、添付図面を参照して本願発明に係る様々な実施形態を説明する。
1.全体のシステム
図1は、一実施形態として、無人航空機を撮像する様子を示すものである。101は、飛行している無人航空機である。102は、無人航空機101を撮像している情報処理装置である。103は、無人航空機101の飛行を操作する送信機である。情報処理装置102は、送信機103に着脱可能に固定されていてもよい。送信機103は、無人航空機101が飛行する際、情報処理装置102が無人航空機101を撮像できる角度に調整できるよう、情報処理装置102の位置を調整できる調整機構を備えてもよい。なお、図1においては、ターゲットペーパー104を用いることで、無人航空機の位置をより分かりやすいようにしている。
無人航空機101の大きさ及び能力は、どのようなものであってもよい。例えば、無人航空機101は、数センチメートルのものであってもよいし、1メートル以上の大きさの大きなものであってもよい。
また、情報処理装置102の撮像機能も、どのようなものであってもよい。例えば、情報処理装置102がスマートフォンであり、無人航空機101の大きさが、2センチメートル乃至6センチメートル程度の大きさの場合、スマートフォンに備え付けられた撮像機能によるものの、情報処理装置102から無人航空機101の距離は、約1メートルから約3メートル程度の距離が好ましい。なお、無人航空機においては、教育目的との関係では、小型(例えば2センチメートル乃至6センチメートル程度)の無人航空機で飛行技術を磨くことにより、大型(20センチメートル以上のもの)も安定して飛行できるようになる利点がある。
2.無人航空機及び送信機
図2は、本実施形態で用いる無人航空機の一例を示したものであり、飛行中の無人航空機を上方から見た図面である。無人航空機は、4つの回転羽根203を備え、無人航空機の機体の上面が2色で塗り分けられている。具体的には、図2を紙面から見て、上側201の横線が略青色を示している。図2を紙面からみて、下側202の縦線が略オレンジ色を示している。
図3は、図2で示した無人航空機を、側方から見た図面である。無人航空機の上部が、2色の色で塗り分けられている。上部の左側301の横線が略青色を示している。右側の縦線302が略オレンジ色を示している。無人航空機の下部は、白色である。
図4は、本実施形態で用いる無人航空機の送信機の一例を示したものである。送信機401は、上部に情報処理装置402を着脱可能に備えることができるよう構成されている。図4では、送信機が、情報処理装置としてスマートフォンを脱着可能に備えている。
なお、図示されていないが、利用者が、ヘッドマウントディスプレイを装着し、ヘッドマウントディスプレイ上の映像を見ながら、利用者が無人航空機を操縦する態様であってもよい。
3.情報処理装置の各構成
本実施形態において、情報処理装置10は、ネットワークを含まないシステムの場合、図5のように、バス11、撮像部12、演算部13、記憶部14、入力部15、表示部16、通信IF17を有することができる。
バス11は、撮像部12、演算部13、記憶部14、入力部15、表示部16及び通信IF17の間の情報を伝達する機能を有する。
撮像部12は、被写体を撮像する機能を有する。例えば、ビデオカメラ、又はカメラが挙げられる。撮像されたデータは、動画でも、静止画でもよい。
演算部13は、演算する機能を有する。例えば、CPU、MPUが挙げられる。また、演算部13は、グラフィックスプロセッシングユニット、デジタルシグナルプロセッサなどを有してもよい。演算部13は、記録部14からプログラムを取得して実行してもよいし、専用回路によって演算を実行してもよい。
記憶部14は、情報を記録する機能を有する。
入力部15は、情報を入力する機能を有する。タッチパネル、キーなどの入力装置が挙げられる。キーボード、マウスなどの入力装置であってもよい。
表示部16は、情報を表示できる機能を有する。液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどでもよい。また、タッチスクリーンパネルのように入力部15を一部又は全部に備えてもよい。
通信IF17は、外部の情報処理装置と、直接的又は間接的に、情報を伝達する機能を有する。通信する機能専用の演算機能又は記憶機能を有してもよい。また、有線又は無線であってもよい。外部と間接的にでも通信できればよいので、外部記憶と接続できるインターフェースであってもよい。インターフェースは、シリアル型でもパラレル型でもよい。例えば、USB、IEEE1394、イーサネット(登録商標)、SCSI、PCI、などの形式であってもよい。また、無線の通信機能としては、無線LAN、WLAN、Wi−Fi、Bluetooth(登録商標)、などでもよい。
情報処理装置10は、汎用型の計算機、専用計算機であってもよい。また、情報処理装置10は、携帯電話、スマートフォン、PDA、PHS、モバイル情報端末、携帯機器、タブレットPC、ハンドヘルドPC、スマートブック、ヘッドマウントディスプレイなどの携帯端末装置でもよい。
また、情報処理装置10に備えられる機能の一部は、他の機器が備えてもよい。例えば、撮像部12、演算部13、記憶部14、入力部15、表示部16の一部が、他の機器によって備わってもよい。他の機器が当該一部の機能を有する場合、情報処理装置10は、当該他の機器から関連する情報を伝達する、又は当該他の機器に関連する情報を伝達するものであってもよい。
図6は、情報処理装置10と情報をやり取り可能な情報処理装置20である。情報処理装置20は、バス21、演算部22、記憶部23、入力部24、出力部25、及び通信IF27を備えることができる。情報処理装置20の各部の機能は、情報処理装置10の各部の機能と同じように考えることができる。すなわち、バス21の機能はバス11の機能に相当し、演算部22の機能は演算部13の機能に相当し、記憶部23の機能は記憶部14の機能に相当し、入力部24の機能は入力部15の機能に相当し、出力部25の機能は表示部16の機能を含み、通信IF17の機能は通信IF27の機能に相当し、各機能が実現可能なハードウェアによって構成される。但し、出力部25は、表示機能に限定されず、通常の出力機能を有してもよい。
情報処理装置20はインターネット28を介して、情報処理装置10と接続されることを想定した図であるが、上述の通信IF17に対応する通信媒体によって、情報を伝達できるよう構成されてもよい。
情報処理装置20は、サーバであってもよい。情報処理装置20がサーバの場合、演算部22は、高機能な演算機能を有してもよく、また、記憶部23が高機能な記憶機能を有してもよい。
情報処理装置10と情報処理装置20の関係は、クライアントサーバシステム以外に、P2Pシステム、グリッドシステム、又はクラウドシステム、又はこれらの混合であってもよい。
本願発明に係る一実施形態は、以下で述べるいずれかのソフトウェア的機能を実現できるハードウェアシステムであれば、上述した種々のハードウェアシステムのいずれか又は上述した種々のハードウェアシステム以外のハードウェアシステムにおいても適用することができる。
4.情報処理装置内の各部とその機能
上述の情報処理装置のハードウェアを用いて、情報処理装置の一実施形態は、図7のように、記憶部700、画像取得部701、画像処理部702、位置比較判定部703、評価部704、表示制御部705を有する。情報処理装置10が各部を備えてもよいが、情報処理装置20がその一部を備えてもよい。
4−0.記憶部700
記憶部700は、情報を記憶する機能を有する。記憶部700は、以降で述べる各部の機能に付随して、種々の情報を記憶する。記憶部700は、本願に係る実施形態に関連する情報を記憶すると共に、他の目的の情報を記憶してもよい。この記憶部700に記憶される情報は、適宜、更新されてもよい。なお、情報の分量又はタイミングによっては、各部から他の各部へ、記憶部700を使用せずに、情報を直接伝達させてもよい。
4−1.画像取得部701
画像取得部701は、画像を取得する機能を有する。画像撮像部から画像を取得してもよいし、通信IFなどを介して、画像を取得してもよい。また、画像は、動画でも静止画でもよい。
画像のフォーマットは、特に限定がない。例えば、JPEG、TIFF、BITMAP、PNG、PDF、GIF、EPS、などが挙げられる。
4−2.画像処理部702
画像処理部702は、無人航空機の位置に係る情報を取得するために、前処理として、画像を処理する。
本実施形態では、画像がRGB表色系の場合には、HSV色空間(HSVモデル)に変換する。HSVモデルでは、色相、彩度、明度の3つの成分から構成される。当該変換は、例えば、Hは以下の式であり、S=Max−Min、B=Maxよって、変換される。
Figure 0006603438
ここで、R、G、Bの3つの値の中で、最大のものをMax、最小のものをMinとしている。また、HSVは、外部で天候が異なるときも、明度、彩度が変更することはあるものの、色相は変わらないことから、安定して識別できる利点がある。
なお、画像が、画像取得部701で情報を取得するに当たり、前処理が必要な場合は、画像処理部702で処理をしなくてもよい。
また、画像処理部702において、ノイズ処理をしてもよい。ノイズ処理自体は、周知な技術を用いてもよい。
4−3.位置比較判定部703
位置比較判定部703は、無人航空機の位置に係る情報と、所定の値又は所定の範囲とを比較して判定する機能を有する。
無人航空機の位置に係る情報、所定の値又は所定の範囲、などの情報は、記憶部700に格納されてもよい。
無人航空機の位置に係る情報は、無人航空機の位置が、直接的又は間接的に取得できる情報であればよい。例えば、無人航空機の位置に係る情報は、無人航空機の位置に係る複数の数値から構成されるものでもよいし、無人航空機の位置に係る特定の値でもよい。前者は、例えば、XY座標内に無人航空機が存在した場合において、無人航空機の位置を示すXY座標でもよい。当該座標は、無人航空機の中心のXY座標値でもよいし、重心のXY座標値でもよい。また、画像内における無人航空機を含む矩形を示すXY座標の値の組でもよい。例えば、無人航空機を囲む最小の長方形の4つのXY座標で示してもよい。具体的には、(最小値X、最小値Y)、(最大値X、最小値Y)、(最小値X、最大値Y)、(最大値X、最大値Y)などが挙げられる。
また、各座標について、一定の幅を持った値で示されてもよい。例えば、X=(最小値X、最大値X)、Y=(最小値Y、最大値Y)などである。
また、無人航空機の特定の一部のXY座標でもよい。例えば、無人航空機内の特定のマークの位置をXY座標値で特定してもよい。
さらに、画像を幾つかの部分に分け、当該部分の一に数字を振ることで、無人航空機の位置を当該数字の一つで特定する方法でもよい。例えば、図8のように、画像を1乃至16の位置に区分し、無人航空機と重なる区分に係る番号によって、無人航空機の位置に係る情報を取得してもよい。この場合、無人航空機が複数の部分と重なる場合は、無人航空機の画像と最も重なる面積の広い区分に係る番号によって、位置を特定してもよい。
要するに画像内における無人航空機の位置に係る情報を取得できればよい。
所定の値又は所定の範囲は、当該所定の値又は所定の範囲の少なくとも一部が、無人航空機の位置に係る情報の少なくとも一部と比較できる値であれば、どのような値であってもよい。無人航空機の位置に係る情報と比較する目的で、対応する値として、単一の値であってもよいし、複数の値であってもよい。例えば、所定の値が、XY座標において、Y=3というような単一の値であってもよい。また、所定の値が、複数の値の場合、XY座標において、X=4及びX=8というような複数の値であってもよい。
また、所定の範囲は、任意の方法で指定してよい。例えば、XY座標において、(X1、Y1)、(X1、Y2)、(X2、Y1)、(X2、Y2)の4点から構成される長方形であってもよい。また、XY座標系において、円の中心(3,4)で半径を2とする、などのような形式でもよい。さらに、X<=5のような指定の方法でもよい。
また、所定の値又は所定の範囲で定められる場合、XY座標系(直交座標系)以外にも、斜交座標系、極座標系、一般化座標系などの、種々の座標系に基づき表現されてもよいし、また、使用される値も、自然数、整数、少数、分数、有理数、などの計算機で扱うことができる任意の値によって表現されてもよい。
また、所定の値又は所定の範囲は、比較できる値であればよいため、事前に決定されていてもよいし、比較される時点で決定される値でもよい。所定の値又は所定の範囲は、所定の関数で算出される値でもよい。所定の関数は、アプリケーションの実行に関連する値を引数とする関数であってもよい。例えば、後述するような、利用者の総飛行時間、現在のステージの飛行時間、利用者の取得した得点、難易度などを引数とした所定の関数によって計算される値であってもよい。
所定の値又は所定の範囲に関連する情報は、表示部に表示されてもよい。例えば、所定の値が、所定の範囲であって、(X1、Y1)、(X1、Y2)、(X2、Y1)、(X2、Y2)の4点から構成される長方形である場合、当該長方形を画面に表示してもよい。
ここでは、例として、無人航空機の位置が、簡略化のために、XY座標(0<=X<=150、0<=Y<=100)で測定されうる画像において、所定の範囲(30<=X<=70、20<=Y<=130)であるかどうかを比較して判定する例を説明する。
図9は、画像901内において、所定の範囲902を示したものである。無人航空機903は、所定の範囲内の場合を示し、無人航空機904は、所定の範囲外の場合を示す。
図2及び図3で示した本例の無人航空機は、略オレンジ色と略青色でコーティングがされていた。当該色は、HSV色空間において、略オレンジ色は、Hが30、Sが100、Vが90の値であり、略青色は、Hが215、Sが71、Vが36の値となる。そこで、位置比較判定部703は、所定の範囲(30<=X<=70、20<=Y<=130)の各ピクセルの情報と上記の色とを比較し、各ピクセルの色の値が当該値であるかどうかを判定する。
なお、無人航空機の機体の色が、上述の場合、背景が白色であると、より無人航空機の位置が特定しやすい。すなわち、白色と上述の色のコントラストが際立つため、各ピクセルの情報と上記の色とを比較したときに、誤判定が減る利点がある。背景の白は、送信機に備えられた情報処理装置と、無人航空機の対面に、例えば白いペーパ、布、カバーなどを設置することが考えられる。
各ピクセルの値が当該色である場合、サーチされた所定の範囲内で無人航空機の一部が見つかったことから、位置比較判定部703は、無人航空機の位置が所定の範囲内であると判定する。すなわち、本実施形態の例においては、無人航空機が所定の範囲内にいると判定するにあたり、無人航空機の全体が所定の範囲内にいることまで要求するものではなく、無人航空機の一部が、所定の範囲内に存在すれば、無人航空機が所定の範囲内にいると判定している。
他方、位置比較判定部703が、所定の範囲内をサーチしたにも関わらず、無人航空機と対応する色と同一の色を判定しない場合、位置比較判定部703は、無人航空機の位置が所定の範囲内にないと判定する。
なお、上記の例では、略オレンジ色及び略青色の値を一意的に特定し、位置比較判定部703がサーチした各ピクセルの値が同一である場合に、無人航空機の一部であるとして説明したが、略オレンジ色及び略青色の値に、一定の幅を持って、判定をしてもよい。例えば、略オレンジ色として判定されるケースを、Hが0乃至24、Sが144乃至255、Vが102乃至255として計算してもよいし、略青色は、Hが0乃至100、Sが35乃至255、Vが30乃至255として計算してもよい。この場合における各色の幅は、判定対象とする色を、他の色から区別できる程度に変更してもよい。
位置比較判定部703は、当該色は、記憶部700に格納された色に関する情報に基づいて、判定してもよい。例えば、図10のように、色に関する情報を保有しておいてもよい。図10は、上述の略オレンジ色及び略青色に対応させた記憶情報を表している。各色の許容されうる色情報の下限値と上限値が記録されており、これらの情報と、各ピクセルの対応する色情報が比較される。
また、位置比較判定部703は、所定の範囲内のサーチに代えて、所定の範囲外(0<=X<30、70<X<=100、0<Y<20、130<Y<150)の各ピクセルの情報と上記の色とを比較し、各ピクセルの色の値が当該値であるかどうかを判定してもよい。
すなわち、この場合は、無人航空機の一部が、所定の範囲外に存在すれば、無人航空機の一部が所定の範囲内に存在しているとしても、所定の範囲外にいると判定している。
ここで述べた、無人航空機に係る情報として、画像内の無人航空機の一部をサーチして、色の情報を取得し、(サーチしていない部分の色を取得する前に)比較する方法は、最大でも、所定の範囲内又は所定の範囲外の面積、すなわち、最大でも、所定の範囲内のピクセルのみのサーチ又は所定の範囲外のみのピクセル数のサーチでよいことから、所定の範囲内外全てのサーチと比べて、少ないサーチピクセル数(面積)でよいという利点がある。
特に、位置取得判定部703が無人航空機の位置に係る情報を頻繁に取得する必要がある場合、処理負担を増加させずに、処理能力の低い携帯端末装置においても処理できる利点がある。
上述の例は、所定の範囲内で無人航空機の一部の色が存在すると判定された場合にサーチを終了したが、所定の範囲内で無人航空機の一部の色が存在した後も、所定の範囲内のそれ以外の部分の一部又は全部もさらにサーチするよう構成してもよい。この場合、例えば、無人航空機の全体が、所定の範囲内に存在する場合、無人航空機の全体の情報を取得できる利点がある。より具体的には、例えば、無人航空機の色彩として2色を用いている場合に、後述の無人航空機の方向を決定できる場合もある。
同様に、所定の範囲外で無人航空機の一部の色が存在すると判定された場合にサーチを終了する例においては、当該手段に代えて、所定の範囲外のそれ以外の部分の一部又は全部もさらにサーチするよう構成してもよい。この場合、例えば、無人航空機の全体が、所定の範囲外に存在する場合、無人航空機の全体の情報を取得できる利点がある。
ただし、上記のいずれの方法も、所定の範囲内又は所定の範囲外の、いずれかの一部又は全部をサーチするのみであるから、サーチしていない部分の情報を取得していないため、無人航空機の全体の情報を取得しない場合もある。
画像内において、所定の範囲の少なくとも一部と、所定の範囲外の少なくとも一部との両方をサーチする手法については、後述する。
また、位置比較判定部703は、上述したサーチの前に、所定の範囲内と所定の範囲外のサーチ部分の面積を比較して、サーチ部分の面積が少ないほうをサーチしてもよい。
なお、上記では、各ピクセル単独で比較する例を用いたが、これに限られない。複数のピクセルに基づいて、各色の情報と比較してもよい。例えば、複数のピクセルの平均値を、各色の情報と比較してもよいし、複数のピクセルの重み付け数値で、各色の情報と比較してもよい。
なお、上記各色をサーチする前に、ノイズ処理をしてもよい。例えば、略オレンジ色又は略青色のピクセルが、画像内に単独で存在する場合、ノイズの可能性がある。なぜなら、無人航空機は、一定の面積が、略オレンジ色又は略青色で塗布されていることから、単独のピクセルが、当該色であることはない。そこで、このように略オレンジ色又は略青色のピクセルが単独で存在する場合、ノイズ処理として、当該ピクセルを、略オレンジ色又は略青色以外の例えば白色に変更してもよい。
上記の例では、ピクセルが単独で存在する場合を説明したが、2ピクセル以上であっても、ノイズ処理として、略オレンジ色又は略青色以外の色に変更してもよい。2ピクセル以上の数又は位置は、無人航空機の一部ではないと判定できる程度のピクセル数又は位置で判断しうる。上述は、ノイズ処理の一例に過ぎず、他の周知なノイズ処理技術を適用してもよい。
また、位置比較判定部703は、上述の一実施形態のように、画像のピクセルを全てサーチする必要はなく、改良されたサーチ戦略に基いて、その一部をサーチせずに、比較し、位置関係を判定してもよい。
上述した位置比較判定部703は、無人航空機の位置の取得と、所定の範囲との比較を合わせて行ったが、別のステップとして行ってもよい。すなわち、位置比較判定部703が、取得部7031、比較部7032、及び判定部7033とから構成されてもよい。具体的には、取得部7031が、主に無人航空機の位置に係る情報を取得し、比較部7032が主に当該情報と所定の値とを比較して、判定部7033が比較した結果に基いて判定してもよい。以下では、位置比較判定部703が、取得部7031、比較部7032、及び判定部7033から構成される実施形態を説明する。
4−3−1.取得部7031:色情報に基づく例
取得部7031は、無人航空機の位置に係る情報を取得する。無人航空機の位置に係る情報は、どのような手段で取得してもよいが、ここでは、まず、色情報に基づき、情報を取得する例を説明する。また、無人航空機の位置に係る情報を取得する一例として、画像内の無人航空機を特定する例を説明する。
使用する色として、略オレンジ色と略青色の例で説明すると、取得部7031は、画像の各ピクセルをサーチし、各ピクセルが、上記の色であるかどうかを判定する。より具体的には、例えば、取得部7031は、画像内の各ピクセルの色情報の値が、略オレンジ色を示す色情報の値と同じか、略青色を示す色情報の値と同じか、又はそれ以外の色情報の値であるか、と比較する。当該色と判定されたピクセルの位置に、無人航空機の一部が存在すると判定される。
また、取得部7031は、無人航空機の方向を特定してもよい。ここでも図2及び図3の無人航空機の例で説明する。ここで、図2の無人航空機の正面は、図2の紙面の上側であるとする。すなわち、無人航空機の正面から見て正面が略青色であり、無人航空機の背面から見ると略オレンジ色である。
図11乃至図14は、画像内の無人航空機の略青色を楕円で示し、略オレンジ色を斜線付の楕円で示したものである。ここでは、各色が、抽象的なものとして、楕円で示されている。なお、無人航空機の画像を解析した結果、後述するノイズ等により、必ずしも無人航空機の形状そのままの画像情報を取得できるとも限られない。
例えば、図11のように、左側1101が略青色(図11では楕円で示されている)であり、右側1102が略オレンジ色(図11では斜線付の楕円で示されている)の場合、無人航空機は、撮像する情報処理装置に対して、左を向いていると判定される。
すなわち、取得部7031は、画像内で、略青色の情報のX座標値が、略オレンジ色の情報のX座標値よりも小さいと判断すると、無人航空機は、撮像する情報処理装置に対して、左を向いていると判定される。なお、ノイズの関係で、略青色の情報の全てのX座標値が、略オレンジ色の情報の全てのX座標値よりも小さいと判定しなくてもよい。例えば、所定の閾値を設けて、略青色の情報の80%のX座標値が、略オレンジ色の情報の80%のX座標値よりも小さいと判定した場合に、無人航空機は、撮像する情報処理装置に対して、正面を向いていると判定する構成としてもよい。
同様に、画像内の略青色と略オレンジ色の位置関係が、図12のように、右側1202が略青色(図12では楕円で示されている)であり、左側1201が略オレンジ色(図12では斜線付の楕円で示されている)の場合、無人航空機は、撮像する情報処理装置に対して、右を向いていると判定される。
また、画像内の略青色と略オレンジ色の位置関係が、図13のように、全面が略青色(図13では楕円で示されている)の場合、無人航空機は、撮像する情報処理装置に対して、背面を向いていると判定される。
最後に、画像内の略青色と略オレンジ色の位置関係が、図14のように、全面が略オレンジ色(図14では斜線付の楕円で示されている)の場合、無人航空機は、撮像する情報処理装置に対して、正面を向いていると判定される。
無人航空機の方向を判定するためには、取得部7031は、無人航空機の略オレンジ色と略青色の両方の色の情報を取得する。具体的には、取得部7031は、画像の各ピクセルをサーチし、無人航空機の一部を構成する色と一致しても、さらにサーチを継続して、画像内における無人航空機の略オレンジ色と略青色の両方の情報を取得する。
なお上記では、略オレンジ色と略青色を用いたが、色は区別ができるものであれば、どのような2色であってもよい。例えば、略緑色と略青色など、区別できる色相であればよい。また、3色以上を用いてもよい。この場合、2色で描画された箇所を比較することと比べて、3色目の描画箇所も含めて、無人航空機の方向を特定することができ、より精度が向上するという利点がある。
また、色の塗布形態を他の態様にしてもよい。例えば、図15のように、無人航空機の機体1501の側面に円1502を描いてもよい。無人航空機の機体1501を略白色として、円1502を特定の色、例えば、略緑色、とすることにより、略白色と略緑色のコントラストによって、略緑色を識別が容易となり、無人航空機の位置に係る情報を取得できる。また、図16のように、マークの形状を2重にしてもよい。この場合、外側円1603を略白色として、内側円1602を特定の色とすると、無人航空機1601の機体の全体カラーは、これらとは別の色でデザインすることも可能である。
また、図15及び図16では、円で説明したが、正方形、長方形、三角形などの多角形のほか、任意の形状のマークとしてもよい。また、無人航空機の正面、背面、右側面、左側面で異なる色とすれば、当該色によって、無人航空機の方向も判定することができる。すなわち、記憶部700が事前に色と、当該色と関連付けて無人航空機の方向の情報を保有しておき、比較部7031は、記憶部700の色に係る方向の情報に基づき、無人航空機の方向を判定することができる。
図17は、無人航空機の4つの側面に、異なる色が付されている場合の、無人航空機の方向と色の関連性を記憶している記憶部700の例である。色が、色1乃至色4の情報として、一定の幅を持った情報を備え、各色に対して、無人航空機の方向が関連付けられている。
上述のとおり、色情報に基づく場合、画像のサーチによって、無人航空機の位置の情報を取得できるため、計算機資源に与える負担が低い利点がある。そのため、限られた計算機資源を有する携帯端末装置においても、快適に計算ができる利点がある。
また、色空間としてHSVに変換して処理する場合、HSVでは、明度のパラメータを色とは別に有するため、無人航空機の飛行環境の影響を低下させて、高精度に画像を認識することができる利点がある。
特に、無人航空機の大きさが5cm以内の場合、無人航空機の安全の観点で、例えば操縦者と無人航空機との間を1m乃至5m、特に1.5m乃至3m、さらに特に2m前後の場合、情報処理装置の撮像部で撮像される無人航空機の大きさが、情報処理装置の撮像機能で識別できる範囲に照らし、得られる情報が少ない。このような場合においても、識別しやすい色情報に基づいて、かつ、計算資源が限られた情報処理装置において、後述の機能の比較判定が可能な利点がある。特に、リアルタイムで算出する場合に、より利点がある。
なお、対象とする画像にノイズがある場合、取得部7031の段階で、ノイズの処理をしてもよい。すなわち、取得部7031が、ノイズの影響を排除しつつ、情報を取得するよう構成してもよい。
4−3−2.取得部7031:モーションキャプチャによる例
取得部7031の、他の手法の一例として、モーションキャプチャにより、無人航空機の位置に関わる情報を取得する例を説明する。モーションキャプチャでは、例えば、一定の法則に従って動く背景と、これとは異なる法則で動く無人航空機の違いを利用する。すなわち、背景は、情報処理装置の動きに応じて動作する。たとえば、スマートフォンを上方に動かすと、これに対応して、背景は下方に動く。他方、無人航空機は、送信機からの操縦に応じて動く。その動きは、背景とは異なる。
背景と無人航空機の動きの違いは、時間経過に対する画像の差異に基づいて、測定してもよい。例えば、t1時間の画像I1と、これからtミリ秒後のt2時間の画像I2において、画像I1の各ピクセルの9割が、画像I2において、XY座標値において、(x−2、y+3)の場所に動いていることが検出された場合、当該動きとは異なる残りの1割において、無人航空機と同等の面積を有するものが一定の方向に動いていることが判明すると、当該場所に無人航空機が存在することが判定される。
4−3−3.取得部7031:機械学習に基づく例
無人航空機の位置に関る情報は、機械学習によって、取得してもよい。無人航空機を含む画像と、当該無人航空機の位置を示すXY座標値の組を、データベースとして、機械学習させて、ルールを導出し、当該ルールに基づいて、無人航空機の位置に関る情報を取得してもよい。また、機械学習においては、無人航空機を含む画像と、当該無人航空機の位置又は方向などの無人航空機の情報を供給することで、上述の無人航空機の位置とは別に、無人航空機の方向など、無人航空機に関する情報を取得するよう構成してもよい。
4−3−4.比較部7032
比較部7032は、無人航空機の位置に係る情報と、所定の値又は所定の範囲との、対応する値を、比較する。例えば、無人航空機の位置に係る情報が複数であり、所定の値又は所定の範囲が複数である場合は、対応する値を、比較する。具体的には、例えば、無人航空機の位置に係る情報として、XY座標値(3,8)があり、所定の範囲として(X<4、Y<=8)があるとすると、X座標、Y座標においてそれぞれ比較される。また、無人航空機の位置に係る情報として、XY座標値(3,8)があり、所定の範囲として(X<=4)があるとすると、X座標3が、X<=4と比較される。この場合、Y座標値の5は使用されない。さらに、無人航空機の位置に係る情報として、XY座標値(3,8)があり、所定の範囲として(X<4、Y>8)があるとすると、X座標、Y座標においてそれぞれ比較される。
また、他の例として、無人航空機の位置に係る情報が(1、1)、(3、1)、(1、3)、(3,3)との正方形の情報であり、所定の値がX=2であるとする。この場合、当該正方形と所定の値X=2も比較をすることができ、当該正方形の一部に所定の値X=2が存在する関係にある。
4−3−5.判定部7033
判定部7033は、比較部7032で比較された情報に基づいて、無人航空機の位置と、所定の値又は範囲と、の位置関係を決定する機能を有する。ここで、当該位置関係を決定するとは、充足の関係であるか、非充足の関係であるかの充足性を決定する。
判定は、比較部7032で比較される情報が複数の場合、複数の比較において全て充足するときに充足と決定してもよいし、複数の比較の一部が充足するときに充足と決定してもよい。判定部7033が、複数の比較において全て充足するときに充足と決定するか、複数の比較の一部が充足するときに充足と決定するかは、予め定めておいてもよいし、乱数等を別途算出しその値によって定めるなどその場で定めてもよい。
例えば、無人航空機の位置に係る情報として、XY座標値(3,8)があり、所定の範囲として(X<4、Y<=8)があるとすると、X座標情報3は所定の範囲のX座標情報(X<4)を充足する関係にあり、Y座標情報8は所定の範囲のY座標情報(Y<=8)が等号を含む不等号であることから充足する関係にあり、両方が充足することから、充足と判定する。
また、無人航空機の位置に係る情報として、XY座標値(3,8)があり、所定の範囲として(X<=4)があるとすると、X座標3が、X<=4と比較され、この場合も充足と決定される。
さらに、無人航空機の位置に係る情報として、XY座標値(3,8)があり、所定の範囲として(X<4、Y>8)があるとすると、X座標、Y座標においてそれぞれ比較される。複数の比較が全て充足するときに充足としている場合、Y座標情報8と所定の範囲のY座標情報(Y>8)は充足しないため、全体として、充足しないと決定する。他方、複数の比較の一部が充足するときに充足としている場合、Y座標情報8と所定の範囲のY座標情報(Y>8)は充足しなくても、X座標情報3と所定の範囲のX座標情報(X<4)は充足するため、全体として、充足すると決定する。
また、他の例として、無人航空機の位置に係る情報が(1、1)、(3、1)、(1、3)、(3,3)との正方形の情報であり、所定の値がX=2であるとする。この場合、当該正方形と所定の値X=2も比較をすることができ、当該正方形の一部に所定の値X=2が存在する関係にあることから、充足すると決定する。
上述のとおり、無人航空機の位置に係る情報と、所定の値又は所定の範囲と、を比較して、判定することで、所定の値又は所定の範囲と関連付けられた飛行状態ができたかどうかを測定することができる。当該技術を利用すると、例えば、無人航空機の操縦者が、所望の飛行状態として、情報処理装置で撮像された画像内の所定の位置に無人航空機を移動させることができたかどうかを、客観的に測定できる。従って、例えば、無人航空機を移動させるレースにおいて、無人航空機が、所定の位置に移動したかどうかを、客観的に測定することが可能となる。
4−4.評価部704
評価部704は、位置比較判定部703で得られた情報の一部又は全部に基づき、評価する機能を有する。
評価部704は、位置比較判定部703で得られた情報の一部又は全部のみに基いて、評価してもよいし、位置比較判定部703で得られた情報の一部又は全部及び他の情報を合わせた上で、評価してもよい。他の情報としては、無人航空機の総飛行時間又は直近3ヶ月の利用状況などの利用者の無人航空機の利用状況や過去の評価点数などが挙げられるが、これらに限られない。例えば、後述する無人航空機のゲーム性を高めるためなど、種々の要素に基いて、評価してよい。
評価部704は、評価の結果として、どのような情報を出力してもよい。例えば、2値で出力してもよいし、点数で出力してもよい。2値が示す意味としては、合格/不合格、取得成功/取得失敗、などでもよい。これは、例えば、無人航空機のアプリケーションとして、複数のステージを設定し、各ステージで所定の範囲に飛行するような技術を測定するものである場合、各ステージで定められた所定の飛行条件(例えば、所定の範囲まで所定の時間で到達すること、又は、所定の範囲内で所定の時間飛行を継続することなど)が成立する場合に評価部704が合格と評価し、条件が不成立の場合に評価部704が不合格と評価するよう構成してもよい。なお、この例においては、時間の計測に関しては、後述する表示制御部内の計測技術が用いられており、計測された時間が、評価の考慮要素の一つとされている。
また点数の場合、位置比較判定部703の対象となった所定の数値又は所定の範囲との関係で、異なる値が付与されていてもよいし、同じ値であってもよい。例えば、ある所定の値又は所定の範囲と関連して位置比較判定部703が充足すると決定した場合を、他の所定の値又は所定の範囲と関連して位置比較判定部703が充足すると決定した場合よりも、高い点数を付与するよう評価部704を構成してもよい。これは、例えば、ある所定の値又は所定の範囲における位置比較判定部703の結果を良くするには、他の所定の値又は所定の範囲における位置比較判定部703の結果を良くするよりも、高度な飛行技術が必要である場合に、その飛行技術のレベルに合わせて評価点数を設定できる。これはひいては、高い飛行技術を目指すという利用者のインセンティブの向上に役立つ。他方で、ゲーム性の観点から、飛行技術とは無関係に、異なる点数を付与するよう評価部を構成してもよい。
また、評価部704は、マイナスの点数を付与する(減算する点数)よう構成されてもよい。これは、例えば、位置比較判定部703の対象となった所定の数値又は所定の範囲との関係で、−10点、−20点などのように、マイナスの点数を付与するよう評価部を構成する。当該マイナスの点数は、例えば、無人航空機の飛行として、危険な領域の飛行の場合には、リスクの教示又は注意喚起などの意義を有し、利用者の飛行技術の向上に役立つ。危険な領域の飛行としては、例えば、背景画像として、何らかの物体、生物、飛行禁止区域などが挙げられる。
また、評価部704は、複数の、位置比較判定部703で得られた情報の一部又は全部に基づく評価結果を、合算する機能を有してもよい。なお、上述のように、減算もありうることから、合算の結果の点数は、正の数にもなりうるし、負の数にもなりうる。また、点数として、整数、有理数、小数点などであってもよい。
例えば、無人航空機の位置が、所定の一定時間、所定のXY座標の範囲内にいる場合に、合格と評価してもよい。また、無人航空機の位置が、所定の一定時間、所定のXY座標の範囲内にいる場合に、点数を与えるという評価をしてもよい。
また、複数のステージを設定し、各ステージにおいて、画像内の所定の箇所に与えられたマークを取得(無人航空機がマークに接触)することで得られる点数を評価の対象としてもよいし、当該点数が一定以上になった場合に各ステージをクリアするということを評価の対象としてもよい。
評価された結果は、記憶部700に格納されてもよい。また、過去の評価された結果も、記憶部に格納されてもよい。例えば、図18は、利用者に関する無人航空機の飛行に関する情報のデータベースの一例である。図18では、星の数が記録されている。これは、ステージにおいて取得した星マークの数に対応するものであり、ステージでよい評価を得たことを示すものである。なお、星の数に代えて、点数が記録されてもよい。評価は、日時の情報、飛行時間の情報、などと関連付けて評価してもよい。
また、一定時間ごとに無人航空機の位置を格納し、それらの変化量を評価の位置要素としてもよい。すなわち、無人航空機を安定してコントロールするためには、急激な動きは慎むことが重要である。これは、一定時間ごとの無人航空機の位置を比較することによって、単位時間当たりの移動距離の変化、すなわち速度、を算出してもよいし、単位時間当たりの速度の変化、すなわち加速度を算出してもよい。
図19は、一定時間ごとに、無人航空機の位置をXY座標値で取得し、位置の変化量から速度を計算し、速度の変化量から加速度を算出して、記憶させたテーブルの例である。一定のt時間毎の時刻Tn(1<=n)に対して、無人航空機の位置Xn(1<=n)の情報を取得し、当該位置の情報に基づいて、周知の方法で速度及び加速度が計算される。当該加速度を、所定の値と比較し、評価の要素としてもよい。例えば、加速度を、複数の所定の値と比較し、高い加速度で移動した場合よりも、低い加速度で移動している場合に高い評価を与えてもよい。
当該点数は、利用者ごと、利用者のIDごと、利用者の属するグループごと、などに点数を管理してもよい。
4−5.表示制御部705
表示制御部705は、情報処理装置の表示部に、種々の表示をさせる機能を有する。表示制御部705は、無人航空機を撮像した画像を表示させてもよいし、無人航空機を撮像した画像に重ねて、所定の値又は所定の範囲を、画像化して、表示させてもよい。また、表示制御部705は、無人航空機を撮像した画像に重ねて、所定の値又は所定の範囲と関連付けられた画像を表示させてもよい。当該所定の値又は所定の範囲と関連付けられた画像としては、例えば、所定の範囲と略等しい画像であったり、当該所定の範囲よりも一回り大きい画像であったり、当該所定の範囲の形状に関連する図形の画像であってもよい。また、表示制御部705は、表示部に、背景画像を表示してもよい。当該背景画像としては、例えば、現実の風景画像のようなものでもよいし、想像上の画像でもよい。また、アニメーションなどの画像でもよいし、ゲームに関連する画像を表示してもよい。利用者は、無人航空機を飛行させながら、現実の風景画像や想像上の画像の中で飛行している感覚を得ることができ、より楽しく無人航空機を飛行できる。
また、表示制御部705は、位置取得判定部703で得られた情報の一部又は全部に基づく情報を、表示部に表示させてもよいし、評価部704で得られた情報の一部又は全部に基づく情報を、表示部に表示させてもよい。また、位置取得判定部703で得られた情報の一部又は全部に基づく情報、又は、評価部で得られた情報の一部又は全部に基づく情報、に基づき、後述のアプリケーションの実行結果を、表示部に、表示させてもよい。アプリケーションに係る表示例としては、アプリケーションのタイトル画面、メニュー画面、チュートリアル画面、ゲーム画面、評価画面、個人データ画面、設定画面、又はその他の画面、などの一部又は全部を、適宜必要な順序に沿って、表示させてもよい。例えば、上述の点数を取得するゲームの画面としては、図20などが挙げられる。図20では、ゲームの一画面として、無人航空機の位置と重なることで取得されることとなる星のマークが表示されている。当該星のマークは、取得されることで、点数が加算される。点数は、星2002では300点であり、星2003では2000点とされている。当該点数は、星のマークに表示され、取得したときの点数が分かり易いように構成されている。
表示制御部705が位置取得判定部703で得られた情報の一部又は全部に基づく情報を表示することで、無人航空機の操縦者は、所望の飛行状態として所定の位置に無人航空機を移動させることができたかどうかを、客観的に理解できる。
また、表示制御部705は、表示内容、又は位置取得判定部703で得られた情報の一部又は全部と関連付けて時間を計測する計測機能を有してもよい。表示制御部705は、時間の計測にあたり、開始時刻と終了時刻を記録して、当該記録の差分に基いて時間を計測するというような、絶対的な時刻に基いて時間を計測してもよいし、開始時点から終了時点までの時間を計測するというような相対的な経過時間を計測してもよい。
表示制御部705における計測機能は、所定の条件から位置比較判定部703において位置関係を判定するまでの時間を計測することもできるし、位置取得判定部703において位置関係を判定してから時間の計測を開始することもできる。また、例えば、所定の条件としては、アプリケーションが開始したこと、アプリケーション内で示されるカウントダウンが終了したこと、無人航空機の位置の移動が開始したこと、無人航空機が位置比較判定部によって判定された所定の位置関係にいること、などを所定の条件としてもよい。なお、計測機能は、アプリケーション又はゲーム内で使用される種々の計測機能としても用いることができる。
個人データ画面では、個人に関する情報を表示させてもよい。個人に関する情報としては、名前、ID、ニックネーム、画像、各ステージにおける最高得点、各ステージのチャレンジ回数、レベル、全てのステージの合計得点、総飛行時間、などの情報があってもよい。これらの情報は、例えば、図21のようなテーブルに記憶されている。
設定画面では、アプリケーションに関する様々な設定を表示し、また変更することができる。これは、個人に関するデータの設定や、後述するゲームのレベルの設定、変更、リセットなどでもよい。
ゲーム画面は、どのようなタイプのゲームであってもよい。すなわち、利用者が、無人航空機の操縦をするにあたり、無人航空機の飛行状態を視野に納めた情報処理装置の表示画面を見ながら楽しめるゲームであればよい。なお、当該ゲームを通して、利用者の無人航空機の飛行技術が改善されるようなゲームであれば、なおよい。
4−6.情報処理装置の構成
本願発明の実施形態における情報処理装置は、上記1で述べた種々の情報処理装置で構成される。携帯端末装置が、上述の各部の機能を全て備えてもよい。画像処理などの処理負担を軽減することで、処理能力の低い携帯端末装置においても、本願発明の一実施形態を実施可能となっている。
また、表示制御部の一部又は全部が、ヘッドマウントディスプレイ上で実行されてもよい。この場合、操縦者は、送信機に備えられた情報処理装置の撮像機能を気にせずに、送信機を扱うことができる利点がある。また、表示制御部がゲームを提示する場合は、よりゲームに没入感を持って、ゲームに集中することができる。
また、本願発明に係る情報処理機能が、全てヘッドマウントディスプレイ上で実現されてもよい。この場合、ヘッドマウントディスプレイは、撮像機能を有し、ヘッドマウントディスプレイ上で画像処理等の上記各処理がされてもよい。
また、本願発明の一実施例は、携帯端末装置が一部の機能を備え、サーバ装置、クラウド、などの他の装置が残りの機能を備えてもよい。例えば、携帯端末装置で、無人航空機を視野に含む画像を取得し、当該画像は、通信IFを介して、クラウド又はサーバ装置などの他の装置に転送され、当該他の装置で画像処理および所定の値又は範囲との比較、判定がされ、その結果が携帯端末装置に転送されるという構成でもよい。この場合、第三者が当該他の装置を所有又は管理して、画像処理及び所定の値又は範囲との比較を行い、その結果のみが、携帯端末装置に転送されるという構成でもよい。また、サーバ装置は、複数のサーバ装置が協働して、各機能を実現してもよいことはいうまでもない。
5.アプリケーションの一実施形態
以下では、本願発明に関るアプリケーションの一実施形態を説明する。なお、各アプリケーションでは、図22のフローチャートのようなステップを含んでもよい。
例えば、表示制御部は、表示部に、アプリケーションのタイトル画面を表示してもよい(S1)。ここでは、無人航空機の飛行であるため、安全性に関する注意喚起や、基本的な使い方などが表示されてもよい。
また、表示制御部は、表示部に、ログイン画面を表示してもよい(S2)。表示制御部は、ログイン画面を介して、ユーザIDを取得してもよい。また、表示制御部は、ユーザIDと関連付けられたパスワードを取得してもよい。表示制御部は、記憶部に備えられているユーザID及びパスワードを用いて認証して、利用者を特定することができる。また、利用者に関連しデータ及び/又は設定を呼び出してもよい。ユーザIDとパスワードに関する情報は、遠隔のサーバなどの情報処理装置に格納され、これと通信されて、認証がされてもよい。
次に、表示制御部は、表示部に、メニュー画面を表示してもよい(S3)。ここでは、実際のゲーム性のある測定モード、無人航空機を対象とした測定をしないで飛行を楽しむモード、及び無人航空機に関する情報のページが選択できる例が開示されてもよい。なお、無人航空機を対象とした測定をしないで飛行を楽しむモードは、測定モードで一定の成果を出して、ある程度安定して無人航空機を飛行できる技術が付いた後で利用できるようにしてもよい。
また、表示制御部は、チュートリアルを基本的な操作方法に関するチュートリアルの例を説明してもよい(S4)。チュートリアルを通して、無人航空機の操縦者は、基本的な技能を学ぶことができる。また、表示制御部は、ゲームを表示してもよい(S5)。以降では、無人航空機の測定モード又は無人航空機のゲームの例を、フローチャートを用いて説明する。
5−1.実施形態1
次に本願発明に関るアプリケーションの一実施形態を、図23のフローチャートを用いて説明する。図23は、無人航空機が、所定の範囲と関連付けられた位置に、一定時間、飛行する状態を測定する実施形態である。
まず、表示制御部が、撮像装置から取得した画像を、表示部に表示する(S1)。当該画像は、時間の経過に伴い、適宜更新される。
次に、表示制御部は、表示部内に、予め設定された所定の範囲に対応する画像を、表示部に表示する(S2)。
次に、位置取得判定部が、一定時間ごとに、画像内において、所定の範囲内に、無人航空機がいるか判定する(S3)。当該一定時間は、10ミリ秒などのように細かい時間間隔でもよいし、0.5秒などの粗い時間間隔でもよい。
位置取得判定部が、所定の範囲内に、無人航空機がいると判定すると、所定の時間を掲示する(S4)。所定の時間は、無人航空機が、所定の範囲内に継続して飛行することが期待される目標時間である。このとき、表示制御部は、当該時間に関連した何らかの文字列を表示してもよい。たとえば、所定の時間が10秒間の場合、「10秒間、白い表示範囲内でホバリングせよ」などの文字でもよい。
次に、位置取得判定部が、所定の範囲内に、無人航空機が飛行していると判定し続ける限り、表示制御部は、当該所定の時間の残り時間を計測し、表示する(S5)。このとき、表示制御部は、当該経過時間に対応した文字列を表示してもよい。例えば、「5秒間のホバリングに成功!残り5秒間のホバリングを継続せよ!」であるとか、「残り3秒間、気を抜かずにがんばれ!」などのような鼓舞するような内容でもよい。
また、表示制御部が表示する文字列は、利用者に対するアドバイスであってもよい。例えば、所定の範囲が、図31のように、3101と3102の二重の長方形になっており、外側の3101の範囲が、表示制御部によって、表示され、内側の3102の範囲は、表示されないようにされているとする。そして、外側の3001と内側の3102の間に、無人航空機3103がいる場合は、内側3102の内部にいる場合と比べて外側3101の外側に出てしまう可能性が高いことから、例えば、下方にいる場合には「もっと上昇したほうがいいぞ」などのように、内側3102側へ移動するようなアドバイスを表示部に表示してもよい。
表示制御部が残り時間が0と判定したとき、位置取得判定部が、所定の範囲内に無人航空機がいると判定している場合、表示制御部は、目標時間のホバリングに成功したことを表示する(S6)。例えば、「10秒間のホバリング成功!」などを表示部に表示してもよい。
他方、表示制御部が残り時間が0と判定する前に、位置取得判定部が、所定の範囲内に無人航空機がいなくなったと判定した場合、表示制御部は、目標時間のホバリングに失敗したことを表示する(S7)。例えば「残念、10秒間のホバリング失敗!」などの表示である。このとき、残り時間を表示してもよい。例えば、「残り2秒、次回は頑張ろう!」などを表示部に表示してもよい。
上記では、所定の目標時間のホバリングであったが、経過時間を計測してもよい。すなわち、無人航空機が、所定の範囲内に入った時間から、時間の計測を開始する。そして、所定の範囲内に継続して飛行できた時間を、最大ホバリング時間として、記録してもよい。
本実施例においては、無人航空機が、一定の時間、所定の範囲と関係する位置に、飛行できたかどうかが測定されるため、操縦者の無人航空機の飛行技術を、客観的に測定できる。
また、所定の値又は所定の範囲と関連する位置に、一定の時間、飛行することは、無人航空機の操縦者が、無人航空機を、所望の位置に移動させ、その所望の位置に関連する位置に、所望の時間継続して飛行できることを意味するため、無人航空機を安全に飛行する技術を測定することとも関連する。
上記実施例の所定の範囲は、所定の値であってもよい。また、所定の値又は所定の範囲は、アプリケーション内で設定されていてもよいし、利用者が入力した情報に基づいて、所定の値又は所定の範囲が設定されてもよい。所定の値又は所定の範囲は、アプリケーションの設定画面において、利用者が入力した数値によって設定されてもよい。
情報処理装置で無人航空機を撮像した場合における無人航空機の大きさを基準として、これよりも、1.5倍乃至3倍の大きさ程度に所定の範囲が設定された場合、無人航空機を広い所定の範囲内で飛行させることは容易であることから、無人航空機の操縦の初心者も、ホバリングの成功感覚を容易に感じ取ることができる。
また、情報処理装置で無人航空機を撮像した場合における無人航空機の大きさを基準として、これよりも、1.5倍以下の大きさ程度に所定の範囲が設定された場合、無人航空機を狭い所定の範囲内で飛行させることは困難であることから、無人航空機の操縦の熟練者も、ホバリングの達成感を感じ取ることができる。
また、所定の条件に応じて、所定の範囲を広い範囲に設定した後、所定の範囲を狭く設定するよう構成してもよい。この場合、無人航空機の利用者は、当初、広い所定の範囲で無人航空機の操縦を体験し、技術のレベルの向上に伴い、当初の広い所定の範囲では容易に実現できるようになり、楽しみを覚えなくなった後も、狭い所定の範囲でホバリング技術を体験できることができ、技術向上をチャレンジできる利点がある。この場合、所定の条件としては、総飛行時間、アプリケーションを利用開始した時間からの開始時間、後述するステージの違い、などの様々な条件に基づいて、設定することができる。
また、表示制御部は、所定の範囲の面積又はこれに関連する数値(例えば、矩形の所定の範囲における一辺の長さや、円形の所定の範囲の半径の長さ等)を、数値で比較し、表示してもよい。所定の範囲が狭まっていることを、客観的に、数値で比較することができる。また、当該数値が表示されると、操縦者も、客観的に、その目標値が狭まっていることを理解できる。
また、一定時間が短く設定された場合、無人航空機をその短い一定時間内、所定の値又は所定の範囲内に飛行させることは容易であることから、無人航空機の操縦の初心者も、ホバリングの成功感覚を容易に感じ取れる利点がある。
また、一定時間が長く設定された場合、無人航空機をその長い一定時間内、所定の値又は所定の範囲内に飛行させることは困難であることから、無人航空機の操縦の熟練者も、ホバリングの熟練を感じ取れる利点がある。
また、所定の条件に応じて、一定時間を短く設定した後、一定時間を長く設定するよう構成してもよい。この場合、無人航空機の利用者は、当初、短い一定時間でホバリングを体験し、技術のレベルの向上に伴い、当初の短い一定時間では容易に実現できるようになった後も、長い一定時間ホバリング技術を体験できることができ、技術向上をチャレンジできる利点がある。この場合、所定の条件としては、総飛行時間、アプリケーションを利用開始した時間からの開始時間、後述するステージの違い、などの様々な条件に基づいて、設定することができる。
また、計測時間を、数値で比較し、表示してもよい。計測時間が長くなっていることを、客観的に、数値で比較することができる。また、当該数値が表示されると、操縦者も、客観的に、その目標値が上昇したことを理解できる。
また、ホバリングの一定時間と、所定の値又は所定の範囲の広狭を組合せて、ホバリング技術向上のための、種々の測定技術が向上できるアプリケーションであってもよい。
携帯端末装置に備えられた撮像機能を用いた場合、個人が、手軽に、無人航空機の飛行技術を測定できる。そのため、個人が、自己の技術を、手軽に測定できる。
5−2.実施形態2
次に本願発明に関るアプリケーションの一実施形態を、図24のフローチャートを用いて説明する。図24では、無人航空機が、所定の範囲に、要求された時間内で到達する技術を測定する実施形態である。
画像取得部が、撮像装置から取得した画像を、表示部に表示する(S1)。
表示制御部は、目標となるホバリング位置として、所定の範囲を表示部に表示する(S2)。例えば、目標とするホバリングの位置が表示部に表示され、何秒以内に当該位置でのホバリングが要求されているかの説明書きが、表示部に表示される。例えば「20秒以内で、太枠内でのホバリングを目指せ」などのように表示部に表示される。
次に、表示制御部は、ホバリング開始前のカウントダウンを、表示部に表示する(S3)。当該カウントダウンは、表示部に、表示されてもよい。例えば、「5秒」、「4秒」、「3秒」、「2秒」、「1秒」、「GO」などである。
次に、表示制御部は、所定の範囲で目標となるホバリングをするまでの、所定の時間のカウントダウン(第1のカウントダウン)を行うとともに、第1のカウントダウンを、表示部に、表示する(S4)。例えば、「20秒」「19秒」などである。
位置取得判定部が、一定の時間ごとに、所定の範囲内に、無人航空機が飛行しているかどうかを判定する(S5)。当該一定時間は、10ミリ秒乃至1秒などのような時間間隔でよい。
なお、表示制御部は、第1のカウントダウンが0に近づくと、これを利用者にアピールするような表示を表示部にしてもよい。例えば、所定の範囲を示す太枠を、赤枠などの色を変えたり、点滅させたり、画面全体を白く光らせたりしてもよい。
位置取得判定部が、所定の範囲内に、無人航空機が飛行していると判定すると、表示制御部は、他の所定の時間のカウントダウン(第2のカウントダウン)を開始し、説明書きの文字列とともに当該第2のカウントダウンを表示部に表示する(S6)。例えば、「目標到達!あと3秒間ホバリングを頑張れ!」などのように表示部に表示する。なお、位置取得判定部が、所定の範囲内に、無人航空機が飛行していると判定している間は、表示制御部は、第1のカウントダウンを停止する。
表示制御部が第2のカウントダウンを終了するまで、位置取得判定部が、所定の範囲内に、無人航空機が飛行していると判定した場合は、表示制御部は、「ホバリング成功!」と表示部に表示する(S7)。
表示制御部が第2のカウントダウンを終了前に、位置取得判定部が、所定の範囲内に、無人航空機が飛行していないと判定した場合、表示制御部は、「第1のカウントダウンの残りを継続する(S8)。このとき、表示制御部は、表示部内に、「所定の範囲に向かえ!」などのように表示してもよい。
表示制御部のカウントダウンが0になっても無人航空機が所定の範囲に入らない場合、表示制御部は、「ゲーム失敗!」と表示部に表示する(S9)。
実施形態2における、所定の範囲及び要求された時間内も、実施形態1の所定の値又は範囲及び一定の時間と同様に、様々に設定することができる。
また、実施形態2においても、実施形態1と同様の効果を有する。
5−3.実施形態3
次に本願発明に関るアプリケーションの一実施形態を、図25のフローチャートを用いて説明する。図25のゲームは、表示部内に一定の領域が表示され、無人航空機を、一定時間内に、その領域外に移動させることで、点数を取得するゲームである。なお、当該点数の取得に代えて、無人航空機を一定時間内にその領域から移動しない場合は、減点されるよう構成してもよい。
まず、画像取得部が、撮像装置から取得した画像を、表示部に表示する(S1)。
次に、表示制御部は、無人航空機の位置を取得する(S2)。
次に、表示制御部は、無人航空機の位置を含む一定の領域を、所定の範囲として、設定する(S3)。ここで、表示制御部は、利用者に、指示を示してもよい。例えば、「白線の範囲から、20秒以内に脱出せよ!」などが挙げられる。なお、当該所定の範囲は、表示されることが好ましい。利用者に、どの範囲に無人航空機を飛行させていると点数が取得できない、又は、減点されるかを、視覚的に理解するためである。ただし、当該所定の範囲を表示させずに、現在の場所から逃げることのみを表示させてもよい。
次に、表示制御部は、所定の値からカウントダウンを開始する(S4)。このとき、表示制御部は、カウントダウンを、表示部に表示してもよい。例えば、「あと18秒で、白線の範囲から脱出せよ!」
表示制御部は、当該カウントダウンが0に近づいた場合、表示部内の画像を変化させてもよい。変化する態様としては、例えば、表示部内の一定の領域を線で囲んでもよいし、表示部内の一定の領域の色を変えてもよい。また、当該領域は、中心をより強調した形式で囲んでもよいし、中心をより強調した色で表示させてもよい。
位置取得判定部は、無人航空機が、所定の範囲外に移動したと判定すると、関連する時間を記録する(S5)。表示制御部は、関連する時間として、所定の範囲外に移動した時刻を記録してもよい。また、表示制御部は、関連する時間として、本ゲームの開始時刻から、無人航空機が所定の範囲外に移動したときの時刻までの経過時間を記録してもよい。また、表示制御部は、所定の範囲から移動したことを示す表示をしてもよい。例えば、表示制御部は、「脱出成功!」と表示部に表示してもよい。また、表示制御部は、当該関連する時間が、当該ステージにおける従前の関連する時間よりも短い場合、情報を更新する。
表示制御部が、所定のカウントダウンが0になっても無人航空機が所定の範囲外に移動しない場合、これを表示する(S6)。例えば、表示制御部は、「ゲーム失敗!」と表示部に表示してもよい。
次に、図26を用いて、無人航空機が所定のマークを取得することで、点数を獲得するゲームを説明する。
まず、画像表示部は、ゲームタイトルを表示する(S1)。また、ゲームの簡単な説明を表示してもよい。たとえば、「スターを多く取って、高得点を目指せ!」などが挙げられる。
次に、画像表示部は、利用者のデータを提示する(S2)。ここでは、各ステージのチャレンジ回数、各ステージの最高得点、総飛行時間、などを表示してもよい。なお、まだ実行していないステージの得点は、0点と表示してもよいし、表示しなくてもよい。また、各ステージには、そのステージをクリアするための最低得点が設定されてもよい。すなわち、当該最低得点を取得して、初めてそのステージがクリアとなる。また、ステージには順序が設定されていてもよい。その場合、利用者は、ステージをクリアすることで、予め順序が定められた次のステージにチャレンジできる。
次に、ゲームの実際のアクションが始まると、画像取得部が、無人航空機を視野に含む撮像部から取得した画像を取得し、表示制御部は、当該画像を表示部に表示する(S3)。
表示制御部は、マークを、画像内の位置に表示する(S4)。マークは、表示制御部においては、所定の範囲として、扱われる。ここで、記憶部には、マークの種類と、画像内の提示する位置が定められたテーブルを有していてもよい。たとえば、図27のようなデータベースを有していてもよい。表示制御部は、各マークを指定し、画像内に表示する。表示される画像内の位置は、図27のような記憶部内のマークと関連づけられた提示位置に提示してもよいし、状況に応じて変更してもよい。たとえば、現在の無人航空機の位置から、遠い位置と近い位置の表示を順に繰り返すようにしてもよい。また、マークを提示するタイミングは、あらかじめ定めてもよいし、前のマークが取得された情報に基づいて、タイミングを決定してもよい。例えば、前のマークが取得されてから、2秒後に次のマークを表示する、としてもよい。また、複数のマークを同時に表示してもよい。また、表示制御部は、乱数などに応じて、提示するマークを決定してもよい。
位置取得判定部は、画像処理された情報に基づき、所定の範囲とされるマークに入るかどうかを判定する(S5)。
位置取得判定部が、無人航空機が、所定の範囲であると判定すると、関連するマークの取得を記録する(S6)。
位置取得判定部は、当該マークの表示を消す(S7)。
表示制御部は、前のマークの削除から一定期間経過したと判定すると、新たなマークを、表示部に表示する(S8)。
表示制御部は、ゲーム開始から一定時間経過すると、ゲーム終了とする(S9)。
表示制御部は、ステージ内で得たマークの点数を合計し、記憶部に記録する(S10)。もし当該点数が、当該ステージ内で得た過去のマークの点数又は過去のマークの最高点数よりも高い場合は、当該ステージ内の最高得点の情報を更新する。当該最高得点が、ステージ内のクリア得点よりも高い場合であって、次のステージが実施できない状態であれば、次のステージを実施できるように変更する。また、当該ステージ内での飛行時間を総合計飛行時間に加算する。
実施形態3においては、点数の取得を介して、よりゲーム性が向上する。これによって、無人航空機の操縦者は、より無人航空機を楽しみ、無人航空機の操縦技術を向上させることが可能である。
5−4.実施形態4
次に本願発明に関るアプリケーションの一実施形態を、図28のフローチャートを用いて説明する。図28では、無人航空機が、所定の範囲に関連して、仮想的にダメージを負うゲームを説明する。仮想的なダメージは、所定の範囲に関連する回数が定まっていてもよいし、所定の範囲と関連付けられた点数が減点されることでもよい。所定の範囲にいると判定される回数は、事前に定まっていてよい。本ゲームにおいて、上述の例のように、点数を得点するようにしてもよい。本ゲームでは、前のゲームと異なる部分を主に説明する。
ゲームの実際のアクションが始まると、画像取得部が、無人航空機を視野に含む撮像部から取得した画像を取得し、表示制御部は、当該画像を表示部に表示する(S1)。
表示制御部は、ゲーム開始から、時間の計測を開始する(S2)。当該時間は、表示部に表示されてもよい。
表示制御部は、障害物を、画像内の位置に表示する(S3)。この障害物は、所定の範囲と関連付けられてもよい。たとえば、障害物の外縁が、所定の範囲と一致してもよい。障害物の画像は、各ステージの世界観に合わせたものでもよい。たとえば、建物の内部を世界観とするステージにおいては、建物の内部に存在するものでよい。具体的には、たとえば、一般家屋の内部の世界観であれば、天井、壁、床、階段、ドア、窓などの建物と関連するものであってもよいし、たんす、置物、TV、冷蔵庫、電子レンジなどの家電であってもよい。また、建物の内部であっても、会社のオフィス、会議室などをイメージするものであれば、机、いす、ホワイトボード、プロジェクターなどのものでもよい。また、その他、商用施設として、デパート、テーマパーク、などのステージで、各ステージで一般的にあるとされるものを障害物と設定してもよい。
また、人工物以外にも、海、山、森、公園、などの自然環境をステージとして、各自然環境に一般的にあるとされているもの、たとえば、植物、動物、岩石などを障害物として設定してもよい。
また、普段の日常から離れて、歴史的建造物、世界遺産、宇宙、砂漠、深海、空中などをステージとして、そこに存在すると考えられるものを障害物としてもよいし、現実にはありえない想像的な世界をステージとしてもよい。
障害物の外縁と所定の範囲は、一致しなくてもよい。たとえば、障害物の外縁から少し内部に所定の範囲を設定してもよい。これは、たとえば、木や森などをイメージする画像による障害物の場合、無人航空機が少し触れただけでは、無人航空機に対するダメージにはならない場合などが考えられる。
障害物は、移動してもよい。たとえば、背景となる障害物が移動することにより、相対的に、無人航空機が移動しているようにしてもよい。たとえば、図29は、背景として地下のトンネルをイメージする画像が採用されている。トンネル2901が、図面の紙面から見て矢印2903の方向(左方向)に移動することで、無人航空機2902が相対的に反対の方向(右方向)に移動している状況を示している。
障害物は、ステージ内で敵であってもよい。例えば、怪獣、怪物、戦艦、戦闘機、戦車などが挙げられる。また、障害物は、敵からの仮想的な攻撃手段であってもよい。たとえば、戦車、戦艦、戦闘機などからの弾丸又は、怪獣、怪物、戦艦などからのビーム攻撃などであってもよい。たとえば、図30のようなものが挙げられる。図30では、操作する無人航空機3001に対して、敵3002が出現している。敵3002を所定の範囲と一致させて、これと接触した場合無人航空機が所定のダメージを得るようにしてもよい。敵3002は、仮想的な攻撃手段3003を発射することができる。3003にも所定の範囲が設定されており、これは一定の弾丸を模した速度で移動する。無人航空機3001が、攻撃手段3003と接触した場合、3001は所定の点数を減点するように構成することができる。
表示制御部は、背景である障害物を移動する表示を行う(S4)。
位置取得判定部は、画像処理された情報に基づき、無人航空機と障害物と関係付けられている所定の範囲との関係を判定する(S5)。
位置取得判定部が、無人航空機が、所定の範囲であると判定すると、これを記録する(S6)。
表示制御部は、障害物と関連付けられた所定の範囲であると判定された回数が、所定の回数よりも多いかどうかを判定する(S7)。
表示制御部は、障害物と関連付けられた所定の範囲であると判定された回数が、所定の回数より少ない場合、S3となる(S8)。
表示制御部は、障害物と関連付けられた所定の範囲であると判定された回数が、所定の回数よりも多い場合、ゲームを終了する(S9)。
ゲーム終了後、計測された時間を表示する(S10)。
表示制御部は、当該時間を記憶部に記録する(S11)。もし当該時間が、当該ステージ内で得た過去の時間よりも長い場合は、当該ステージ内の最高時間の情報を更新する。当該最高時間が、ステージ内のクリア時間よりも長い場合であって、次のステージが実施できない状態であれば、次のステージを実施できるように変更する。また、当該ステージ内での飛行時間を総合計飛行時間に加算する。
なお、この例において、前の例のように、マークの取得によって、点数を取得する構成としてもよい。また、敵が攻撃手段を備えていることに対応して、コントロールする無人航空機も、仮想的な攻撃手段を備えてもよい。当該仮想的な攻撃手段は、無人航空機の送信機における操作手段に対応して、発射されるよう構成してもよい。また、当該攻撃手段は、上記のマークの取得に対応して、アイテムとして取得できるような構成にしてもよい。
実施形態4においては、実施形態3よりも、更に減点の手段又は敵の登場などにより、ゲーム性の幅が向上する。これにより、無人航空機の操縦者は、より無人航空機の操縦を楽しむことができ、無人航空機の操縦技術を向上させることが可能である。
本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものである。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。

Claims (25)

  1. 送信機による操作に基づき飛行中の無人航空機を撮像する撮像部と、
    前記撮像部に基づく画像の一部又は全部を画像処理する画像処理部と、
    前記画像処理部から得た情報の一部又は全部に基づき、前記無人航空機の前記画像内における位置に係る情報と、所定の範囲と、を比較して位置関係を判定する位置比較判定部と、
    撮像された前記無人航空機、を表示する表示部と、
    前記位置比較判定部で得られた情報の一部又は全部に基づいて、前記無人航空機の飛行状態を評価する評価部と、
    を備える、前記送信機の操縦者による前記無人航空機の飛行技術を客観的に測定可能な、前記送信機と異なる情報処理装置。
  2. 前記表示部は、前記所定の範囲と、前記所定の範囲内でホバリングすることが期待される時間の残り時間と、を表示し、
    前記評価部は、前記位置比較判定部で得られた情報の一部又は全部に基づいて、前記無人航空機による前記ホバリングすることが期待される時間のホバリングの成否を評価する、
    請求項1に記載の情報処理装置。
  3. 前記無人航空機が前記所定の範囲内で継続して飛行した時間をホバリング時間として記録可能な、
    請求項1又は2に記載の情報処理装置。
  4. 前記表示部は、第1の長方形を表示し、
    前記所定の範囲は、前記第1の長方形の内側に設定される第2の長方形であり、
    前記表示部は、前記無人航空機が、前記第1の長方形と前記第2の長方形の間に位置する場合に、文字列を表示する、
    請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記評価部は、第1加速度が第2加速度よりも低い加速度である場合において、前記無人航空機が前記第1加速度である場合、前記無人航空機が前記第2加速度である場合の評価よりも、高い評価を与える、
    請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記画像処理部は、HSV方式に変換する処理を含み、
    前記画像処理部は、変換されたHSV方式内の色相を用いて、前記無人航空機の位置に係る情報を取得する、
    請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 前記情報処理装置は、CPUを備える、
    請求項1乃至6のいずれか1項に記載の情報処理装置。
  8. 前記情報処理装置は、携帯端末装置である、
    請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 送信機の操縦者による無人航空機の飛行技術を客観的に測定可能な、前記送信機と異なる情報処理装置を、
    前記送信機による操作に基づき飛行中の前記無人航空機を撮像する撮像手段、
    前記撮像手段に基づく画像の一部又は全部を画像処理する画像処理手段、
    前記画像処理手段から得た情報の一部又は全部に基づき、前記無人航空機の位置に係る情報と、所定の範囲と、を比較して位置関係を判定する位置関係判定手段、
    撮像された前記無人航空機、を表示する表示手段、
    前記位置関係判定手段で得られた情報の一部又は全部に基づいて、前記無人航空機の飛行状態を評価する評価手段、
    として機能させるためのコンピュータプログラム。
  10. 前記表示手段は、前記所定の範囲と、前記所定の範囲内でホバリングすることが期待される時間の残り時間と、を表示し、
    前記評価手段は、前記位置関係判定手段で得られた情報の一部又は全部に基づいて、前記無人航空機による前記ホバリングすることが期待される時間のホバリングの成否を評価する、
    請求項9に記載のコンピュータプログラム。
  11. 前記情報処理装置を、前記無人航空機が前記所定の範囲内で継続して飛行した時間をホバリング時間として記録可能な記録手段、
    として機能させるための請求項9又は10に記載のコンピュータプログラム。
  12. 前記表示手段は、第1の長方形を表示し、
    前記所定の範囲は、前記第1の長方形の内側に設定される第2の長方形であり、
    前記表示手段は、前記無人航空機が、前記第1の長方形と前記第2の長方形の間に位置する場合に、文字列を表示する、
    請求項9乃至11のいずれか1項に記載のコンピュータプログラム。
  13. 前記評価手段は、第1加速度が第2加速度よりも低い加速度である場合において、前記無人航空機が前記第1加速度である場合、前記無人航空機が前記第2加速度である場合の評価よりも、高い評価を与える、
    請求項9乃至12のいずれか1項に記載のコンピュータプログラム。
  14. 前記画像処理手段は、HSV方式に変換する処理を含み、
    前記画像処理手段は、変換されたHSV方式内の色相を用いて、前記無人航空機の位置に係る情報を取得する、
    請求項9乃至13のいずれか1項に記載のコンピュータプログラム。
  15. 前記情報処理装置は、CPUを備える、
    請求項9乃至14のいずれか1項に記載のコンピュータプログラム。
  16. 前記情報処理装置は、携帯端末装置である、
    請求項9乃至15のいずれか1項に記載のコンピュータプログラム。
  17. 送信機の操縦者による無人航空機の飛行技術を客観的に測定可能な、前記送信機と異なる情報処理装置が、
    前記送信機による操作に基づき飛行中の前記無人航空機を撮像する撮像ステップと、
    前記撮像ステップに基づく画像の一部又は全部を画像処理する画像処理ステップと、
    前記画像処理ステップから得た情報の一部又は全部に基づき、前記無人航空機の位置に係る情報と、所定の範囲と、を比較して位置関係を判定する位置関係判定ステップと、
    撮像された前記無人航空機、を表示する表示ステップと、
    前記位置関係判定ステップで得られた情報の一部又は全部に基づいて、前記無人航空機の飛行状態を評価する評価ステップと、
    を実行する方法。
  18. 前記表示ステップは、前記所定の範囲と、前記所定の範囲内でホバリングすることが期待される時間の残り時間と、を表示するステップを含み、
    前記評価ステップは、前記位置関係判定ステップで得られた情報の一部又は全部に基づいて、前記無人航空機による前記ホバリングすることが期待される時間のホバリングの成否を評価するステップを含む、
    請求項17に記載の方法。
  19. 前記情報処理装置は、前記無人航空機が前記所定の範囲内で継続して飛行した時間をホバリング時間として記録可能である、
    請求項17又は18に記載の方法。
  20. 前記表示ステップは、第1の長方形を表示するステップを含み、
    前記所定の範囲は、前記第1の長方形の内側に設定される第2の長方形であり、
    前記表示ステップは、前記無人航空機が、前記第1の長方形と前記第2の長方形の間に位置する場合に、文字列を表示するステップを含む、
    請求項17乃至19のいずれか1項に記載の方法。
  21. 前記評価ステップは、第1加速度が第2加速度よりも低い加速度である場合において、前記無人航空機が前記第1加速度である場合、前記無人航空機が前記第2加速度である場合の評価よりも、高い評価を与えるステップを含む、
    請求項17乃至20のいずれか1項に記載の方法。
  22. 前記画像処理ステップは、HSV方式に変換する処理を含み、
    前記画像処理ステップは、変換されたHSV方式内の色相を用いて、前記無人航空機の位置に係る情報を取得するステップを含む、
    請求項17乃至21のいずれか1項に記載の方法。
  23. 前記情報処理装置は、CPUを備える、
    請求項17乃至22のいずれか1項に記載の方法。
  24. 前記情報処理装置は、携帯端末装置である、
    請求項17乃至23のいずれか1項に記載の方法。
  25. コンピュータを、請求項1乃至8のいずれか1項に記載の情報処理装置として機能させるためのコンピュータプログラム。
JP2019510506A 2017-04-03 2017-04-03 情報処理装置、プログラム及び方法 Active JP6603438B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013916 WO2018185806A1 (ja) 2017-04-03 2017-04-03 情報処理装置、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP6603438B2 true JP6603438B2 (ja) 2019-11-06
JPWO2018185806A1 JPWO2018185806A1 (ja) 2019-11-07

Family

ID=63712900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019510506A Active JP6603438B2 (ja) 2017-04-03 2017-04-03 情報処理装置、プログラム及び方法

Country Status (2)

Country Link
JP (1) JP6603438B2 (ja)
WO (1) WO2018185806A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102237874B1 (ko) * 2018-07-06 2021-04-09 고려대학교 산학협력단 드론 조종연습시스템
CN110688043B (zh) * 2019-09-27 2020-09-01 成都星时代宇航科技有限公司 一种双图像的显示方法、装置及终端
WO2021106036A1 (ja) * 2019-11-25 2021-06-03 株式会社Orso 情報処理装置、情報処理方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002233672A (ja) * 2001-02-13 2002-08-20 Masashi Miwa 無線操縦操作電子記録装置
JP2006051864A (ja) * 2004-08-10 2006-02-23 Seiko Epson Corp 自動飛行制御システムおよび自動飛行制御方法
JP5604674B2 (ja) * 2009-09-18 2014-10-15 株式会社アズライト ゲーム装置の制御プログラム
JP5671349B2 (ja) * 2011-01-06 2015-02-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5718197B2 (ja) * 2011-09-14 2015-05-13 株式会社バンダイナムコゲームス プログラム及びゲーム装置
FR3034681B1 (fr) * 2015-04-10 2017-05-12 Parrot Systeme de pilotage de drone en immersion.
JP5876607B1 (ja) * 2015-06-12 2016-03-02 株式会社コロプラ フローティング・グラフィカルユーザインターフェース

Also Published As

Publication number Publication date
WO2018185806A1 (ja) 2018-10-11
JPWO2018185806A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
US11557075B2 (en) Body pose estimation
US11158291B2 (en) Image display method and apparatus, storage medium, and electronic device
KR101692335B1 (ko) 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
US9947139B2 (en) Method and apparatus for providing hybrid reality environment
JP6603438B2 (ja) 情報処理装置、プログラム及び方法
US20210335004A1 (en) Texture-based pose validation
CN110180169A (zh) 游戏中的画面显示方法及装置、存储介质、电子设备
US11673054B2 (en) Controlling AR games on fashion items
CN114786786A (zh) 使用先前帧进行骨骼跟踪
JP7405734B2 (ja) 表示システム及びサーバ
JP5848486B1 (ja) お絵かき画像表示システム
US12020384B2 (en) Integrating augmented reality experiences with other components
US20230072762A1 (en) Method and apparatus for displaying position mark, device, and storage medium
EP3995190A1 (en) Virtual environment image display method and apparatus, device and medium
WO2017147784A1 (zh) 飞行控制方法、装置、控制终端、飞行***及处理器
CN112154440A (zh) 无人机的仿真方法、仿真装置和计算机可读存储介质
De Marsico et al. Using hands as an easy UAV joystick for entertainment applications
KR102413130B1 (ko) 비대면 다중 참여의 실시간 vr/mr 기반 드론 교육 시뮬레이션 시스템 및 방법
US20230260127A1 (en) Interactively defining an object segmentation
JP2017037614A (ja) お絵かき画像表示システム
Freistetter et al. Performance of a networked human-drone team: command response and interaction effects
Garcia et al. Modifying a game interface to take advantage of advanced I/O devices
Toshiyuki et al. An RPG-like campus tour service using remote control robots
US20240181350A1 (en) Registering hand-held non-electronic object as game controller to control vr object position, orientation, game state
US20230351666A1 (en) Augmented reality experience power usage prediction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190618

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190618

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191010

R150 Certificate of patent or registration of utility model

Ref document number: 6603438

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150