JP2003110981A - 空撮映像処理システム及び無線式の小型無人飛行体 - Google Patents

空撮映像処理システム及び無線式の小型無人飛行体

Info

Publication number
JP2003110981A
JP2003110981A JP2001300306A JP2001300306A JP2003110981A JP 2003110981 A JP2003110981 A JP 2003110981A JP 2001300306 A JP2001300306 A JP 2001300306A JP 2001300306 A JP2001300306 A JP 2001300306A JP 2003110981 A JP2003110981 A JP 2003110981A
Authority
JP
Japan
Prior art keywords
information
image
condition
camera
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001300306A
Other languages
English (en)
Inventor
Keitaro Matsuzaka
敬太郎 松坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hirobo Ltd
Original Assignee
Hirobo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hirobo Ltd filed Critical Hirobo Ltd
Priority to JP2001300306A priority Critical patent/JP2003110981A/ja
Publication of JP2003110981A publication Critical patent/JP2003110981A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】 空撮映像の利用の便宜を向上させる。 【解決手段】 飛行体に搭載されたカメラにより撮影さ
れた映像は、撮影条件情報関連付け手段122により、
飛行体の飛行位置情報、飛行高度情報、飛行方向情報、
三次元の飛行姿勢情報、カメラの三次元の姿勢情報、カ
メラの撮影画角情報、カメラの撮影高度情報、撮影時間
情報のうち少なくとも一つを含んで構成される撮影条件
情報と関連付けて空撮映像記憶部121に記憶される。
所望の映像を検出するに当たっては、この所望の映像に
おいて予想される飛行高度や撮影時間などを入力する。
あるいは、所望の映像に関して文章で表現して入力す
る。これにより、種々の形態で利用可能な所望の映像を
得ることができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、飛行体に搭載され
たカメラにより撮影された空撮映像を撮影時の各種撮影
条件情報に着目して分類、記憶し、さらには、所望の空
撮映像を検出可能とすることで、種々の空撮映像を利用
する際の便宜を向上させることができる空撮映像処理シ
ステム及びこの空撮映像処理システムを搭載した無線式
の小型無人飛行体に関する。
【0002】
【従来の技術】飛行体に搭載されたカメラの空撮映像を
利用する技術としては、例えば、特開平10−4228
2号公報に開示されているように、カメラの三次元位
置、三次元姿勢及び画角を検出すると共に、そのデータ
を地図データの三次元情報と比較し、カメラによって撮
影した映像と地図データとを重畳してリアルタイムで表
示する技術が知られている。
【0003】
【発明が解決しようとする課題】上記した技術は、映像
を三次元の地図データに重畳できることを特徴としてい
るが、空撮映像の利用形態としては、単に、撮影した映
像を地図データにマッチングさせることを提示している
に過ぎない。これは、上記公報に開示されているよう
に、上記技術は主として被災地を特定する際の位置情報
の正確性、迅速性の向上を目的としているためである。
【0004】空撮映像は、災害時における被災地情報の
取得に役立つことはもちろんであるが、地図情報を重畳
するまでもなく、建物、港湾、橋梁などの構造物の保全
状況の確認や古墳、史跡、遺跡などの学術調査に用いる
ことも可能である。そのほか、映像をストックしておく
ことで、例えば、テレビ番組、コマーシャルあるいは映
画の背景シーンとして所望の映像を利用することができ
る。
【0005】しかしながら、空撮映像をストックしてお
き上記した各種の利用形態に役立てるためには、撮影し
た映像をその後に利用しやすいような形態でコンピュー
タの記憶部に記憶させておくことが必要である。もちろ
ん、一つ一つの映像ファイルに付するファイル名を手掛
かりとして検索する手段も一般に考えられるが、各種の
映像を特徴づけるファイル名を一つ一つ付する作業は非
常に困難である。
【0006】また、上記公報に開示されている技術で使
用される飛行体はヘリコプターなどの有人飛行体である
が、被災地や火山上空を飛行する場合などにおいては、
安全性の点から無人飛行体であることが望ましい。特
に、ヘリコプター型の無線式の無人飛行体であれば、飛
行姿勢や飛行経路などにおいて各種バリエーションに富
む飛行を実現でき、それにより様々なアングルの映像を
取得することができる。
【0007】本発明は上記に鑑みなされたものであり、
撮影した映像を利用しやすくする撮影映像の記憶手段を
備えた空撮映像処理システムを提供することを課題とす
る。また、本発明は、記憶された映像を、記憶時に関連
付けられた撮影条件情報あるいは取得したいと考えるイ
メージに基づき入力された任意の条件データのいずれか
少なくとも一方によって、検出することを可能とする検
出手段を備えた空撮映像処理システムを提供することを
課題とする。また、本発明は、検出手段により検出され
た映像を、通信手段を介して配信可能とすることで、空
撮映像のさらなる利用の便宜を図ることができる空撮映
像処理システムを提供することを課題とする。また、本
発明は、上記した空撮映像処理システムを備え、安全に
かつ容易に使用することができる無線式の小型無人飛行
体を提供することを課題とする。
【0008】
【課題を解決するための手段】上記した課題を解決する
ため、請求項1記載の本発明では、飛行体に搭載された
カメラによって撮影された映像を記憶する空撮映像記憶
部を備えた空撮映像処理システムであって、前記空撮映
像記憶部に記憶される映像を、前記飛行体の飛行位置情
報、飛行高度情報、飛行方向情報、三次元の飛行姿勢情
報、カメラの三次元の姿勢情報、カメラの撮影画角情
報、カメラの撮影高度情報、撮影時間情報のうち少なく
とも一つを含んで構成される撮影条件情報と関連付けて
記憶させる撮影条件情報関連付け手段を具備することを
特徴とする空撮映像処理システムを提供する。請求項2
記載の本発明では、飛行体に搭載されたカメラによって
撮影された映像を記憶する空撮映像記憶部を備えた空撮
映像処理システムであって、前記空撮映像記憶部に記憶
される映像を、前記飛行体の飛行位置情報、飛行高度情
報、飛行方向情報、三次元の飛行姿勢情報、カメラの三
次元の姿勢情報、カメラの撮影画角情報、カメラの撮影
高度情報、撮影時間情報のうち少なくとも一つを含んで
構成される撮影条件情報と関連付けて記憶させる撮影条
件情報関連付け手段と、入力された映像検出条件と前記
撮影条件情報とを比較し、前記空撮映像記憶部から、入
力された映像検出条件に適合する映像を検出する検出手
段とを具備することを特徴とする空撮映像処理システム
を提供する。請求項3記載の本発明では、飛行体に搭載
されたカメラによって撮影された映像を記憶する空撮映
像記憶部を備えた空撮映像処理システムであって、前記
空撮映像記憶部に記憶される映像を、前記飛行体の飛行
位置情報、飛行高度情報、飛行方向情報、三次元の飛行
姿勢情報、カメラの三次元の姿勢情報、カメラの撮影画
角情報、カメラの撮影高度情報、撮影時間情報のうち少
なくとも一つを含んで構成される撮影条件情報と関連付
けて記憶させる撮影条件情報関連付け手段と、入力され
た映像検出条件と前記撮影条件情報とを比較し、前記空
撮映像記憶部から、入力された映像検出条件に適合する
映像を検出する検出手段と、前記検出手段により検出さ
れた映像を、通信手段を介してユーザに配信する配信手
段とを具備することを特徴とする空撮映像処理システム
を提供する。請求項4記載の本発明では、通信手段を介
してユーザによって入力された前記映像検出条件を受信
する受信手段を具備し、前記検出手段は、この受信手段
を介して取得した映像検出条件に適合する映像を撮影条
件情報と比較して検出する構成であることを特徴とする
請求項6記載の空撮映像処理システムを提供する。請求
項5記載の本発明では、入力される映像検出条件が、飛
行体の飛行位置情報、飛行高度情報、飛行方向情報、三
次元の飛行姿勢情報、カメラの三次元の姿勢情報、カメ
ラの撮影画角情報、カメラの撮影高度情報、撮影時間情
報のうち少なくとも一つを含む撮影条件情報に対応する
条件データであり、前記検出手段は、映像検出条件とし
て入力された前記条件データと前記撮影条件情報とを比
較して、入力された映像検出条件に適合する映像を検出
する構成であることを特徴とする請求項2〜4のいずれ
か1に記載の空撮映像処理システムを提供する。請求項
6記載の本発明では、入力される映像検出条件が、想定
する映像の少なくとも一部を文字、画像あるいは音声な
どで表現した任意の条件データであり、前記検出手段
は、映像検出条件として入力された前記条件データと前
記撮影条件情報とを比較して、入力された映像検出条件
に適合する映像を検出する構成であることを特徴とする
請求項2〜4のいずれか1に記載の空撮映像処理システ
ムを提供する。請求項7記載の本発明では、前記検出手
段は、前記条件データを、前記撮影条件情報と対比可能
な情報に加工する条件データ加工手段を具備し、この条
件データ加工手段により加工された条件データと前記撮
影条件情報とを比較して、入力された映像検出条件に適
合する映像を検出する構成であることを特徴とする請求
項6記載の空撮映像処理システムを提供する。請求項8
記載の本発明では、外部撮影用のカメラと、前記カメラ
の三次元の姿勢を検知するセンサと、前記カメラによっ
て撮影された映像を記憶する空撮映像記憶部、及び前記
空撮映像記憶部に記憶される映像を、前記飛行体の飛行
位置情報、飛行高度情報、飛行方向情報、三次元の飛行
姿勢情報、カメラの三次元の姿勢情報、カメラの撮影画
角情報、カメラの撮影高度情報、撮影時間情報のうち少
なくとも一つを含んで構成される撮影条件情報と関連付
けて記憶させる撮影条件情報関連付け手段を備えた空撮
映像処理システムとを具備することを特徴とする無線式
の小型無人飛行体を提供する。請求項9記載の本発明で
は、外部撮影用のカメラと、前記カメラの三次元の姿勢
を検知するセンサと、前記カメラによって撮影された映
像を記憶する空撮映像記憶部、前記空撮映像記憶部に記
憶される映像を、前記飛行体の飛行位置情報、飛行高度
情報、飛行方向情報、三次元の飛行姿勢情報、カメラの
三次元の姿勢情報、カメラの撮影画角情報、カメラの撮
影高度情報、撮影時間情報のうち少なくとも一つを含ん
で構成される撮影条件情報と関連付けて記憶させる撮影
条件情報関連付け手段、及び入力された映像検出条件と
前記撮影条件情報とを比較し、前記空撮映像記憶部か
ら、入力された映像検出条件に適合する映像を検出する
検出手段を備えた空撮映像処理システムとを具備するこ
とを特徴とする無線式の小型無人飛行体を提供する。請
求項10記載の本発明では、外部撮影用のカメラと、前
記カメラの三次元の姿勢を検知するセンサと、前記カメ
ラによって撮影された映像を記憶する空撮映像記憶部、
前記空撮映像記憶部に記憶される映像を、前記飛行体の
飛行位置情報、飛行高度情報、飛行方向情報、三次元の
飛行姿勢情報、カメラの三次元の姿勢情報、カメラの撮
影画角情報、カメラの撮影高度情報、撮影時間情報のう
ち少なくとも一つを含んで構成される撮影条件情報と関
連付けて記憶させる撮影条件情報関連付け手段、入力さ
れた映像検出条件と前記撮影条件情報とを比較し、前記
空撮映像記憶部から、入力された映像検出条件に適合す
る映像を検出する検出手段、及び前記検出手段により検
出された映像を、通信手段を介してユーザに配信する配
信手段を備えた空撮映像処理システムとを具備すること
を特徴とする無線式の小型無人飛行体を提供する。請求
項11記載の本発明では、ヘリコプター型であることを
特徴とする請求項8〜10記載の無線式の小型無人飛行
体を提供する。
【0009】(作用)本発明の空撮映像処理システムに
よれば、飛行体に搭載されたカメラにより撮影された映
像は、撮影条件情報関連付け手段により、飛行体の飛行
位置情報、飛行高度情報、飛行方向情報、三次元の飛行
姿勢情報、カメラの三次元の姿勢情報、カメラの撮影画
角情報、カメラの撮影高度情報、撮影時間情報のうち少
なくとも一つを含んで構成される撮影条件情報と関連付
けて空撮映像記憶部に記憶される。
【0010】所望の映像を検出するに当たっては、この
所望の映像において予想される少なくとも一部の撮影条
件情報、例えば、飛行高度や撮影時間などを任意に検出
キーワードとして入力する。あるいは、所望の映像に関
して文章(テキストデータ)で表現して入力する。これ
により、種々の形態で利用可能な所望の映像を得ること
ができる。
【0011】また、本発明の無線式の無人飛行体によれ
ば、火山や被災地上空などを飛行することも可能であ
り、種々のシーンの撮影が可能となる。また、空撮映像
処理システムを搭載しているため、地上においてその空
撮影上処理システムにより既に処理された情報を受信す
ることにより、その後の情報加工処理が容易となり、地
上設備の簡素化、省力化に資する。
【0012】
【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて更に詳しく説明する。本実施形態においては、
飛行体1として、図1に示したように、ヘリコプター型
の無線式の小型無人飛行体を用いている。いわゆるラジ
コンヘリコプターであるが、これにより、有人飛行体と
比較して火山上空などの危険が伴う飛行経路や橋梁下な
どの狭空域であっても飛行させることができ、また、飛
行許可などの手続きも要しないため、様々な映像を撮影
することができる。特に、ヘリコプター型のものを用い
た場合には、飛行機型のものと比較して、空中で停止さ
せたり、建造物に沿って垂直に上昇させたり、空中での
自由な動きを実現でき、種々のアングルからバリエーシ
ョンに富んだ映像を取得することを可能にする。
【0013】飛行体1には、該飛行体1の外部を撮影す
るためのカメラ2が搭載される。カメラ2は、動画像を
撮影するものであってもよいし、連続的に静止画像を撮
影するものであってもよい。また、動画像、静止画像を
適宜に切り替えて撮影できるものであってもよい。ま
た、カメラ2は、姿勢が固定されて飛行体1に取り付け
られるものであってもよいが、カメラ2自身が姿勢変更
可能に設けられていることが好ましく、さらには二次元
方向だけでなく、三次元に姿勢制御可能に設けられてい
ることがより好ましい。固定式であっても、飛行体1の
姿勢によって種々のアングルでの撮影が可能である。特
に、本実施形態では上記のようにヘリコプター型の小型
無人飛行体を用いているため、動きの自由度が大きく、
カメラ2が固定式であっても様々な映像を撮影すること
が可能である。しかしながら、それに加えて、カメラ2
自身の姿勢が二次元、三次元に制御可能であれば、さら
にバリエーションに富んだ映像を撮影することができる
し、また、飛行体1の飛行姿勢を安定にさせた状態であ
っても、カメラ2の姿勢を制御するだけでバリエーショ
ンに富んだ撮影が可能である。
【0014】なお、カメラ2の撮影制御、例えば、連続
撮影時間、撮影間隔、撮影姿勢などの制御は、予め設定
した制御プログラムに従って行うようにしてもよいし、
地上の無線通信機を操作して制御する構成としてもよ
い。
【0015】後述の空撮映像処理システム10において
は、カメラ2によって撮影された映像を、撮影時の撮影
条件情報と関連付けて記憶させる。このため、飛行体1
及び/又はカメラ2には、この撮影条件を取得する機能
を備えている必要がある。撮影条件は、それによって、
撮影パターンを特定して所望の映像に分類したり、所望
の映像を検出したりする際の分類・検出キーとなる機能
を果たすものである。このため、撮影パターンの特定に
最低限必要となる飛行体1の飛行位置、飛行高度、飛行
方向、飛行姿勢に関する情報、カメラ2の三次元の姿
勢、撮影画角、撮影高度、撮影時間に関する情報のいず
れか少なくとも一つから構成される。なお、これらの撮
影条件を検知する手段は限定されるものではなく、例え
ば、高度計、方位センサ、カメラの姿勢を検知するセン
サの一つである角度センサ、時計などが挙げられるが、
いずれも、飛行体1やカメラ2に後付けしたものであっ
てもよいし、予めそれらに備えられたものであってもよ
い。
【0016】本実施形態に係る空撮映像処理システム1
0は情報処理装置(コンピュータ)から構成され、図2
に示したように、主制御部であるCPU11と、メモリ
やハードディスクドライブなどの記憶手段12と、表示
画面13とを有して構成される。なお、記憶手段12
は、情報処理装置からなる空撮映像処理システム10に
設けられるドライブに装填可能な任意の記録媒体、例え
ば、フレキシブルディスクなどの磁気ディスク、CD−
ROM、DVDなどの光ディスク、MO、MDなどの光
磁気ディスク、ICカードなどの半導体カード等の記録
媒体であってもよい。
【0017】空撮映像処理システム10の記憶手段12
には、飛行体1のカメラ2によって撮影された映像を記
憶する空撮映像記憶部121が形成されている。また、
この空撮映像記憶部121に記憶される映像を、各種の
撮影条件情報と関連付けて記憶させるためのプログラム
である撮影条件情報関連付け手段122を有している。
【0018】撮影条件情報関連付け手段122は、撮影
した所定の映像に対し、上記した飛行体1の飛行位置、
飛行高度、飛行方向、飛行姿勢に関する情報、カメラ2
の三次元の姿勢、撮影画角、撮影高度、撮影時間に関す
る情報のいずれか少なくとも一つから形成される撮影条
件情報を対応させることができるものであればどのよう
な構成であってもよい。例えば、飛行体1やカメラ2に
備え付けられた撮影条件検知手段である高度計、方位セ
ンサ、角度センサ、時計などから上記撮影条件に関する
情報を取得し、この撮影条件情報を映像情報に付帯させ
た状態で、空撮映像記憶部121に記憶させる構成とす
ることができる。また、別途、撮影条件情報のみを記憶
する記憶部(撮影条件情報記憶部)をファイル形式など
により形成した上で、空撮映像記憶部121に記憶され
た各映像情報にリンクする情報を介して対応させる構成
とすることもできる。また、カメラ2に撮影される映像
に撮影画角、撮影高度、撮影時間などの撮影条件情報が
写し込まれるものである場合には、写し込まれた撮影条
件情報を、光学的に読み取る手段などを介して取得し、
上記のように空撮映像記憶部121や撮影条件情報記憶
部に記憶させる構成とすることもできる。
【0019】なお、撮影条件情報関連付け手段122に
より取得される撮影条件情報は、上記のようにそれによ
って撮影パターンを特定するものであり、飛行体1の飛
行位置、飛行高度、飛行方向、飛行姿勢に関する情報、
カメラ2の三次元の姿勢、撮影画角、撮影高度、撮影時
間に関する情報のいずれか少なくとも一つを含んで形成
されていればよいが、より詳細な撮影パターンを特定す
るためには、これらの情報をできるだけ多く備えている
ことが好ましい。
【0020】記憶手段12には、さらに、撮影条件情報
関連付け手段122により取得された撮影条件情報に基
づいて、所望の映像を検出するプログラムである検出手
段123を備えている。この検出手段123は、例え
ば、ユーザが取り出したいとイメージした映像の少なく
とも一部について、任意の入力手段を介して入力された
映像検出条件を受け取って、撮影条件情報の記憶されて
いる空撮映像記憶部121又は撮影条件情報記憶部にア
クセスし、そこに記憶されている撮影条件情報と比較し
て、類似性の高い映像情報を、空撮映像記憶部121か
ら検出する手段である。
【0021】検出手段123は、入力される映像検出条
件が、撮影条件情報に対応した条件データである場合、
例えば、飛行位置:東経135°・北緯36°、撮影高
度:500〜800m、飛行方向:北西から南東、撮影
時間:4月1〜10日の8:00〜10:00の範囲、
あるいは、連続撮影時間:1〜3分間、カメラの三次元
姿勢(撮影方向):鉛直角−20度から+45度、とい
ったように、記憶されている撮影条件情報と直接比較可
能なデータである場合には、用語や数値同士の類似性を
比較できるプログラムであればよい。
【0022】一方、映像検出条件を入力する場合に、撮
影条件を細かく指定することは難しく、種々のユーザが
存在することを考慮すると、映像検出条件としては、例
えば、「春頃、関東近郊で上空数百mから千数百mの範
囲で撮影した映像であって、山の見える景色から海の見
える景色に移り変わっていく映像」といったように、文
章での入力を可能としたり、あるいは、「春and関東and
山and海」といったように任意の用語の入力を可能とし
たり、あるいは、何らかの画像データや音声などによる
入力を可能とすることで、映像検出条件を入力するユー
ザの便宜を図ることが好ましい。従って、検出手段12
3には、図2に示したように、このような映像検出条件
に関する条件データを、記憶している撮影条件情報と対
比可能な情報に加工する条件データ加工手段123aを
設定しておくことが好ましい。
【0023】条件データ加工手段123aとしては、例
えば、「春頃、関東近郊で上空数百mから千数百mの範
囲で撮影した映像であって、山の見える景色から海の見
える景色に移り変わっていく映像」と入力された文章を
形態素解析したり、意味解析したりして、「3月or4月
or5月」、「東経○○°〜○○°、北緯○○°〜○○
°」「500m〜1500m」、「山and海」といった
撮影条件情報において用いている表現に対応する用語
(単語)などに変換する手段を挙げることができる。条
件データ加工手段123aにより変換された後は、空撮
映像記憶部121又は撮影条件情報記憶部にアクセス
し、そこに記憶されている撮影条件情報と比較して、類
似性の高い映像情報を、空撮映像記憶部121から検出
する。
【0024】所望の映像を検出するための映像検出条件
である条件データを入力する入力手段としては、キーボ
ード、マウス、音声入力装置等が挙げられるが、これら
は、空撮映像処理システム10に備え付けられているも
のであってもよいし、通信手段を介して接続されたユー
ザの入力手段であってもよい。本発明では、撮影した映
像を配信して、広く流通、取引可能とすることで、空撮
映像のさらなる利用の便宜を図ることをも目的とする。
従って、かかる観点からは、空撮映像処理システム10
に対し、インターネットなどの通信回線を介して接続さ
れた入力手段によって、空撮映像を欲する各種のユーザ
から条件データを入力可能な構成とすることが好まし
い。
【0025】本実施形態の記憶手段12には、さらに、
検出手段123によって検出された、ユーザの入力した
条件データに対応する映像情報を、通信手段を介して接
続されたユーザの端末装置に対して配信する配信手段1
24を有している。この配信手段124は、検出された
映像情報を、例えば添付ファイルとして付帯させて送信
できる機能を有するプログラムなどであればよく、その
構成は何ら限定されるものではない。
【0026】本実施形態によれば、例えば、上記の空撮
映像処理システム10を地上の建物内に設置されたコン
ピュータに設定する。また、飛行体1に搭載されたカメ
ラ2と空撮映像処理システム10とは、無線通信手段に
より結ばれ、映像が撮影されるとリアルタイムに空撮映
像処理システム10に送信されるように設定されている
とする。そして、飛行体1を、無線操作により、例え
ば、被写体として橋梁の上方を長手方向に沿って端から
端まで飛行させ、さらに、橋梁の横斜め上方から橋梁に
接近し、さらに、橋梁の下方を通過させるように飛行さ
せる。カメラ2は、無線操作により適宜の姿勢に制御す
る。
【0027】かかる場合、カメラ2により撮影された橋
梁の映像、あるいはその周辺の映像は、無線通信手段を
介してリアルタイムで空撮映像処理システム10に送信
され、空撮映像記憶部121に蓄積されていく。また、
橋梁を撮影した際の撮影条件情報も、飛行体1及び/又
はカメラ2に搭載された撮影条件情報を検知するセンサ
のデータが、無線通信手段を介して空撮映像処理システ
ム10に送信され、撮影条件関連付け手段122によ
り、撮影した映像に関連付けされて、空撮映像記憶部1
21に映像と共に、あるいは、独立形成された撮影条件
情報記憶部に蓄積されていく。
【0028】本実施形態によれば、このように空撮映像
を単に適宜のファイル名を付してコンピュータに蓄積す
るだけではなく、撮影条件情報と関連付けて蓄積する。
従って、その後に、任意のユーザが欲する映像を検出す
る作業が極めて容易となる。
【0029】例えば、テレビ番組制作者が、橋梁を上空
横方向から徐々に迫って、橋梁下からも橋梁を捉える映
像を欲しているとする。この場合、ユーザであるテレビ
番組制作者は、例えば、インターネットを介して空撮映
像処理システム10に接続された端末装置の入力手段を
用いて(図1参照)、「橋梁」、「上空横方向から下方
を通過」といった用語を含む文章や単語を入力し、図3
のS1に示したように、空撮映像処理システム10に対
して自己の欲する映像検出条件についての条件データと
して送信する。
【0030】空撮映像処理システム10では、かかる条
件データを受信手段により受信したならば(S2)、条
件データ加工手段123aによって解析し、撮影条件情
報と対比可能な情報に加工する(S3)。そして、検出
手段123によって、加工された条件データを、空撮映
像記憶部121又は撮影条件情報記憶部にアクセスして
(S4)、それらに蓄積された撮影条件情報と比較する
(S5)。その結果、類似性の高い映像情報を検出した
場合には、かかる映像情報を空撮映像記憶部121から
読み出し(S6)、配信手段124により、インターネ
ットを介してユーザであるテレビ番組制作者の端末装置
に配信する(S7)。
【0031】ユーザは、端末装置を用いて受信した映像
を再生し(S8)、イメージした映像に相当するか否か
を検討し、イメージにそぐわない場合には、再度、映像
検出条件を入力して空撮映像処理システム10に送信
し、上記と同様の操作を繰り返す。その後の処理は任意
であるが、例えば、所望の映像情報が得られた場合に
は、その映像を購入する旨を空撮映像処理システム10
に送信し(S9)、空撮映像処理システム10におい
て、当該ユーザに対する映像情報提供に対する対価を課
金する(S10)。
【0032】また、検出手段123においては、例え
ば、入力された映像検出条件との類似性の高いものから
順に複数の映像情報を検出し、配信手段124を介して
ユーザに複数の映像情報を提供することも可能である。
そして、この場合には、ユーザは複数の映像情報を順に
閲覧した上で、購入を希望する映像情報を特定し、その
情報を空撮映像処理システム10にフィードバックする
構成とすることもできる。なお、検出手段123によっ
て、複数の映像情報が提供された場合に、絞り込み検索
のため、ユーザがさらなる映像検出条件を入力し、絞り
込み用の条件データとして空撮映像処理システム10に
送信できる構成とすることももちろん可能である。
【0033】本発明は上記した実施形態に何ら限定され
るものではない。上記した説明では、飛行体1には、基
本的に、カメラ2と、飛行体1及び/又はカメラ2の各
種撮影条件情報を検知するためのセンサと、必要な通信
手段しか搭載していないが、飛行体1に、空撮映像処理
システム10そのものを搭載した構成とすることもでき
る。この場合の空撮映像処理システム10は、空撮映像
記憶部121のみを備えたものであってもよいし、検出
手段123あるいは必要に応じて条件データ加工手段1
23aを含む検出手段123をも備えたものであっても
よい。さらに、配信手段124も具備した構成とするこ
ともできる。
【0034】空撮映像記憶部121を備えたものの場合
には、地上設備に設定するコンピュータとして、必要な
通信手段のほかに、検出手段123及び配信手段124
を設定するだけで済み、さらに、検出手段123を備え
たものの場合には、地上設備のコンピュータとしては、
配信手段124を備えていればよく、いずれにしても、
地上設備に設定するコンピュータの構成の簡素化、省力
化に資する。また、配信手段124をも搭載している場
合には、飛行体1とユーザの端末装置との間で直接情報
交換が可能となるため、地上に設置するサーバの役割を
果たすコンピュータとしては、バックアップ用程度のも
のでよく、場合によっては、地上に設置するコンピュー
タ自体を不要とすることもできる。
【0035】
【発明の効果】本発明の空撮映像処理システムは、飛行
体に搭載されたカメラにより撮影された映像を、撮影条
件情報関連付け手段により、飛行体の飛行位置情報、飛
行高度情報、飛行方向情報、三次元の飛行姿勢情報、カ
メラの三次元の姿勢情報、カメラの撮影画角情報、カメ
ラの撮影高度情報、撮影時間情報のうち少なくとも一つ
を含んで構成される撮影条件情報と関連付けて空撮映像
記憶部に記憶する構成である。従って、その後に、種々
のユーザによって、この撮影条件情報をもとに、所望の
映像を検出することが効率的かつ極めて容易に行うこと
ができ、映像を種々の形態で利用することができる。ま
た、検出手段により検出された映像を、通信手段を介し
て配信可能とすることで、空撮映像のさらなる利用の便
宜を図ることができる
【0036】また、本発明の無線式の無人飛行体によれ
ば、火山や被災地上空などを飛行することも可能であ
り、種々のシーンの撮影が可能となる。また、空撮映像
処理システムを搭載しているため、地上においてその空
撮影上処理システムにより既に処理された情報を受信す
ることにより、その後の情報加工処理が容易となり、地
上設備の簡素化、省力化に資する。
【図面の簡単な説明】
【図1】図1は、本発明の一の実施形態に係る空撮映像
処理システム、飛行体、ユーザとの関係を示す概念図で
ある。
【図2】図2は、上記実施形態に係る空撮映像処理シス
テムの構成図である。
【図3】図3は、上記実施形態に係る空撮映像処理シス
テムを用いて、蓄積した映像をユーザに配信する方法の
一例を説明するためのフローチャートである。
【符号の説明】
1 飛行体 2 カメラ 10 空撮映像処理システム 12 記憶手段 121 空撮映像記憶部 122 撮影条件情報関連付け手段 123 検出手段 123a 条件データ加工手段 124 配信手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 5/91 L Fターム(参考) 5B050 BA11 GA08 5C022 AA01 AB65 AC69 5C052 AA01 AB03 AB04 AC08 DD04 5C053 LA01 LA06 LA11 LA14 5C054 AA01 AA05 CA04 CC02 CE01 CF01 CH02 DA07 DA08 EA01 EA03 EA05 EA07 FA09 GB02 HA38

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 飛行体に搭載されたカメラによって撮影
    された映像を記憶する空撮映像記憶部を備えた空撮映像
    処理システムであって、 前記空撮映像記憶部に記憶される映像を、前記飛行体の
    飛行位置情報、飛行高度情報、飛行方向情報、三次元の
    飛行姿勢情報、カメラの三次元の姿勢情報、カメラの撮
    影画角情報、カメラの撮影高度情報、撮影時間情報のう
    ち少なくとも一つを含んで構成される撮影条件情報と関
    連付けて記憶させる撮影条件情報関連付け手段を具備す
    ることを特徴とする空撮映像処理システム。
  2. 【請求項2】 飛行体に搭載されたカメラによって撮影
    された映像を記憶する空撮映像記憶部を備えた空撮映像
    処理システムであって、 前記空撮映像記憶部に記憶される映像を、前記飛行体の
    飛行位置情報、飛行高度情報、飛行方向情報、三次元の
    飛行姿勢情報、カメラの三次元の姿勢情報、カメラの撮
    影画角情報、カメラの撮影高度情報、撮影時間情報のう
    ち少なくとも一つを含んで構成される撮影条件情報と関
    連付けて記憶させる撮影条件情報関連付け手段と、 入力された映像検出条件と前記撮影条件情報とを比較
    し、前記空撮映像記憶部から、入力された映像検出条件
    に適合する映像を検出する検出手段とを具備することを
    特徴とする空撮映像処理システム。
  3. 【請求項3】 飛行体に搭載されたカメラによって撮影
    された映像を記憶する空撮映像記憶部を備えた空撮映像
    処理システムであって、 前記空撮映像記憶部に記憶される映像を、前記飛行体の
    飛行位置情報、飛行高度情報、飛行方向情報、三次元の
    飛行姿勢情報、カメラの三次元の姿勢情報、カメラの撮
    影画角情報、カメラの撮影高度情報、撮影時間情報のう
    ち少なくとも一つを含んで構成される撮影条件情報と関
    連付けて記憶させる撮影条件情報関連付け手段と、 入力された映像検出条件と前記撮影条件情報とを比較
    し、前記空撮映像記憶部から、入力された映像検出条件
    に適合する映像を検出する検出手段と、 前記検出手段により検出された映像を、通信手段を介し
    てユーザに配信する配信手段とを具備することを特徴と
    する空撮映像処理システム。
  4. 【請求項4】 通信手段を介してユーザによって入力さ
    れた前記映像検出条件を受信する受信手段を具備し、前
    記検出手段は、この受信手段を介して取得した映像検出
    条件に適合する映像を撮影条件情報と比較して検出する
    構成であることを特徴とする請求項6記載の空撮映像処
    理システム。
  5. 【請求項5】 入力される映像検出条件が、飛行体の飛
    行位置情報、飛行高度情報、飛行方向情報、三次元の飛
    行姿勢情報、カメラの三次元の姿勢情報、カメラの撮影
    画角情報、カメラの撮影高度情報、撮影時間情報のうち
    少なくとも一つを含む撮影条件情報に対応する条件デー
    タであり、 前記検出手段は、映像検出条件として入力された前記条
    件データと前記撮影条件情報とを比較して、入力された
    映像検出条件に適合する映像を検出する構成であること
    を特徴とする請求項2〜4のいずれか1に記載の空撮映
    像処理システム。
  6. 【請求項6】 入力される映像検出条件が、想定する映
    像の少なくとも一部を文字、画像あるいは音声などで表
    現した任意の条件データであり、 前記検出手段は、映像検出条件として入力された前記条
    件データと前記撮影条件情報とを比較して、入力された
    映像検出条件に適合する映像を検出する構成であること
    を特徴とする請求項2〜4のいずれか1に記載の空撮映
    像処理システム。
  7. 【請求項7】 前記検出手段は、前記条件データを、前
    記撮影条件情報と対比可能な情報に加工する条件データ
    加工手段を具備し、この条件データ加工手段により加工
    された条件データと前記撮影条件情報とを比較して、入
    力された映像検出条件に適合する映像を検出する構成で
    あることを特徴とする請求項6記載の空撮映像処理シス
    テム。
  8. 【請求項8】 外部撮影用のカメラと、 前記カメラの三次元の姿勢を検知するセンサと、 前記カメラによって撮影された映像を記憶する空撮映像
    記憶部、及び前記空撮映像記憶部に記憶される映像を、
    前記飛行体の飛行位置情報、飛行高度情報、飛行方向情
    報、三次元の飛行姿勢情報、カメラの三次元の姿勢情
    報、カメラの撮影画角情報、カメラの撮影高度情報、撮
    影時間情報のうち少なくとも一つを含んで構成される撮
    影条件情報と関連付けて記憶させる撮影条件情報関連付
    け手段を備えた空撮映像処理システムとを具備すること
    を特徴とする無線式の小型無人飛行体。
  9. 【請求項9】 外部撮影用のカメラと、 前記カメラの三次元の姿勢を検知するセンサと、 前記カメラによって撮影された映像を記憶する空撮映像
    記憶部、前記空撮映像記憶部に記憶される映像を、前記
    飛行体の飛行位置情報、飛行高度情報、飛行方向情報、
    三次元の飛行姿勢情報、カメラの三次元の姿勢情報、カ
    メラの撮影画角情報、カメラの撮影高度情報、撮影時間
    情報のうち少なくとも一つを含んで構成される撮影条件
    情報と関連付けて記憶させる撮影条件情報関連付け手
    段、及び入力された映像検出条件と前記撮影条件情報と
    を比較し、前記空撮映像記憶部から、入力された映像検
    出条件に適合する映像を検出する検出手段を備えた空撮
    映像処理システムとを具備することを特徴とする無線式
    の小型無人飛行体。
  10. 【請求項10】 外部撮影用のカメラと、 前記カメラの三次元の姿勢を検知するセンサと、 前記カメラによって撮影された映像を記憶する空撮映像
    記憶部、前記空撮映像記憶部に記憶される映像を、前記
    飛行体の飛行位置情報、飛行高度情報、飛行方向情報、
    三次元の飛行姿勢情報、カメラの三次元の姿勢情報、カ
    メラの撮影画角情報、カメラの撮影高度情報、撮影時間
    情報のうち少なくとも一つを含んで構成される撮影条件
    情報と関連付けて記憶させる撮影条件情報関連付け手
    段、入力された映像検出条件と前記撮影条件情報とを比
    較し、前記空撮映像記憶部から、入力された映像検出条
    件に適合する映像を検出する検出手段、及び前記検出手
    段により検出された映像を、通信手段を介してユーザに
    配信する配信手段を備えた空撮映像処理システムとを具
    備することを特徴とする無線式の小型無人飛行体。
  11. 【請求項11】 ヘリコプター型であることを特徴とす
    る請求項8〜10記載の無線式の小型無人飛行体。
JP2001300306A 2001-09-28 2001-09-28 空撮映像処理システム及び無線式の小型無人飛行体 Pending JP2003110981A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001300306A JP2003110981A (ja) 2001-09-28 2001-09-28 空撮映像処理システム及び無線式の小型無人飛行体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001300306A JP2003110981A (ja) 2001-09-28 2001-09-28 空撮映像処理システム及び無線式の小型無人飛行体

Publications (1)

Publication Number Publication Date
JP2003110981A true JP2003110981A (ja) 2003-04-11

Family

ID=19120906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001300306A Pending JP2003110981A (ja) 2001-09-28 2001-09-28 空撮映像処理システム及び無線式の小型無人飛行体

Country Status (1)

Country Link
JP (1) JP2003110981A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004349749A (ja) * 2003-05-20 2004-12-09 Nippon Hoso Kyokai <Nhk> カメラ映像モニタ装置及びカメラ映像モニタ方法
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2008168852A (ja) * 2007-01-15 2008-07-24 Mitsubishi Electric Corp 画像センサ搭載型航空機用航法計算プログラム
JP2008288738A (ja) * 2007-05-16 2008-11-27 Nec Corp 調査情報収集管理システム、調査情報収集管理装置及びそれらに用いる調査情報収集管理方法
KR101548272B1 (ko) 2015-02-13 2015-08-28 (주)하이레벤 태양광발전설비의 모듈에 관한 영상 데이터를 수집하기 위한 시스템
WO2015162637A1 (ja) * 2014-04-22 2015-10-29 株式会社スカイロボット 太陽光発電パネルの故障検出探査システム
JP2015188150A (ja) * 2014-03-26 2015-10-29 株式会社衛星ネットワーク 空撮映像配信システムおよび空撮映像配信方法
CN105120136A (zh) * 2015-09-01 2015-12-02 杨珊珊 基于无人飞行器的拍摄装置及其拍摄处理方法
WO2016024303A1 (ja) * 2014-08-12 2016-02-18 株式会社 スカイロボット コンクリート構造物非破壊検査システム
CN105939444A (zh) * 2016-04-26 2016-09-14 苏州创飞农业科技有限公司 一种自动检测的摄影装置
CN106482730A (zh) * 2016-12-07 2017-03-08 北京桔灯地球物理勘探股份有限公司 一种应用于地质信息化工作中的野外实地信息采集设备
JP2017078575A (ja) * 2015-10-19 2017-04-27 エナジー・ソリューションズ株式会社 検査システム、及び検査方法
WO2018150492A1 (ja) * 2017-02-15 2018-08-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
JP2018173992A (ja) * 2014-04-25 2018-11-08 ソニー株式会社 情報処理装置、情報処理方法、コンピュータ読み取り可能な媒体および撮像システム
JP2021036451A (ja) * 2014-04-25 2021-03-04 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114851A (ja) * 1995-10-20 1997-05-02 Fuji Xerox Co Ltd 情報管理装置
JPH09127626A (ja) * 1995-11-01 1997-05-16 Organ Needle Co Ltd ヘリコプターの空撮用カメラ取付装置
JPH1042282A (ja) * 1996-04-23 1998-02-13 Shigeyuki Yamaguchi 映像提示システム
JP2000201349A (ja) * 1998-07-31 2000-07-18 Matsushita Electric Ind Co Ltd 現場画像管理装置
JP2000321059A (ja) * 1999-05-10 2000-11-24 Topcon Corp 画像形成システム
JP2001184397A (ja) * 1999-12-24 2001-07-06 Ntt Data Corp 情報整理システム及び方法
JP2001197481A (ja) * 2000-01-13 2001-07-19 Mitsubishi Electric Corp 撮影システム
JP2001197350A (ja) * 2000-01-11 2001-07-19 Ntt Data Corp 撮影指示装置、撮影指示方法及び記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114851A (ja) * 1995-10-20 1997-05-02 Fuji Xerox Co Ltd 情報管理装置
JPH09127626A (ja) * 1995-11-01 1997-05-16 Organ Needle Co Ltd ヘリコプターの空撮用カメラ取付装置
JPH1042282A (ja) * 1996-04-23 1998-02-13 Shigeyuki Yamaguchi 映像提示システム
JP2000201349A (ja) * 1998-07-31 2000-07-18 Matsushita Electric Ind Co Ltd 現場画像管理装置
JP2000321059A (ja) * 1999-05-10 2000-11-24 Topcon Corp 画像形成システム
JP2001184397A (ja) * 1999-12-24 2001-07-06 Ntt Data Corp 情報整理システム及び方法
JP2001197350A (ja) * 2000-01-11 2001-07-19 Ntt Data Corp 撮影指示装置、撮影指示方法及び記録媒体
JP2001197481A (ja) * 2000-01-13 2001-07-19 Mitsubishi Electric Corp 撮影システム

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004349749A (ja) * 2003-05-20 2004-12-09 Nippon Hoso Kyokai <Nhk> カメラ映像モニタ装置及びカメラ映像モニタ方法
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置
JP2008168852A (ja) * 2007-01-15 2008-07-24 Mitsubishi Electric Corp 画像センサ搭載型航空機用航法計算プログラム
JP2008288738A (ja) * 2007-05-16 2008-11-27 Nec Corp 調査情報収集管理システム、調査情報収集管理装置及びそれらに用いる調査情報収集管理方法
JP2015188150A (ja) * 2014-03-26 2015-10-29 株式会社衛星ネットワーク 空撮映像配信システムおよび空撮映像配信方法
JPWO2015162637A1 (ja) * 2014-04-22 2017-04-13 株式会社 スカイロボット 太陽光発電パネルの故障検出探査システム
WO2015162637A1 (ja) * 2014-04-22 2015-10-29 株式会社スカイロボット 太陽光発電パネルの故障検出探査システム
US10036716B2 (en) 2014-04-22 2018-07-31 Skyrobot Inc. Solar power panel failure detection and searching system
JP2018173992A (ja) * 2014-04-25 2018-11-08 ソニー株式会社 情報処理装置、情報処理方法、コンピュータ読み取り可能な媒体および撮像システム
JP2021036451A (ja) * 2014-04-25 2021-03-04 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2022111131A (ja) * 2014-04-25 2022-07-29 ソニーグループ株式会社 飛行制御方法、情報処理装置及びコンピュータプログラム
JP7078093B2 (ja) 2014-04-25 2022-05-31 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11237560B2 (en) 2014-04-25 2022-02-01 Sony Corporation Control device, imaging device, control method, imaging method, and computer program
WO2016024303A1 (ja) * 2014-08-12 2016-02-18 株式会社 スカイロボット コンクリート構造物非破壊検査システム
KR101548272B1 (ko) 2015-02-13 2015-08-28 (주)하이레벤 태양광발전설비의 모듈에 관한 영상 데이터를 수집하기 위한 시스템
CN105120136A (zh) * 2015-09-01 2015-12-02 杨珊珊 基于无人飞行器的拍摄装置及其拍摄处理方法
JP2017078575A (ja) * 2015-10-19 2017-04-27 エナジー・ソリューションズ株式会社 検査システム、及び検査方法
CN105939444A (zh) * 2016-04-26 2016-09-14 苏州创飞农业科技有限公司 一种自动检测的摄影装置
CN106482730A (zh) * 2016-12-07 2017-03-08 北京桔灯地球物理勘探股份有限公司 一种应用于地质信息化工作中的野外实地信息采集设备
CN110249625A (zh) * 2017-02-15 2019-09-17 深圳市大疆创新科技有限公司 图像显示方法、图像显示***、飞行体、程序以及记录介质
JPWO2018150492A1 (ja) * 2017-02-15 2019-12-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
WO2018150492A1 (ja) * 2017-02-15 2018-08-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
US11082639B2 (en) 2017-02-15 2021-08-03 SZ DJI Technology Co., Ltd. Image display method, image display system, flying object, program, and recording medium

Similar Documents

Publication Publication Date Title
KR102680675B1 (ko) 비행 제어 방법 및 이를 지원하는 전자 장치
US11531340B2 (en) Flying body, living body detection system, living body detection method, program and recording medium
JP2005269413A (ja) 無人飛行体を利用した空中撮影システム
JP2003110981A (ja) 空撮映像処理システム及び無線式の小型無人飛行体
CN111527463A (zh) 用于多目标跟踪的方法和***
KR101790592B1 (ko) 관광드론을 이용한 증강현실 관광 시스템 및 방법
US20200064133A1 (en) Information processing device, aerial photography route generation method, aerial photography route generation system, program, and storage medium
JPWO2018193574A1 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
CN107660287B (zh) 捕获媒体瞬间
JP6781375B2 (ja) 無人航空機制御システム、その制御方法、及びプログラム
JP2018070010A (ja) 無人航空機制御システム、その制御方法、及びプログラム
JP6583840B1 (ja) 検査システム
JP6596741B2 (ja) 生成装置、生成システム、撮像システム、移動体、生成方法、及びプログラム
JP6555226B2 (ja) 無人航空機制御システム、その制御方法、及びプログラム
EP3967599A1 (en) Information processing device, information processing method, program, and information processing system
CN111164958A (zh) 用于基于姿态信息处理和显示图像数据的***及方法
WO2021005782A1 (ja) 飛行体の管理サーバ及び管理システム
JP6495562B1 (ja) 無人飛行体による空撮システム、方法及びプログラム
KR102402949B1 (ko) 정밀도가 향상된 영상 정보의 획득 방법
JP2024016765A (ja) 処理装置、処理プログラム及び処理方法
US11272090B2 (en) Event data and location-linked spherical imaging system
JP6826294B2 (ja) システム、その制御方法、及びプログラム
JP6800505B1 (ja) 飛行体の管理サーバ及び管理システム
JP6572500B1 (ja) 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
JP7081198B2 (ja) 撮影システム及び撮影制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100624

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101021