JP3919994B2 - 撮影システム - Google Patents

撮影システム Download PDF

Info

Publication number
JP3919994B2
JP3919994B2 JP2000004863A JP2000004863A JP3919994B2 JP 3919994 B2 JP3919994 B2 JP 3919994B2 JP 2000004863 A JP2000004863 A JP 2000004863A JP 2000004863 A JP2000004863 A JP 2000004863A JP 3919994 B2 JP3919994 B2 JP 3919994B2
Authority
JP
Japan
Prior art keywords
camera
displayed
information
video
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000004863A
Other languages
English (en)
Other versions
JP2001197481A (ja
Inventor
重彦 渡部
正光 斉藤
俊明 筒井
信治 蒲原
哲二 直井
潮 井上
耕治 宮島
初夫 木村
敏次 勝又
智 西山
行男 田中
明徳 小迫
良和 納本
広義 植野
章夫 小宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Corp
Mitsubishi Electric Corp
Original Assignee
NTT Data Corp
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp, Mitsubishi Electric Corp filed Critical NTT Data Corp
Priority to JP2000004863A priority Critical patent/JP3919994B2/ja
Publication of JP2001197481A publication Critical patent/JP2001197481A/ja
Application granted granted Critical
Publication of JP3919994B2 publication Critical patent/JP3919994B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、目標物を空中から撮影する場合に、周囲の視界状況に拘わらず、その目標物を正確に撮影する撮影システムに関するものである。
【0002】
【従来の技術】
ヘリコプターを使用して目標物を撮影する場合、ヘリコプターの飛行前に、パイロットと撮影者との間で、目標物の位置、撮影範囲、カメラの種類、飛行ルート、撮影計画等について詳細打ち合わせを実施する。そして、決定した飛行ルートで目標物の近くの上空までヘリコプターを移動させ、撮影者が目標物を目視で探して、カメラが捕らえている映像をモニタしながら、カメラを目標物の中心に向け、予定された範囲を撮影するために、ヘリコプターから目標物までの距離に応じて、カメラのズーム比を調整しながら目標物の撮影を実施している。
【0003】
目標物を撮影する過程において、上空からカメラが撮影している映像位置を2次元地図上で特定したい場合に、その映像位置を精度良く特定するのは困難である。そこで、この課題を解決するものとして、特許第2695393号公報(特開平8−285590号公報)に示された「位置特定方法および装置」がある。
【0004】
図5は上記公報に示された位置特定方法の原理を説明する図である。飛行するヘリコプター51に搭載されたカメラ部61により撮影している映像位置71を2次元地図上で特定するときに、映像位置71が2次元平面73から高度Hの高さの地表面72上に存在する場合には、映像位置71の2次元地図上の位置を、映像位置71を2次元平面73に投影した投影位置75と判断せずに、カメラ部61から映像位置71までの直線Lを2次元平面73まで延長した延長交点74と判断してしまい、投影位置75と延長交点74との距離の差Eだけの誤差が生じてしまう。しかし、この位置特定方法では、映像位置71の高度Hの情報を使用して、映像位置71の2次元地図上の位置を投影位置75と正確に特定している。
【0005】
図6は上記公報に開示されている従来の撮影システムの構成を示すブロック図である。この撮影システムはヘリコプター51に搭載されるものであり、カメラ部61は、ジャイロを内蔵するジンバル61bと、ジンバル61bに取り付けられたカメラ61aにより構成される。カメラ制御/ビデオ処理部62は、カメラ部61を制御すると共に撮影した映像信号の処理を行う。処理された映像信号はVTR63に記録されモニタ64に表示される。システム制御部65は、カメラ制御/ビデオ処理部62を介して、カメラ部61のカメラ61aの焦点制御やジンバル61bの方向制御を行う。
【0006】
3次元地図データ部66は、地表面72についての高度情報を含む地図データを記憶している。位置検出部67は、GPS(Global Positioning System)衛星からの電波により、ヘリコプター51の現在位置を3次元的に測定すると共に、3次元地図データ部66の記憶内容を読み出して地図画像を生成する。また、位置検出部67は、ヘリコプター51の機首方向や撮影日付、撮影時間を出力し、さらに、映像位置71の表示やその補正も行う。
【0007】
データ処理部68は、位置検出部67から出力されるヘリコプター51の3次元的な位置と、ヘリコプター51の機首方向と、3次元地図データ部66の記憶内容と、カメラ制御/ビデオ処理部62からのジンバル61bの制御情報から、図5の原理に従って映像位置71の3次元的な位置を計算し、2次元表示を行うための画像データの処理を行う。
【0008】
図7は、データ処理部68が計算した映像位置71を、モニタ64の2次元地図上に画像表示している状態を示す図である。図において、71はカメラ61aが撮影している映像位置、76はカメラ61aの視野(映像範囲)、77はカメラ61aの方向を示している。以上のようにして、映像位置71を2次元的に特定すると共に、図7に示すように、特定された映像位置71を2次元地図上に表示している。
【0009】
【発明が解決しようとする課題】
従来の撮影システムは以上のように構成されているので、カメラ61aが撮影している映像位置71を2次元地図上で正確に把握できるが、映像位置71が実際に目標物を撮影しているかは目視で確認しなければならず、遠方から目標物を撮影せざるを得ない場合や、撮影者が目標物付近の地勢を知らない場合や、霧や煙又は夜間のために目標物付近の視界が悪い場合には、目標物を認識するのが一般的に困難であるという課題があった。
【0010】
また、目標物を目視で捕らえて、カメラ61aからの映像をモニタ64で監視できたとしても、周囲の風景を全体的に認識できないモニタ64では、ヘリコプター51の飛行に伴い、モニタ64を見ながらカメラ61aを正確に目標物に向けている状態を保持するためには、撮影者の高度の撮影技術と忍耐が必要になるという課題があった。
【0011】
この発明は上記のような課題を解決するためになされたもので、目標物を上空から撮影する場合に、周囲の視界状況に拘わらず、目標物を正確に撮影することができる撮影システムを得ることを目的とする。
【0012】
また、ヘリコプター51の飛行に伴い、カメラ61aを正確に目標物に向けている状態を容易に保持できる撮影システムを得ることを目的とする。
【0013】
【課題を解決するための手段】
この発明に係る撮影システムは、目標物が存在する撮影対象位置と、その周辺の撮影対象範囲を撮影する飛行体に搭載されたものにおいて、保有している2次元地図データにより2次元地図を表示し、予め設定された上記撮影対象位置の位置情報により、上記撮影対象位置を上記2次元地図上に表示し、予め設定された上記撮影対象範囲を示す情報により、上記撮影対象範囲を上記2次元地図上に表示し、飛行に伴い検出している上記飛行体の位置情報と、飛行に伴い検出している上記飛行体の姿勢情報及び撮影しているカメラの方向制御情報から得られる上記カメラの視軸方向情報と、保有している3次元地図データから得られる上記視軸方向と地表面との交点の位置情報により、上記2次元地図上に上記カメラが捕らえている映像位置を表示し、上記映像位置と上記カメラの撮影範囲を決めるズーム比により、表示されている上記2次元地図上に、上記カメラが捕らえている映像範囲を所定の形状で表示し、上記映像位置は、撮影指示部の操作により、表示されている上記2次元地図上で任意の位置に移動可能とし、表示されている上記2次元地図上で、上記映像位置を上記2次元地図上の任意の位置に移動させる操作又は上記撮影対象位置に重ね合わせる操作をしたときの2次元の変化情報を求め、求めた上記2次元の変化情報と、飛行に伴い検出している上記飛行体の位置情報に基づき、上記カメラの視軸方向を制御して上記2次元地図上の任意の位置又は上記目標物を撮影するものである。
【0014】
この発明に係る撮影システムは、表示されている2次元地図上で、映像位置を上記2次元地図上の任意の位置に移動させるとき又は撮影対象位置に重ね合わせるときに、撮影対象範囲に対応してカメラのズーム比を制御するものである。
【0015】
この発明に係る撮影システムは、制御されたカメラのズーム比に基づき、表示されている映像範囲を示す所定の形状を変化させるものである。
【0016】
この発明に係る撮影システムは、予め設定された撮影対象位置の位置情報と、飛行に伴い検出している飛行体の位置情報及び姿勢情報に基づき、撮影しているカメラの視軸方向を上記撮影対象位置に保持するものである。
【0017】
この発明に係る撮影システムは、カメラの視軸方向を撮影対象位置に保持しているときに、飛行に伴い検出している飛行体の位置情報と、保有している2次元地図データにより、上記飛行体から撮影対象位置までの直線距離を管理し、設定されている撮影対象範囲に基づき、上記カメラのズーム比を制御するものである。
【0018】
この発明に係る撮影システムは、撮影しているカメラの視軸方向を撮影対象位置に保持しているときに、映像範囲を示す所定の形状を明滅させるものである。
【0019】
この発明に係る撮影システムは、撮影しているカメラの種類に対応して、映像範囲を示す所定の形状の色を変化させるものである。
【0020】
この発明に係る撮影システムは、飛行に伴い検出している飛行体の位置情報により、表示している2次元地図上に、上記飛行体の位置/方向を表示するものである。
【0021】
この発明に係る撮影システムは、飛行に伴い検出している飛行体の位置情報を記憶しておき、表示している2次元地図上に、上記飛行体の飛行経路を表示するものである。
【0022】
この発明に係る撮影システムは、カメラが撮影している動画映像を、2次元地図と共に表示するものである。
【0023】
この発明に係る撮影システムは、表示している動画映像の映像幅を、保有している2次元地図データにより実距離で表示するものである。
【0024】
この発明に係る撮影システムは、保有している2次元地図データにより、表示されている2次元地図の縮尺と、飛行に伴い検出している飛行体の位置から撮影対象位置までの水平距離を、2次元地図と共に表示するものである。
【0025】
この発明に係る撮影システムは、予め設定された撮影対象位置の位置情報と、飛行に伴い検出している飛行体の位置情報及び姿勢情報に基づき、撮影しているカメラの視軸方向を上記撮影対象位置に保持するタイミング、又は所望のタイミングで、撮影している動画映像に静止画を抽出するための静止画マークを付加するものである。
【0026】
この発明に係る撮影システムは、撮影している動画映像とその付帯情報を、飛行体で記録するものである。
【0027】
この発明に係る撮影システムは、撮影している動画映像と、飛行体で表示している撮影対象位置、撮影対象範囲、映像位置、映像範囲等の表示情報を含む付帯情報とを、基地局に送信し、上記基地局で表示された2次元地図上で、上記映像位置を上記撮影対象位置に重ね合わせることにより得られた2次元の変化情報を上記飛行体に送信し、送信された上記2次元の変化情報と、飛行に伴い検出している上記飛行体の位置情報に基づき、カメラの視軸方向を制御して目標物を撮影するものである。
【0028】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態1.
図1はこの発明の実施の形態1による撮影システムの構成を示す図である。この実施の形態でも、従来の図5に示す原理を使用して、カメラが現在撮影している映像位置を2次元地図上で特定している。図1において、51はヘリコプター(飛行体)、52は地上等に設置された基地局である。1は、カメラ1aとジンバル1bを備え、撮影するためのカメラ制御情報を入力し、入力したカメラ制御情報に対応して目標物を撮影し、撮影した映像信号を出力するカメラ部であり、例えば、可視光線カメラや赤外線カメラ等のように、複数種類のカメラ1aが設置されている。
【0029】
また、図1において、2は、カメラ部1の種類選択、撮影方向、ズーム比(画角)、映像位置の固定(ロック機能)や解除等のカメラ条件を出力するカメラ制御部であり、3は撮影者とのマンマシーンインタフェースで、目標物が存在する撮影対象位置やカメラ部1が撮影している映像位置等を2次元地図上に表示し、撮影者からの指示を入力する撮影指示部である。30は撮影指示部3に設置されている表示部である。
【0030】
さらに、図1において、4は2次元地図データを保有している2次元地図データ部、5はヘリコプター51のピッチ、ロール等の姿勢情報を検出する姿勢検出部、6は、GPSにより、ヘリコプター51の位置、高度、方向、速度等の位置情報を検出する位置検出部、7は地表面の高さ情報も含んだ3次元地図データを保有している3次元地図データ部である。
【0031】
さらに、図1において、8は、カメラ部1,カメラ制御部2,撮影指示部3,2次元地図データ部4,姿勢検出部5,位置検出部6,3次元地図データ部7からの各種情報を処理する主制御部、9は、撮影した映像信号やその付帯情報、ヘリコプター51と基地局52との交信等を記録する記録部、10は、撮影した映像信号を基地局52に付帯情報と共に送信したり、ヘリコプター51と基地局52の交信を送受信する送受信部である。
【0032】
カメラ部1,カメラ制御部2,撮影指示部3,2次元地図データ部4,姿勢検出部5,位置検出部6,3次元地図データ部7,主制御部8,記録部9,送受信部10は、ヘリコプター51に搭載されている。
【0033】
さらに、図1において、11はヘリコプター51に搭載された送受信部10と交信する基地局52に設置された送受信部、12は、ヘリコプター51から送信された映像信号をモニタしたり記録すると共に、ヘリコプター51のパイロットや撮影者に各種の指示を出したり、送信された付帯情報により撮影者に代行して目標物を撮影する基地局52に設置された操作卓である。
【0034】
次に動作について説明する。
図1において、ヘリコプター51が飛行する前に予め決定されている撮影計画に従い、主制御部8には、目標物が存在する撮影対象位置の緯度、経度と、撮影対象範囲を示す撮影対象位置を中心とした円の半径が設定されている。この撮影対象位置及び撮影対象範囲の主制御部8への設定方法としては、撮影者が撮影指示部3のキーボートから直接入力することにより設定しても良いし、基地局52で予め記録したFD(フレキシブルディスク)等を、撮影者が撮影指示部3に読み込ませることにより設定しても良いし、ヘリコプター51が飛行中に、基地局52の操作員が操作卓12から無線チャネルを使用して設定しても良い。
【0035】
図2は図1に示す撮影指示部3に設置されている表示部30の表示例を示す図である。図において、31は表示部30に表示された2次元地図であり、2次元地図データ部4から主制御部8を介して入力された2次元地図データに基づき、表示部30上で、上側が真北になるよう表示される。32は目標物が存在する撮影対象位置であり、主制御部8に予め設定されている撮影対象位置の緯度、経度に基づき表示される。33は目標物が含まれている撮影対象範囲であり、主制御部8に予め設定されている、撮影対象位置を中心とした円の半径に基づき表示される。
【0036】
また、図2において、71は、カメラ1aが現在撮影している場所の2次元地図31上の位置を示す映像位置であり、上記特許第2695393号公報に開示された図5に示す位置特定方法により求められる。すなわち、主制御部8は、姿勢検出部5から得られるその時点のヘリコプター51の姿勢情報とカメラ制御部2によるジンバル1bの制御結果から、カメラ1aの3次元の空間的な向きを示すカメラ1aの視軸方向を求めて、求めた視軸方向情報を3次元地図データ部7に出力する。
【0037】
3次元地図データ部7は、与えられた視軸方向情報と、位置検出部6が検出したヘリコプター51の位置情報を示す緯度、経度、高度と、自ら保有している地表面の高度を含む3次元地図データから、図5に示す視軸方向の延長線Lと地表面72との交点、すなわち映像位置71の高度を求めて、映像位置71の緯度、経度、高度の位置情報を主制御部8に出力する。主制御部8は、3次元地図データ部7が求めた位置情報により、撮影指示部3に対して2次元地図上に映像位置71を表示するよう制御する。
【0038】
さらに、図2において、35はカメラ1aが映像位置71を撮影しているときの範囲を示す映像範囲であり、主制御部8が、カメラ制御部2により制御されているカメラ1aのズーム比に基づき求めて、撮影指示部3に出力している。
【0039】
さらに、図2において、36はヘリコプター51が現在飛行している位置/方向であり、位置検出部6から3次元地図データ部7と主制御部8を経由して定期的に得られるヘリコプター51が位置する緯度、経度とそのときの飛行方向に基づき、2次元地図31上にシンボル表示される。また、位置/方向36は常に表示部30の中心に表示される。37は過去のヘリコプター51の飛行軌跡で、過去のヘリコプター51の位置を記憶しておき、2次元地図31上にシンボル表示したものである。
【0040】
41はカメラ部1から主制御部8を経由して撮影指示部3に入力された映像信号により表示される動画映像であり、42は主制御部8が管理している動画映像の映像幅を示すコメントであり、地表面72での横幅を実距離で表示したものである。43は、主制御部8が管理している現在のヘリコプター51の位置から撮影対象位置32までの水平距離と、2次元地図31の縮尺を表示したコメントである。
【0041】
ここで、2次元地図31は、主制御部8により、ヘリコプター51の位置/方向36と撮影対象位置32との水平距離に応じて表示される縮尺が制御される。すなわち、主制御部8は、水平距離が大きい場合には、縮尺の大きな2次元地図データを2次元地図データ部4から読み出し、水平距離が小さい場合には、縮尺の小さい2次元地図データを読み出すことにより、常に表示部30上に、ヘリコプター51の位置/方向36及び撮影対象位置32が表示されるよう制御する。そして、主制御部8は、ヘリコプター51の位置/方向36が、表示部30の中心に表示されるよう制御する。
【0042】
ヘリコプター51が飛行中には、ヘリコプター51に搭載されている送受信部10と基地局52に設置されている送受信部11との無線チャネルが設定され、図2に示すような表示部30に表示されている各種の表示情報が、ヘリコプター51の送受信部10から基地局52の送受信部11に付帯情報として送信され、操作卓12の表示部分に表示される。
【0043】
図3は、図2の映像位置71を撮影対象位置32に重ね合わせることにより、目標物を正確に撮影するよう指示する手順を説明するための表示部30の表示例を示す図である。図3において、71a,71bは、最終的な映像位置71cに至る過程のそれぞれの映像位置であり、35a,35b,35cは、それぞれ映像位置71a,71b,71cにおける映像範囲である。表示されている映像位置71は、一般的にパーソナルコンピュータの表示で使用されているカーソルと同様な機能を有しており、撮影指示部3のキーを操作することにより、表示部30上で映像位置71を上下左右に移動させる。
【0044】
図4は撮影指示部3のキーを操作したときの2次元的な変化情報を説明する図である。図3において、撮影指示部3のキーを操作することにより、映像位置71aを映像位置71bに移動させた場合、図4に示すように、撮影指示部3は、経度に対する変化情報xと、緯度に対する変化情報yを主制御部8に伝える。主制御部8は、伝えられた変化情報x,変化情報y,及びそのときのヘリコプター51の緯度、経度、高度の位置情報に基づきジンバル1bを制御して、2次元地図31上の映像位置71aに向けられていたカメラ1aの視軸方向を映像位置71bに向ける。
【0045】
また、主制御部8は、カメラ1aの3次元空間における視軸方向情報を3次元地図データ部7に送り、3次元地図データ部7から映像位置71bに相当する地点の緯度、経度、高度の位置情報を得て、カメラ1aから映像位置71bに相当する地点までの距離を求めて、映像範囲35bが映像範囲35aと等しくなるよう、カメラ1aのズーム比を制御する。このとき、上記ズーム制御をせずに、ズーム比を一定に保持するようにしても良い。
【0046】
そして、主制御部8は、撮影指示部3に対して、映像範囲35bを表示するよう指示すると共に、映像位置71a,映像範囲32aの表示を消すように指示する。
【0047】
なお、撮影指示部3からの映像位置71の移動ではなく、基地局52の操作卓12から映像位置71を移動させる場合には、操作卓12のキーの操作により、上記変化情報xと変化情報yとを、送受信部11,送受信部10を経由して主制御部8に送ることにより、上記一連の処理が実行される。この場合、映像範囲35bの表示の指示や、映像位置71a,映像範囲35aの消去の指示は、主制御部8から送受信部10,送受信部11を経由して操作卓12に送信される。
【0048】
このようにして、表示されている2次元地図31上の映像位置71を、任意の位置に移動させ、カメラ1aの視軸方向を移動した映像位置の方向に向けることができる。図3において、映像位置71は、最初は、映像位置71aに表示されているが、撮影指示部3からのキーの操作による2次元的な変化情報により、映像位置71bと移動させ、最終的に目標物が存在する撮影対象位置32に映像位置71cとして重ね合わせる。そして、主制御部8は、撮影指示部3からキー操作による2次元的な変化情報を受け取り、カメラ1aの視軸方向を撮影対象位置32に向けて、目標物を正確に撮影することができる。
【0049】
このとき、主制御部8は、2次元地図31上に表示されている映像範囲35cを示す線分を、撮影対象範囲33に接するように拡大又は縮小する。そして、主制御部8は、拡大又は縮小した情報に基づきカメラ1aのズーム比を調整する。映像範囲35cを示す線分を拡大又は縮小して表示することにより、撮影者が、撮影対象範囲33に対してカメラ1aのズーム比が正確に制御されていることを確認することができる。
【0050】
ここで、映像範囲35の線分は、選択されているカメラ種類に対応して線分の色を変化させることにより、撮影者が選択したカメラ種類の確認を行い易くしている。例えば、赤外線カメラの場合は赤い線で表示し、可視光線カメラの場合は緑の線で表示する。
【0051】
ヘリコプター51を移動させつつ、カメラ制御部2を操作せずに、撮影対象位置32に映像位置71cを重ね合わせた状態を保持するためには、撮影指示部3のロックキーを押すことにより可能となる。また、撮影指示部3のロック解除キーを押すことでロック解除が行われる。なお、撮影者がロック中であることを確認できるように、ロック中は、映像範囲35を示す線分をブリンク(明滅)させて表示する。
【0052】
次にこのロック制御について説明する。
主制御部8は、まず、撮影指示部3からロック指示を受け取る。このときの映像位置71cの緯度、経度、高度の位置情報と、カメラ部1のズーム比と、視軸方向は、主制御部8に記憶されている。ロック指示を受け取った後に、主制御部8は、ヘリコプター51の移動に伴って変化するヘリコプター51の位置/方向36を2次元地図31上に表示させたり、コメント43として撮影対象位置32までの新たな距離を表示させるための情報を撮影指示部3に出力する。
【0053】
これと並行して、主制御部8は、映像位置71cに係る情報と、位置検出部6から3次元地図データ部7を介して定期的に得られるヘリコプター51の緯度、経度、高度の位置情報から、時間経過に伴い変化するカメラ部1と映像位置71cの3次元空間での位置関係を管理し、姿勢検出部5から得られるヘリコプター51の姿勢情報をもとに、カメラ部1の視軸方向を制御して映像位置71cに保持することで、3次元空間でのロック機能を実現している。
【0054】
また、主制御部8は、映像範囲35cを一定に保持するために、カメラ部1と映像位置71cとの直線距離を管理し、カメラ部1のズーム比を制御している。さらに、ロック指示を映像位置71bで行うことで、2次元地図31の表示範囲の任意の地点にロックすることもできる。また、ロックした後、映像範囲35bの大きさを変更することも容易である。
【0055】
記録部9は、カメラ部1が撮影した映像信号や、パイロット、撮影者、基地局52の操作員間の会話を記録すると共に、撮影した映像信号と時間的に関連づけた付帯情報も記録している。付帯情報としては、2次元地図31の縮尺、ヘリコプター51の位置/方向36,映像位置71の緯度、経度と映像範囲35の線分による形状と大きさ、コメント42,43の内容、撮影対象位置32の緯度、経度、撮影対象範囲33の半径等をJISコード等で表現した表示情報である。なお、記録部9がNTSC方式に対応したアナログVTRであれば、付帯情報は垂直帰線時間帯等に記録される。
【0056】
また、主制御部8は、送受信部10,11を介して無線チャネルで、記録部9に記録する映像信号や付帯情報を基地局52に送信している。これにより、基地局52の操作卓12にヘリコプター51上の2次元地図データ部4と同じものを装備し、図3に示す表示部30の表示内容を、操作卓12でも表示させることにより、操作卓12の操作員が、ヘリコプター51に搭乗する撮影者に代行して、映像位置71の移動等の操作を行うことができる。
【0057】
なお、付帯情報には、撮影している動画映像から静止画を抽出するための静止画マークが含まれている。撮影者が撮影指示部3のロックキーを押したタイミング、すなわち、撮影対象位置32に映像位置71cを重ね合わせた状態を保持したタイミングで、主制御部8が動画映像に付帯情報の一部として静止画マークを付加し、動画映像と共に記録部9に記録し、送受信部10から基地局52に送信する。また、カメラ制御部2の静止画を取得するための静止画キーを押すことにより、任意のタイミングで動画映像に静止画マークを付加することができる。
【0058】
基地局52の操作卓12は、送信された動画映像から静止画マークを検出し、そのときの動画映像を静止画化処理して静止画を抽出し、同時に得られる他の付帯情報と共に記録する。このようにして、動画映像から所望のタイミングにおける静止画を抽出することができる。
【0059】
以上のように、この実施の形態1によれば、表示部30に表示されている2次元地図31上の映像位置71を、撮影対象位置32に重ね合わせることにより、撮影対象位置32にある目標物を目で探すことなく、周囲の視界状況に拘わらず、空中から目標物の映像を容易に取得することができるという効果が得られる。
【0060】
また、この実施の形態1によれば、撮影対象範囲33も表示部30に表示していることにより、映像位置71を撮影対象位置32に重ね合わせるときに、撮影対象範囲33を十分含むようにカメラ部1のズーム比を制御して、映像範囲35を調整することで、表示されている動画映像41に頼らず、目標物を目で探すことなく、周囲の視界状況に拘わらず、撮影対象位置32を中心とした撮影対象範囲33の映像を、正確かつ容易に取得することができるという効果が得られる。
【0061】
さらに、この実施の形態1によれば、制御されたカメラ1aのズーム比に基づき、表示されている映像範囲35を示す所定の形状を変化させることにより、撮影者が撮影対象範囲33に対してカメラ1aのズーム比が正確に制御されていることを確認することができるという効果が得られる。
【0062】
さらに、この実施の形態1によれば、予め設定された撮影対象位置32の位置情報と、飛行に伴い検出しているヘリコプター51の位置情報及び姿勢情報に基づき、撮影しているカメラ1aの視軸方向を撮影対象位置32に保持することにより、撮影者は、煩わしいカメラ操作から開放されると共に、カメラ1aが捕らえている撮影対象範囲33の周辺を含む広い領域の状況を目視で観察し、その様子を音声等で基地局52に報告する余裕ができるという効果が得られる。
【0063】
さらに、この実施の形態1によれば、カメラ1aの視軸方向を撮影対象位置32に保持しているときに、ヘリコプター51の位置情報と、2次元地図データにより、ヘリコプター51から撮影対象位置32までの直線距離を管理し、設定されている撮影対象範囲33に基づき、カメラ1aのズーム比を制御することにより、撮影者は、煩わしいカメラ操作から開放されるという効果が得られる。
【0064】
さらに、この実施の形態1によれば、撮影しているカメラ1aの視軸方向を撮影対象位置32に保持しているときに、映像範囲35を示す所定の形状を明滅させることにより、撮影者は、カメラ1aの視軸方向を撮影対象位置32に保持していることを確認できるという効果が得られる。
【0065】
さらに、この実施の形態1によれば、撮影しているカメラ1aの種類に対応して、映像範囲35を示す所定の形状の色を変化させることにより、撮影者は撮影しているカメラ1aの種類を確認することができるという効果が得られる。
【0066】
さらに、この実施の形態1によれば、ヘリコプター51の位置情報により、表示している2次元地図31上に、ヘリコプター51の位置/方向36を表示することにより、パイロットと撮影者が、ヘリコプター51の位置と方向を確認できるという効果が得られる。
【0067】
さらに、この実施の形態1によれば、ヘリコプター51の位置情報を記憶しておき、表示している2次元地図31上に、ヘリコプター51の飛行経路37を表示することにより、パイロットと撮影者が、ヘリコプター51の飛行経路を確認することができるという効果が得られる。
【0068】
さらに、この実施の形態1によれば、カメラ1aが撮影している動画映像41を、2次元地図31と共に表示することにより、撮影者が、撮影している動画映像を確認することができるという効果が得られる。
【0069】
さらに、この実施の形態1によれば、表示している動画映像41の映像幅を、2次元地図データにより実距離で表示することにより、撮影者が動画映像41の実距離を確認することができるという効果が得られる。
【0070】
さらに、この実施の形態1によれば、2次元地図データにより、表示されている2次元地図31の縮尺と、ヘリコプター51の位置から撮影対象位置32までの水平距離を、2次元地図31と共に表示することにより、パイロットと撮影者が、ヘリコプター51の位置と撮影対象位置32との位置関係を迅速に把握することができるという効果が得られる。
【0071】
さらに、この実施の形態1によれば、予め設定された撮影対象位置32の位置情報と、ヘリコプター51の位置情報及び姿勢情報に基づき、撮影しているカメラ1aの視軸方向を撮影対象位置32に保持するタイミング、又は所望のタイミングで、撮影している動画映像に静止画を抽出するための静止画マークを付加することにより、目標物を撮影した静止画又は所望のタイミングにおける静止画を抽出することができるという効果が得られる。
【0072】
さらに、この実施の形態1によれば、撮影している動画映像41とその付帯情報を、記録部9で記録することにより、基地局52との無線チャネルが使用できない地域の情報を記憶することができるという効果が得られる。
【0073】
さらに、この実施の形態1によれば、撮影している動画映像41と、表示している撮影対象位置32,撮影対象範囲33,映像位置71,映像範囲35等の表示情報を含む付帯情報とを、基地局52に送信し、基地局52で表示された2次元地図31上で、映像位置71を撮影対象位置32に重ね合わせることにより得られた2次元の変化情報をヘリコプター51の主制御部8に送信し、送信された2次元の変化情報と、ヘリコプター51の位置情報に基づき、カメラ1aの視軸方向を制御して目標物を撮影することにより、基地局52から撮影に関する指示を的確に行えるという効果が得られる。
【0074】
さらに、この実施の形態1によれば、他地域からの要請に対しても、要請された地域の2次元地図データ、3次元地図データがヘリコプター51に搭載されていれば、撮影者が要請された地域の地勢を知らなくとも、要請元が指定した撮影対象位置32にある目標物の映像を、正確かつ容易に取得することができるという効果が得られる。
【0075】
さらに、この実施の形態1によれば、ヘリコプター51が飛行開始する前に決められた撮影対象位置32に加え、撮影中に撮影者又は基地局52の操作員の判断により、新たな撮影対象位置32を定義することができるため、広域の撮影が必要な場合に、柔軟な運用性を確保することができるという効果が得られる。
【0076】
【発明の効果】
以上のように、この発明によれば、飛行に伴い検出している飛行体の位置情報と、飛行に伴い検出している飛行体の姿勢情報及び撮影しているカメラの方向制御情報から得られるカメラの視軸方向情報と、保有している3次元地図データから得られる視軸方向と地表面との交点の位置情報により、2次元地図上にカメラが捕らえている映像位置を表示し、映像位置とカメラの撮影範囲を決めるズーム比により、表示されている2次元地図上に、カメラが捕らえている映像範囲を所定の形状で表示し、映像位置は、撮影指示部の操作により、表示されている2次元地図上で任意の位置に移動可能とし、表示されている2次元地図上で、映像位置を2次元地図上の任意の位置に移動させる操作又は撮影対象位置に重ね合わせる操作をしたときの2次元の変化情報を求め、求めた2次元の変化情報と、飛行に伴い検出している飛行体の位置情報に基づき、カメラの視軸方向を制御して2次元地図上の任意の位置又は目標物を撮影することにより、撮影対象位置にある目標物を目で探すことなく、周囲の視界状況に拘わらず、飛行体から目標物の映像を容易に取得することができるという効果がある。
【0077】
この発明によれば、表示されている2次元地図上で、映像位置を2次元地図上の任意の位置に移動させるとき又は撮影対象位置に重ね合わせるときに、撮影対象範囲に対応してカメラのズーム比を制御することにより、周囲の視界状況に拘わらず、撮影対象位置を中心とした撮影対象範囲の映像を、正確かつ容易に取得することができるという効果がある。
【0078】
この発明によれば、制御されたカメラのズーム比に基づき、表示されている映像範囲を示す所定の形状を変化させることにより、撮影者が撮影対象範囲に対してカメラのズーム比が正確に制御されていることを確認することができるという効果がある。
【0079】
この発明によれば、予め設定された撮影対象位置の位置情報と、飛行に伴い検出している飛行体の位置情報及び姿勢情報に基づき、撮影しているカメラの視軸方向を撮影対象位置に保持することにより、撮影者は、煩わしいカメラ操作から開放されるという効果がある。
【0080】
この発明によれば、カメラの視軸方向を撮影対象位置に保持しているときに、飛行に伴い検出している飛行体の位置情報と、保有している2次元地図データにより、飛行体から撮影対象位置までの直線距離を管理し、設定されている撮影対象範囲に基づき、カメラのズーム比を制御することにより、撮影者は、煩わしいカメラ操作から開放されるという効果が得られる。
【0081】
この発明によれば、撮影しているカメラの視軸方向を撮影対象位置に保持しているときに、映像範囲を示す所定の形状を明滅させることにより、撮影者は、カメラの視軸方向を撮影対象位置に保持していることを確認できるという効果がある。
【0082】
この発明によれば、撮影しているカメラの種類に対応して、映像範囲を示す所定の形状の色を変化させることにより、撮影者は撮影しているカメラの種類を確認することができるという効果がある。
【0083】
この発明によれば、飛行に伴い検出している飛行体の位置情報により、表示している2次元地図上に、飛行体の位置/方向を表示することにより、飛行体のパイロットと撮影者が、飛行体の位置と方向を確認できるという効果がある。
【0084】
この発明によれば、飛行に伴い検出している飛行体の位置情報を記憶しておき、表示している2次元地図上に、飛行体の飛行経路を表示することにより、パイロットと撮影者が、飛行経路を確認することができるという効果がある。
【0085】
この発明によれば、カメラが撮影している動画映像を、2次元地図と共に表示することにより、撮影者が、撮影している動画映像を確認することができるという効果がある。
【0086】
この発明によれば、表示している動画映像の映像幅を、保有している2次元地図データにより実距離で表示することにより、撮影者が動画映像の実距離を確認することができるという効果がある。
【0087】
この発明によれば、保有している2次元地図データにより、表示されている2次元地図の縮尺と、飛行に伴い検出している飛行体の位置から撮影対象位置までの水平距離を、2次元地図と共に表示することにより、飛行体のパイロットと撮影者が、飛行体の位置と撮影対象位置との位置関係を迅速に把握することができるという効果がある。
【0088】
この発明によれば、予め設定された撮影対象位置の位置情報と、飛行に伴い検出している飛行体の位置情報及び姿勢情報に基づき、撮影しているカメラの視軸方向を上記撮影対象位置に保持するタイミング、又は所望のタイミングで、撮影している動画映像に静止画を抽出するための静止画マークを付加することにより、目標物を撮影した静止画又は所望のタイミングにおける静止画を抽出することができるという効果がある。
【0089】
この発明によれば、撮影している動画映像とその付帯情報を、飛行体で記録することにより、基地局との無線チャネルが使用できない地域の情報を記憶することができるという効果がある。
【0090】
この発明によれば、撮影している動画映像と、飛行体で表示している撮影対象位置、撮影対象範囲、映像位置、映像範囲等の表示情報を含む付帯情報とを、基地局に送信し、基地局で表示された2次元地図上で、映像位置を撮影対象位置に重ね合わせることにより得られた2次元の変化情報を飛行体に送信し、送信された2次元の変化情報と、飛行に伴い検出している飛行体の位置情報に基づき、カメラの視軸方向を制御して目標物を撮影することにより、基地局から撮影に関する指示を的確に行えるという効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による撮影システムの構成を示すブロック図である。
【図2】 この発明の実施の形態1による撮影指示部における表示部の表示例を示す図である。
【図3】 この発明の実施の形態1による目標物を正確に撮影する手順を説明するための表示部の表示例を示す図である。
【図4】 撮影指示部のキーを操作したときの2次元的な変化情報を説明する図である。
【図5】 従来の位置特定方法の原理を説明する図である。
【図6】 従来の撮影システムの構成を示すブロック図である。
【図7】 従来の目標物の位置を2次元地図上に画像表示している状態を示す図である。
【符号の説明】
1 カメラ部、1a カメラ、1b ジンバル、2 カメラ制御部、3 撮影指示部、4 2次元地図データ部、5 姿勢検出部、6 位置検出部、7 3次元地図データ部、8 主制御部、9 記録部、10,11 送受信部、12 操作卓、30 表示部、31 2次元地図、32 撮影対象位置、33 撮影対象範囲、35,35a,35b,35c 映像範囲、36 位置/方向、37 飛行軌跡、41 動画映像、42,43 コメント、51 ヘリコプター、52 基地局、71,71a,71b,71c 映像位置、72 地表面、73 2次元平面、74 延長交点、75 投影位置。

Claims (15)

  1. 目標物が存在する撮影対象位置と、その周辺の撮影対象範囲を撮影する飛行体に搭載された撮影システムにおいて、
    保有している2次元地図データにより2次元地図を表示し、
    予め設定された上記撮影対象位置の位置情報により、上記撮影対象位置を上記2次元地図上に表示し、
    予め設定された上記撮影対象範囲を示す情報により、上記撮影対象範囲を上記2次元地図上に表示し、
    飛行に伴い検出している上記飛行体の位置情報と、飛行に伴い検出している上記飛行体の姿勢情報及び撮影しているカメラの方向制御情報から得られる上記カメラの視軸方向情報と、保有している3次元地図データから得られる上記視軸方向と地表面との交点の位置情報により、上記2次元地図上に上記カメラが捕らえている映像位置を表示し、
    上記映像位置と上記カメラの撮影範囲を決めるズーム比により、表示されている上記2次元地図上に、上記カメラが捕らえている映像範囲を所定の形状で表示し、
    上記映像位置は、撮影指示部の操作により、表示されている上記2次元地図上で任意の位置に移動可能とし、
    表示されている上記2次元地図上で、上記映像位置を上記2次元地図上の任意の位置に移動させる操作又は上記撮影対象位置に重ね合わせる操作をしたときの2次元の変化情報を求め、
    求めた上記2次元の変化情報と、飛行に伴い検出している上記飛行体の位置情報に基づき、上記カメラの視軸方向を制御して上記2次元地図上の任意の位置又は上記目標物を撮影する
    ことを特徴とする撮影システム。
  2. 表示されている2次元地図上で、映像位置を上記2次元地図上の任意の位置に移動させるとき又は撮影対象位置に重ね合わせるときに、撮影対象範囲に対応してカメラのズーム比を制御する
    ことを特徴とする請求項1記載の撮影システム。
  3. 制御されたカメラのズーム比に基づき、表示されている映像範囲を示す所定の形状を変化させる
    ことを特徴とする請求項2記載の撮影システム。
  4. 予め設定された撮影対象位置の位置情報と、飛行に伴い検出している飛行体の位置情報及び姿勢情報に基づき、撮影しているカメラの視軸方向を上記撮影対象位置に保持する
    ことを特徴とする請求項1記載の撮影システム。
  5. カメラの視軸方向を撮影対象位置に保持しているときに、飛行に伴い検出している飛行体の位置情報と、保有している2次元地図データにより、上記飛行体から撮影対象位置までの直線距離を管理し、設定されている撮影対象範囲に基づき、上記カメラのズーム比を制御する
    ことを特徴とする請求項4記載の撮影システム。
  6. 撮影しているカメラの視軸方向を撮影対象位置に保持しているときに、映像範囲を示す所定の形状を明滅させる
    ことを特徴とする請求項4記載の撮影システム。
  7. 撮影しているカメラの種類に対応して、映像範囲を示す所定の形状の色を変化させる
    ことを特徴とする請求項1記載の撮影システム。
  8. 飛行に伴い検出している飛行体の位置情報により、表示している2次元地図上に、上記飛行体の位置/方向を表示する
    ことを特徴とする請求項1記載の撮影システム。
  9. 飛行に伴い検出している飛行体の位置情報を記憶しておき、表示している2次元地図上に、上記飛行体の飛行経路を表示する
    ことを特徴とする請求項1記載の撮影システム。
  10. カメラが撮影している動画映像を、2次元地図と共に表示する
    ことを特徴とする請求項1記載の撮影システム。
  11. 表示している動画映像の映像幅を、保有している2次元地図データにより実距離で表示する
    ことを特徴とする請求項1記載の撮影システム。
  12. 保有している2次元地図データにより、表示されている2次元地図の縮尺と、飛行に伴い検出している飛行体の位置から撮影対象位置までの水平距離を、2次元地図と共に表示する
    ことを特徴とする請求項1記載の撮影システム。
  13. 予め設定された撮影対象位置の位置情報と、飛行に伴い検出している飛行体の位置情報及び姿勢情報に基づき、撮影しているカメラの視軸方向を上記撮影対象位置に保持するタイミング、又は所望のタイミングで、撮影している動画映像に静止画を抽出するための静止画マークを付加する
    ことを特徴とする請求項1記載の撮影システム。
  14. 撮影している動画映像とその付帯情報を、飛行体で記録する
    ことをする請求項1記載の撮影システム。
  15. 撮影している動画映像と、飛行体で表示している撮影対象位置、撮影対象範囲、映像位置、映像範囲等の表示情報を含む付帯情報とを、基地局に送信し、
    上記基地局で表示された2次元地図上で、上記映像位置を上記撮影対象位置に重ね合わせることにより得られた2次元の変化情報を上記飛行体に送信し、
    送信された上記2次元の変化情報と、飛行に伴い検出している上記飛行体の位置情報に基づき、カメラの視軸方向を制御して目標物を撮影する
    ことをする請求項1記載の撮影システム。
JP2000004863A 2000-01-13 2000-01-13 撮影システム Expired - Fee Related JP3919994B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000004863A JP3919994B2 (ja) 2000-01-13 2000-01-13 撮影システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000004863A JP3919994B2 (ja) 2000-01-13 2000-01-13 撮影システム

Publications (2)

Publication Number Publication Date
JP2001197481A JP2001197481A (ja) 2001-07-19
JP3919994B2 true JP3919994B2 (ja) 2007-05-30

Family

ID=18533598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000004863A Expired - Fee Related JP3919994B2 (ja) 2000-01-13 2000-01-13 撮影システム

Country Status (1)

Country Link
JP (1) JP3919994B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003110981A (ja) * 2001-09-28 2003-04-11 Hiroboo Kk 空撮映像処理システム及び無線式の小型無人飛行体
US6744397B1 (en) * 2003-06-11 2004-06-01 Honeywell International, Inc. Systems and methods for target location
JP4449587B2 (ja) * 2004-06-09 2010-04-14 富士フイルム株式会社 画像マッピング方法及び画像マッピングプログラム
JP2007272085A (ja) * 2006-03-31 2007-10-18 Pioneer Electronic Corp 情報表示装置、情報表示方法及び情報表示用プログラム
JP5107582B2 (ja) * 2007-01-15 2012-12-26 三菱電機株式会社 画像センサ搭載型航空機用航法計算プログラム
JP4999647B2 (ja) * 2007-11-09 2012-08-15 四国航空株式会社 航空写真撮影システムおよび航空写真の画像補正方法
JP5086824B2 (ja) * 2008-01-28 2012-11-28 三菱重工業株式会社 追尾装置及び追尾方法
JP2014220604A (ja) * 2013-05-07 2014-11-20 三菱電機株式会社 撮影位置情報表示装置
CN209803578U (zh) * 2016-10-18 2019-12-17 智动航科有限公司 地面站、无人驾驶飞行器***和片上***电路
WO2018116417A1 (ja) * 2016-12-21 2018-06-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、撮像装置、移動体、制御方法、及びプログラム
CN110249625A (zh) * 2017-02-15 2019-09-17 深圳市大疆创新科技有限公司 图像显示方法、图像显示***、飞行体、程序以及记录介质

Also Published As

Publication number Publication date
JP2001197481A (ja) 2001-07-19

Similar Documents

Publication Publication Date Title
AU2007252840B2 (en) Methods and system for communication and displaying points-of-interest
JP5618840B2 (ja) 飛行体の飛行制御システム
US20140267775A1 (en) Camera in a Headframe for Object Tracking
EP3629309A2 (en) Drone real-time interactive communications system
CN107065894B (zh) 无人飞行器、飞行高度控制装置、方法以及计算机可读取记录介质
JP3919994B2 (ja) 撮影システム
EP1168830A1 (en) Computer aided image capturing system
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
EP3152900B1 (en) System and method for remote monitoring at least one observation area
JP6001914B2 (ja) 目標位置特定装置、目標位置特定システム、および目標位置特定方法
JP2004056664A (ja) 共同撮影システム
KR20030070553A (ko) 촬영영상 처리방법
WO2019230604A1 (ja) 検査システム
JP2017183852A (ja) 表示装置および表示制御方法
JP2017169170A (ja) 撮像装置、移動装置、撮像システム、撮像方法およびプログラム
JP6482855B2 (ja) 監視システム
JP2019135605A (ja) 撮影映像表示装置及び撮影映像表示方法
US10778899B2 (en) Camera control apparatus
JP6482856B2 (ja) 監視システム
JP3527160B2 (ja) 撮影指示システム、撮影指示方法及び記録媒体
JP2007241085A (ja) 撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法
CN111818270A (zh) 用于多机位摄像的自动控制方法和***
KR20110121426A (ko) 주, 야간 겸용 이동물체 관측시스템
JP2003316259A (ja) 撮影映像処理方法及び撮影映像処理システム
KR101342633B1 (ko) 시계열 항공정사영상을 이용한 화면분할기반 영상지리정보 운영시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20030715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060221

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060324

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070214

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100223

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110223

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120223

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130223

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130223

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140223

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees