JP6529411B2 - Mobile object identification device and mobile object identification method - Google Patents
Mobile object identification device and mobile object identification method Download PDFInfo
- Publication number
- JP6529411B2 JP6529411B2 JP2015197701A JP2015197701A JP6529411B2 JP 6529411 B2 JP6529411 B2 JP 6529411B2 JP 2015197701 A JP2015197701 A JP 2015197701A JP 2015197701 A JP2015197701 A JP 2015197701A JP 6529411 B2 JP6529411 B2 JP 6529411B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- brightness
- mobile
- identified
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000003384 imaging method Methods 0.000 claims description 105
- 230000003287 optical effect Effects 0.000 claims description 97
- 230000003595 spectral effect Effects 0.000 claims description 59
- 230000005540 biological transmission Effects 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 36
- 230000010287 polarization Effects 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 235000019557 luminance Nutrition 0.000 description 109
- 238000013500 data storage Methods 0.000 description 47
- 239000000463 material Substances 0.000 description 27
- 230000001186 cumulative effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 239000011810 insulating material Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000012774 insulation material Substances 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 239000004918 carbon fiber reinforced polymer Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000009416 shuttering Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
この発明は、例えば、地球周辺の宇宙空間を移動している人工衛星や国際宇宙ステーションなどの移動体を識別する移動体識別装置及び移動体識別方法に関するものである。 The present invention relates to, for example, a mobile object identification device and a mobile object identification method for identifying a mobile object such as an artificial satellite moving in space around the earth or an international space station.
地球周辺の宇宙空間における自国の人工衛星の衝突を防止するため、あるいは、人工衛星や宇宙ゴミであるデブリの状況を把握するために、地上または人工衛星から、地球周辺の宇宙空間を移動する移動体を観測する必要がある。
移動体を識別する一般的な移動体識別装置では、移動体を複数回撮像し、複数の撮像画像の明点を見つけることで移動体を検出して、その移動体の位置変化を算出する。
移動体識別装置は、移動体の位置変化を算出すると、その算出した移動体の位置変化と、事前にデータベースに記憶されている軌道が既知である複数の移動体に関する各時刻での位置とを照合することで、データベースに記憶されている複数の移動体の中で、最も位置変化が近い移動体を特定する。この移動体の特定結果が移動体の識別結果となる。
To move the space around the earth from the ground or the satellite to prevent the collision of its own artificial satellite in the space around the earth, or to understand the condition of the debris that is an artificial satellite or space debris It is necessary to observe the body.
In a general moving object identification apparatus for identifying a moving object, the moving object is imaged a plurality of times, the moving object is detected by finding the bright points of a plurality of captured images, and the positional change of the moving object is calculated.
When the mobile object identification device calculates the position change of the mobile object, the calculated position change of the mobile object and the position at each time of a plurality of mobile objects whose trajectories stored in the database in advance are known By matching, among the plurality of mobile objects stored in the database, the mobile object with the closest position change is identified. The identification result of the mobile object is the identification result of the mobile object.
撮像画像内に明るい恒星が多数映っている場合、または、多くのノイズが撮像画像に重畳されている場合、暗い移動体を高精度に識別することが困難になるため、以下の特許文献1には、明るい恒星やノイズの影響を減らす方法が開示されている。
即ち、以下の特許文献1では、同一領域を一定時間間隔で複数回撮像し、複数の撮像画像から移動天体の動きに一致する領域の画像をそれぞれ切り取ることで、複数の切り取り画像を取得している。
そして、複数の切り取り画像における同一のピクセル毎に、中央値を取ることによって、明るい恒星やノイズの影響が少ない中央値画像を作成している。
When many bright stars appear in the captured image, or when many noises are superimposed on the captured image, it is difficult to identify a dark moving object with high accuracy. Discloses methods to reduce the effects of bright stars and noise.
That is, in
Then, by taking the median for each identical pixel in a plurality of cut-out images, a median image with less influence of bright stars and noise is created.
上記の一般的な移動体識別装置が、特許文献1に開示されている方法を適用することが可能であるとすれば、明るい恒星やノイズの影響を減らすために、異なる時刻の中央値画像を複数作成し、複数の中央値画像の明点を見つけることで移動体を検出して、その移動体の位置変化を算出することができる。
そして、その算出した移動体の位置変化と、事前にデータベースに記憶されている複数の移動体に関する各時刻での位置とを照合することで、移動体を識別することができる。
If it is possible to apply the method disclosed in
Then, the mobile object can be identified by collating the calculated position change of the mobile object with the position at each time of the plurality of mobile objects stored in the database in advance.
従来の移動体識別装置は以上のように構成されているので、複数の撮像画像の明点を見つけることで移動体を検出する際、明るい恒星やノイズの影響を減らすことができる。しかし、移動体は、人工物のほかに隕石や恒星など、様々な種類が考えられ、移動体は、材料や構造に依存する色を有している。また、移動体の形状や色は一様でなく、時刻の経過に伴って姿勢も変化する。このため、移動体から放射される光である放射光又は移動体に反射される光である反射光の輝度は、移動体の色や姿勢などに依存しており、移動体の放射光又は反射光の輝度が小さくなって信号対雑音比が劣化し、明点を見つけることが困難な時間帯を生じることがある。
明るい恒星やノイズの影響を減らす処理を実施すれば、ある程度、信号対雑音比が改善するが、信号対雑音比を十分に改善できないほど、移動体の放射光又は反射光の輝度が小さい時間帯では、明点を見つけることができず、移動体を識別することができないという課題があった。
Since the conventional moving body identification device is configured as described above, when detecting the moving body by finding the bright points of a plurality of captured images, the influence of bright stars and noise can be reduced. However, there are various types of mobile bodies, such as meteorites and stars, besides artificial ones, and mobile bodies have colors depending on materials and structures. In addition, the shape and color of the moving body are not uniform, and the posture also changes with the passage of time. For this reason, the brightness of the reflected light which is the light emitted from the moving body or the reflected light which is the light reflected to the moving body depends on the color, posture, etc. of the moving body, and the emitted light or reflection of the moving body The brightness of the light decreases and the signal-to-noise ratio degrades, which can result in periods of time when it is difficult to find a bright spot.
Processing to reduce the effects of bright stars and noise improves the signal-to-noise ratio to a certain extent, but the time zone in which the luminance of the mobile light or reflected light is low enough to not improve the signal-to-noise ratio sufficiently. However, there was a problem that the bright point could not be found and the mobile could not be identified.
この発明は上記のような課題を解決するためになされたもので、移動体の放射光又は反射光の輝度が小さい時間帯でも、移動体を識別することができる移動体識別装置及び移動体識別方法を得ることを目的とする。 The present invention has been made to solve the above problems, and a mobile object identification device and a mobile object identification capable of identifying a mobile object even in a time zone in which the luminance of the emitted light or the reflected light of the mobile object is small. The aim is to get a way.
この発明に係る移動体識別装置は、識別対象である移動体の放射光又は反射光を結像する結像光学系と、結像光学系により結像された光を検出して、移動体が映っている光強度画像を撮像する光検出器と、光検出器により撮像された光強度画像から移動体の位置及び輝度を算出する位置輝度算出部と、位置輝度算出部により移動体の位置及び輝度が算出される毎に、時刻とともに移動体の位置及び輝度を記録する記録部と、軌道が既知である複数の移動体に関する各時刻での位置及び輝度を記憶しているデータベースとを設け、移動体識別部が、データベースに記憶されている複数の移動体に関する各時刻での位置及び輝度と、記録部により記録されている時刻、移動体の位置及び輝度とを照合し、時刻、位置及び輝度の照合結果から識別対象の移動体を識別するようにしたものである。 The moving object identification apparatus according to the present invention comprises: an imaging optical system for imaging emitted light or reflected light of a moving object to be identified; and light detected by the imaging optical system; A light detector that picks up a light intensity image that is being projected, a position brightness calculator that calculates the position and brightness of the moving object from the light intensity image that is picked up by the light detector, and the position and Each time the brightness is calculated, a recording unit for recording the position and brightness of the moving body with the time, and a database storing the position and brightness at each time for a plurality of moving bodies whose trajectories are known, are provided. mobile identification unit collates the position and intensity at each time for a plurality of moving objects stored in the database, time recorded by the recording unit, and the position and intensity of the mobile, time, location and Identification pair from the matching result of luminance It is obtained so as to identify the moving object.
この発明によれば、移動体識別部が、データベースに記憶されている複数の移動体に関する各時刻での位置及び輝度と、記録部により記録されている移動体の位置及び輝度とを照合し、位置及び輝度の照合結果から識別対象の移動体を識別するように構成したので、移動体の放射光又は反射光の輝度が小さい時間帯でも、移動体を識別することができる効果がある。 According to the present invention, the mobile object identification unit collates the position and brightness at each time of the plurality of mobile objects stored in the database with the position and brightness of the mobile object recorded by the recording unit, Since the mobile object to be identified is identified from the comparison result of the position and the brightness, the mobile object can be identified even in a time zone in which the brightness of the emitted light or the reflected light of the mobile object is small.
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。 Hereinafter, in order to explain the present invention in more detail, a mode for carrying out the present invention will be described according to the attached drawings.
実施の形態1.
図1はこの発明の実施の形態1による移動体識別装置を示す構成図である。また、図2はこの発明の実施の形態1による移動体識別装置の演算装置6を示すハードウェア構成図である。
図1及び図2において、結像光学系1は例えば光の屈折を利用する屈折型の望遠鏡で実現されるものであり、識別対象である移動体の放射光又は反射光を結像する。
移動体の放射光は、移動体が自ら発光する光を意味し、移動体の反射光は、例えば太陽など恒星が発する光が移動体に反射された光を意味する。
ここでは、結像光学系1が屈折型の望遠鏡で実現される例を示しているが、これに限るものではなく、例えば、光の反射を利用する反射型の望遠鏡で実現されるものであってもよい。また、屈折型の望遠鏡と反射型の望遠鏡との双方で実現されているものであってもよい。
FIG. 1 is a block diagram showing a mobile unit identification apparatus according to a first embodiment of the present invention. FIG. 2 is a hardware configuration diagram showing an
In FIG. 1 and FIG. 2, the imaging
The light emitted from the moving body means the light emitted by the moving body, and the reflected light from the moving body means the light emitted from a star, such as the sun, reflected by the moving body.
Here, although an example in which the imaging
遮光部2は結像光学系1と光検出器4の間の光路に配置されており、結像光学系1により結像された光の遮断と透過を交互に繰り返し実施する。
例えば、遮光部2は、機械的又は電子的なシャッターで実現されており、いわゆるカメラのシャッターと同様に、露光時間に合わせてシャッターが開閉することで、光の遮断と透過を交互に繰り返し実施する。
The
For example, the
光透過部3は結像光学系1と光検出器4の間の光路に配置されており、透過する光の特性が異なる複数のフィルタとして、例えば、透過する光の波長が異なる複数の波長フィルタを有している。
また、光透過部3は、複数の波長フィルタの中で使用する波長フィルタを順番に切り換えながら、当該波長フィルタを用いて、結像光学系1により結像された光の一部を透過する。
The light transmitting unit 3 is disposed in an optical path between the imaging
The light transmitting unit 3 transmits part of the light imaged by the imaging
例えば、光透過部3は、複数の波長フィルタを回転自在に保持しているフィルタホイールで実現されており、フィルタホイールが回転することで、使用する波長フィルタが順番に切り換えられる。
ここでは、光透過部3がフィルタホイールで実現される例を示しているが、これに限るものではなく、例えば、不要な光を選択的に取り除く波長フィルタが光路に配置されているものであってもよいし、光線の光路を幾何的に分割する偏光ビームスプリッタや、不要な光を反射させて、必要な光を透過させる波長フィルタが光路に配置されているものであってもよい。
図1では、遮光部2が光透過部3の前段に配置されている例を示しているが、遮光部2が光透過部3の後段に配置されているものであってもよい。ただし、光透過部3が偏光ビームスプリッタあるいは波長フィルタといった光路を幾何的に分割するもので実現される場合、偏光ビームスプリッタあるいは波長フィルタにより光が分割される数分だけ、遮光部2を配置する必要がある。
For example, the light transmitting unit 3 is realized by a filter wheel rotatably holding a plurality of wavelength filters, and the wavelength filter to be used is switched in order by rotating the filter wheel.
Here, although the example in which the light transmission part 3 is realized by the filter wheel is shown, the present invention is not limited thereto. For example, a wavelength filter for selectively removing unnecessary light is disposed in the light path. Alternatively, a polarization beam splitter that geometrically divides the light path of light beams, or a wavelength filter that reflects unnecessary light and transmits necessary light may be disposed in the light path.
Although FIG. 1 shows an example in which the
光検出器4は例えばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどで実現されるものであり、光透過部3を透過してきた光を検出して、識別対象の移動体が映っている光強度画像を撮像する。
この実施の形態1では、光検出器4がCCDイメージセンサやCMOSイメージセンサで実現されている例を示しているが、単に光の有無を検出するセンサであって、識別対象の移動体が視野内に入ると光を検出するセンサで実現されているものであってもよい。ただし、このようなセンサで光検出器4を実現する場合、視野が狭いため、結像光学系1の指向方向をきめ細かく制御する必要がある。
光検出器4がCCDイメージセンサやCMOSイメージセンサで実現されている場合、結像光学系1の指向方向が、光強度画像の中心位置からずれていても、識別対象の移動体が光強度画像内に入っていれば、識別対象の移動体を検出することができるため、結像光学系1の指向方向の制御が容易となる利点がある。また、視野の上下、左右のどちらに向かって移動体が運動しているかが光強度画像から分かり、恒星や他の移動体からの漏れ込み光の有無なども光強度画像から分かる利点がある。
The light detector 4 is realized by, for example, a charge coupled device (CCD) image sensor, a complementary metal oxide semiconductor (CMOS) image sensor, or the like, and detects light transmitted through the light transmission unit 3 to be identified. The light intensity image in which the moving body of the object is shown is captured.
In the first embodiment, an example is shown in which the light detector 4 is realized by a CCD image sensor or a CMOS image sensor, but the sensor is merely a sensor that detects the presence or absence of light and the moving object to be identified is a field of view. It may be realized by a sensor that detects light when entering inside. However, when the light detector 4 is realized by such a sensor, since the field of view is narrow, it is necessary to finely control the pointing direction of the imaging
When the light detector 4 is realized by a CCD image sensor or a CMOS image sensor, the moving object to be identified is a light intensity image even if the pointing direction of the imaging
データベース5は例えばRAMやハードディスクなどの記憶装置で実現されるものであり、軌道が既知である複数の移動体に関する各時刻での位置及び輝度を記憶している。
即ち、データベース5は、複数の移動体に関する観測時刻T1,T2,T3・・・での位置及び輝度を記憶している。
図1の例では、データベース5が演算装置6の外部に設けられているが、データベース5が演算装置6の内部に設けられていてもよい。また、データベース5が図示せぬネットワーク上に配置されており、データベース5がネットワークを介して演算装置6と接続されているものであってもよい。
The database 5 is realized by, for example, a storage device such as a RAM or a hard disk, and stores the position and brightness at each time with respect to a plurality of mobile bodies whose orbits are known.
That is, the database 5 stores the positions and luminances at the observation times T1, T2, T3.
Although the database 5 is provided outside the
演算装置6は位置輝度算出部7、記録処理部8、データ格納部9及び移動体識別部10を備えており、各種の演算処理等を実施する。
位置輝度算出部7は例えばCPU(Central Processing Unit)を実装している半導体集積回路、あるいは、FPGA(field−programmable gate array)のようなプログラム基板で構成されている位置輝度算出処理回路21で実現されるものであり、光検出器4により撮像された光強度画像から移動体の位置及び輝度を算出する処理を実施する。
The
The position
記録処理部8は例えばCPUを実装している半導体集積回路、あるいは、FPGAのようなプログラム基板で構成されている記録処理回路22で実現されるものであり、移動体識別装置の観測時刻と一緒に、位置輝度算出部7により算出された移動体の位置及び輝度をデータ格納部9に記録する処理を実施する。
データ格納部9は例えばRAMやハードディスクなどの記憶装置23で実現されるものであり、移動体の位置や輝度を記録する。なお、記録処理部8及びデータ格納部9から記録部が構成されている。
The
The data storage unit 9 is realized by, for example, a
移動体識別部10は例えばCPUを実装している半導体集積回路、あるいは、FPGAのようなプログラム基板で構成されている移動体識別処理回路24で実現されるものであり、データベース5に記憶されている複数の移動体に関する各時刻での位置及び輝度と、データ格納部9に記録されている移動体の位置及び輝度とを照合し、位置及び輝度の照合結果から識別対象の移動体を識別する処理を実施する。
即ち、移動体識別部10はデータベース5に記憶されている複数の移動体に関する各時刻での位置及び輝度と、データ格納部9に記録されている移動体の位置及び輝度とを照合することで、データベース5に記憶されている複数の移動体の中で、識別対象の移動体と位置及び輝度が最も近い移動体を特定する処理を実施する。
The mobile
That is, the mobile
制御装置11は例えばCPUを実装している半導体集積回路、あるいは、FPGAのようなプログラム基板で実現されるものであり、結像光学系1の指向方向を駆動装置12に指示するほか、遮光部2に対するシャッターの開閉時刻の指示、光透過部3に対する使用する波長フィルタの指示、光検出器4に対する光強度画像の撮像時刻の指示などを行う。
駆動装置12は例えば経緯台や赤道儀など、少なくとも一軸以上の回転軸を有する回転ステージで構成されており、その回転ステージ上に結像光学系1を保持している。
また、駆動装置12は回転ステージに付加されているモータ等を駆動することで、制御装置11により指示された指向方向に結像光学系1を向ける。
The control device 11 is realized by, for example, a semiconductor integrated circuit on which a CPU is mounted, or a program substrate such as an FPGA, and instructs the
The driving
Further, the driving
図1では、移動体識別装置における演算装置6の構成要素である位置輝度算出部7、記録処理部8、データ格納部9及び移動体識別部10のそれぞれが専用のハードウェアで構成されているものを想定しているが、演算装置6がコンピュータで構成されているものであってもよい。
図3は移動体識別装置の演算装置6がコンピュータで構成されている場合の演算装置6のハードウェア構成図である。
移動体識別装置の演算装置6がコンピュータで構成される場合、データ格納部9をコンピュータのメモリ31上に構成するとともに、位置輝度算出部7、記録処理部8及び移動体識別部10の処理内容を記述しているプログラムをメモリ31に格納し、コンピュータのプロセッサ32がメモリ31に格納されているプログラムを実行するようにすればよい。
図4はこの発明の実施の形態1による移動体識別装置の処理内容である移動体識別方法を示すフローチャートである。
In FIG. 1, the
FIG. 3 is a hardware configuration diagram of the
When the
FIG. 4 is a flow chart showing a mobile object identification method which is the processing content of the mobile object identification apparatus according to the first embodiment of the present invention.
光透過部3の動作は後述するが、光透過部3は、透過する光の特性が異なる複数のフィルタとして、透過する光の波長が異なる複数の波長フィルタを用いることができる。
例えば、光電測光専用フィルタであるジョンソンの分光フィルタUBVRIを用いることができる。
分光フィルタUBVRIのUバンドは透過する光の代表的な波長がおよそ364nm、Bバンドは透過する光の代表的な波長がおよそ442nm、Vバンドは透過する光の代表的な波長がおよそ540nm、Rバンドは透過する光の代表的な波長がおよそ630nm、Iバンドは透過する光の代表的な波長がおよそ800nmである。
Although the operation of the light transmission unit 3 will be described later, the light transmission unit 3 can use a plurality of wavelength filters having different wavelengths of light to be transmitted as the plurality of filters having different characteristics of the light to be transmitted.
For example, Johnson's spectral filter UBVRI, which is a dedicated filter for photometry, can be used.
The U-band of the spectral filter UBVRI has a typical wavelength of about 364 nm for transmitted light, the typical wavelength of about 442 nm for B-band, and about 540 nm for the V-band. The band has a typical wavelength of about 630 nm for light to be transmitted, and the I band has a typical wavelength of about 800 nm for light to be transmitted.
ここで、図5は分光フィルタUBVRIを用いる場合の分光反射率を示す説明図であり、図5において、横軸は光の波長、縦軸は分光反射率を示している。
図5では、移動体である人工衛星の外装材として使用されることがある太陽電池パネル(Solar panel)、多層断熱材(MLI:Multi layer Insulation)、炭素繊維強化樹脂(CFRP:Carbon Fiber Reinforeced Plastic)に対する反射光の分光反射率を例示している。
人工衛星の外装材として使用される材料の中には、分光反射率の波長依存性が大きい材料と、分光反射率の波長依存性があまり大きくない材料と、特徴的な波長依存性をもつ材料とがある。
Here, FIG. 5 is an explanatory view showing the spectral reflectance in the case of using the spectral filter UBVRI. In FIG. 5, the horizontal axis shows the wavelength of light, and the vertical axis shows the spectral reflectance.
In FIG. 5, a solar cell panel (Solar panel), which may be used as an exterior material of a mobile satellite, a multi-layer insulation material (MLI: Multi layer Insulation), a carbon fiber reinforced resin (CFRP: Carbon Fiber Reinforced Plastic). And the spectral reflectance of the reflected light.
Among the materials used as exterior materials for satellites, there are materials with large wavelength dependence of spectral reflectance, materials with relatively small wavelength dependence of spectral reflectance, and materials with characteristic wavelength dependence There is.
例えば、多層断熱材(MLI)は、図5に示すように、500nmより短い波長では分光反射率が小さいが、500nm以上の波長では分光反射率が大きい。
一方、太陽電池パネル(Solar panel)は、500nmより短い波長の領域では分光反射率が大きく、波長が短い領域から500nm程度くらいまでは、分光反射率が徐々に小さくなっている。
例えば、Bバンドの波長フィルタと、Vバンドの波長フィルタとを用いる観測では、多層断熱材の反射光は、Bが暗く、Vが明るくなることが予想される。一方、太陽電池パネルの反射光は、反対にBが明るく、Vが暗いことが予想される。
したがって、多層断熱材と太陽電池パネルでは、反対の特性を有しているが、どちらも分光反射率の波長依存性が大きい材料であると言える。
移動体の外装材として、分光反射率の波長依存性が大きい材料が用いられている場合、移動体の反射光が、Bバンドの波長フィルタを透過した場合と、Vバンドの波長フィルタを透過した場合とでは、輝度が上記のように異なることがあるが、光検出器4で検出される背景光を含むノイズは、分光反射率の波長依存性が一般に小さいので、Bバンドの波長フィルタを透過した場合の輝度と、Vバンドの波長フィルタを透過した場合の輝度とは概ね同じである。
For example, as shown in FIG. 5, the multilayer thermal insulating material (MLI) has a small spectral reflectance at wavelengths shorter than 500 nm, but a large spectral reflectance at wavelengths of 500 nm or more.
On the other hand, in a solar cell panel (Solar panel), the spectral reflectance is high in the wavelength range shorter than 500 nm, and the spectral reflectance gradually decreases from the short wavelength region to about 500 nm.
For example, in observation using a B-band wavelength filter and a V-band wavelength filter, it is expected that B is dark and V is bright in the reflected light of the multilayer heat insulating material. On the other hand, in the reflected light of the solar cell panel, it is expected that B is bright and V is dark.
Therefore, although it has the opposite characteristic in a multilayer heat insulating material and a solar cell panel, it can be said that both are materials with large wavelength dependency of spectral reflectance.
When a material having a large wavelength dependency of spectral reflectance is used as the exterior material of the movable body, the reflected light of the movable body is transmitted through the B-band wavelength filter and is transmitted through the V-band wavelength filter In some cases, although the luminance may differ as described above, the noise including the background light detected by the light detector 4 is generally transmitted through the B-band wavelength filter because the wavelength dependency of the spectral reflectance is generally small. The luminance in the case where the light is transmitted is substantially the same as the luminance when transmitted through the wavelength filter of the V band.
図5では、UBVRIの5種類の波長フィルタを用いる例を示しているが、これは一例に過ぎず、3種類又は4種類の波長フィルタを用いるものであってもよいし、6種類以上の波長フィルタを用いるものであってもよい。
また、波長フィルタの種類は、UBVRIバンドのフィルタに限るものではなく、例えば、LRGBバンドのフィルタであってもよい。
ただし、光透過部3が用いる波長フィルタの種類は、移動体に用いられる外装材の分光反射特性に応じて選ぶ必要がある。
以下、この実施の形態1では、移動体の外装材として、分光反射率の波長依存性が大きい材料が用いられているものとして説明する。
Although FIG. 5 shows an example using five types of UBVRI wavelength filters, this is merely an example, and three or four types of wavelength filters may be used, or six or more types of wavelengths may be used. A filter may be used.
Further, the type of wavelength filter is not limited to the UBVRI band filter, and may be, for example, an LRGB band filter.
However, the type of wavelength filter used by the light transmission part 3 needs to be selected according to the spectral reflection characteristics of the exterior material used for the moving body.
Hereinafter, in the first embodiment, it is assumed that a material having a large wavelength dependency of the spectral reflectance is used as the exterior material of the movable body.
図6はこの発明の実施の形態1による移動体識別装置の観測時刻と、遮光部2によるシャッターの開時刻、光透過部3が用いる波長フィルタの種類及び光検出器4による光強度画像の撮像時刻との関係を示す説明図である。
図6では、光透過部3がUBVRIの5種類の波長フィルタを用いる例を示しており、1つの観測時間帯において、複数の波長フィルタを順番に使用することで、光検出器4がフィルタ数分の光強度画像を撮像するために、制御装置11が、遮光部2によるシャッターの開時刻(開時間)と、光透過部3が用いる波長フィルタの切り換えと、光検出器4による光強度画像の撮像時刻(撮像時間)との同期を図っている。
この実施の形態1では、観測時刻T1,T2,T3・・・のそれぞれを1つの観測時間帯として扱っており、1つの観測時間帯において、複数の波長フィルタを順番に使用することで、光検出器4がフィルタ数分の光強度画像を撮像している。
なお、図6の例では、観測時刻T1,T2,T3の間隔が、1つの観測時間帯の広さと近くなっているが、観測時刻T1,T2,T3の間隔が、1つの観測時間帯より広ければよく、観測時刻T1,T2,T3の間隔が、1つの観測時間帯の数倍の広さであってもよい。
FIG. 6 shows the observation time of the moving object identification apparatus according to the first embodiment of the present invention, the opening time of the shutter by the
FIG. 6 shows an example in which the light transmitting unit 3 uses five types of wavelength filters of UBVRI, and by using a plurality of wavelength filters in order in one observation time zone, the number of filters of the photodetector 4 is increased. In order to pick up a light intensity image for a minute, the controller 11 controls the shutter open time (open time) by the
In the first embodiment, each of the observation times T1, T2, T3,... Is treated as one observation time zone, and by using a plurality of wavelength filters in order in one observation time zone, light The detector 4 captures light intensity images for the number of filters.
In the example shown in FIG. 6, the interval between observation times T1, T2 and T3 is close to the width of one observation time zone, but the interval between observation times T1, T2 and T3 is from one observation time zone It may be wide, and the interval between the observation times T1, T2 and T3 may be several times as large as one observation time zone.
次に動作について説明する。
制御装置11は、結像光学系1が識別対象である移動体の放射光又は反射光を結像することができるようにするために、結像光学系1の指向方向を駆動装置12に指示する。
駆動装置12は、制御装置11から結像光学系1の指向方向が指示されると、自己の回転ステージに付加されているモータ等を駆動することで、その指向方向に結像光学系1を向ける。
具体的には、結像光学系1は、物体面を像面に射影する機能を有し、基準となる光軸を備えているので、駆動装置12は、結像光学系1の光軸を制御装置11により指示された指向方向に合わせることで、結像光学系1の指向方向を制御する。
Next, the operation will be described.
The control device 11 instructs the
When the
Specifically, the imaging
なお、制御装置11は、移動体が結像光学系1の視野の範囲内に入るように、結像光学系1の指向方向を駆動装置12に指示するが、結像光学系1の視野と、光検出器4の視野とが異なる場合、結像光学系1及び光検出器4の視野のうち、狭い方の視野の範囲内に移動体が入るように、結像光学系1の指向方向を駆動装置12に指示する。
このとき、例えば、移動体が静止衛星であり、本装置である移動体識別装置が地上に設置されていれば、本装置である移動体識別装置と移動体との相対位置が変化しないので、移動体が結像光学系1の視野の範囲内に入るように、結像光学系1の指向方向を一度指示すれば、以後、結像光学系1の指向方向を固定とすればよい。
The control device 11 instructs the driving
At this time, for example, if the mobile unit is a geostationary satellite and the mobile unit identification apparatus as the present apparatus is installed on the ground, the relative position between the mobile unit identification apparatus as the present apparatus and the mobile unit does not change. Once the pointing direction of the imaging
一方、移動体が移動体識別装置に対して相対的に動いている場合、移動体との相対位置が変化しても、移動体が結像光学系1の視野の範囲から外に出ないようにするには、結像光学系1の指向方向の制御を継続する必要がある。
このため、制御装置11は、例えば、図示せぬ移動体の追尾装置から、移動体の予測位置を取得することで、各観測時刻での移動体識別装置と移動体との相対位置を把握し、その相対位置にしたがって結像光学系1の指向方向を駆動装置12に指示する。
On the other hand, when the moving body moves relative to the moving body identification device, the moving body does not go out of the range of the field of view of the imaging
For this reason, the control device 11 grasps the relative position between the mobile identification device and the mobile at each observation time, for example, by acquiring the predicted position of the mobile from the tracking device of the mobile not shown. The pointing direction of the imaging
ここでは、図示せぬ移動体の追尾装置から、移動体の予測位置を取得することで、各観測時刻での移動体識別装置と移動体との相対位置を把握する例を示しているが、識別対象の移動体の種類が、ある程度絞られており、その移動体の軌道情報が公開されていれば、その軌道情報を参照することで、各観測時刻での移動体の概略の位置を把握して、結像光学系1の指向方向を制御するようにしてもよい。
ただし、演算装置6の移動体識別部10による移動体の識別処理が完了していない段階では、移動体の種類が分からないため、異なる移動体の軌道情報を間違って参照する可能性がある。異なる移動体の軌道情報を間違って参照した場合、言うまでもないが、移動体が結像光学系1の視野の範囲から逸脱してしまう可能性がある。
Here, an example is shown in which the relative position between the moving object identification apparatus and the moving object at each observation time is grasped by acquiring the predicted position of the moving object from the tracking device of the moving object (not shown). If the type of moving object to be identified is narrowed down to a certain extent and the trajectory information of the moving object is disclosed, the approximate position of the moving object at each observation time can be grasped by referring to the trajectory information. Then, the pointing direction of the imaging
However, at the stage where the mobile object identification process by the mobile
結像光学系1は、結像光学系1の指向方向が所定の位置に到達した場合、撮像を開始する(図4のステップST1)。なお、識別対象の移動体が暗い場合、この段階ではノイズに埋もれて見えていない場合も考えられる。
光検出器4が相対的に動いている移動体を撮像し続けると、その移動体の像が流れてしまうため、露光する時間で光を遮る必要がある。この実施の形態1では、露光する時間で光を遮るために、遮光部2が設けられている。
制御装置11は、シャッターの開閉時刻を遮光部2に指示する。
この実施の形態1では、図6に示すように、光透過部3が、1つの観測時間帯において、5種類の波長フィルタを順番に使用することで、光検出器4が5枚の光強度画像を撮像するために、制御装置11が、1つの観測時間帯において、フィルタ数分のシャッターの開閉時刻(開時間)を遮光部2に指示している。
遮光部2は、制御装置11による開閉時刻にしたがって結像光学系1により結像された光の遮断と透過を交互に繰り返し実施する。
The imaging
If the light detector 4 continues to pick up an image of the moving object which is moving relatively, the image of the moving object will flow, so it is necessary to block the light for the exposure time. In the first embodiment, the
The control device 11 instructs the
In the first embodiment, as shown in FIG. 6, the light transmitting unit 3 sequentially uses five types of wavelength filters in one observation time zone, whereby the light intensity of five light detectors 4 is obtained. In order to capture an image, the control device 11 instructs the
The
光透過部3は、透過する光の波長が異なる複数の波長フィルタとして、図5に示すような分光フィルタUBVRIを有している。
制御装置11は、使用する波長フィルタを光透過部3に指示する。
この実施の形態1では、図6に示すように、光透過部3が、1つの観測時間帯において、5種類の波長フィルタを順番に使用することで、光検出器4が5枚の光強度画像を撮像するために、制御装置11が、1つの観測時間帯において、5種類の波長フィルタを順番に使用する指示を光透過部3に出力している。即ち、Uバンドの分光フィルタ→Bバンドの分光フィルタ→Vバンドの分光フィルタ→Rバンドの分光フィルタ→Iバンドの分光フィルタの順番で使用する指示を光透過部3に出力している。
光透過部3は、制御装置11の指示の下、1つの観測時間帯において、5種類の波長フィルタを順番に使用して、結像光学系1により結像された光、即ち、遮光部2を透過してきた光の一部を透過する。
The light transmitting unit 3 has a spectral filter UBVRI as shown in FIG. 5 as a plurality of wavelength filters having different wavelengths of light to be transmitted.
The control device 11 instructs the light transmission unit 3 to use the wavelength filter to be used.
In the first embodiment, as shown in FIG. 6, the light transmitting unit 3 sequentially uses five types of wavelength filters in one observation time zone, whereby the light intensity of five light detectors 4 is obtained. In order to capture an image, the control device 11 outputs an instruction to sequentially use five types of wavelength filters to the light transmission unit 3 in one observation time zone. That is, an instruction to be used in the order of the U-band spectral filter → the B-band spectral filter → the V-band spectral filter → the R-band spectral filter → the I-band spectral filter is output to the light transmission unit 3.
The light transmitting unit 3 uses the light of the imaging
制御装置11は、光強度画像の撮像時刻を光検出器4に指示する。
この実施の形態1では、図6に示すように、光透過部3が、1つの観測時間帯において、5種類の波長フィルタを順番に使用することで、光検出器4が5枚の光強度画像を撮像するために、制御装置11が、1つの観測時間帯において、フィルタ数分の光強度画像の撮像時刻(撮像時間)を光検出器4に指示している。なお、光検出器4による光強度画像の撮像時間は、遮光部2によるシャッターの開時間と同期している。
光検出器4は、制御装置11により指示された1つの観測時間帯における撮像時刻毎に、光透過部3を透過してきた光を検出して、識別対象の移動体が映っている光強度画像を撮像する(図4のステップST2)。
これにより、例えば、観測時刻がT1,T2,T3であれば、光透過部3が5種類の波長フィルタを有しているので、合計で15枚(=3×5)の光強度画像が撮像される。
The control device 11 instructs the light detector 4 to capture the light intensity image.
In the first embodiment, as shown in FIG. 6, the light transmitting unit 3 sequentially uses five types of wavelength filters in one observation time zone, whereby the light intensity of five light detectors 4 is obtained. In order to capture an image, the control device 11 instructs the light detector 4 to capture imaging time (imaging time) of light intensity images for the number of filters in one observation time zone. The imaging time of the light intensity image by the light detector 4 is synchronized with the opening time of the shutter by the
The light detector 4 detects the light transmitted through the light transmission unit 3 at each imaging time in one observation time zone instructed by the control device 11, and a light intensity image showing a moving object to be identified Are imaged (step ST2 in FIG. 4).
Thus, for example, if the observation time is T1, T2 and T3, the light transmission part 3 has five types of wavelength filters, so a total of 15 (= 3 × 5) light intensity images are captured. Be done.
演算装置6の位置輝度算出部7は、光検出器4が1つの観測時間帯毎にフィルタ数分の光強度画像を撮像すると、その光強度画像に含まれている背景光や光検出器4のノイズを除去する(図4のステップST3)。光検出器4のノイズとしては、光検出器4のオフセットである暗電流やバイアスなどが考えられる。
例えば、識別対象の移動体が映っている光強度画像であるライトフレームから、遮光部2によりシャッターが閉じられて光が遮断されている際に、光検出器4により撮像された光強度画像であるダークフレームを差し引くことで、暗電流やバイアスを除去することができる。ただし、ライトフレームの露光時間とダークフレームの露光時間とは同じ長さの時間とする。
なお、ダークフレームは波長フィルタに依存しないため、1回の撮像でダークフレームを得ることができる。また、ダークフレームの撮像は、例えば、ライトフレームの撮像の直前又は直後のタイミングで行えばよい。また、事前にダークフレームを撮像して用意しておいても良いことは言うまでもない。
When the light intensity image corresponding to the number of filters is captured by the light detector 4 for each observation time zone, the
For example, when the shutter is closed by the
In addition, since a dark frame does not depend on a wavelength filter, a dark frame can be obtained by one imaging. In addition, imaging of a dark frame may be performed, for example, at a timing immediately before or after imaging of a light frame. It goes without saying that a dark frame may be captured and prepared in advance.
次に、位置輝度算出部7は、光学系の効率を補正するフラット補正を行う。詳細は省略するが、望遠鏡の瞳位置(望遠鏡のおよそ開口部)を均一に照明する光を光検出器4で撮像すると、一般に光検出器4の中央が明るく、周辺が暗い画像が得られる。これが光学系の効率を表すフラットフレームとする。暗電流及びバイアスを除去したフラットフレームで、暗電流及びバイアスを除去したライトフレームを割ることで、光学系の効率を補正することができる。
さらに背景光を取り除くため、恒星を含む移動体の写っていない領域の輝度を、背景光の代表的な輝度として上記フラット補正を行ったライトフレーム全体から差し引くことで背景光を取り除くことができる。なお、現実には背景光にも例えば月の方角、町明かりの方角が明るいなど位置依存性がある。この場合、背景光を多項式で近似して、上記フラット補正を行ったライトフレームから差し引くことを行っても良い。
Next, the
Furthermore, in order to remove the background light, it is possible to remove the background light by subtracting the brightness of the region where the moving object including stars does not appear from the entire light frame subjected to the flat correction as a representative brightness of the background light. In reality, background light also has position dependency, for example, the direction of the moon and the direction of the town light are bright. In this case, the background light may be approximated by a polynomial and subtracted from the light frame subjected to the flat correction.
演算装置6の位置輝度算出部7は、光強度画像から背景光や光検出器4のノイズを除去し、フラット補正や背景光を取り除くと、それらの光強度画像上での移動体の位置として、各々の光強度画像内での移動体の位置座標を特定する(図4のステップST4)。
即ち、位置輝度算出部7は、各々の光強度画像内で画素値が閾値以上の画素が集まっている画素群である点像(明点)が移動体を表しているものと判断して、その点像の重心位置を算出する。この閾値は、0より大きく、画素値の最大値より小さい任意の値である。
各々の光強度画像上での移動体の位置は、明点を基準にして求めるが、結像光学系1の大きさが有限の場合、回折限界で広がりを有する。実際には、大気の揺らぎによる広がりやシーイングの影響もあり、移動体が小さい場合に写る点像は、回折限界よりも広がる。このため、位置輝度算出部7が各々の光強度画像上での移動体の位置を求める際、広がりを持っている点像の重心位置を算出している。なお、ここでの移動体は、光検出器4に対して相対的に移動しているものすべてが対象となるため、識別対象の移動体だけでなく、識別対象ではない恒星や流星等も含んだものとなる。
When the
That is, the position
The position of the movable body on each light intensity image is determined with reference to the bright point, but when the size of the imaging
この実施の形態1では、移動体の外装材として使用される材料が、分光反射率の波長依存性を有する材料、例えば、太陽電池パネル(Solar panel)や多層断熱材(MLI)であるものとしているので、1つの観測時間帯における撮像時刻毎に、光透過部3を透過してくる移動体の反射光等の輝度が変化する。撮像時刻毎に、光透過部3が使用する波長フィルタの種類が異なるので、光透過部3を透過してくる移動体の反射光等の輝度が変化する。
これに対して、光検出器4で検出される背景光を含むノイズは、分光反射率の波長依存性が一般的に小さいので、1つの観測時間帯における観測時刻毎に、光透過部3を透過してくる当該ノイズの輝度は略一定である。
したがって、位置輝度算出部7では、各々の光強度画像内での移動体の位置座標を特定する際、1つの観測時間帯において、光透過部3を透過してくる光の輝度が変化するものが、移動体の反射光等の輝度であると判断できるため移動体と識別できる。他方、1つの観測時間帯において、光透過部3を透過してくる光の輝度が略一定であるものは、移動体ではなくノイズと判断できるため、誤検出を防ぐことができる。
これにより、光強度画像からノイズを除外することができるため、仮に、移動体の反射光が暗い場合でも、光強度画像内での移動体を正確に特定し、その移動体の位置座標を算出することができる。
In the first embodiment, it is assumed that the material used as the exterior material of the movable body is a material having wavelength dependency of spectral reflectance, for example, a solar cell panel (Solar panel) or a multi-layered heat insulating material (MLI). Therefore, the brightness of the reflected light or the like of the moving object transmitted through the light transmission unit 3 changes at each imaging time in one observation time zone. Since the type of the wavelength filter used by the light transmission unit 3 differs for each imaging time, the brightness of the reflected light or the like of the moving body transmitted through the light transmission unit 3 changes.
On the other hand, the noise including background light detected by the light detector 4 generally has a small wavelength dependency of the spectral reflectance, so the light transmission unit 3 is selected every observation time in one observation time zone. The luminance of the transmitted noise is substantially constant.
Therefore, when specifying the position coordinates of the moving object in each light intensity image in the position
Thereby, since noise can be excluded from the light intensity image, even if the reflected light of the moving object is dark, the moving object in the light intensity image can be accurately identified, and the position coordinates of the moving object are calculated. can do.
ここでは、光強度画像上での移動体の位置として、広がりを持っている点像の重心位置を算出する例を示しているが、これに限るものではなく、例えば、光強度画像を示す画像データをガウス関数やsinc関数などとフィッティングすることで、光強度画像上での移動体の位置を算出するようにしてもよい。
なお、光強度画像上での移動体の位置は、天球座標上の位置に対応するため、後述するように赤経や赤緯、あるいは、方位角や仰角などの角度に対応して表すことができる。
Here, an example in which the barycentric position of a point image having a spread is calculated as the position of the movable body on the light intensity image is shown, but the present invention is not limited thereto. For example, an image showing a light intensity image The position of the moving object on the light intensity image may be calculated by fitting the data with a Gaussian function, sinc function or the like.
In addition, since the position of the moving body on the light intensity image corresponds to the position on the celestial sphere coordinates, as described later, it can be expressed in correspondence with the right angle or declination or an angle such as azimuth or elevation. it can.
位置輝度算出部7は、各々の光強度画像上で移動体を特定すると、各々の光強度画像を光透過部3の透過効率を補正して足し合わせることで、1つの光強度画像(合成画像)を求め、その光強度画像上での移動体の輝度Ldcmとして、単位時間当りの移動体の光量を求める(図4のステップST5)。
以下、位置輝度算出部7による移動体の輝度Ldcmの算出処理の一例を具体的に説明する。
When the position
Hereinafter, an example of calculation processing of the luminance L dcm of the moving object by the position
まず、位置輝度算出部7は、光強度画像上での移動体の位置の中心に対して適正な積分半径を指定し、その積分半径内の画素値を積算することで、単位時間当りの移動体の光量を求める。
適切な積分半径としては、広がりを持っている点像を包含する領域を示す半径が考えられる。例えば、広がりを持っている点像が3×3の画素群であれば、3×3の画素群を包含する領域の中で、出来る限り小さな領域を示す半径が適正な積分半径となる。
なお、ここでは、光量を求める際に積分半径内の画素値を積算する方法を示しているが、上述したように、ガウス関数やsinc関数を仮定して光量を求めるようにしてもよい。
First, the position
As an appropriate integration radius, a radius indicating an area including a point image having a spread can be considered. For example, if the point image having a spread is a 3 × 3 pixel group, the radius indicating the smallest possible area in the area including the 3 × 3 pixel group is an appropriate integral radius.
Here, a method of integrating pixel values within the integration radius is shown when obtaining the light amount, but as described above, the light amount may be determined assuming a Gaussian function or a sinc function.
位置輝度算出部7は、光強度画像上での移動体の輝度Ldcmを算出すると、その光強度画像上での移動体の位置と、制御装置11から出力された結像光学系1の指向方向及び本装置である移動体識別装置の位置とから、天球座標上での移動体の位置(Px,Py)であるPdcmを算出する(図4のステップST6)。
移動体識別装置の位置は、光検出器4により光強度画像であるライトフレームが撮像された時刻での位置であり、結像光学系1の指向方向は、光検出器4により光強度画像であるライトフレームが撮像された時刻での指向方向である。なお、1つの観測時間帯では、結像光学系1の指向方向は一定である。
以下、位置輝度算出部7による移動体の位置(Px,Py)の算出処理の一例を具体的に説明する。
When the position
The position of the moving object identification device is the position at the time when the light frame, which is a light intensity image, is captured by the light detector 4, and the pointing direction of the imaging
Hereinafter, an example of calculation processing of the position (Px, Py) of the moving object by the position
まず、天球座標は、天の赤道を基準とした赤道座標系、観測者の地平線を基準とした地平座標系、銀河面を基準とした銀河座標系などあるが、これらは基準をどこに取るかの違いであり、いずれを用いても良い。この天球を結像光学系1で光検出器4の受光面に射影変換するが、受光面は平面であることが多いため、例えば正射影、等立体角射影など、非線形な座標変換が行われる。ただし、受光面のもつ天球上の視野が全天に比べて無視できない場合、例えば光学系に魚眼レンズを使う場合は、この非線形な変換の影響が顕著であるが、受光面の視野が小さい場合、線形変換で近似できる。ここでは説明を簡略化するため線形変換の例で説明するが、より一般的な天球座標と受光面の座標変換に関しては、例えば、下記の非特許文献1に開示されている技術を用いるようにしてもよい。
[非特許文献1]
Representations of celestial coordinates in FITS (Paper II), Calabretta, M. R., and Greisen, E. W., Astronomy & Astrophysics, 395, 1077-1122, 2002.
First of all, the celestial sphere coordinates include the equatorial coordinate system based on the equator in the sky, the horizon coordinate system based on the horizon of the observer, and the galactic coordinate system based on the galactic plane, etc. It is a difference and either may be used. This celestial sphere is projective converted onto the light receiving surface of the light detector 4 by the imaging
[Non-patent document 1]
Representations of celestial coordinates in FITS (Paper II), Calabretta, MR, and Greisen, EW, Astronomy & Astrophysics, 395, 1077-1122, 2002.
まず、位置輝度算出部7は、光強度画像の中心位置が結像光学系1の指向方向であるものとして、その光強度画像の中心位置から、その光強度画像上での移動体の位置までの画素数、即ち、水平方向の画素数xと、垂直方向の画素数yとを算出する。
ここでは、説明の便宜上、光強度画像上での移動体の位置が光強度画像の中心位置より左側であれば、画素数xの符号をマイナスとし、光強度画像の中心位置より右側であれば、画素数xの符号をプラスとする。また、光強度画像上での移動体の位置が光強度画像の中心位置より下側であれば、画素数yの符号をマイナスとし、光強度画像の中心位置より上側であれば、画素数yの符号をプラスとする。
位置輝度算出部7は、水平方向の画素数xと垂直方向の画素数yを算出すると、例えば、結像光学系1の指向方向が、赤経・赤緯(あるいは、方位角・仰角)で表されており、結像光学系1の指向方向が(α1,δ1)であれば、下記の式(1)に示すように、移動体の位置(α2,δ2)を算出する。
α2=α1+x・a
δ2=δ1+y・b
(1)
式(1)において、aは水平方向の1画素に対応する赤経(あるいは、方位角)、bは垂直方向の1画素に対応する赤緯(仰角)である。
First, assuming that the central position of the light intensity image is the direction of orientation of the imaging
Here, for convenience of explanation, if the position of the movable body on the light intensity image is to the left of the center position of the light intensity image, the sign of the number of pixels x is minus and if it is to the right of the center position of the light intensity image , The sign of the number of pixels x is positive. If the position of the movable body on the light intensity image is below the center position of the light intensity image, the sign of the number of pixels y is minus, and if it is above the center position of the light intensity image, the number of pixels y The sign of is positive.
When the position
α 2 = α 1 + x · a
δ 2 = δ 1 + y · b
(1)
In Equation (1), a is right ascension (or azimuth) corresponding to one pixel in the horizontal direction, and b is declination (elevation angle) corresponding to one pixel in the vertical direction.
なお、ここでは説明を簡単にするため、光検出器4を回転させて水平・垂直方向と赤経・赤緯(あるいは方位角・仰角)の向きが揃うように事前に調整している例とする。また、説明を簡単にするため、光学系の歪曲等が十分に小さいものとするが、歪曲などを補正する場合は、上記の非特許文献1に開示されている技術を用いるようにしてもよい。
また、実際の運用では、駆動装置の誤差、観測位置及び観測時刻の誤差等により、結像光学系1の指向方向が目標の値(α1,δ1)からずれることもある。この場合、移動体の代わりに位置が既知の恒星の位置を算出して、上記天球座標と受光面の座標変換を確認するようにすればよい。なお、位置が既知の恒星は一般にガイド星(Guide Star)と呼ばれ、カタログ化されて公開されている。
Here, in order to simplify the description, the light detector 4 is rotated to adjust the horizontal and vertical directions and the directions of right ascension and declination (or azimuth and elevation) in advance, and an example in which adjustment is made in advance Do. In addition, distortion of the optical system is assumed to be sufficiently small in order to simplify the explanation, but when correcting distortion etc., the technology disclosed in the above-mentioned
In actual operation, the pointing direction of the imaging
位置輝度算出部7は、移動体の位置(α2,δ2)を算出すると、下記の式(2)に示すように、移動体の位置(α2,δ2)と、移動体識別装置の位置(α0,δ0)との差分(Δα,Δδ)を、移動体識別装置に対する移動体の相対位置として算出する。
Δα=α0−α2
Δδ=δ0−δ2
(2)
これにより、移動体識別装置に対する移動体の相対位置(Δα,Δδ)が求まるが、移動体の相対位置(Δα,Δδ)は、天球座標上での角度のみの情報であり、移動体識別装置からの距離である奥行き情報が含まれていない。
When the position
Δα = α 0 −α 2
Δδ = δ 0 −δ 2
(2)
As a result, the relative position (Δα, Δδ) of the moving body to the moving body identification device can be obtained, but the relative position (Δα, Δδ) of the moving body is information of only the angle on the celestial sphere coordinates. It does not include depth information, which is the distance from.
そこで、位置輝度算出部7は、移動体識別装置から移動体までの距離である奥行きDを仮定して、天球座標上での移動体の位置(Px,Py)を算出する。
例えば、移動体の運動が、後述するように二次曲線で表されると仮定すると、その二次曲線上の3点が決まれば、移動体の軌跡が定まるため、位置輝度算出部7が、少なくとも、3つの観測時刻Tでの移動体の相対位置(Δα,Δδ)を算出する。
3つの観測時刻Tでの移動体の相対位置(Δα,Δδ)が分かれば、例えば、近地球域の衛星の軌道計算用のアルゴリズムであるSGP4 (Simplified General Perturbations Satellite Orbit Model 4)を用いることで、移動体の軌跡を算出することができる。即ち、仮定した奥行きDを算出することができる。したがって、天球座標上での移動体の位置(Px,Py)が求まる。
Therefore, the position
For example, assuming that the movement of the moving object is represented by a quadratic curve as described later, if three points on the quadratic curve are determined, the locus of the moving object is determined. The relative positions (Δα, Δδ) of the moving object at at least three observation times T are calculated.
Knowing the relative position (Δα, Δδ) of the mobile at three observation times T, for example, by using SGP 4 (Simplified General Perturbations Satellite Orbit Model 4), which is an algorithm for calculating the orbits of satellites in the near Earth region , The trajectory of the moving body can be calculated. That is, the assumed depth D can be calculated. Therefore, the position (Px, Py) of the moving body on the celestial sphere coordinates is determined.
SGP4を用いて、移動体の軌跡を算出する処理自体は、公知の技術であるため、詳細な処理内容を省略する。
ここでは、SGP4を用いて、天球座標上での移動体の位置(Px,Py)を求める例を示しているが、角度の情報である移動体の相対位置(Δα,Δδ)から、天球座標上での移動体の位置(Px,Py)が求まればよく、SGP4以外の方法を用いてもよいことは言うまでもない。
SGP4以外の方法は、例えば、以下の非特許文献2に開示されている。
[非特許文献2]
“軌道決定の原理: 彗星・小惑星の観測方向から距離を決めるには” 長沢工著 2003年 地人書館出版
The processing itself of calculating the trajectory of a moving object using SGP 4 is a known technique, and thus detailed processing content is omitted.
Here, an example is shown in which the position (Px, Py) of the moving body on the celestial sphere coordinates is obtained using SGP4. However, from the relative position (Δα, Δδ) of the moving body which is angle information, the celestial sphere coordinates It is needless to say that any method other than SGP 4 may be used as long as the position (Px, Py) of the moving body above is obtained.
Methods other than SGP4 are disclosed, for example, in
[Non-patent document 2]
“Principle of orbit determination: How to determine the distance from the observation direction of comets and asteroids” By Ko Nagasawa 2003 Jichishakan Publishing
因みに、移動体が地球の周辺に存在している場合、移動体に対する重力の影響は地球、及び月が占めているが、移動体の運動が、移動体と地球の2対問題で近似できると仮定すると、移動体の運動は、二次曲線である法物線、双曲線、楕円のいずれかとなる。
実際には、他の移動体や惑星の重力、地球の大気の摩擦抵抗などがあるため、移動体の運動を二次曲線まで単純化すると精度が落ちるが、基本的には、移動体の運動の軌跡である軌道は二次曲線で表される。
By the way, when the moving body exists around the earth, the effect of gravity on the moving body is occupied by the earth and the moon, but it can be approximated that the movement of the moving body can be approximated by a two-pair problem of the moving body and the earth. Assuming that the movement of the moving body is any one of a quadric curve line, a hyperbola, and an ellipse.
In fact, due to the gravity of other moving bodies and planets, the frictional resistance of the atmosphere of the earth, etc., if the movement of the moving body is simplified to a quadratic curve, the accuracy will fall, but basically the movement of the moving body The trajectory which is the trajectory of is represented by a quadratic curve.
演算装置6の記録処理部8は、位置輝度算出部7が天球座標上での移動体の位置(Px,Py)であるPdcm及び輝度Ldcmを算出すると、1つの観測時間帯に対応する観測時刻Tと一緒に、その移動体の位置Pdcm及び輝度Ldcmをデータ格納部9に記録する(図4のステップST7)。
The
演算装置6の移動体識別部10は、データベース5に記憶されている複数の移動体に関する各時刻での位置及び輝度と、データ格納部9に記録されている移動体の位置Pdcm及び輝度Ldcmとを照合し、位置及び輝度の照合結果から識別対象の移動体を識別する(図4のステップST8)。
以下、移動体識別部10による移動体の識別処理の一例を具体的に説明する。
The mobile
Hereinafter, an example of the identification processing of the moving object by the moving
ここでは説明の便宜上、N個の移動体に関して、各時刻T1,T2,T3・・・での位置Pkno及び輝度Lknoがデータベース5に記憶されているものとする。
移動体識別部10は、データベース5に記憶されているN個の移動体に関する各時刻Tでの位置Pknoと、データ格納部9に記録されている各観測時刻Tでの移動体の位置Pdcmとを照合する。
例えば、識別対象の移動体の位置Pdcm,t(t=T1,T2,T3,T4,T5)として、観測時刻T1,T2,T3,T4,T5での移動体の位置(Px,Py)がデータ格納部9に記録されている場合、識別対象の移動体の位置Pdcm,t(t=T1,T2,T3,T4,T5)と、データベース5に記憶されているN個の移動体に関する各時刻T1,T2,T3,T4,T5での位置Pkno,n,t(n=1,2,3,・・・,N:t=T1,T2,T3,T4,T5)とを照合する。
即ち、N個の移動体について、下記の式(3)に示すように、観測時刻T毎に、識別対象の移動体の位置Pdcm,tとの差分ΔPn,t(n=1,2,3,・・・,N:t=T1,T2,T3,T4,T5)を算出し、下記の式(4)に示すように、位置の差分ΔPn,tの累積値Σ(ΔPn)を算出する。
ΔPn,t=|Pkno,n,t−Pdcm,t| (3)
Σ(ΔPn)=ΔPn,1+ΔPn,2+ΔPn,3+ΔPn,4+ΔPn,5 (4)
Here, for convenience of explanation, it is assumed that the position P kno and the luminance L kno at each
The mobile
For example, as the position P dcm, t (t = T1, T2, T3, T4, T5) of the moving object to be identified, the position (Px, Py) of the moving object at observation time T1, T2, T3, T4, T5 Are stored in the data storage unit 9, the positions P dcm, t (t =
That is, for N moving objects, as shown in the following equation (3), at each observation time T, the difference ΔP n, t with the position P dcm, t of the moving object to be identified (n = 1, 2 , 3, ..., N: t = T1, T2, T3, T4, T5) are calculated, and as shown in the following equation (4), the cumulative value 値 (ΔP n of the position difference ΔP n, t Calculate).
ΔP n, t = | P kno, n, t −P dcm, t | (3)
Σ (ΔP n ) = ΔP n, 1 + ΔP n, 2 + ΔP n, 3 + ΔP n, 4 + ΔP n, 5 (4)
移動体識別部10は、N個の移動体について、位置の差分ΔPn,tの累積値Σ(ΔPn)を算出すると、N個の移動体の中で、その累積値Σ(ΔPn)が事前に設定されている閾値Th以下の移動体を特定する。この閾値Thは1以上で(N−1)以下の任意の値である。
移動体識別部10は、累積値Σ(ΔPn)が閾値Th以下の移動体が1個であれば、その移動体が識別対象の移動体である旨を示す識別結果を出力するが、累積値Σ(ΔPn)が閾値Th以下の移動体がM個(Mは2以上でN以下)あれば、下記の式(5)に示すように、M個の移動体について、観測時刻T毎に、識別対象の移動体の輝度Ldcm,tとの差分ΔLm,t(m=1,2,・・・,M:t=T1,T2,T3,T4,T5)を算出し、下記の式(6)に示すように、輝度の差分ΔLm,tの累積値Σ(ΔLm)を算出する。
ΔLm,t=|Lkno,m,t−Ldcm,t| (5)
Σ(ΔLm)=ΔLm,1+ΔLm,2+ΔLm,3+ΔLm,4+ΔLm,5 (6)
The mobile
ΔL m, t = | L kno, m, t −L dcm, t | (5)
Σ (ΔL m ) = ΔL m, 1 + ΔL m, 2 + ΔL m, 3 + ΔL m, 4 + ΔL m, 5 (6)
移動体識別部10は、M個の移動体について、輝度の差分ΔLm,tの累積値Σ(ΔLm)を算出すると、M個の移動体の中で、その累積値Σ(ΔLm)が最も小さい移動体を特定し、その移動体が識別対象の移動体である旨を示す識別結果を出力する。
ここでは、移動体識別部10が、N個の移動体の中で、累積値Σ(ΔPn)が事前に設定されている閾値Th以下の移動体を特定するものを示したが、N個の移動体の中で、累積値Σ(ΔPn)が小さい上位M個の移動体を特定し、上位M個の移動体の中で、累積値Σ(ΔLm)が最も小さい移動体を特定するようにしてもよい。
When the moving
Here, although the mobile
以上で明らかなように、この実施の形態1によれば、移動体識別部10が、データベース5に記憶されている複数の移動体に関する各時刻での位置及び輝度と、データ格納部9に記録されている識別対象の移動体の位置及び輝度とを照合し、位置及び輝度の照合結果から移動体を識別するように構成したので、移動体の放射光又は反射光の輝度が小さい時間帯でも、移動体を識別することができる効果を奏する。
即ち、各時刻での移動体の位置だけでなく、各時刻での移動体の輝度も照合しているので、移動体の輝度が暗い時間帯に、移動体の反射光がノイズの光であると誤判断して、移動体を識別できなくなる不具合の発生を防止することができる。
As apparent from the above, according to the first embodiment, the moving
That is, since not only the position of the moving body at each time but also the brightness of the moving body at each time is collated, the reflected light of the moving body is noise light in a time zone where the brightness of the moving body is dark It is possible to prevent the occurrence of the problem that the moving body can not be identified by misjudged as
また、この実施の形態1によれば、結像光学系1と光検出器4の間の光路に配置され、結像光学系1により結像された光の遮断と透過を交互に繰り返す遮光部2を備えるように構成したので、識別対象の移動体が相対的に動いている場合でも、その移動体の位置や輝度を正確に表している光強度画像を得ることができる効果を奏する。
Further, according to the first embodiment, a light shielding unit which is disposed in the optical path between the imaging
この実施の形態1では、光透過部3が、透過する光の特性が異なる複数のフィルタとして、透過する光の波長が異なる複数の波長フィルタを有している例を示したが、光透過部3が、透過する光の特性が異なる複数のフィルタとして、透過する光の偏光が異なる複数の偏光フィルタを有しているものであってもよい。
複数の偏光フィルタを用いることで、識別対象の移動体が、例えば、恒星や他の移動体からの光の影響で見え難くなっている場合でも、光強度画像上で容易に検出することができるようになる。
In the first embodiment, an example is shown in which the light transmission unit 3 includes a plurality of wavelength filters having different wavelengths of light to be transmitted as the plurality of filters having different characteristics of the light to be transmitted. 3 may have a plurality of polarization filters with different polarizations of light to be transmitted as a plurality of filters with different characteristics of light to be transmitted.
By using a plurality of polarizing filters, a mobile object to be identified can be easily detected on a light intensity image, even when it is difficult to see due to the influence of light from stars or other mobile objects, for example. It will be.
この実施の形態1では、光透過部3が複数の波長フィルタを順番に使用するものを示したが、光透過部3が複数の波長フィルタを順番に使用する代わりに、光検出器4の各画素に対応する位置に異なる波長フィルタを配置するようにしてもよい。例えば、光検出器4の各画素に対応する位置に、R成分の波長フィルタと、G成分の波長フィルタと、B成分の波長フィルタとを配置するようにしてもよい。
このように、光検出器4の各画素に対応する位置に異なる波長フィルタを配置すれば、各画素で異なる波長の光量を同時刻に得ることができる。
民生用途のCCDイメージセンサやCMOSイメージセンサでは、各画素の前面に赤、緑、青などに代表されるカラーフィルタ(波長フィルタ)が配置されているものが知られており、光の波長成分を選択的に得ることができる。
In the first embodiment, the light transmitting unit 3 uses a plurality of wavelength filters in order, but instead of using the plurality of wavelength filters in order, the light transmitting unit 3 includes each of the photodetectors 4. Different wavelength filters may be arranged at positions corresponding to the pixels. For example, the wavelength filter of the R component, the wavelength filter of the G component, and the wavelength filter of the B component may be disposed at positions corresponding to the respective pixels of the light detector 4.
As described above, when different wavelength filters are disposed at positions corresponding to the respective pixels of the light detector 4, it is possible to obtain light quantities of different wavelengths in the respective pixels at the same time.
It is known that CCD image sensors and CMOS image sensors for consumer use have color filters (wavelength filters) represented by red, green, blue, etc. arranged on the front of each pixel. It can be obtained selectively.
実施の形態2.
上記実施の形態1では、軌道が既知である複数の移動体に関する各時刻での位置及び輝度がデータベース5に記憶されており、移動体識別部10が、データベース5に記憶されている複数の移動体に関する各時刻での位置及び輝度と、データ格納部9に記録されている識別対象の移動体の位置及び輝度とを照合し、位置及び輝度の照合結果から移動体を識別する例を示しているが、移動体の色を照合対象に含めて、位置、輝度及び色の照合結果から移動体を識別するようにしてもよい。
Second Embodiment
In the first embodiment, the position and brightness at each time with respect to a plurality of moving bodies whose orbits are known are stored in the database 5, and the moving
図7はこの発明の実施の形態2による移動体識別装置を示す構成図であり、図7おいて、図1と同一符号は同一または相当部分を示すので説明を省略する。
データベース41は例えばRAMやハードディスクなどの記憶装置で実現されるものであり、軌道が既知である複数の移動体に関する各時刻での位置、輝度及び色を記憶している。
即ち、データベース41は、複数の移動体に関する観測時刻T1,T2,T3・・・での位置、輝度及び色を記憶している。
図7の例では、データベース41が演算装置6の外部に設けられているが、データベース41が演算装置6の内部に設けられていてもよい。また、データベース41が図示せぬネットワーク上に配置されており、データベース41がネットワークを介して演算装置6と接続されているものであってもよい。
FIG. 7 is a block diagram showing a mobile unit identification apparatus according to a second embodiment of the present invention. In FIG. 7, the same reference numerals as those in FIG.
The
That is, the
Although the
演算装置6は位置輝度算出部7、記録処理部42、データ格納部43及び移動体識別部44を備えており、各種の演算処理等を実施する。
記録処理部42は例えば図2の記録処理回路22で実現されるものであり、1つの観測時間帯に対応する観測時刻Tと一緒に、位置輝度算出部7により算出された移動体の位置及び輝度をデータ格納部43に記録するとともに、光検出器4による撮像時刻と一緒に、光透過部3により用いられる波長フィルタの波長をデータ格納部43に記録する処理を実施する。
また、記録処理部42は1つの観測時間帯において、光検出器4が複数の波長フィルタを順番に使用して、複数の光強度画像を撮像すると、各々の光強度画像から位置輝度算出部7により算出された移動体の位置Pdcmに対応する1以上の画素の画素値を読み出し、1以上の画素の画素値を積算することで移動体の輝度Lfilを求め、光検出器4による各々の光強度画像の撮像時刻と一緒に、各々の光強度画像から求めた移動体の輝度Lfilをデータ格納部43に記録する。
データ格納部43は例えば図2の記憶装置23で実現されるものであり、移動体の位置、輝度及び光透過部3により用いられる波長フィルタの波長を記録する。なお、記録処理部42及びデータ格納部43から記録部が構成されている。
The
The
In addition, when the
The
移動体識別部44は例えば図2の移動体識別処理回路24で実現されるものであり、データ格納部43に記録されている光の波長及び輝度から識別対象の移動体の色を特定し、データベース41に記憶されている複数の移動体に関する各時刻での位置、輝度及び色と、データ格納部43に記録されている移動体の位置及び輝度並びに特定した色とを照合し、位置、輝度及び色の照合結果から識別対象の移動体を識別する処理を実施する。
The moving
図7では、移動体識別装置における演算装置6の構成要素である位置輝度算出部7、記録処理部42、データ格納部43及び移動体識別部44のそれぞれが専用のハードウェアで構成されているものを想定しているが、演算装置6がコンピュータで構成されているものであってもよい。
移動体識別装置の演算装置6がコンピュータで構成される場合、データ格納部43を図3に示すコンピュータのメモリ31上に構成するとともに、位置輝度算出部7、記録処理部42及び移動体識別部44の処理内容を記述しているプログラムをメモリ31に格納し、図3に示すコンピュータのプロセッサ32がメモリ31に格納されているプログラムを実行するようにすればよい。
In FIG. 7, the
When the
次に動作について説明する。
ただし、結像光学系1、遮光部2、光透過部3、光検出器4及び位置輝度算出部7の処理内容は、上記実施の形態1と同様であるため説明を省略する。
演算装置6の記録処理部42は、位置輝度算出部7が天球座標上での移動体の位置Pdcm及び輝度Ldcmを算出すると、1つの観測時間帯に対応する観測時刻Tと一緒に、その移動体の位置Pdcm及び輝度Ldcmをデータ格納部43に記録する。
また、記録処理部42は、光透過部3に対する制御装置11の指示内容から、光透過部3で使用される波長フィルタの波長を認識し、光検出器4による撮像時刻と一緒に、その波長フィルタの波長をデータ格納部43に記録する。
さらに、記録処理部42は、1つの観測時間帯において、光検出器4が複数の波長フィルタを順番に使用して、複数の光強度画像を撮像すると、各々の光強度画像から位置輝度算出部7により算出された移動体の位置Pdcmに対応する1以上の画素の画素値を読み出し、1以上の画素の画素値を積算することで移動体の輝度Lfilを求め、光検出器4による各々の光強度画像の撮像時刻と一緒に、各々の光強度画像から求めた移動体の輝度Lfilをデータ格納部43に記録する。
Next, the operation will be described.
However, since the processing contents of the imaging
When the position
Further, the
Furthermore, in the
移動体識別部44は、1つの観測時間帯に対応する観測時刻T毎に、データ格納部43から、光検出器4による各々の光強度画像の撮像時刻と一緒に記録されている光の波長及び移動体の輝度Lfilを読み出し、その光の波長及び輝度Lfilから識別対象の移動体の色Cdcmを特定する。
即ち、移動体識別部44は、例えば、光透過部3が図5に示すような分光フィルタUBVRIを用いている場合、Uバンドの分光フィルタを用いているときの輝度LfilからU成分の光量、Bバンドの分光フィルタを用いているときの輝度LfilからB成分の光量、Vバンドの分光フィルタを用いているときの輝度LfilからV成分の光量、Rバンドの分光フィルタを用いているときの輝度LfilからR成分の光量、Iバンドの分光フィルタを用いているときの輝度LfilからI成分の光量を特定する。
つまり、識別対象の移動体の色Cdcmとして、その色Cdcmの成分であるU成分の光量、B成分の光量、V成分の光量、R成分の光量、I成分の光量とを特定する。
The moving
That is, the moving
That is, as the color C dcm mobile to be identified, to identify the color C dcm is the component U component of the light amount of the light amount of the B component, the amount of V component, the amount of R component, the amount of the I component.
移動体識別部44は、識別対象の移動体の色Cdcmを特定すると、データベース41に記憶されている複数の移動体に関する各時刻での位置Pkno、輝度Lkno及び色Cknoと、データ格納部43に記録されている移動体の位置Pdcm及び輝度Ldcm並びに特定した色Cdcmとを照合し、位置、輝度及び色の照合結果から当該移動体を識別する。
以下、移動体識別部44による移動体の識別処理の一例を具体的に説明する。
When the mobile
Hereinafter, an example of the identification processing of the moving object by the moving
ここでは説明の便宜上、N個の移動体に関して、各時刻T1,T2,T3・・・での位置Pkno、輝度Lkno及び色Cknoがデータベース41に記憶されているものとする。データベース41に記憶されている色Cknoは、移動体の色の成分として、U成分の光量、B成分の光量、V成分の光量、R成分の光量、I成分の光量を示しているものとする。
移動体識別部44は、図1の移動体識別部10と同様に、データベース41に記憶されているN個の移動体に関する各時刻Tでの位置Pkno,n,t(n=1,2,3,・・・,N:t=T1,T2,T3,T4,T5)と、データ格納部43に記録されている各観測時刻Tでの移動体の位置Pdcm,t(t=T1,T2,T3,T4,T5)とを照合する。
即ち、移動体識別部44は、N個の移動体について、上記の式(3)に示すように、観測時刻T毎に、識別対象の移動体の位置Pdcm,tとの差分ΔPn,t(n=1,2,3,・・・,N:t=T1,T2,T3,T4,T5)を算出し、上記の式(4)に示すように、位置の差分ΔPn,tの累積値Σ(ΔPn)を算出する。
Here, for convenience of explanation, it is assumed that the position P kno at each time T1, T2, T3,..., The luminance L kno and the color C kno are stored in the
Similar to the mobile
That is, as shown in the above equation (3), the moving
移動体識別部44は、N個の移動体について、位置の差分ΔPn,tの累積値Σ(ΔPn)を算出すると、N個の移動体の中で、その累積値Σ(ΔPn)が事前に設定されている閾値Th1以下の移動体を特定する。この閾値Th1は1以上で(N−1)以下の任意の値である。
移動体識別部44は、累積値Σ(ΔPn)が閾値Th1以下の移動体が1個であれば、その移動体が識別対象の移動体である旨を示す識別結果を出力するが、累積値Σ(ΔPn)が閾値Th以下の移動体がM個(Mは2以上でN以下)あれば、上記の式(5)に示すように、M個の移動体について、観測時刻T毎に、識別対象の移動体の輝度Ldcm,tとの差分ΔLm,t(m=1,2,・・・,M:t=T1,T2,T3,T4,T5)を算出し、上記の式(6)に示すように、輝度の差分ΔLm,tの累積値Σ(ΔLm)を算出する。
When the moving
The mobile
移動体識別部44は、M個の移動体について、輝度の差分ΔLm,tの累積値Σ(ΔLm)を算出すると、M個の移動体の中で、その累積値Σ(ΔLm)が事前に設定されている閾値Th2以下の移動体を特定する。この閾値Th2は1以上で(M−1)以下の任意の値である。
移動体識別部44は、累積値Σ(ΔLm)が閾値Th2以下の移動体が1個であれば、その移動体が識別対象の移動体である旨を示す識別結果を出力するが、累積値Σ(ΔLm)が閾値Th2以下の移動体がK個(Kは2以上でM以下)あれば、1つの観測時間帯に対応する観測時刻T毎に、識別対象の移動体の色Cdcmの成分(U成分の光量、B成分の光量、V成分の光量、R成分の光量、I成分の光量)を比較して、特徴的な色成分を特定する。
また、K個の移動体について、観測時刻T毎に、データベース41に記憶されている色Cknoの成分(U成分の光量、B成分の光量、V成分の光量、R成分の光量、I成分の光量)を比較して、特徴的な色成分を特定する。
例えば、特徴的な色成分として、最も光量が大きな成分と、最も光量が小さな成分とを特定する。
ここで、移動体の外装材が太陽電池パネル(Solar panel)であれば、図5に示すように、最も光量が大きな成分がU成分で、最も光量が小さな成分がR成分である。
また、移動体の外装材が多層断熱材(MLI)であれば、最も光量が大きな成分がI成分で、最も光量が小さな成分がB成分である。
When the moving
The mobile
In addition, for K moving objects , the component of color C kno stored in the
For example, as a characteristic color component, a component with the largest light quantity and a component with the smallest light quantity are specified.
Here, if the exterior material of the moving body is a solar cell panel (Solar panel), as shown in FIG. 5, the component with the largest light quantity is the U component, and the component with the smallest light quantity is the R component.
In addition, if the exterior material of the moving body is a multilayer heat insulating material (MLI), the component with the largest light quantity is the I component, and the component with the smallest light quantity is the B component.
移動体識別部44は、識別対象の移動体及びK個の移動体の特徴的な色成分を特定すると、識別対象の移動体の色CdcmとK個の移動体の色Cknoとを照合する。
即ち、移動体識別部44は、K個の移動体の中で、特徴的な色成分が識別対象の移動体と同じ移動体を特定する。
このとき、特定した移動体の特徴的な色成分が、例えば、最も光量が大きな成分がU成分で、最も光量が小さな成分がR成分であれば、識別対象の移動体が、外装材が太陽電池パネル(Solar panel)の移動体であると識別される。また、最も光量が大きな成分がI成分で、最も光量が小さな成分がB成分であれば、識別対象の移動体が、外装材が多層断熱材(MLI)の移動体であると識別される。
When the mobile
That is, the mobile
At this time, if the characteristic color component of the identified moving object is, for example, the component with the largest light quantity is the U component and the component with the smallest light quantity is the R component, the moving object to be identified and the exterior material are the sun It is identified as a mobile of a battery panel (Solar panel). If the component with the largest amount of light is the I component and the component with the smallest amount of light is the B component, the moving object to be identified is identified as the moving member of the multi-layer heat insulating material (MLI).
この実施の形態2では、移動体の特徴的な色成分として、最も光量が大きな成分と、最も光量が小さな成分とを特定する例を示しているが、これに限るものではなく、例えば、U成分の光量、B成分の光量、V成分の光量、R成分の光量及びI成分の光量の大小関係を特定するようにしてもよい。
例えば、移動体の外装材が多層断熱材(MLI)であれば、図5に示すように、B成分の光量<U成分の光量<V成分の光量<R成分の光量<I成分の光量となる。
In the second embodiment, an example in which the component with the largest amount of light and the component with the smallest amount of light are specified as the characteristic color components of the moving body is shown. However, the present invention is not limited to this. The magnitude relationship between the light quantity of the component, the light quantity of the B component, the light quantity of the V component, the light quantity of the R component, and the light quantity of the I component may be specified.
For example, if the exterior material of the moving body is a multilayer heat insulating material (MLI), as shown in FIG. 5, the light amount of B component <light amount of U component <light amount of V component <light amount of R component <light amount of I component <I component Become.
以上で明らかなように、この実施の形態2によれば、移動体識別部44が、データ格納部43に記録されている光の波長成分及び輝度から識別対象の移動体の色を特定し、データベース41に記憶されている複数の移動体に関する各時刻での位置、輝度及び色と、データ格納部43に記録されている移動体の位置及び輝度並びに特定した色とを照合し、位置、輝度及び色の照合結果から識別対象の移動体を識別するように構成したので、上記実施の形態1と同様に、移動体の放射光又は反射光の輝度が小さい時間帯でも、移動体を識別することができる効果を奏する。
また、移動体の色を照合対象に含めて、位置、輝度及び色の照合結果から移動体を識別するようにしているので、上記実施の形態1よりも、移動体の識別精度を高めることができる。
As apparent from the above, according to the second embodiment, the moving
In addition, since the color of the moving object is included in the object to be matched and the moving object is identified from the matching result of the position, the brightness and the color, the identification accuracy of the moving object can be improved more than in the first embodiment. it can.
実施の形態3.
上記実施の形態2では、移動体の色を照合対象に含めて、位置、輝度及び色の照合結果から移動体を識別しているものを示したが、移動体の色差、即ち、光の波長間の輝度の差分である色差を照合対象に含めて、位置、輝度及び色差の照合結果から移動体を識別するようにしてもよい。
Third Embodiment
In the second embodiment described above, the color of the moving object is included in the matching object, and the moving object is identified from the matching result of the position, brightness and color. However, the color difference of the moving object, that is, the wavelength of light The moving object may be identified from the comparison result of the position, the brightness and the color difference, including the color difference which is the difference of the brightness between them in the comparison object.
この実施の形態3の移動体識別装置の構成図は、上記実施の形態2と同様の図7であるものとする。
ただし、データベース41に記憶されているものは、移動体の色Cknoではなく、移動体の色差ΔCknoである。
具体的には、例えば、BバンドとVバンド間の輝度の差分、即ち、B成分の光量とV成分の光量との差分ΔCkno,(B−V)と、RバンドとIバンド間の輝度の差分、即ち、R成分の光量とI成分の光量との差分ΔCkno,(R−I)とがデータベース41に記憶されている。
図5に示すように、例えば、移動体の外装材が多層断熱材(MLI)であれば、V成分の光量がB成分の光量より大きく、R成分の光量とI成分の光量との差分ΔCkno,(R−I)が小さいという特徴がある。
また、移動体の外装材が太陽電池パネル(Solar panel)であれば、V成分の光量がB成分の光量より小さく、R成分の光量とI成分の光量との差分ΔCkno,(R−I)が、外装材が多層断熱材(MLI)の場合より大きいという特徴がある。
The block diagram of the mobile unit identification device of the third embodiment is the same as that of the second embodiment shown in FIG.
However, what is stored in the
Specifically, for example, the difference in luminance between the B band and the V band, that is, the difference ΔC kno, (B−V) between the light amount of the B component and the light amount of the V component, and the luminance between the R band and the I band A difference ΔC kno, (R−I) between the light amount of the R component and the light amount of the I component is stored in the
As shown in FIG. 5, for example, if the exterior material of the moving body is a multilayer heat insulating material (MLI), the light amount of the V component is larger than the light amount of the B component, and the difference ΔC between the light amount of the R component and the light amount of the I component There is a feature that kno and (RI) are small.
Also, if the exterior material of the moving body is a solar cell panel (Solar panel), the light amount of the V component is smaller than the light amount of the B component, and the difference ΔC kno between the light amount of the R component and the light amount of the I component ) is a feature that the outer package is greater than the case of a multi-layer insulation material (MLI).
移動体識別部44は、上記実施の形態2と同様に、位置及び輝度を照合して、識別対象の移動体の種類を絞り込み、累積値Σ(ΔLm)が閾値Th2以下の移動体がK個(Kは2以上でM以下)あれば、1つの観測時間帯に対応する観測時刻T毎に、識別対象の移動体の色差ΔCdcmを特定する。即ち、識別対象の移動体について、B成分の光量とV成分の光量との差分ΔCdcm,(B−V)を特定するとともに、R成分の光量とI成分の光量との差分ΔCdcm,(R−I)を特定する。
As in the second embodiment, the mobile
移動体識別部44は、識別対象の移動体及びK個の移動体について色差を特定すると、識別対象の移動体の色差ΔCdcmとK個の移動体の色差ΔCknoとを照合する。
即ち、移動体識別部44は、K個の移動体の中で、色差の特徴が識別対象の移動体と同じ移動体を特定する。
このとき、特定した移動体の色差の特徴として、例えば、V成分の光量がB成分の光量より大きく、R成分の光量とI成分の光量との差分ΔCkno,(R−I)が小さいという特徴がある場合、外装材が多層断熱材(MLI)の移動体であると識別される。また、特定した移動体の色差の特徴として、V成分の光量がB成分の光量より小さく、R成分の光量とI成分の光量との差分ΔCkno,(R−I)が、外装材が多層断熱材(MLI)の場合より大きいという特徴がある場合、外装材が太陽電池パネル(Solar panel)の移動体であると識別される。
When the mobile
That is, the mobile
At this time, for example, the light amount of the V component is larger than the light amount of the B component, and the difference ΔC kno, (R−I) between the light amount of the R component and the light amount of the I component is small. If characterized, the sheathing material is identified as a multi-layer insulation (MLI) mobile. Further, as a feature of the color difference of the specified moving body, the light quantity of the V component is smaller than the light quantity of the B component, and the difference ΔC kno, (R−I) between the light quantity of the R component and the light quantity of the I component If the insulation material (MLI) is characterized by being larger than the insulation material (MLI), the covering material is identified as a mobile of a solar panel.
以上で明らかなように、この実施の形態3によれば、移動体識別部44が、データ格納部43に記録されている光の波長及び輝度から識別対象の移動体の色差を特定し、データベース41に記憶されている複数の移動体に関する各時刻での位置、輝度及び色差と、データ格納部43に記録されている移動体の位置及び輝度並びに特定した色差とを照合し、位置、輝度及び色差の照合結果から識別対象の移動体を識別するように構成したので、上記実施の形態1と同様に、移動体の放射光又は反射光の輝度が小さい時間帯でも、移動体を識別することができる効果を奏する。
また、移動体の色差を照合対象に含めて、位置、輝度及び色差の照合結果から移動体を識別するようにしているので、上記実施の形態1よりも、移動体の識別精度を高めることができる。
As apparent from the above, according to the third embodiment, the moving
In addition, since the color difference of the moving object is included in the check target and the moving object is identified from the comparison result of the position, the luminance and the color difference, the identification accuracy of the moving object can be improved compared to the first embodiment. it can.
この実施の形態3では、移動体の色差ΔCknoとして、B成分の光量とV成分の光量との差分ΔCkno,(B−V)と、R成分の光量とI成分の光量との差分ΔCkno,(R−I)とがデータベース41に記憶されており、差分ΔCkno,(B−V)と差分ΔCkno,(R−I)を照合に用いる例を示しているが、照合に用いる差分は、差分ΔCkno,(B−V)と差分ΔCkno,(R−I)に限るものではない。
In the third embodiment, the difference ΔC kno, (B−V) between the light quantity of the B component and the light quantity of the V component as the color difference ΔC kno of the moving body and the difference ΔC between the light quantity of the R component and the light quantity of the I component Although kno and (R-I) are stored in the
また、移動体の色と、移動体の色差との双方を照合対象に含めて、位置、輝度、色及び色差の照合結果から移動体を識別するようにしてもよい。 In addition, both the color of the moving object and the color difference of the moving object may be included in the comparison target, and the moving object may be identified from the comparison result of the position, brightness, color and color difference.
実施の形態4.
上記実施の形態3では、光透過部3が複数の波長フィルタを順番に使用し、光検出器4が光透過部3を透過してきた光を検出して、移動体が映っている光強度画像を撮像するものを示したが、光透過部51が透過する光の波長と反射する光の波長が異なる分光フィルタを有し、光検出器4が光透過部51の分光フィルタを透過してきた光を検出して、移動体が映っている光強度画像を撮像する第1の光検出回路と、その分光フィルタにより反射された光を検出して、移動体が映っている光強度画像を撮像する第2の光検出回路とを備えるようにしてもよい。
Fourth Embodiment
In the third embodiment, the light transmitting unit 3 uses a plurality of wavelength filters in order, and the light detector 4 detects the light transmitted through the light transmitting unit 3 to obtain a light intensity image in which the movable body is shown. Light having a spectral filter in which the wavelength of light transmitted by the
図8はこの発明の実施の形態4による移動体識別装置を示す構成図であり、図8おいて、図7と同一符号は同一または相当部分を示すので説明を省略する。
光透過部51は結像光学系1と光検出器4の間の光路に配置されており、1つの分光フィルタで構成されている。この分光フィルタはビームスプリッタに相当し、遮光部2を透過してきた光のうち、透過する光の波長と反射する光の波長が異なっている。
この実施の形態1では、光検出器4が光検出回路4aと光検出回路4bから構成されている。
光検出回路4aは例えばCCDイメージセンサやCMOSイメージセンサなどで実現されるものであり、光透過部51の分光フィルタを透過してきた光を検出して、識別対象の移動体が映っている光強度画像を撮像する第1の光検出回路である。
光検出回路4bは例えばCCDイメージセンサやCMOSイメージセンサなどで実現されるものであり、光透過部51の分光フィルタに反射された光を検出して、識別対象の移動体が映っている光強度画像を撮像する第2の光検出回路である。
8 is a block diagram showing a mobile unit identification apparatus according to a fourth embodiment of the present invention. In FIG. 8, the same reference numerals as those in FIG.
The
In the first embodiment, the light detector 4 is composed of a light detection circuit 4a and a
The light detection circuit 4a is realized by, for example, a CCD image sensor or a CMOS image sensor, detects the light transmitted through the spectral filter of the
The
減算器52は光検出回路4aにより撮像された光強度画像から光検出回路4bにより撮像された光強度画像を減算することで、それらの光強度画像に映っている識別対象の移動体の色差、即ち、光透過部51の分光フィルタを透過してきた光の波長成分の輝度と、光透過部51の分光フィルタに反射された光の波長成分の輝度との差分である色差を求め、識別対象の移動体の色差を記録処理部54に出力する。
The
演算装置6は位置輝度算出部53、記録処理部54、データ格納部55及び移動体識別部56を備えており、各種の演算処理等を実施する。
位置輝度算出部53は例えばCPUを実装している半導体集積回路、あるいは、FPGAのようなプログラム基板で構成されている位置輝度算出処理回路21で実現されるものであり、光検出回路4a,4bにより撮像された光強度画像から移動体の位置及び輝度を算出する処理を実施する。
The
The position
記録処理部54は例えば図2の記録処理回路22で実現されるものであり、観測時刻Tと一緒に、位置輝度算出部53により算出された移動体の位置及び輝度をデータ格納部55に記録するとともに、減算器52から出力された移動体の色差をデータ格納部55に記録する処理を実施する。
データ格納部55は例えば図2の記憶装置23で実現されるものであり、移動体の位置、輝度及び色差を記録する。なお、記録処理部54及びデータ格納部55から記録部が構成されている。
The
The
移動体識別部56は例えば図2の移動体識別処理回路24で実現されるものであり、データベース41に記憶されている複数の移動体に関する各時刻での位置、輝度及び色差と、データ格納部55に記録されている移動体の位置、輝度及び色差とを照合し、位置、輝度及び色差の照合結果から当該移動体を識別する処理を実施する。
The moving
図8では、移動体識別装置における演算装置6の構成要素である位置輝度算出部53、記録処理部54、データ格納部55及び移動体識別部56のそれぞれが専用のハードウェアで構成されているものを想定しているが、演算装置6がコンピュータで構成されているものであってもよい。
移動体識別装置の演算装置6がコンピュータで構成される場合、データ格納部55を図3に示すコンピュータのメモリ31上に構成するとともに、位置輝度算出部53、記録処理部54及び移動体識別部56の処理内容を記述しているプログラムをメモリ31に格納し、図3に示すコンピュータのプロセッサ32がメモリ31に格納されているプログラムを実行するようにすればよい。
In FIG. 8, the
When the
次に動作について説明する。
光透過部51は、図7の光透過部3と同様に、結像光学系1と光検出器4の間の光路に配置されているが、図7の光透過部3と異なり、複数の波長フィルタを順番に使用するものではなく、常に、1つの分光フィルタを使用する。
このため、上記実施の形態1〜3では、遮光部2が、1つの観測時間帯において、光透過部3が有するフィルタ数分だけ、シャッターの開閉を繰り返し実施していたが、この実施の形態4では、遮光部2が、1つの観測時間帯において、1回だけシャッターの開閉を行う。
また、上記実施の形態1〜3では、光検出器4が、1つの観測時間帯において、光透過部3が有するフィルタ数分だけ、光強度画像の撮像を行っていたが、この実施の形態4では、光検出器4が有する光検出回路4a,4bが、1つの観測時間帯において、1回だけ光強度画像の撮像を行う。
Next, the operation will be described.
The
Therefore, in the first to third embodiments, the
In the first to third embodiments, the light detector 4 captures light intensity images for the number of filters included in the light transmission unit 3 in one observation time zone. In 4, the
制御装置11は、上記実施の形態3と同様に、結像光学系1が識別対象である移動体の放射光又は反射光を結像することができるようにするために、結像光学系1の指向方向を駆動装置12に指示する。
駆動装置12は、制御装置11から結像光学系1の指向方向が指示されると、自己の回転ステージに付加されているモータ等を駆動することで、その指向方向に結像光学系1を向ける。
結像光学系1は、識別対象の移動体の放射光又は反射光が視野の範囲内に入ると、上記実施の形態3と同様に、その移動体の放射光又は反射光を結像する。
As in the third embodiment, in order to enable the imaging
When the
The imaging
制御装置11は、シャッターの開閉時刻を遮光部2に指示する。
この実施の形態4では、光検出回路4a,4bが、1つの観測時間帯において、1回だけ光強度画像の撮像を行うため、制御装置11が、1つの観測時間帯において、1回だけシャッターの開閉時刻を遮光部2に指示している。
遮光部2は、制御装置11による開閉時刻にしたがって結像光学系1により結像された光の遮断と透過を行う。
The control device 11 instructs the
In the fourth embodiment, since the
The
光透過部3は、遮光部2を透過してきた光のうち、透過する光の波長と反射する光の波長が異なる分光フィルタを有しており、その分光フィルタが遮光部2を透過してきた光の一部を透過し、その透過した光の波長と異なる波長の光を反射する。
The light transmitting portion 3 has a spectral filter in which the wavelength of the light to be transmitted and the wavelength of the light to be reflected are different among the light transmitted through the
制御装置11は、光強度画像の撮像時刻を光検出回路4a,4bに指示する。
光検出回路4a,4bによる光強度画像の撮像時刻は、遮光部2によるシャッターの開閉時刻と同期している。
光検出回路4aは、制御装置11により指示された撮像時刻に、光透過部3の分光フィルタを透過してきた光を検出して、識別対象の移動体が映っている光強度画像を撮像する。
光検出回路4bは、制御装置11により指示された撮像時刻に、光透過部51の分光フィルタに反射された光を検出して、識別対象の移動体が映っている光強度画像を撮像する。
これにより、2つの光強度画像が同時刻に撮像される。
The controller 11 instructs the
The imaging time of the light intensity image by the
The light detection circuit 4a detects the light transmitted through the spectral filter of the light transmission unit 3 at the imaging time indicated by the control device 11, and picks up a light intensity image in which the moving object to be identified is shown.
The
Thereby, two light intensity images are captured at the same time.
減算器52は、光検出回路4a,4bが光強度画像を撮像すると、光検出回路4aにより撮像された光強度画像から光検出回路4bにより撮像された光強度画像を減算することで、それらの光強度画像に映っている識別対象の移動体の色差ΔCdcm、即ち、光透過部51の分光フィルタを透過してきた光の波長成分の輝度と、光透過部51の分光フィルタに反射された光の波長成分の輝度との差分である色差を求め、識別対象の移動体の色差ΔCdcmを記録処理部54に出力する。
The
演算装置6の位置輝度算出部53は、光検出回路4a,4bが光強度画像を撮像すると、各々の光強度画像上での移動体の位置として、各々の光強度画像内での移動体の位置座標を特定する。
即ち、位置輝度算出部53は、各々の光強度画像内で画素値が閾値以上の画素が集まっている画素群である点像(明点)が移動体を表しているものと判断して、その点像の重心位置を算出する。
When the
That is, the position
この実施の形態4でも、上記実施の形態3と同様に、移動体の外装材として使用される材料が、分光反射率の波長依存性を有する材料、例えば、太陽電池パネル(Solar panel)や多層断熱材(MLI)であるものとする。
光透過部3の分光フィルタを透過する光の波長と反射する光の波長が異なるため、光検出回路4aが検出する光の波長と、光検出回路4bが検出する光の波長とが異なり、光検出回路4aにより撮像された光強度画像上での移動体の輝度と、光検出回路4bにより撮像された光強度画像上での移動体の輝度とが異なる。
これに対して、移動体の周囲に発生するノイズは、分光反射率の波長依存性がないので、光検出回路4aにより撮像された光強度画像上でのノイズの輝度と、光検出回路4bにより撮像された光強度画像上での当該ノイズの輝度とは略一定である。
Also in the fourth embodiment, as in the third embodiment, the material used as the exterior material of the movable body is a material having wavelength dependency of spectral reflectance, for example, a solar cell panel (Solar panel) or a multilayer It shall be a heat insulating material (MLI).
Since the wavelength of light transmitted through the spectral filter of the light transmission unit 3 is different from the wavelength of light reflected, the wavelength of light detected by the light detection circuit 4a is different from the wavelength of light detected by the
On the other hand, since the noise generated around the moving body does not have the wavelength dependency of the spectral reflectance, the luminance of the noise on the light intensity image captured by the light detection circuit 4a and the
したがって、位置輝度算出部53では、各々の光強度画像内での移動体の位置座標を特定する際、光検出回路4aにより撮像された光強度画像上での光の輝度と、光検出回路4bにより撮像された光強度画像上での光の輝度とが異なっているものが、移動体の反射光等の輝度であると判断できるため移動体と識別できる。他方、光強度画像上での光の輝度と、光検出回路4bにより撮像された光強度画像上での光の輝度とが略一定であるものは、移動体ではなくノイズと判断できるため、誤検出を防ぐことができる。
これにより、光強度画像からノイズを除外することができるため、仮に、移動体の反射光が暗い場合でも、光強度画像内での移動体正確に特定し、その移動体の位置座標を算出することができる。
Therefore, when specifying the position coordinates of the moving object in each light intensity image in the position
Thereby, since noise can be excluded from the light intensity image, even if the reflected light of the moving object is dark, the moving object in the light intensity image is accurately identified, and the position coordinates of the moving object are calculated. be able to.
ここでは、光強度画像上での移動体の位置として、広がりを持っている点像の重心位置を算出する例を示しているが、これに限るものではなく、例えば、光強度画像を示す画像データをガウス関数やsinc関数などとフィッティングすることで、光強度画像上での移動体の位置を算出するようにしてもよい。
なお、光強度画像上での移動体の位置は、天球座標上の位置に対応するため、赤経や赤緯、あるいは、方位角や仰角などの角度に対応して表すことができる。
Here, an example in which the barycentric position of a point image having a spread is calculated as the position of the movable body on the light intensity image is shown, but the present invention is not limited thereto. For example, an image showing a light intensity image The position of the moving object on the light intensity image may be calculated by fitting the data with a Gaussian function, sinc function or the like.
In addition, since the position of the moving body on the light intensity image corresponds to the position on the celestial sphere coordinates, it can be represented corresponding to the right angle, the declination, or an angle such as an azimuth angle or an elevation angle.
位置輝度算出部53は、各々の光強度画像上での移動体の位置を求めると、図7の位置輝度算出部7と同様に、その光強度画像上での移動体の輝度Ldcmとして、単位時間当りの移動体の光量を求める。
位置輝度算出部53は、光強度画像上での移動体の輝度Ldcmを算出すると、図7の位置輝度算出部7と同様に、その光強度画像上での移動体の位置と、制御装置11から出力された結像光学系1の指向方向及び本装置である移動体識別装置の位置とから、天球座標上での移動体の位置(Px,Py)であるPdcmを算出する。
When the position
When the position
演算装置6の記録処理部54は、位置輝度算出部7が天球座標上での移動体の位置Pdcm及び輝度Ldcmを算出すると、観測時刻Tと一緒に、その移動体の位置Pdcm及び輝度Ldcmをデータ格納部55に記録する。
また、記録処理部54は、減算器52から出力された移動体の色差ΔCdcmをデータ格納部55に記録する。
Also, the
演算装置6の移動体識別部56は、データベース41に記憶されている複数の移動体に関する各時刻での位置Pkno、輝度Lkno及び色差ΔCknoと、データ格納部55に記録されている移動体の位置Pdcm、輝度Ldcm及び色差ΔCdcmとを照合し、位置、輝度及び色差の照合結果から当該移動体を識別する。
移動体識別部56による位置、輝度及び色差の照合処理は、上記実施の形態3における移動体識別部44の照合処理と同様であるため詳細な説明を省略する。
The moving
The collation processing of the position, luminance and color difference by the
以上で明らかなように、この実施の形態4によれば、移動体識別部56が、データベース41に記憶されている複数の移動体に関する各時刻での位置、輝度及び色差と、データ格納部55に記録されている移動体の位置、輝度及び色差とを照合し、位置、輝度及び色差の照合結果から識別対象の移動体を識別するように構成したので、上記実施の形態1と同様に、移動体の放射光又は反射光の輝度が小さい時間帯でも、移動体を識別することができる効果を奏する。
また、移動体の色差を照合対象に含めて、位置、輝度及び色差の照合結果から移動体を識別するようにしているので、上記実施の形態1よりも、移動体の識別精度を高めることができる。
As is apparent from the above, according to the fourth embodiment, the mobile
In addition, since the color difference of the moving object is included in the check target and the moving object is identified from the comparison result of the position, the luminance and the color difference, the identification accuracy of the moving object can be improved compared to the first embodiment. it can.
また、この実施の形態4によれば、光透過部51が透過する光の波長と反射する光の
波長が異なる分光フィルタを有し、光検出器4が光透過部51の分光フィルタを透過してきた光を検出して、移動体が映っている光強度画像を撮像する光検出回路4aと、その分光フィルタにより反射された光を検出して、移動体が映っている光強度画像を撮像する光検出回路4bとを備えるように構成したので、1つの観測時間帯において、シャッターの開閉や光強度画像の撮像を1回だけ行えばよく、上記実施の形態1よりも、制御構成の簡略化を図ることができる。
Further, according to the fourth embodiment, the
この実施の形態4では、減算器52が演算装置6の外部に設けられているものを示しているが、演算装置6が、減算器52と同様の減算処理を実施する減算部を実装するようにしてもよい。
In the fourth embodiment, although the
上記実施の形態1〜4では、移動体を識別するものを示しているが、位置輝度算出部7,53により算出された移動体の位置及び輝度や、移動体識別部44により特定された色又は色差、減算器52により算出された色差などをデータベース5,41に蓄積し、次回以降の移動体の識別処理で、その蓄積した位置、輝度、色や色差を利用するようにしてもよい。
In the first to fourth embodiments described above, the one that identifies the moving object is shown, but the position and the brightness of the moving object calculated by the position
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the scope of the invention, the present invention allows free combination of each embodiment, or modification of any component of each embodiment, or omission of any component in each embodiment. .
1 結像光学系、2 遮光部、3 光透過部、4 光検出器、4a 光検出回路(第1の光検出回路)、4b 光検出回路(第2の光検出回路)、5 データベース、6 演算装置、7 位置輝度算出部、8 記録処理部(記録部)、9 データ格納部(記録部)、10 移動体識別部、11 制御装置、12 駆動装置、21 位置輝度算出処理回路、22 記録処理回路、23 記憶装置、24 移動体識別処理回路、31 メモリ、32 プロセッサ、41 データベース、42 記録処理部(記録部)、43 データ格納部(記録部)、44 移動体識別部、51 光透過部、52 減算器、53 位置輝度算出部、54 記録処理部(記録部)、55 データ格納部(記録部)、56 移動体識別部。
DESCRIPTION OF
Claims (15)
前記結像光学系により結像された光を検出して、前記移動体が映っている光強度画像を撮像する光検出器と、
前記光検出器により撮像された光強度画像から前記移動体の位置及び輝度を算出する位置輝度算出部と、
前記位置輝度算出部により移動体の位置及び輝度が算出される毎に、時刻とともに前記移動体の位置及び輝度を記録する記録部と、
軌道が既知である複数の移動体に関する各時刻での位置及び輝度を記憶しているデータベースと、
前記データベースに記憶されている複数の移動体に関する各時刻での位置及び輝度と、前記記録部により記録されている時刻、移動体の位置及び輝度とを照合し、時刻、位置及び輝度の照合結果から識別対象の移動体を識別する移動体識別部と
を備えた移動体識別装置。 An imaging optical system for imaging emitted light or reflected light of a moving object to be identified;
A light detector that detects light imaged by the imaging optical system and picks up a light intensity image on which the movable body is reflected;
A position brightness calculator configured to calculate the position and the brightness of the movable body from the light intensity image captured by the light detector;
A recording unit which records the position and the brightness of the moving body along with the time each time the position and the brightness of the moving body are calculated by the position brightness calculating unit;
A database storing positions and intensities at respective times with respect to a plurality of moving bodies whose trajectories are known;
The position and brightness at each time of a plurality of moving objects stored in the database are compared with the time recorded by the recording unit , the position and brightness of the moving object , and the comparison result of time, position and brightness And a mobile object identification unit for identifying a mobile object to be identified.
前記結像光学系により結像された光を検出して、前記移動体が映っている光強度画像を撮像する光検出器と、
前記光検出器により撮像された光強度画像から前記移動体の位置及び輝度を算出する位置輝度算出部と、
前記位置輝度算出部により移動体の位置及び輝度が算出される毎に、前記移動体の位置及び輝度を記録する記録部と、
軌道が既知である複数の移動体に関する各時刻での位置及び輝度を記憶しているデータベースと、
前記データベースに記憶されている複数の移動体に関する各時刻での位置及び輝度と、前記記録部により記録されている移動体の位置及び輝度とを照合し、位置及び輝度の照合結果から識別対象の移動体を識別する移動体識別部と、
透過する光の特性が異なる複数のフィルタを有し、前記複数のフィルタの中で使用するフィルタを順番に切り換えながら、当該フィルタを用いて、前記結像光学系により結像された光の一部を透過する光透過部と、を備え、
前記光検出器は、前記光透過部を透過してきた光を検出して、識別対象の移動体が映っている光強度画像を撮像する、移動体識別装置。 An imaging optical system for imaging emitted light or reflected light of a moving object to be identified;
A light detector that detects light imaged by the imaging optical system and picks up a light intensity image on which the movable body is reflected;
A position brightness calculator configured to calculate the position and the brightness of the movable body from the light intensity image captured by the light detector;
A recording unit that records the position and the luminance of the moving body whenever the position and the luminance of the moving body are calculated by the position luminance calculating unit;
A database storing positions and intensities at respective times with respect to a plurality of moving bodies whose trajectories are known;
The position and brightness at each time of a plurality of moving objects stored in the database are compared with the position and brightness of the moving object recorded by the recording unit, and the identification result is a mobile identification unit for identifying the moving body,
A part of light imaged by the imaging optical system using a plurality of filters having different characteristics of light to be transmitted and using the filters while sequentially switching the filters used among the plurality of filters and a light transmitting unit that transmits,
The mobile object identification device , wherein the light detector detects light transmitted through the light transmission part, and picks up a light intensity image in which a mobile object to be identified is shown.
前記記録部は、前記光透過部により用いられる波長フィルタが切り換えられる毎に、当該波長フィルタが透過する光の波長を記録し、
前記移動体識別部は、前記記録部により記録されている光の波長及び輝度から識別対象の移動体の色を特定し、前記データベースに記憶されている複数の移動体に関する各時刻での位置、輝度及び色と、前記記録部により記録されている移動体の位置及び輝度並びに前記特定した色とを照合し、位置、輝度及び色の照合結果から識別対象の移動体を識別することを特徴とする請求項5記載の移動体識別装置。 The database stores the position, brightness and color at each time with respect to a plurality of mobile bodies whose trajectories are known,
The recording unit records the wavelength of light transmitted by the wavelength filter each time the wavelength filter used by the light transmitting unit is switched.
The mobile object identification unit identifies the color of the mobile object to be identified from the wavelength and the brightness of the light recorded by the recording unit, and the position at each time regarding a plurality of mobile objects stored in the database, And identifying the moving object to be identified from the matching result of the position, the brightness and the color by comparing the brightness and the color with the position and the brightness of the moving object recorded by the recording unit and the specified color. The mobile object identification device according to claim 5 .
前記記録部は、前記光透過部により用いられる波長フィルタが切り換えられる毎に、当該波長フィルタが透過する光の波長を記録し、
前記移動体識別部は、前記記録部により記録されている光の波長及び輝度から識別対象の移動体の色差を特定し、前記データベースに記憶されている複数の移動体に関する各時刻での位置、輝度及び色差と、前記記録部により記録されている移動体の位置及び輝度並びに前記特定した色差とを照合し、位置、輝度及び色差の照合結果から識別対象の移動体を識別することを特徴とする請求項5記載の移動体識別装置。 The database stores color differences which are differences in position, luminance and luminance between light wavelengths at each time with respect to a plurality of mobile bodies whose orbits are known,
The recording unit records the wavelength of light transmitted by the wavelength filter each time the wavelength filter used by the light transmitting unit is switched.
The moving object identification unit identifies the color difference of the moving object to be identified from the wavelength and the brightness of the light recorded by the recording unit, and the position at each time of a plurality of moving objects stored in the database The present invention is characterized in that the moving object to be identified is identified from the comparison result of the position, the brightness and the color difference by comparing the brightness and the color difference with the position and the brightness of the moving object recorded by the recording unit and the specified color difference. The mobile object identification device according to claim 5 .
前記移動体識別部は、識別対象の移動体の色差として、BバンドとVバンド間の輝度の差分と、RバンドとIバンド間の輝度の差分とを特定することを特徴とする請求項7記載の移動体識別装置。 In the database, the difference in brightness between the B band and the V band and the difference in brightness between the R band and the I band are stored as the color difference which is the difference in brightness between the light wavelengths.
The mobile identification unit, as the color difference of the moving object to be identified, the luminance difference between the B band and V-band, claim and identifies the difference in luminance between R band and I band 7 Mobile identification device as described.
前記結像光学系により結像された光を検出して、前記移動体が映っている光強度画像を撮像する光検出器と、
前記光検出器により撮像された光強度画像から前記移動体の位置及び輝度を算出する位置輝度算出部と、
前記位置輝度算出部により移動体の位置及び輝度が算出される毎に、前記移動体の位置及び輝度を記録する記録部と、
軌道が既知である複数の移動体に関する各時刻での位置及び輝度を記憶しているデータベースと、
前記データベースに記憶されている複数の移動体に関する各時刻での位置及び輝度と、前記記録部により記録されている移動体の位置及び輝度とを照合し、位置及び輝度の照合結果から識別対象の移動体を識別する移動体識別部と、
前記結像光学系により結像された光のうち、透過する光の波長と反射する光の波長が異なる分光フィルタを有している光透過部と、を備え、
前記光検出器は、前記光透過部の分光フィルタを透過してきた光を検出して、識別対象の移動体が映っている光強度画像を撮像する第1の光検出回路と、前記分光フィルタにより反射された光を検出して、識別対象の移動体が映っている光強度画像を撮像する第2の光検出回路とから構成されている、移動体識別装置。 An imaging optical system for imaging emitted light or reflected light of a moving object to be identified;
A light detector that detects light imaged by the imaging optical system and picks up a light intensity image on which the movable body is reflected;
A position brightness calculator configured to calculate the position and the brightness of the movable body from the light intensity image captured by the light detector;
A recording unit that records the position and the luminance of the moving body whenever the position and the luminance of the moving body are calculated by the position luminance calculating unit;
A database storing positions and intensities at respective times with respect to a plurality of moving bodies whose trajectories are known;
The position and brightness at each time of a plurality of moving objects stored in the database are compared with the position and brightness of the moving object recorded by the recording unit, and the identification result is a mobile identification unit for identifying the moving body,
A light transmitting portion having a spectral filter in which the wavelength of the light to be transmitted and the wavelength of the light to be reflected among the light formed by the imaging optical system are different,
The light detector detects the light transmitted through the spectral filter of the light transmission unit, and a first light detection circuit for capturing a light intensity image in which a moving object to be identified is reflected; and the spectral filter by detecting the reflected light, that is composed of a second light detection circuit for capturing a light intensity image mobile identification object is reflected, moving body identifying device.
前記データベースには、軌道が既知である複数の移動体に関する各時刻での位置、輝度及び色差が記憶されており、
前記記録部は、前記減算器により識別対象の移動体の色差が算出される毎に、識別対象の移動体の色差を記録し、
前記移動体識別部は、前記データベースに記憶されている複数の移動体に関する各時刻での位置、輝度及び色差と、前記記録部により記録されている移動体の位置、輝度及び色差とを照合し、位置、輝度及び色差の照合結果から識別対象の移動体を識別することを特徴とする請求項9または請求項10記載の移動体識別装置。 By subtracting the light intensity image taken by the second light detection circuit from the light intensity image taken by the first light detection circuit, the difference in luminance between the wavelengths of the light of the moving object to be identified Equipped with a subtractor to calculate a certain color difference,
The database stores the position, brightness and color difference at each time with respect to a plurality of mobile bodies whose trajectories are known,
The recording unit records the color difference of the moving object to be identified each time the color difference of the moving object to be identified is calculated by the subtractor.
The mobile object identification unit collates the position, brightness and color difference at each time of a plurality of mobile objects stored in the database with the position, brightness and color difference of the mobile object recorded by the recording unit. 11. The mobile object identification apparatus according to claim 9, wherein the mobile object to be identified is identified from the collation result of the position, the brightness and the color difference.
光検出器が、前記結像光学系により結像された光を検出して、前記移動体が映っている光強度画像を撮像し、
位置輝度算出部が、前記光検出器により撮像された光強度画像から前記移動体の位置及び輝度を算出し、
記録部が、前記位置輝度算出部により移動体の位置及び輝度が算出される毎に、時刻、前記移動体の位置及び輝度を記録し、
移動体識別部が、データベースに記憶されている軌道が既知である複数の移動体に関する各時刻での位置及び輝度と、前記記録部により記録されている時刻、移動体の位置及び輝度とを照合し、時刻、位置及び輝度の照合結果から識別対象の移動体を識別する
移動体識別方法。 The imaging optical system images the emitted light or the reflected light of the moving object to be identified,
A light detector detects the light imaged by the imaging optical system, and picks up a light intensity image in which the moving body is reflected,
The position brightness calculation unit calculates the position and brightness of the moving body from the light intensity image captured by the light detector,
The recording unit records the time, the position of the moving object and the luminance each time the position luminance calculating unit calculates the position and the luminance of the moving object,
The moving body identification unit collates the position and brightness at each time of a plurality of moving bodies whose trajectories stored in the database are known, with the time recorded by the recording unit , the position and brightness of the moving body And a moving object to be identified from identification results of time, position and brightness.
光検出器が、前記結像光学系により結像された光を検出して、前記移動体が映っている光強度画像を撮像し、 A light detector detects the light imaged by the imaging optical system, and picks up a light intensity image in which the moving body is reflected,
位置輝度算出部が、前記光検出器により撮像された光強度画像から前記移動体の位置及び輝度を算出し、 The position brightness calculation unit calculates the position and brightness of the moving body from the light intensity image captured by the light detector,
記録部が、前記位置輝度算出部により移動体の位置及び輝度が算出される毎に、前記移動体の位置及び輝度を記録し、 The recording unit records the position and the luminance of the movable body every time the position and luminance calculation unit calculates the position and the luminance of the movable body,
移動体識別部が、データベースに記憶されている軌道が既知である複数の移動体に関する各時刻での位置及び輝度と、前記記録部により記録されている移動体の位置及び輝度とを照合し、位置及び輝度の照合結果から識別対象の移動体を識別し、 The mobile object identification unit collates the position and brightness at each time with respect to a plurality of mobile objects with known trajectories stored in the database with the position and brightness of the mobile object recorded by the recording unit, Identify the mobile object to be identified from the matching result of position and brightness,
光透過部が、透過する光の特性が異なる複数のフィルタを有し、前記複数のフィルタの中で使用するフィルタを順番に切り換えながら、当該フィルタを用いて、前記結像光学系により結像された光の一部を透過し、 The light transmitting portion has a plurality of filters having different characteristics of light to be transmitted, and while the filters used among the plurality of filters are switched in order, the light is imaged by the imaging optical system using the filters Transmit a portion of the
前記光検出器が、前記光透過部を透過してきた光を検出して、識別対象の移動体が映っている光強度画像を撮像する The light detector detects the light transmitted through the light transmission unit, and picks up a light intensity image in which a moving object to be identified is shown.
移動体識別方法。 Mobile identification method.
光検出器が、前記結像光学系により結像された光を検出して、前記移動体が映っている光強度画像を撮像し、 A light detector detects the light imaged by the imaging optical system, and picks up a light intensity image in which the moving body is reflected,
位置輝度算出部が、前記光検出器により撮像された光強度画像から前記移動体の位置及び輝度を算出し、 The position brightness calculation unit calculates the position and brightness of the moving body from the light intensity image captured by the light detector,
記録部が、前記位置輝度算出部により移動体の位置及び輝度が算出される毎に、前記移動体の位置及び輝度を記録し、 The recording unit records the position and the luminance of the movable body every time the position and luminance calculation unit calculates the position and the luminance of the movable body,
移動体識別部が、データベースに記憶されている軌道が既知である複数の移動体に関する各時刻での位置及び輝度と、前記記録部により記録されている移動体の位置及び輝度とを照合し、位置及び輝度の照合結果から識別対象の移動体を識別し、 The mobile object identification unit collates the position and brightness at each time with respect to a plurality of mobile objects with known trajectories stored in the database with the position and brightness of the mobile object recorded by the recording unit, Identify the mobile object to be identified from the matching result of position and brightness,
前記光検出器が、前記結像光学系により結像された光のうち、透過する光の波長と反射する光の波長が異なる分光フィルタを透過してきた光を、第1の光検出回路により検出して、識別対象の移動体が映っている光強度画像を撮像し、前記分光フィルタにより反射された光を、第2の光検出回路により検出して、識別対象の移動体が映っている光強度画像を撮像する The light detector detects, of the light imaged by the imaging optical system, the light transmitted through the spectral filter having a different wavelength of the transmitted light and the wavelength of the reflected light by the first light detection circuit. And picks up a light intensity image showing the moving object to be identified, detects the light reflected by the spectral filter by the second light detection circuit, and reflects the light on which the moving object to be identified is shown Capture an intensity image
移動体識別方法。 Mobile identification method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015197701A JP6529411B2 (en) | 2015-10-05 | 2015-10-05 | Mobile object identification device and mobile object identification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015197701A JP6529411B2 (en) | 2015-10-05 | 2015-10-05 | Mobile object identification device and mobile object identification method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017072888A JP2017072888A (en) | 2017-04-13 |
JP6529411B2 true JP6529411B2 (en) | 2019-06-12 |
Family
ID=58537644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015197701A Active JP6529411B2 (en) | 2015-10-05 | 2015-10-05 | Mobile object identification device and mobile object identification method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6529411B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020173626A (en) * | 2019-04-11 | 2020-10-22 | 三菱電機株式会社 | Satellite characteristic learning device, satellite characteristic determination device, and observation device |
JP7309640B2 (en) * | 2020-03-18 | 2023-07-18 | 株式会社東芝 | optical inspection equipment |
WO2023062765A1 (en) * | 2021-10-14 | 2023-04-20 | 三菱電機株式会社 | Shape/posture estimation device, shape/posture estimation method, and shape/posture estimation system |
CN117422757B (en) * | 2023-10-31 | 2024-05-03 | 安徽唯嵩光电科技有限公司 | Fruit and vegetable size sorting method and device, computer equipment and storage medium |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3548998B2 (en) * | 2001-01-26 | 2004-08-04 | 独立行政法人 宇宙航空研究開発機構 | Method and apparatus for automatic monitoring and detection of flying objects |
JP3475330B2 (en) * | 2001-04-13 | 2003-12-08 | 独立行政法人航空宇宙技術研究所 | Classification method of astronomical objects in astronomical observation images |
JP6344957B2 (en) * | 2014-04-15 | 2018-06-20 | 三菱重工業株式会社 | Monitoring system and monitoring method |
-
2015
- 2015-10-05 JP JP2015197701A patent/JP6529411B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017072888A (en) | 2017-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11778289B2 (en) | Multi-camera imaging systems | |
JP6463582B2 (en) | Coding localization system, method and apparatus | |
KR101784334B1 (en) | Systems and methods for measuring polarization of light in images | |
US8218013B1 (en) | Star sensing for an earth imaging sensor | |
JP6529411B2 (en) | Mobile object identification device and mobile object identification method | |
CN108645401B (en) | All-day star sensor star point extraction method based on attitude correlation image superposition | |
US10911680B2 (en) | Method and system of geolocation and attitude correction for mobile rolling shutter cameras | |
JP2019049457A (en) | Image processing apparatus and ranging device | |
US20120207401A1 (en) | Wavelength diverse scintillation reduction | |
US20180137607A1 (en) | Processing apparatus, imaging apparatus and automatic control system | |
Bachmann et al. | Micro UAV based georeferenced orthophoto generation in VIS+ NIR for precision agriculture | |
Sturzl | A lightweight single-camera polarization compass with covariance estimation | |
JP6632468B2 (en) | Moving object detecting device, observation system and moving object detecting method | |
US20200407081A1 (en) | Sensor shift for remote sensing | |
CN115035273A (en) | Vehicle-mounted panoramic double-spectrum visual enhancement system and vehicle visual enhancement method | |
Paar et al. | Vision and image processing | |
KR20230078675A (en) | Simultaneous localization and mapping using cameras capturing multiple light spectra | |
Skuljan et al. | Automated astrometric analysis of satellite observations using wide-field imaging | |
EP3830627A1 (en) | Optical open loop pointing test method using celestial bodies | |
US11994365B2 (en) | Projectile tracking and 3D traceback method | |
Denver | Motion compensation techniques for aerospace | |
Camarena | Visual/LiDAR relative navigation for space applications: autonomous systems signals and autonomy group | |
Wagner et al. | Visual odometry for the lunar analogue rover “artemis” | |
Ellis et al. | Star sensing for an earth imaging sensor | |
FR3079943A1 (en) | ELECTRONIC DEVICE AND METHOD FOR CONTROLLING A DRONE WITH TRAVELING COMPENSATION EFFECT, ASSOCIATED COMPUTER PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6529411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |