JP2021018756A - Own ship peripheral information storage device and own ship peripheral information display device - Google Patents
Own ship peripheral information storage device and own ship peripheral information display device Download PDFInfo
- Publication number
- JP2021018756A JP2021018756A JP2019135703A JP2019135703A JP2021018756A JP 2021018756 A JP2021018756 A JP 2021018756A JP 2019135703 A JP2019135703 A JP 2019135703A JP 2019135703 A JP2019135703 A JP 2019135703A JP 2021018756 A JP2021018756 A JP 2021018756A
- Authority
- JP
- Japan
- Prior art keywords
- ship
- image
- same time
- ais
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002093 peripheral effect Effects 0.000 title claims abstract description 40
- 239000002131 composite material Substances 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 abstract 1
- 238000011179 visual inspection Methods 0.000 abstract 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 13
- 238000009360 aquaculture Methods 0.000 description 8
- 244000144974 aquaculture Species 0.000 description 8
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本開示は、自船の周辺の物標を検出する技術に関する。 The present disclosure relates to a technique for detecting a target around the ship.
自船の周辺の物標を検出する技術が、特許文献１等に開示されている。特許文献１では、レーダ画像と目視景観との重畳画像を表示し、輻輳海域での操船判断を支援する。
A technique for detecting a target around the ship is disclosed in
特許文献１では、レーダ画像ではなく目視景観を用いて、小型船舶、木造船舶、落水者及び海洋生物等を検出することができる。しかし、特許文献１では、多数の船員による目視の負担を軽減することができないとともに、船舶用ドライブレコーダを実現することができない。
In
そこで、前記課題を解決するために、本開示は、レーダ画像を用いて検出することができない小型船舶、木造船舶、落水者及び海洋生物等を検出するにあたり、多数の船員による目視の負担を軽減するとともに、船舶用ドライブレコーダを実現することを目的とする。 Therefore, in order to solve the above-mentioned problems, the present disclosure reduces the visual burden on a large number of seafarers in detecting small vessels, wooden vessels, waterfallers, marine life, etc. that cannot be detected using radar images. At the same time, the purpose is to realize a marine drive recorder.
前記課題を解決するために、自船周辺の同時刻でのレーダ画像及びカメラ画像に同時刻スタンプを付与し、レーダ画像、カメラ画像及び同時刻スタンプを関連記憶する。 In order to solve the above problem, the radar image and the camera image around the own ship at the same time are given the same time stamp, and the radar image, the camera image and the same time stamp are stored in relation to each other.
具体的には、本開示は、自船周辺の同時刻でのレーダ画像及びカメラ画像を取得する画像取得部と、前記レーダ画像及び前記カメラ画像に同時刻スタンプを付与する時刻付与部と、前記レーダ画像、前記カメラ画像及び前記同時刻スタンプを関連記憶する画像記憶部と、を備えることを特徴とする自船周辺情報記憶装置である。 Specifically, the present disclosure includes an image acquisition unit that acquires a radar image and a camera image at the same time around the own ship, a time assignment unit that imparts the same time stamp to the radar image and the camera image, and the above. It is a self-ship peripheral information storage device including a radar image, the camera image, and an image storage unit that stores the same time stamp in relation to each other.
この構成によれば、レーダ画像を用いて、自船から中距離及び短距離に位置するＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ブイ及び養殖いかだ等を検出することができる。一方で、カメラ画像を用いて、自船から短距離に位置するＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ＡＩＳ非搭載船舶、ブイ、養殖いかだ、落水者及び海洋生物等を検出することができる。そして、レーダ画像及びカメラ画像を併せて、一方の短所を他方の長所で補完することができ、多数の船員による目視の負担を軽減することができる。さらに、レーダ画像及びカメラ画像に対して、同時刻スタンプを付与することにより、改竄することを防止することができ、船舶用ドライブレコーダを実現することができる。なお、ＡＩＳ秘匿船舶は、軍艦及び海賊船等であり、ＡＩＳ非搭載船舶は、小型船舶及び木造船舶等である。 According to this configuration, radar images can be used to detect AIS-equipped vessels, AIS concealed vessels, buoys, aquaculture rafts, etc. located at medium and short distances from the own vessel. On the other hand, the camera image can be used to detect AIS-equipped vessels, AIS concealed vessels, non-AIS-equipped vessels, buoys, aquaculture rafts, waterfallers, marine life, etc. located at a short distance from the own vessel. Then, the radar image and the camera image can be combined to complement one's weaknesses with the other's strengths, and the visual burden on a large number of seafarers can be reduced. Further, by adding the same time stamp to the radar image and the camera image, it is possible to prevent falsification and to realize a marine drive recorder. The AIS concealed ships are warships and pirate ships, and the ships not equipped with AIS are small ships and wooden ships.
また、本開示は、前記時刻付与部は、前記レーダ画像及び前記カメラ画像に前記同時刻スタンプを付与する時刻を、前記レーダ画像及び前記カメラ画像が前記自船で生成される時刻に同期させることを特徴とする自船周辺情報記憶装置である。 Further, in the present disclosure, the time assigning unit synchronizes the time of attaching the same time stamp to the radar image and the camera image with the time when the radar image and the camera image are generated by the own ship. It is an information storage device around the ship, which is characterized by.
この構成によれば、レーダ画像及びカメラ画像に付与する時刻スタンプを、レーダ画像及びカメラ画像の自船での生成時刻と同期させるため、レーダ画像及びカメラ画像に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。 According to this configuration, since the time stamp given to the radar image and the camera image is synchronized with the generation time of the radar image and the camera image on the own ship, the accuracy of the time stamp given to the radar image and the camera image, and thus for the ship The accuracy of the drive recorder can be improved.
また、本開示は、前記画像取得部は、さらに前記自船周辺の前記同時刻でのＡＩＳ（Ａｕｔｏｍａｔｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）情報を取得し、前記時刻付与部は、さらに前記ＡＩＳ情報に前記同時刻スタンプを付与し、前記画像記憶部は、さらに前記ＡＩＳ情報及び前記同時刻スタンプを関連記憶することを特徴とする自船周辺情報記憶装置である。 Further, in the present disclosure, the image acquisition unit further acquires AIS (Automatic Identification System) information around the ship at the same time, and the time assigning unit further attaches the same time stamp to the AIS information. The image storage unit is an information storage device around the ship, which further stores the AIS information and the same time stamp in relation to each other.
この構成によれば、ＡＩＳ情報を用いて、自船から長距離、中距離及び短距離に位置するＡＩＳ搭載船舶を検出することができる。そして、ＡＩＳ情報を併せて、一方の短所を他方の長所で補完することができ、多数の船員による目視の負担を軽減することができる。さらに、ＡＩＳ情報に対して、同時刻スタンプを付与することにより、改竄することを防止することができ、船舶用ドライブレコーダを実現することができる。さらに、他船が送信したＡＩＳ情報を用いて、自船が生成したレーダ画像及びカメラ画像の物標位置精度を保証することができる。 According to this configuration, AIS information can be used to detect AIS-equipped vessels located at long, medium and short distances from the own vessel. Then, the AIS information can be combined to supplement one's weaknesses with the other's strengths, and the visual burden on a large number of seafarers can be reduced. Further, by adding the same time stamp to the AIS information, it is possible to prevent falsification and to realize a marine drive recorder. Further, the AIS information transmitted by another ship can be used to guarantee the target position accuracy of the radar image and the camera image generated by the own ship.
また、本開示は、前記時刻付与部は、（１）前記ＡＩＳ情報が前記自船で取得された時刻と、前記レーダ画像及び前記カメラ画像の時間変化に基づいて計測された他船の進行方向及び進行速度と、前記レーダ画像、前記カメラ画像及び前記ＡＩＳ情報に基づいて計測された前記他船の位置の間のずれと、に基づいて、前記ＡＩＳ情報が前記他船で生成された時刻を計測し、（２）前記ＡＩＳ情報に付与する時刻スタンプとして、前記同時刻スタンプと比べてほぼ同時刻であるが以前の時刻である、前記ＡＩＳ情報が前記他船で生成された時刻を設定することを特徴とする自船周辺情報記憶装置である。 Further, in the present disclosure, the time assigning unit: (1) travel direction of another ship measured based on the time when the AIS information was acquired by the own ship and the time change of the radar image and the camera image. And the time when the AIS information was generated by the other ship based on the traveling speed and the deviation between the position of the other ship measured based on the radar image, the camera image and the AIS information. As the time stamp to be measured and (2) attached to the AIS information, a time at which the AIS information is generated by the other ship, which is approximately the same time as the same time stamp but is a previous time, is set. It is an information storage device around the ship, which is characterized by this.
この構成によれば、ＡＩＳ情報に付与する時刻スタンプを、同時刻スタンプと比べて少々以前の時刻であるＡＩＳ情報の他船での生成時刻と同期させるため、ＡＩＳ情報に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。 According to this configuration, the time stamp given to the AIS information is synchronized with the time of generation of the AIS information on another ship, which is a little earlier than the same time stamp, so that the accuracy of the time stamp given to the AIS information is accurate. As a result, the accuracy of marine drive recorders can be improved.
また、本開示は、前記画像取得部は、前記レーダ画像の取得先であるレーダの水平回転するアンテナに取り付けられた水平回転するカメラから、前記カメラ画像を取得することを特徴とする自船周辺情報記憶装置である。 Further, the present disclosure is characterized in that the image acquisition unit acquires the camera image from a horizontally rotating camera attached to a horizontally rotating antenna of the radar to which the radar image is acquired. It is an information storage device.
この構成によれば、カメラがレーダと同様に自船の高い位置に設置されるため、自船の死角が少なくなり、自船の近傍の小型船舶、木造船舶、落水者及び海洋生物等を検出することができる。 According to this configuration, since the camera is installed at a high position of the own ship like the radar, the blind spot of the own ship is reduced, and small vessels, wooden vessels, waterfallers, marine life, etc. in the vicinity of the own ship are detected. can do.
また、本開示は、以上に記載の自船周辺情報記憶装置から、前記同時刻スタンプと関連記憶された前記レーダ画像及び前記カメラ画像を読み出す画像読出部と、前記同時刻スタンプと関連記憶された前記自船周辺の前記同時刻での前記レーダ画像及び前記カメラ画像を重畳表示又は合成表示する画像表示部と、を備えることを特徴とする自船周辺情報表示装置である。 Further, the present disclosure includes an image reading unit that reads out the radar image and the camera image stored in association with the same time stamp from the own ship peripheral information storage device described above, and is stored in relation to the same time stamp. The own ship peripheral information display device is provided with an image display unit that superimposes or compositely displays the radar image and the camera image at the same time around the own ship.
この構成によれば、レーダ画像及びカメラ画像を重畳表示又は合成表示することができ、多数の船員による目視の負担を軽減することができる。 According to this configuration, the radar image and the camera image can be superimposed or combinedly displayed, and the visual burden on a large number of seafarers can be reduced.
また、本開示は、前記自船周辺の前記同時刻での前記レーダ画像及び前記カメラ画像の重畳表示又は合成表示において、前記レーダ画像及び前記カメラ画像のうちの一方で検出されたか両方で検出されたかに基づいて、物標の種類を識別する物標識別部、をさらに備えることを特徴とする自船周辺情報表示装置である。 Further, the present disclosure is detected in one or both of the radar image and the camera image in the superimposed display or the composite display of the radar image and the camera image at the same time around the own ship. It is an information display device around the own ship, which is further provided with a separate part for displaying an object that identifies the type of an object based on the radar.
この構成によれば、物標の種類（ＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ＡＩＳ非搭載船舶、ブイ、養殖いかだ、落水者及び海洋生物等。）を識別することができ、特に小型船舶、木造船舶、落水者及び海洋生物等を検出することができる。 According to this configuration, it is possible to identify the type of target (AIS-equipped vessel, AIS concealed vessel, AIS-non-equipped vessel, buoy, aquaculture raft, waterfaller, marine life, etc.), especially small vessel, wooden vessel. , Waterfalls and marine life can be detected.
前記課題を解決するために、自船周辺の同時刻でのカメラ画像及びＡＩＳ情報に同時刻スタンプを付与し、カメラ画像、ＡＩＳ情報及び同時刻スタンプを関連記憶する。 In order to solve the above problem, the same time stamp is added to the camera image and AIS information around the own ship at the same time, and the camera image, AIS information and the same time stamp are stored in relation to each other.
具体的には、本開示は、自船周辺の同時刻でのカメラ画像及びＡＩＳ（Ａｕｔｏｍａｔｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）情報を取得する画像取得部と、前記カメラ画像及び前記ＡＩＳ情報に同時刻スタンプを付与する時刻付与部と、前記カメラ画像、前記ＡＩＳ情報及び前記同時刻スタンプを関連記憶する画像記憶部と、を備えることを特徴とする自船周辺情報記憶装置である。 Specifically, the present disclosure describes an image acquisition unit that acquires a camera image and AIS (Automatic Authentication System) information around the ship at the same time, and a time at which the camera image and the AIS information are stamped at the same time. It is a self-ship peripheral information storage device including a camera image, an AIS information, and an image storage unit that additionally stores the same time stamp.
この構成によれば、カメラ画像を用いて、自船から短距離に位置するＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ＡＩＳ非搭載船舶、ブイ、養殖いかだ、落水者及び海洋生物等を検出することができる。一方で、ＡＩＳ情報を用いて、自船から長距離、中距離及び短距離に位置するＡＩＳ搭載船舶を検出することができる。そして、カメラ画像及びＡＩＳ情報を併せて、一方の短所を他方の長所で補完することができ、多数の船員による目視の負担を軽減することができる。さらに、カメラ画像及びＡＩＳ情報に対して、同時刻スタンプを付与することにより、改竄することを防止することができ、船舶用ドライブレコーダを実現することができる。さらに、他船が送信したＡＩＳ情報を用いて、自船が生成したカメラ画像（レーダ画像を含めてもよい。）の物標位置精度を保証することができる。なお、ＡＩＳ秘匿船舶は、軍艦及び海賊船等であり、ＡＩＳ非搭載船舶は、小型船舶及び木造船舶等である。 According to this configuration, it is possible to detect AIS-equipped vessels, AIS concealed vessels, non-AIS-equipped vessels, buoys, aquaculture rafts, waterfallers, marine life, etc. located at a short distance from the own vessel using camera images. .. On the other hand, the AIS information can be used to detect AIS-equipped vessels located at long, medium and short distances from the own vessel. Then, the camera image and the AIS information can be combined to complement one's weaknesses with the other's strengths, and the visual burden on a large number of seafarers can be reduced. Further, by adding the same time stamp to the camera image and the AIS information, it is possible to prevent falsification and realize a marine drive recorder. Further, the AIS information transmitted by the other ship can be used to guarantee the target position accuracy of the camera image (may include the radar image) generated by the own ship. The AIS concealed ships are warships and pirate ships, and the ships not equipped with AIS are small ships and wooden ships.
また、本開示は、前記時刻付与部は、前記カメラ画像に前記同時刻スタンプを付与する時刻を、前記カメラ画像が前記自船で生成される時刻に同期させることを特徴とする自船周辺情報記憶装置である。 Further, the present disclosure is characterized in that the time assigning unit synchronizes the time at which the same time stamp is attached to the camera image with the time when the camera image is generated by the own ship. It is a storage device.
この構成によれば、カメラ画像に付与する時刻スタンプを、カメラ画像の自船での生成時刻と同期させるため、カメラ画像に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。 According to this configuration, since the time stamp given to the camera image is synchronized with the generation time of the camera image on the own ship, the accuracy of the time stamp given to the camera image and the accuracy of the marine drive recorder can be improved. ..
また、本開示は、前記時刻付与部は、（１）前記ＡＩＳ情報が前記自船で取得された時刻と、前記カメラ画像の時間変化に基づいて計測された他船の進行方向及び進行速度と、前記カメラ画像及び前記ＡＩＳ情報に基づいて計測された前記他船の位置の間のずれと、に基づいて、前記ＡＩＳ情報が前記他船で生成された時刻を計測し、（２）前記ＡＩＳ情報に付与する時刻スタンプとして、前記同時刻スタンプと比べてほぼ同時刻であるが以前の時刻である、前記ＡＩＳ情報が前記他船で生成された時刻を設定することを特徴とする自船周辺情報記憶装置である。 Further, in the present disclosure, the time assigning unit includes (1) the time when the AIS information is acquired by the own ship, and the traveling direction and traveling speed of the other ship measured based on the time change of the camera image. , The time when the AIS information was generated by the other ship was measured based on the deviation between the positions of the other ship measured based on the camera image and the AIS information, and (2) the AIS. As the time stamp given to the information, the time around the own ship is set, which is substantially the same time as the same time stamp but earlier than the same time stamp, and the time when the AIS information is generated by the other ship. It is an information storage device.
この構成によれば、ＡＩＳ情報に付与する時刻スタンプを、同時刻スタンプと比べて少々以前の時刻であるＡＩＳ情報の他船での生成時刻と同期させるため、ＡＩＳ情報に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。 According to this configuration, the time stamp given to the AIS information is synchronized with the time of generation of the AIS information on another ship, which is a little earlier than the same time stamp, so that the accuracy of the time stamp given to the AIS information is accurate. As a result, the accuracy of marine drive recorders can be improved.
また、本開示は、前記画像取得部は、さらに前記自船周辺の前記同時刻でのレーダ画像を取得し、前記時刻付与部は、さらに前記レーダ画像に前記同時刻スタンプを付与し、前記画像記憶部は、さらに前記レーダ画像及び前記同時刻スタンプを関連記憶することを特徴とする自船周辺情報記憶装置である。 Further, in the present disclosure, the image acquisition unit further acquires a radar image around the own ship at the same time, and the time assignment unit further adds the same time stamp to the radar image, and the image. The storage unit is an information storage device around the ship, which further stores the radar image and the same time stamp in relation to each other.
この構成によれば、レーダ画像を用いて、自船から中距離及び短距離に位置するＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ブイ及び養殖いかだ等を検出することができる。そして、レーダ画像を併せて、一方の短所を他方の長所で補完することができ、多数の船員による目視の負担を軽減することができる。さらに、レーダ画像に対して、同時刻スタンプを付与することにより、改竄することを防止することができ、船舶用ドライブレコーダを実現することができる。 According to this configuration, radar images can be used to detect AIS-equipped vessels, AIS concealed vessels, buoys, aquaculture rafts, etc. located at medium and short distances from the own vessel. Then, the radar image can be combined to complement one's weaknesses with the other's strengths, and the visual burden on a large number of seafarers can be reduced. Further, by adding the same time stamp to the radar image, it is possible to prevent falsification and realize a marine drive recorder.
また、本開示は、前記画像取得部は、前記レーダ画像の取得先であるレーダの水平回転するアンテナに取り付けられた水平回転するカメラから、前記カメラ画像を取得することを特徴とする自船周辺情報記憶装置である。 Further, the present disclosure is characterized in that the image acquisition unit acquires the camera image from a horizontally rotating camera attached to a horizontally rotating antenna of the radar to which the radar image is acquired. It is an information storage device.
この構成によれば、カメラがレーダと同様に自船の高い位置に設置されるため、自船の死角が少なくなり、自船の近傍の小型船舶、木造船舶、落水者及び海洋生物等を検出することができる。 According to this configuration, since the camera is installed at a high position of the own ship like the radar, the blind spot of the own ship is reduced, and small vessels, wooden vessels, waterfallers, marine life, etc. in the vicinity of the own ship are detected. can do.
また、本開示は、以上に記載の自船周辺情報記憶装置から、前記同時刻スタンプと関連記憶された前記カメラ画像及び前記ＡＩＳ情報を読み出す画像読出部と、前記同時刻スタンプと関連記憶された前記自船周辺の前記同時刻での前記カメラ画像及び前記ＡＩＳ情報を重畳表示又は合成表示する画像表示部と、を備えることを特徴とする自船周辺情報表示装置である。 Further, the present disclosure includes an image reading unit for reading out the camera image and the AIS information stored in association with the same time stamp from the ship's peripheral information storage device described above, and the same time stamp and the associated storage. The ship's peripheral information display device includes an image display unit that superimposes or composites the camera image and the AIS information around the ship at the same time.
この構成によれば、カメラ画像及びＡＩＳ情報を重畳表示又は合成表示することができ、多数の船員による目視の負担を軽減することができる。 According to this configuration, the camera image and the AIS information can be superimposed or combinedly displayed, and the visual burden on a large number of seafarers can be reduced.
また、本開示は、前記自船周辺の前記同時刻での前記カメラ画像及び前記ＡＩＳ情報の重畳表示又は合成表示において、前記カメラ画像及び前記ＡＩＳ情報のうちの一方で検出されたか両方で検出されたかに基づいて、物標の種類を識別する物標識別部、をさらに備えることを特徴とする自船周辺情報表示装置である。 Further, the present disclosure is detected by one or both of the camera image and the AIS information in the superimposed display or the composite display of the camera image and the AIS information around the own ship at the same time. It is an information display device around the ship, which is further provided with a separate part for displaying an object that identifies the type of the target based on the camera.
この構成によれば、物標の種類（ＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ＡＩＳ非搭載船舶、ブイ、養殖いかだ、落水者及び海洋生物等。）を識別することができ、特に小型船舶、木造船舶、落水者及び海洋生物等を検出することができる。 According to this configuration, it is possible to identify the type of target (AIS-equipped vessel, AIS concealed vessel, AIS-non-equipped vessel, buoy, aquaculture raft, waterfaller, marine life, etc.), especially small vessel, wooden vessel. , Waterfalls and marine life can be detected.
このように、本開示は、レーダ画像を用いて検出することができない小型船舶、木造船舶、落水者及び海洋生物等を検出するにあたり、多数の船員による目視の負担を軽減するとともに、船舶用ドライブレコーダを実現することができる。 As described above, the present disclosure reduces the visual burden on a large number of seafarers in detecting small vessels, wooden vessels, waterfallers, marine organisms, etc. that cannot be detected using radar images, and drives for ships. A recorder can be realized.
添付の図面を参照して本開示の実施形態を説明する。以下に説明する実施形態は本開示の実施の例であり、本開示は以下の実施形態に制限されるものではない。 Embodiments of the present disclosure will be described with reference to the accompanying drawings. The embodiments described below are examples of the embodiments of the present disclosure, and the present disclosure is not limited to the following embodiments.
本開示の自船周辺情報表示システムの概要を図１に示す。自船Ｓの操舵室には、自船周辺情報表示システムＤが設置される。自船Ｓの高い位置には、レーダＲの水平回転アンテナが設置される。レーダＲの水平回転アンテナには、複数のカメラＣが設置される。 FIG. 1 shows an outline of the information display system around the ship of the present disclosure. In the wheelhouse of the own ship S, the own ship peripheral information display system D is installed. A horizontal rotating antenna of the radar R is installed at a high position of the own ship S. A plurality of cameras C are installed on the horizontally rotating antenna of the radar R.
複数のカメラＣは自船Ｓの高い位置に設置されるため、自船Ｓの死角が少なくなり、自船Ｓの近傍の物標Ｔ（特に、小型船舶、木造船舶、落水者及び海洋生物等。）を検出することができる。複数のカメラＣが可視光カメラであれば、昼間に自船Ｓの周辺の物標Ｔを検出することができる。複数のカメラＣが赤外線カメラであれば、夜間に自船Ｓの周辺の物標Ｔを検出することができ、温度測定で自船Ｓの周辺の生物（特に、落水者及び海洋生物等。）を検出することもできる。 Since the plurality of cameras C are installed at a high position of the own ship S, the blind spot of the own ship S is reduced, and the target T in the vicinity of the own ship S (particularly small vessels, wooden vessels, waterfallers, marine life, etc.) .) Can be detected. If the plurality of cameras C are visible light cameras, it is possible to detect the target T around the own ship S in the daytime. If the plurality of cameras C are infrared cameras, the target T around the own ship S can be detected at night, and the organisms around the own ship S (particularly, waterfallers and marine organisms, etc.) can be measured by temperature measurement. Can also be detected.
本開示の自船周辺情報表示システムの構成を図２に示す。自船周辺情報表示システムＤは、自船周辺情報記憶装置１及び自船周辺情報表示装置２を備える。自船周辺情報記憶装置１は、画像取得部１１、時刻付与部１２及び画像記憶部１３を備える。自船周辺情報表示装置２は、画像読出部２１、画像表示部２２及び物標識別部２３を備える。
FIG. 2 shows the configuration of the information display system around the ship of the present disclosure. The own ship peripheral information display system D includes the own ship peripheral
本開示の自船周辺情報記憶・表示処理の手順を図３に示す。本開示の自船周辺情報記憶処理の内容を図４に示す。本開示の自船周辺情報表示処理の内容を図５に示す。 FIG. 3 shows the procedure of the information storage / display processing around the own ship of the present disclosure. The contents of the information storage process around the ship of the present disclosure are shown in FIG. FIG. 5 shows the contents of the information display processing around the ship of the present disclosure.
まず、自船周辺情報記憶装置１について説明する。画像取得部１１は、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報を取得する（ステップＳ１）。時刻付与部１２は、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報に同時刻スタンプを付与する（ステップＳ２）。画像記憶部１３は、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報並びに同時刻スタンプを関連記憶する（ステップＳ３）。
First, the
図４の上段では、時刻Ｔ１での記憶データＭ１を示す。時刻Ｔ１での記憶データＭ１は、時刻Ｔ１でのレーダ画像Ｒ１、カメラ画像Ｃ１及びＡＩＳ情報Ａ１を備える。時刻Ｔ１でのレーダ画像Ｒ１は、時刻Ｔ１での画像情報及び時刻スタンプを備える。時刻Ｔ１でのカメラ画像Ｃ１は、時刻Ｔ１での画像情報、撮像方向（船首方向、右舷方向、船尾方向及び左舷方向等。）及び時刻スタンプを備える。時刻Ｔ１でのＡＩＳ情報Ａ１は、時刻Ｔ１での複数の他船固有情報、複数の他船位置情報及び時刻スタンプを備える。 The upper part of FIG. 4 shows the stored data M1 at the time T1. The stored data M1 at time T1 includes a radar image R1, a camera image C1 and AIS information A1 at time T1. The radar image R1 at time T1 includes image information and a time stamp at time T1. The camera image C1 at time T1 includes image information at time T1, an imaging direction (bow direction, starboard direction, stern direction, left side direction, etc.) and a time stamp. The AIS information A1 at the time T1 includes a plurality of other ship-specific information, a plurality of other ship position information, and a time stamp at the time T1.
図４の下段では、時刻Ｔｎでの記憶データＭｎを示す。時刻Ｔｎでの記憶データＭｎは、時刻Ｔｎでのレーダ画像Ｒｎ、カメラ画像Ｃｎ及びＡＩＳ情報Ａｎを備える。時刻Ｔｎでのレーダ画像Ｒｎは、時刻Ｔｎでの画像情報及び時刻スタンプを備える。時刻Ｔｎでのカメラ画像Ｃｎは、時刻Ｔｎでの画像情報、撮像方向（船首方向、右舷方向、船尾方向及び左舷方向等。）及び時刻スタンプを備える。時刻ＴｎでのＡＩＳ情報Ａｎは、時刻Ｔｎでの複数の他船固有情報、複数の他船位置情報及び時刻スタンプを備える。 The lower part of FIG. 4 shows the stored data Mn at the time Tn. The stored data Mn at the time Tn includes a radar image Rn, a camera image Cn, and AIS information An at the time Tn. The radar image Rn at the time Tn includes image information and a time stamp at the time Tn. The camera image Cn at the time Tn includes image information at the time Tn, an imaging direction (bow direction, starboard direction, stern direction, left side direction, etc.) and a time stamp. The AIS information An at the time Tn includes a plurality of other ship-specific information, a plurality of other ship position information, and a time stamp at the time Tn.
時刻スタンプは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の時計、自船Ｓの時計又は時刻認証局等によるものである。このように、レーダ画像、カメラ画像及びＡＩＳ情報に対して、同時刻スタンプを付与することにより、改竄することを防止することができ、船舶用ドライブレコーダを実現することができる。 The time stamp is a GPS (Global Positioning System) clock, a clock of the own ship S, a time certification authority, or the like. By adding the same time stamp to the radar image, the camera image, and the AIS information in this way, it is possible to prevent falsification and realize a marine drive recorder.
次に、自船周辺情報表示装置２について説明する。画像読出部２１は、自船周辺情報記憶装置１から、同時刻スタンプと関連記憶された、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報を読み出す（ステップＳ４）。画像表示部２２は、同時刻スタンプと関連記憶された、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報を重畳表示又は合成表示する（ステップＳ５）。物標識別部２３については、後述する。
Next, the own ship peripheral
図５の上段では、自船Ｓの周辺の時刻Ｔ１でのレーダ画像、カメラ画像及びＡＩＳ情報の重畳表示を示す。重畳画面ＤＳは、レーダＲのＰＰＩ（Ｐｌａｎ Ｐｏｓｉｔｉｏｎ Ｉｎｄｉｃａｔｏｒ）画面を用いて、レーダ画像で検出された物標位置Ｐ２、Ｐ３、Ｐ４、Ｐ５を丸印で示し、カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６を三角印で示し、ＡＩＳ情報で検出された物標位置Ｐ１、Ｐ２、Ｐ４を四角印で示す。 The upper part of FIG. 5 shows a superimposed display of radar images, camera images, and AIS information around the own ship S at time T1. The superimposed screen DS uses the PPI (Plan Position Indicator) screen of the radar R to indicate the target positions P2, P3, P4, and P5 detected in the radar image with circles, and the target positions detected in the camera image. P4, P5, and P6 are indicated by triangle marks, and the target positions P1, P2, and P4 detected by the AIS information are indicated by square marks.
図５の下段では、自船Ｓの周辺の時刻Ｔ１でのレーダ画像、カメラ画像及びＡＩＳ情報の合成表示を示す。重畳画面ＤＳは、レーダＲのＰＰＩ画面を用いて、レーダ画像で検出された物標位置Ｐ２、Ｐ３、Ｐ４、Ｐ５を丸印で示し、ＡＩＳ情報で検出された物標位置Ｐ１、Ｐ２、Ｐ４を四角印で示す。アラウンドビュー画面ＤＡ１、ＤＡ２、ＤＡ３、ＤＡ４は、レーダＲのＰＰＩ画面の周囲に、船首方向、右舷方向、船尾方向、左舷方向のカメラ画像を示し、カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６を三角印で示す。 The lower part of FIG. 5 shows a composite display of radar images, camera images, and AIS information around the own ship S at time T1. On the superimposed screen DS, the target positions P2, P3, P4, and P5 detected in the radar image are indicated by circles using the PPI screen of the radar R, and the target positions P1, P2, and P4 detected in the AIS information. Is indicated by a square mark. Around view screens DA1, DA2, DA3, and DA4 show camera images in the bow direction, starboard direction, stern direction, and port side around the PPI screen of the radar R, and target positions P4 and P5 detected in the camera images. , P6 are indicated by triangle marks.
カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６は、各々のカメラＣから自船Ｓの所定位置（自船Ｓの船首、右舷、船尾及び左舷等。）への距離及び方向と、各々のカメラＣから物標位置Ｐ４、Ｐ５、Ｐ６への方向と、に基づいて、測定される。このように、レーダ画像、カメラ画像及びＡＩＳ情報を併せて、一方の短所を他方の長所で補完することができ（図６から図８までを参照。）、多数の船員による目視の負担を軽減することができる。 The target positions P4, P5, and P6 detected in the camera image are the distance and direction from each camera C to the predetermined position of the own ship S (the bow, starboard, stern, left side, etc. of the own ship S), respectively. The measurement is performed based on the direction from the camera C to the target positions P4, P5, and P6. In this way, the radar image, camera image, and AIS information can be combined to complement the weaknesses of one with the strengths of the other (see FIGS. 6 to 8), reducing the visual burden on many seafarers. can do.
本開示の自船周辺物標識別処理の概要を図６に示す。本開示の自船周辺物標識別処理の内容を図７に示す。本開示の自船周辺物標識別処理の効果を図８に示す。 FIG. 6 shows an outline of the processing according to the sign of the surrounding object of the own ship of the present disclosure. FIG. 7 shows the contents of the processing according to the sign of the surrounding object of the own ship of the present disclosure. FIG. 8 shows the effect of the treatment according to the sign of the surrounding object of the own ship of the present disclosure.
物標識別部２３は、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報の重畳表示又は合成表示において、レーダ画像、カメラ画像及びＡＩＳ情報のうちの一つ、二つ又は全てで検出されたかに基づいて、物標Ｔの種類を識別する。
The object sign
図６では、自船Ｓの周辺の物標Ｔの識別の方針を示す。レーダ画像を用いて、自船Ｓから相対的に中距離及び短距離に位置する、ＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ブイ及び養殖いかだ等を検出することができる。カメラ画像を用いて、自船Ｓから相対的に短距離に位置する、ＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ＡＩＳ非搭載船舶、ブイ、養殖いかだ、落水者及び海洋生物等を検出することができる。ＡＩＳ情報を用いて、自船Ｓから相対的に長距離、中距離及び短距離に位置する、ＡＩＳ搭載船舶を検出することができる。なお、ＡＩＳ秘匿船舶は、軍艦及び海賊船等であり、ＡＩＳ非搭載船舶は、小型船舶及び木造船舶等である。 FIG. 6 shows a policy for identifying the target T around the own ship S. Radar images can be used to detect AIS-equipped vessels, AIS concealed vessels, buoys, aquaculture rafts, etc., which are located relatively medium and short distances from the own vessel S. Using the camera image, it is possible to detect AIS-equipped vessels, AIS concealed vessels, non-AIS-equipped vessels, buoys, aquaculture rafts, waterfallers, marine organisms, etc., which are located relatively short distance from the own vessel S. The AIS information can be used to detect AIS-equipped vessels located relatively long, medium and short distances from the own vessel S. The AIS concealed ships are warships and pirate ships, and the ships not equipped with AIS are small ships and wooden ships.
図７から図１０まででは、説明を簡潔にするため、（１）レーダ画像を用いて、自船Ｓから相対的に中距離及び短距離に位置する、ＡＩＳ搭載船舶及びＡＩＳ秘匿船舶を検出し、（２）カメラ画像を用いて、自船Ｓから相対的に短距離に位置する、ＡＩＳ搭載船舶、ＡＩＳ秘匿船舶及びＡＩＳ非搭載船舶を検出し、（３）ＡＩＳ情報を用いて、自船Ｓから相対的に長距離、中距離及び短距離に位置する、ＡＩＳ搭載船舶を検出する、とする。 In FIGS. 7 to 10, for the sake of brevity, (1) AIS-equipped vessels and AIS concealed vessels located relatively medium and short distances from the own vessel S are detected using radar images. , (2) Detect AIS-equipped vessels, AIS concealed vessels and non-AIS-equipped vessels located relatively short distance from own vessel S using camera images, and (3) own vessel using AIS information. It is assumed that an AIS-equipped vessel located relatively long, medium and short distances from S is detected.
図７の上段では、自船Ｓの周辺の時刻Ｔ１での物標Ｔの識別の結果を示す。重畳画面ＤＳは、レーダＲのＰＰＩ画面を用いて、レーダ画像で検出された物標位置Ｐ２、Ｐ３、Ｐ４、Ｐ５を丸印で示し、カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６を三角印で示し、ＡＩＳ情報で検出された物標位置Ｐ１、Ｐ２、Ｐ４を四角印で示す。 The upper part of FIG. 7 shows the result of identification of the target T at time T1 around the own ship S. The superimposed screen DS uses the PPI screen of the radar R to indicate the target positions P2, P3, P4, and P5 detected in the radar image with circles, and the target positions P4, P5, and P6 detected in the camera image. Is indicated by a triangle mark, and the target positions P1, P2, and P4 detected by the AIS information are indicated by a square mark.
物標位置Ｐ１は、自船Ｓから相対的に長距離に位置し、ＡＩＳ情報のみで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ２は、自船Ｓから相対的に中距離に位置し、レーダ画像及びＡＩＳ情報のみで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ３は、自船Ｓから相対的に中距離に位置し、レーダ画像のみで検出され、ＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ４は、自船Ｓから相対的に短距離に位置し、レーダ画像、カメラ画像及びＡＩＳ情報全てで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ５は、自船Ｓから相対的に短距離に位置し、レーダ画像及びカメラ画像のみで検出され、ＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ６は、自船Ｓから相対的に短距離に位置し、カメラ画像のみで検出され、ＡＩＳ非搭載船舶の位置と識別される。 The target position P1 is located at a relatively long distance from the own ship S, is detected only by AIS information, and is identified as the position of the AIS-equipped ship. The target position P2 is located at a relatively medium distance from the own ship S, is detected only by the radar image and the AIS information, and is identified as the position of the AIS-equipped ship. The target position P3 is located at a relatively medium distance from the own ship S, is detected only by the radar image, and is identified as the position of the AIS concealed ship. The target position P4 is located at a relatively short distance from the own ship S, is detected by all radar images, camera images, and AIS information, and is identified as the position of the AIS-equipped ship. The target position P5 is located at a relatively short distance from the own ship S, is detected only by the radar image and the camera image, and is identified as the position of the AIS concealed ship. The target position P6 is located at a relatively short distance from the own ship S, is detected only by the camera image, and is identified as the position of the ship not equipped with AIS.
図７の下段では、自船Ｓの周辺の時刻Ｔｎでの物標Ｔの識別の結果を示す。重畳画面ＤＳは、レーダＲのＰＰＩ画面を用いて、レーダ画像で検出された物標位置Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’を丸印で示し、カメラ画像で検出された物標位置Ｐ６’を三角印で示し、ＡＩＳ情報で検出された物標位置Ｐ１’、Ｐ２’、Ｐ４’を四角印で示す。 The lower part of FIG. 7 shows the result of identification of the target T at the time Tn around the own ship S. The superimposed screen DS uses the PPI screen of the radar R to indicate the target positions P2', P3', P4', and P5'detected in the radar image with circles, and the target position P6 detected in the camera image. 'Is indicated by a triangle mark, and the target positions P1', P2', and P4' detected by the AIS information are indicated by a square mark.
物標位置Ｐ１’は、自船Ｓから相対的に長距離に位置し、ＡＩＳ情報のみで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ２’は、自船Ｓから相対的に中距離に位置し、レーダ画像及びＡＩＳ情報のみで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ３’は、自船Ｓから相対的に中距離に位置し、レーダ画像のみで検出され、ＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ４’は、自船Ｓから相対的に中距離に位置し、レーダ画像及びＡＩＳ情報のみで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ５’は、自船Ｓから相対的に中距離に位置し、レーダ画像のみで検出され、ＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ６’は、自船Ｓから相対的に短距離に位置し、カメラ画像のみで検出され、ＡＩＳ非搭載船舶の位置と識別される。 The target position P1'is located at a relatively long distance from the own ship S, is detected only by AIS information, and is identified as the position of the AIS-equipped ship. The target position P2'is located at a relatively medium distance from the own ship S, is detected only by the radar image and the AIS information, and is identified as the position of the AIS-equipped ship. The target position P3'is located at a relatively medium distance from the own ship S, is detected only by the radar image, and is identified as the position of the AIS concealed ship. The target position P4'is located at a relatively medium distance from the own ship S, is detected only by the radar image and the AIS information, and is identified as the position of the AIS-equipped ship. The target position P5'is located at a relatively medium distance from the own ship S, is detected only by the radar image, and is identified as the position of the AIS concealed ship. The target position P6'is located at a relatively short distance from the own ship S, is detected only by the camera image, and is identified as the position of the ship not equipped with AIS.
自船Ｓの周辺の時刻Ｔ１、Ｔｎでの物標Ｔの識別の結果が比較され、物標位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６がそれぞれ、物標位置Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’へ移動したことが、矢印で示した追尾ベクトルにより示される。このように、レーダ画像、カメラ画像及びＡＩＳ情報を併せて、一方の短所を他方の長所で補完することができ、多数の船員による目視の負担を軽減することができる。 The results of identification of the target T at the times T1 and Tn around the own ship S are compared, and the target positions P1, P2, P3, P4, P5, and P6 are the target positions P1', P2', and P3, respectively. The movement to', P4', P5', P6'is indicated by the tracking vector indicated by the arrow. In this way, the radar image, the camera image, and the AIS information can be combined to complement one's weaknesses with the other's strengths, and the visual burden on a large number of seafarers can be reduced.
なお、自船周辺情報表示システムＤにおいて、ＡＩＳ秘匿船舶及びＡＩＳ非搭載船舶を検出したときには、これらの船舶をしばらく追尾・撮影し、これらの船舶の画像を長期間記憶し、これらの船舶のうちの特にＡＩＳ秘匿船舶を画像認識で判別・推測してもよい。 When the AIS concealed vessel and the vessel not equipped with AIS are detected in the own vessel peripheral information display system D, these vessels are tracked and photographed for a while, the images of these vessels are stored for a long period of time, and among these vessels. In particular, the AIS concealed vessel may be identified and inferred by image recognition.
図８の上段では、ＡＩＳ情報が重畳されていない重畳表示を示す。重畳画面ＤＳは、レーダＲのＰＰＩ画面を用いて、レーダ画像で検出された物標位置Ｐ２、Ｐ３、Ｐ４、Ｐ５を丸印で示し、カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６を三角印で示す。 The upper part of FIG. 8 shows a superimposed display in which AIS information is not superimposed. The superimposed screen DS uses the PPI screen of the radar R to indicate the target positions P2, P3, P4, and P5 detected in the radar image with circles, and the target positions P4, P5, and P6 detected in the camera image. Is indicated by a triangle mark.
物標位置Ｐ２は、自船Ｓから相対的に中距離に位置し、レーダ画像で検出され、ＡＩＳ非搭載船舶でない船舶の位置と識別される。物標位置Ｐ３は、自船Ｓから相対的に中距離に位置し、レーダ画像で検出され、ＡＩＳ非搭載船舶でない船舶の位置と識別される。物標位置Ｐ４は、自船Ｓから相対的に短距離に位置し、レーダ画像及びカメラ画像で検出され、ＡＩＳ非搭載船舶でない船舶の位置と識別される。物標位置Ｐ５は、自船Ｓから相対的に短距離に位置し、レーダ画像及びカメラ画像で検出され、ＡＩＳ非搭載船舶でない船舶の位置と識別される。物標位置Ｐ６は、自船Ｓから相対的に短距離に位置し、カメラ画像で検出され、ＡＩＳ非搭載船舶である船舶の位置と識別される。 The target position P2 is located at a relatively medium distance from the own ship S, is detected by a radar image, and is identified as the position of a ship that is not a ship not equipped with AIS. The target position P3 is located at a relatively medium distance from the own ship S, is detected by a radar image, and is identified as the position of a ship that is not a ship not equipped with AIS. The target position P4 is located at a relatively short distance from the own ship S, is detected by radar images and camera images, and is identified as the position of a ship that is not an AIS-free ship. The target position P5 is located at a relatively short distance from the own ship S, is detected by radar images and camera images, and is identified as the position of a ship that is not an AIS-free ship. The target position P6 is located at a relatively short distance from the own ship S, is detected by a camera image, and is identified as the position of a ship that is not equipped with AIS.
図８の下段では、ＡＩＳ情報が重畳されている重畳表示を示す。重畳画面ＤＳは、レーダＲのＰＰＩ画面を用いて、レーダ画像で検出された物標位置Ｐ２、Ｐ３、Ｐ４、Ｐ５を丸印で示し、カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６を三角印で示し、ＡＩＳ情報で検出された物標位置Ｐ１、Ｐ２、Ｐ４を四角印で示す。 The lower part of FIG. 8 shows a superimposed display in which AIS information is superimposed. The superimposed screen DS uses the PPI screen of the radar R to indicate the target positions P2, P3, P4, and P5 detected in the radar image with circles, and the target positions P4, P5, and P6 detected in the camera image. Is indicated by a triangle mark, and the target positions P1, P2, and P4 detected by the AIS information are indicated by a square mark.
物標位置Ｐ１は、図７の上段と同様に、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ２は、ＡＩＳ非搭載船舶でない船舶のうちＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ３は、ＡＩＳ非搭載船舶でない船舶のうちＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ４は、ＡＩＳ非搭載船舶でない船舶のうちＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ５は、ＡＩＳ非搭載船舶でない船舶のうちＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ６は、図８の上段と同様に、ＡＩＳ非搭載船舶の位置と識別される。 The target position P1 is identified as the position of the AIS-equipped vessel, as in the upper part of FIG. The target position P2 is identified as the position of the AIS-equipped vessel among the vessels that are not AIS-equipped vessels. The target position P3 is identified as the position of the AIS concealed vessel among the vessels that are not equipped with the AIS. The target position P4 is identified as the position of the AIS-equipped vessel among the vessels that are not AIS-equipped vessels. The target position P5 is identified as the position of the AIS concealed vessel among the vessels that are not equipped with the AIS. The target position P6 is identified as the position of the AIS-free vessel, as in the upper part of FIG.
このように、レーダ画像及びカメラ画像に対して、ＡＩＳ情報を併せて、物標Ｔの種類を絞り込んで識別することができる。そして、他船が送信したＡＩＳ情報を用いて、自船Ｓが生成したレーダ画像及びカメラ画像の物標位置精度を保証することができる。 In this way, the radar image and the camera image can be identified by narrowing down the type of the target T by combining the AIS information. Then, by using the AIS information transmitted by the other ship, it is possible to guarantee the target position accuracy of the radar image and the camera image generated by the own ship S.
本開示のレーダ画像及びカメラ画像の時刻スタンプの高精度化を図９に示す。レーダＲの水平回転アンテナには、複数のカメラＣが設置されるため、画像取得部１１は、レーダ画像及びカメラ画像をほぼ同時刻に取得することができる。
FIG. 9 shows the high accuracy of the time stamps of the radar image and the camera image of the present disclosure. Since a plurality of cameras C are installed on the horizontally rotating antenna of the radar R, the
ここで、レーダ画像及びカメラ画像の時刻スタンプｔＳ，ＲＣが、レーダ画像及びカメラ画像の生成時刻ｔＧ，ＲＣと同期していなければ、当該時刻スタンプｔＳ，ＲＣでの他船の真位置は、当該生成時刻ｔＧ，ＲＣでの他船の計測位置の前方になってしまう。 Here, if the time stamps t S and RC of the radar image and the camera image are not synchronized with the generation times t G and RC of the radar image and the camera image, the true position of the other ship on the time stamps t S and RC. Is in front of the measurement position of another ship at the generation time tG , RC .
しかし、レーダ画像及びカメラ画像の時刻スタンプｔＳ，ＲＣが、レーダ画像及びカメラ画像の生成時刻ｔＧ，ＲＣと同期していれば、当該時刻スタンプｔＳ，ＲＣでの他船の真位置は、当該生成時刻ｔＧ，ＲＣでの他船の計測位置とほぼ一致させることができる。 However, if the time stamps t S, RC of the radar image and the camera image are synchronized with the generation times t G, RC of the radar image and the camera image, the true position of the other ship on the time stamp t S, RC is , It can be made to be almost the same as the measurement position of another ship at the generation time t G, RC .
そこで、時刻付与部１２は、レーダ画像及びカメラ画像に同時刻スタンプを付与する時刻ｔＳ，ＲＣを、レーダ画像及びカメラ画像が自船で生成される時刻ｔＧ，ＲＣに同期させる。
Therefore, the
このように、レーダ画像及びカメラ画像に付与する時刻スタンプを、レーダ画像及びカメラ画像の自船での生成時刻と同期させるため、レーダ画像及びカメラ画像に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。 In this way, in order to synchronize the time stamp given to the radar image and the camera image with the generation time of the radar image and the camera image on the own ship, the accuracy of the time stamp given to the radar image and the camera image, and thus the marine drive recorder. The accuracy of can be increased.
本開示のＡＩＳ情報の時刻スタンプの高精度化を図１０に示す。ＡＩＳ情報の受信時刻が、レーダ画像及びカメラ画像の生成時刻とほぼ一致していれば、画像取得部１１は、ＡＩＳ情報をレーダ画像及びカメラ画像とほぼ同時刻に取得することができる。ここで、レーダ画像及びカメラ画像の取得時刻は、レーダ画像及びカメラ画像の生成時刻とほぼ一致するが、ＡＩＳ情報の受信時刻は、ＡＩＳ情報の生成時刻より後の時刻である。
FIG. 10 shows the high accuracy of the time stamp of the AIS information of the present disclosure. If the reception time of the AIS information is substantially the same as the generation time of the radar image and the camera image, the
すると、ＡＩＳ情報の時刻スタンプｔＳ，Ａが、レーダ画像及びカメラ画像の時刻スタンプｔＳ，ＲＣと同一の時刻であれば、当該時刻スタンプｔＳ，Ａでの他船の計測位置は、当該時刻スタンプｔＳ，ＲＣでの他船の計測位置の後方になってしまう。 Then, if the time stamps t S, A of the AIS information are the same time as the time stamps t S, RC of the radar image and the camera image, the measurement position of the other ship with the time stamp t S, A is the said. The time stamp t S, RC is behind the measurement position of another ship.
しかし、ＡＩＳ情報の時刻スタンプｔＳ，Ａが、レーダ画像及びカメラ画像の時刻スタンプｔＳ，ＲＣより以前の時刻であれば、当該時刻スタンプｔＳ，Ａでの他船の計測位置は、当該時刻スタンプｔＳ，ＲＣでの他船の計測位置とほぼ一致させることができる。 However, if the time stamps t S, A of the AIS information are earlier than the time stamps t S, RC of the radar image and the camera image, the measurement position of the other ship with the time stamps t S, A is the relevant. The time stamps t S and RC can be almost matched with the measurement positions of other ships.
そこで、時刻付与部１２は、ＡＩＳ情報が自船で取得された時刻ｔＲ，Ａと、レーダ画像及びカメラ画像の時間変化に基づいて計測された他船の進行方向及び進行速度ｖと、レーダ画像、カメラ画像及びＡＩＳ情報に基づいて計測された他船の位置の間のずれΔｄと、に基づいて、ＡＩＳ情報が他船で生成された時刻ｔＧ，ＡをｔＲ，Ａ−Δｄ／ｖと計測する。なお、レーダ画像、カメラ画像及びＡＩＳ情報に基づいて計測された他船の位置の間のずれΔｄは、小さいと考えられるため、レーダ画像、カメラ画像及びＡＩＳ情報に基づいて計測された他船の位置（丸印、三角印及び四角印）は、同一の他船の位置と考えられる。
Therefore, the
そして、時刻付与部１２は、ＡＩＳ情報に付与する時刻スタンプｔＳ，Ａとして、レーダ画像及びカメラ画像の同時刻スタンプｔＳ，ＲＣと比べてほぼ同時刻であるが以前の時刻ｔＳ，ＲＣ−Δｔである、ＡＩＳ情報が他船で生成された時刻ｔＧ，Ａを設定する。
Then, the
このように、ＡＩＳ情報に付与する時刻スタンプを、同時刻スタンプと比べて少々以前の時刻であるＡＩＳ情報の他船での生成時刻と同期させるため、ＡＩＳ情報に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。 In this way, in order to synchronize the time stamp given to the AIS information with the time when the AIS information is generated by another ship, which is a little earlier than the same time stamp, the accuracy of the time stamp given to the AIS information and thus the ship The accuracy of the drive recorder for the vehicle can be improved.
本開示の自船周辺情報表示システムの具体例を図１１に示す。図１では、自船Ｓを舷側から見ているが、図１１では、自船Ｓを上側から見ている。 FIG. 11 shows a specific example of the information display system around the ship of the present disclosure. In FIG. 1, the own ship S is viewed from the side, but in FIG. 11, the own ship S is viewed from the upper side.
図１１の上段では、自船Ｓの船尾付近にブリッジが設置され、ブリッジの上部にレーダＲが設置され、レーダＲの水平回転アンテナに複数のカメラＣが設置される。しかし、レーダＲの水平回転アンテナに設置される複数のカメラＣのみでは、長い船体を有する自船Ｓの船首付近には死角が生ずる。そこで、自船Ｓの船首付近の右舷左舷に設置される補助のカメラＣにより、長い船体を有する自船Ｓの船首付近でも死角が生じない。そして、画像取得部１１は、レーダＲの水平回転アンテナに設置される複数のカメラＣと、自船Ｓの船首付近の右舷左舷に設置される補助のカメラＣと、からカメラ画像を取得すればよい。
In the upper part of FIG. 11, a bridge is installed near the stern of the own ship S, a radar R is installed above the bridge, and a plurality of cameras C are installed on the horizontally rotating antenna of the radar R. However, with only a plurality of cameras C installed on the horizontally rotating antenna of the radar R, a blind spot is generated near the bow of the own ship S having a long hull. Therefore, the auxiliary camera C installed on the starboard side and the port side near the bow of the own ship S does not cause a blind spot even near the bow of the own ship S having a long hull. Then, if the
図１１の下段では、自船Ｓの船首付近にブリッジが設置され、ブリッジの上部にレーダＲが設置され、レーダＲの水平回転アンテナに複数のカメラＣが設置される。しかし、レーダＲの水平回転アンテナに設置される複数のカメラＣのみでは、長い船体を有する自船Ｓの船尾付近には死角が生ずる。そこで、自船Ｓの船尾付近の右舷左舷に設置される補助のカメラＣにより、長い船体を有する自船Ｓの船尾付近でも死角が生じない。そして、画像取得部１１は、レーダＲの水平回転アンテナに設置される複数のカメラＣと、自船Ｓの船尾付近の右舷左舷に設置される補助のカメラＣと、からカメラ画像を取得すればよい。
In the lower part of FIG. 11, a bridge is installed near the bow of the own ship S, a radar R is installed above the bridge, and a plurality of cameras C are installed on the horizontally rotating antenna of the radar R. However, with only a plurality of cameras C installed on the horizontally rotating antenna of the radar R, a blind spot occurs near the stern of the own ship S having a long hull. Therefore, the auxiliary camera C installed on the starboard and port sides near the stern of the own ship S does not cause a blind spot even near the stern of the own ship S having a long hull. Then, if the
本実施形態では、レーダ画像、カメラ画像及びＡＩＳ情報に同時刻スタンプを付与し、レーダ画像、カメラ画像及びＡＩＳ情報並びに同時刻スタンプを関連記憶し、同時刻スタンプと関連記憶されたレーダ画像、カメラ画像及びＡＩＳ情報を表示する。 In the present embodiment, the same time stamp is given to the radar image, the camera image and the AIS information, the radar image, the camera image and the AIS information and the same time stamp are stored in relation to each other, and the radar image and the camera are stored in relation to the same time stamp. Display images and AIS information.
第１の変形例として、レーダ画像及びカメラ画像に同時刻スタンプを付与し、レーダ画像、カメラ画像及び同時刻スタンプを関連記憶し、同時刻スタンプと関連記憶されたレーダ画像及びカメラ画像を表示してもよい。第２の変形例として、カメラ画像及びＡＩＳ情報に同時刻スタンプを付与し、カメラ画像、ＡＩＳ情報及び同時刻スタンプを関連記憶し、同時刻スタンプと関連記憶されたカメラ画像及びＡＩＳ情報を表示してもよい。 As a first modification, the radar image and the camera image are given the same time stamp, the radar image, the camera image and the same time stamp are stored in relation to each other, and the radar image and the camera image stored in relation to the same time stamp are displayed. You may. As a second modification, the same time stamp is added to the camera image and AIS information, the camera image, AIS information and the same time stamp are stored in relation to each other, and the camera image and AIS information stored in relation to the same time stamp are displayed. You may.
本開示の自船周辺情報記憶装置及び自船周辺情報表示装置は、レーダ画像を用いて検出することができない小型船舶、木造船舶、落水者及び海洋生物等を検出するにあたり、多数の船員による目視の負担を軽減するとともに、船舶用ドライブレコーダを実現することができる。 The own ship peripheral information storage device and the own ship peripheral information display device of the present disclosure are visually observed by a large number of seafarers when detecting small vessels, wooden vessels, waterfallers, marine organisms, etc. that cannot be detected using radar images. It is possible to reduce the burden on the ship and realize a drive recorder for ships.
Ｓ：自船
Ｔ：物標
Ｄ：自船周辺情報表示システム
Ｒ：レーダ
Ｃ：カメラ
Ｍ１、Ｍｎ：記憶データ
Ｒ１、Ｒｎ：レーダ画像
Ｃ１、Ｃｎ：カメラ画像
Ａ１、Ａｎ：ＡＩＳ情報
ＤＳ：重畳画面
ＤＡ１、ＤＡ２、ＤＡ３、ＤＡ４：アラウンドビュー画面
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６：物標位置
Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’：物標位置
１：自船周辺情報記憶装置
２：自船周辺情報表示装置
１１：画像取得部
１２：時刻付与部
１３：画像記憶部
２１：画像読出部
２２：画像表示部
２３：物標識別部
S: Own ship T: Target D: Own ship peripheral information display system R: Radar C: Camera M1, Mn: Memory data R1, Rn: Radar image C1, Cn: Camera image A1, An: AIS information DS: Superimposition screen DA1, DA2, DA3, DA4: Around view screens P1, P2, P3, P4, P5, P6: Target position P1', P2', P3', P4', P5', P6': Target position 1: Self Ship peripheral information storage device 2: Own ship peripheral information display device 11: Image acquisition unit 12: Time assignment unit 13: Image storage unit 21: Image reading unit 22: Image display unit 23: Object marker separate unit
Claims (14)
前記レーダ画像及び前記カメラ画像に同時刻スタンプを付与する時刻付与部と、
前記レーダ画像、前記カメラ画像及び前記同時刻スタンプを関連記憶する画像記憶部と、
を備えることを特徴とする自船周辺情報記憶装置。 An image acquisition unit that acquires radar images and camera images around the ship at the same time,
A time-giving unit that gives the same time stamp to the radar image and the camera image,
An image storage unit that stores the radar image, the camera image, and the same time stamp in relation to each other.
An information storage device around the ship, which is characterized by being equipped with.
ことを特徴とする、請求項１に記載の自船周辺情報記憶装置。 The time-giving unit is characterized in that the time at which the radar image and the camera image are given the same time stamp is synchronized with the time when the radar image and the camera image are generated by the own ship. Item 1. The information storage device around the ship according to Item 1.
前記時刻付与部は、さらに前記ＡＩＳ情報に前記同時刻スタンプを付与し、
前記画像記憶部は、さらに前記ＡＩＳ情報及び前記同時刻スタンプを関連記憶する
ことを特徴とする、請求項１又は２に記載の自船周辺情報記憶装置。 The image acquisition unit further acquires AIS (Automatic Identification System) information around the ship at the same time.
The time-giving unit further adds the same time stamp to the AIS information.
The self-ship peripheral information storage device according to claim 1 or 2, wherein the image storage unit further stores the AIS information and the same time stamp in association with each other.
ことを特徴とする、請求項３に記載の自船周辺情報記憶装置。 The time assigning unit includes (1) the time when the AIS information was acquired by the own ship, the traveling direction and traveling speed of the other ship measured based on the time change of the radar image and the camera image, and the said. Based on the deviation between the position of the other ship measured based on the radar image, the camera image and the AIS information, the time when the AIS information was generated by the other ship was measured, and (2) As the time stamp given to the AIS information, a time at which the AIS information is generated by the other ship, which is substantially the same time as the same time stamp but is a previous time, is set. The information storage device around the ship according to claim 3.
ことを特徴とする、請求項１から４のいずれかに記載の自船周辺情報記憶装置。 Any of claims 1 to 4, wherein the image acquisition unit acquires the camera image from a horizontally rotating camera attached to a horizontally rotating antenna of the radar to which the radar image is acquired. The information storage device around the ship described in.
前記同時刻スタンプと関連記憶された前記自船周辺の前記同時刻での前記レーダ画像及び前記カメラ画像を重畳表示又は合成表示する画像表示部と、
を備えることを特徴とする自船周辺情報表示装置。 An image reading unit that reads out the radar image and the camera image stored in association with the same time stamp from the ship's peripheral information storage device according to any one of claims 1 to 5.
An image display unit that superimposes or composites the radar image and the camera image at the same time around the ship, which are stored in association with the same time stamp.
An information display device around the ship, which is characterized by being equipped with.
ことを特徴とする、請求項６に記載の自船周辺情報表示装置。 In the superimposed display or composite display of the radar image and the camera image at the same time around the own ship, the object is based on whether one of the radar image and the camera image is detected or both are detected. The own ship peripheral information display device according to claim 6, further comprising a separate part for displaying an object that identifies the type of a mark.
前記カメラ画像及び前記ＡＩＳ情報に同時刻スタンプを付与する時刻付与部と、
前記カメラ画像、前記ＡＩＳ情報及び前記同時刻スタンプを関連記憶する画像記憶部と、
を備えることを特徴とする自船周辺情報記憶装置。 An image acquisition unit that acquires camera images and AIS (Automatic Identification System) information around the ship at the same time,
A time-giving unit that gives the same time stamp to the camera image and the AIS information,
An image storage unit that stores the camera image, the AIS information, and the same time stamp in relation to each other.
An information storage device around the ship, which is characterized by being equipped with.
ことを特徴とする、請求項８に記載の自船周辺情報記憶装置。 The area around the ship according to claim 8, wherein the time-giving unit synchronizes the time at which the same time stamp is added to the camera image with the time when the camera image is generated by the ship. Information storage device.
ことを特徴とする、請求項８又は９に記載の自船周辺情報記憶装置。 The time assigning unit includes (1) the time when the AIS information was acquired by the own ship, the traveling direction and traveling speed of the other ship measured based on the time change of the camera image, the camera image and the said. Based on the deviation between the positions of the other ship measured based on the AIS information, the time when the AIS information was generated by the other ship is measured, and (2) the time stamp given to the AIS information. The method according to claim 8 or 9, wherein the AIS information is set to a time generated by the other ship, which is substantially the same time as the same time stamp but is a previous time. Information storage device around the ship.
前記時刻付与部は、さらに前記レーダ画像に前記同時刻スタンプを付与し、
前記画像記憶部は、さらに前記レーダ画像及び前記同時刻スタンプを関連記憶する
ことを特徴とする、請求項８から１０のいずれかに記載の自船周辺情報記憶装置。 The image acquisition unit further acquires a radar image around the ship at the same time.
The time-giving unit further adds the same time stamp to the radar image.
The self-ship peripheral information storage device according to any one of claims 8 to 10, wherein the image storage unit further stores the radar image and the same time stamp in association with each other.
ことを特徴とする、請求項１１に記載の自船周辺情報記憶装置。 The own ship according to claim 11, wherein the image acquisition unit acquires the camera image from a horizontally rotating camera attached to a horizontally rotating antenna of the radar to which the radar image is acquired. Peripheral information storage device.
前記同時刻スタンプと関連記憶された前記自船周辺の前記同時刻での前記カメラ画像及び前記ＡＩＳ情報を重畳表示又は合成表示する画像表示部と、
を備えることを特徴とする自船周辺情報表示装置。 An image reading unit that reads out the camera image and the AIS information stored in association with the same time stamp from the ship's peripheral information storage device according to any one of claims 8 to 12.
An image display unit that superimposes or compositely displays the camera image and the AIS information at the same time around the ship, which are stored in association with the same time stamp.
An information display device around the ship, which is characterized by being equipped with.
ことを特徴とする、請求項１３に記載の自船周辺情報表示装置。 In the superimposed display or composite display of the camera image and the AIS information at the same time around the own ship, the object is based on whether one of the camera image and the AIS information is detected or both are detected. The self-ship peripheral information display device according to claim 13, further comprising a separate part for displaying an object that identifies the type of a mark.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019135703A JP7433794B2 (en) | 2019-07-23 | 2019-07-23 | Own ship surrounding information storage device and own ship surrounding information display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019135703A JP7433794B2 (en) | 2019-07-23 | 2019-07-23 | Own ship surrounding information storage device and own ship surrounding information display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021018756A true JP2021018756A (en) | 2021-02-15 |
| JP7433794B2 JP7433794B2 (en) | 2024-02-20 |
Family
ID=74566092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019135703A Active JP7433794B2 (en) | 2019-07-23 | 2019-07-23 | Own ship surrounding information storage device and own ship surrounding information display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7433794B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112857360A (en) * | 2021-03-22 | 2021-05-28 | 哈尔滨工程大学 | Ship navigation multi-information fusion method |
| CN113109805A (en) * | 2021-03-31 | 2021-07-13 | 中国船舶重工集团公司第七二三研究所 | Fusion processing method based on radio frequency echo information |
| WO2023162562A1 (en) * | 2022-02-25 | 2023-08-31 | 古野電気株式会社 | Target monitoring system, target monitoring method, and program |
| CN116682286A (en) * | 2023-07-31 | 2023-09-01 | 厦门求同信息科技有限公司 | Ship early warning method and system based on offshore target detection |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11341487A (en) * | 1998-05-27 | 1999-12-10 | Kaiyo Sogo Kaihatsu Kk | Monitoring camera device |
| JP2005182539A (en) * | 2003-12-19 | 2005-07-07 | Tokimec Inc | Marine navigation support device |
| JP2005289264A (en) * | 2004-04-01 | 2005-10-20 | Furuno Electric Co Ltd | Vessel navigation supporting system |
| JP2006071337A (en) * | 2004-08-31 | 2006-03-16 | Japan Radio Co Ltd | Voyage data recorder and voyage data recording/playback system |
| JP2016082586A (en) * | 2014-10-17 | 2016-05-16 | 日本無線株式会社 | Image generating apparatus |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6877815B2 (en) | 2014-10-17 | 2021-05-26 | 日本無線株式会社 | Image generator |
| JP7048256B2 (en) | 2017-10-27 | 2022-04-05 | 古野電気株式会社 | Ship information display device and ship information display method |
-
2019
- 2019-07-23 JP JP2019135703A patent/JP7433794B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11341487A (en) * | 1998-05-27 | 1999-12-10 | Kaiyo Sogo Kaihatsu Kk | Monitoring camera device |
| JP2005182539A (en) * | 2003-12-19 | 2005-07-07 | Tokimec Inc | Marine navigation support device |
| JP2005289264A (en) * | 2004-04-01 | 2005-10-20 | Furuno Electric Co Ltd | Vessel navigation supporting system |
| JP2006071337A (en) * | 2004-08-31 | 2006-03-16 | Japan Radio Co Ltd | Voyage data recorder and voyage data recording/playback system |
| JP2016082586A (en) * | 2014-10-17 | 2016-05-16 | 日本無線株式会社 | Image generating apparatus |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112857360A (en) * | 2021-03-22 | 2021-05-28 | 哈尔滨工程大学 | Ship navigation multi-information fusion method |
| CN112857360B (en) * | 2021-03-22 | 2022-06-17 | 哈尔滨工程大学 | Ship navigation multi-information fusion method |
| CN113109805A (en) * | 2021-03-31 | 2021-07-13 | 中国船舶重工集团公司第七二三研究所 | Fusion processing method based on radio frequency echo information |
| WO2023162562A1 (en) * | 2022-02-25 | 2023-08-31 | 古野電気株式会社 | Target monitoring system, target monitoring method, and program |
| CN116682286A (en) * | 2023-07-31 | 2023-09-01 | 厦门求同信息科技有限公司 | Ship early warning method and system based on offshore target detection |
| CN116682286B (en) * | 2023-07-31 | 2023-09-29 | 厦门求同信息科技有限公司 | Ship early warning method and system based on offshore target detection |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7433794B2 (en) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2021018756A (en) | Own ship peripheral information storage device and own ship peripheral information display device | |
| US7679530B2 (en) | Anti-collision warning system for marine vehicle and anti-collision analysis method | |
| JP4327000B2 (en) | Counterpart movement monitoring device | |
| CN109584636A (en) | Berthing auxiliary device and its monitoring method for the monitoring of port ship machine Cooperative Security | |
| CN104535066A (en) | Marine target and electronic chart superposition method and system in on-board infrared video image | |
| KR101575954B1 (en) | Apparatus for augmented reality using 3d reconstruction and mehhod thereof | |
| US11852476B2 (en) | Tidal current information display apparatus and method | |
| McGuire et al. | Smart iceberg management system–rapid iceberg profiling system | |
| Robinette et al. | Sensor evaluation for autonomous surface vehicles in inland waterways | |
| JP3777411B2 (en) | Ship navigation support device | |
| JP2019092002A (en) | Overhead image generation device for ship and calibration method | |
| JP4445313B2 (en) | Ship navigation support device | |
| Xu et al. | Hydrographic data inspection and disaster monitoring using shipborne radar small range images with electronic navigation chart | |
| WO2022137952A1 (en) | Sea mark identification device, autonomous navigation system, sea mark identification method, and program | |
| US11808579B2 (en) | Augmented reality based tidal current display apparatus and method | |
| CN115830140A (en) | Offshore short-range photoelectric monitoring method, system, medium, equipment and terminal | |
| JPS5950376A (en) | Display device for navigation | |
| CN108713153A (en) | Radar installations and Target track displaying method | |
| Dooling | Navigating close to shore | |
| KR102249156B1 (en) | Sailing assistance device using augmented reality image | |
| TW202414247A (en) | Real time vessel identity and image matching system and operating method thereof | |
| WO2022137931A1 (en) | Channel marker identification device, autonomous navigation system, channel marker identification method, and program | |
| CN209641094U (en) | Water-area navigation information enhancement glasses | |
| Belev et al. | An algorithm for calculation of own ship's course over ground and speed over ground using ARPA, by acquiring a fixed object | |
| WO2022137953A1 (en) | Sea mark identification device, autonomous navigation system, sea mark identification method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220711 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230814 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7433794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |