JP7347936B2 - 船舶の撮影装置、および該撮影装置を有する船舶 - Google Patents

Description

ここに開示する技術は、船舶の撮影装置、および該撮影装置を有する船舶に関する。

船舶の操縦を支援するために、船舶を上方から見下ろしたか如き鳥瞰画像を作成することが知られている。例えば特許文献１には、船体に設置された複数のカメラによって周辺画像を撮影するとともに、各周辺画像を組み合わせることにより、疑似の鳥瞰画像を合成画像として作成することが開示されている。

また特許文献２には、カメラを活用した技術的思想の別例として、船舶の前後に２つずつカメラを設けるとともに、それぞれをステレオカメラとして機能させることが開示されている。同文献によれば、船舶と係留位置等との間の距離を測定することができる。

特開２０１０－９３６０５号公報 特開２００５－１８０９４９号公報

前記特許文献１に記載されているような鳥瞰画像は、例えば船舶を係留する際に用いることができる。しかしながら、疑似の鳥瞰画像だけでは、係留位置までの正確な距離は把握されない。

そこで、前記特許文献１に係るカメラに加えて、前記特許文献２に係るステレオカメラを組み合わせて運用することが考えられる。ところが、そのように構成してしまうと、鳥瞰画像を作成するためのカメラと、距離を測定するためのステレオカメラとが異なるため、合成画像としての鳥瞰画像から把握される景色と、ステレオカメラによって実際に測定される距離との間にズレが生じてしまい、船舶の係留等の操船作業に不都合を来す可能性がある。

ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、合成画像から把握される景色と、実際に測定される距離との間のズレを抑制することにある。

本開示は、船舶に設置され、該船舶の周辺画像を撮影する複数の撮影カメラを備え、前記各撮影カメラによって撮影された周辺画像を組み合わせて合成画像を作成する船舶の撮影装置に係る。

そして、本開示の第１の態様によれば、前記船舶の撮影装置は、該船舶の周辺画像を撮影して合成画像の作成に用いられる前記複数の撮影カメラのうちの少なくとも１つに隣接して配置され、前記合成画像の作成には用いられずに距離の測定に用いられる補助カメラと、前記補助カメラと、該補助カメラに隣接する撮影カメラとによって所定方向における距離を測定する測距手段と、を備え、前記複数の撮影カメラは、前記船舶の前部に設置されるフロントカメラと、前記船舶の後部に設置されるバックカメラと、を有し、前記補助カメラは、前記フロントカメラの前後に隣接する第１補助カメラと、前記バックカメラの前後に隣接する第２補助カメラと、を有し、前記測距手段は、前記フロントカメラと前記第１補助カメラとを用いて、横方向における前記船舶の前部と第１被写体との間の第１距離を測定し、前記バックカメラと前記第２補助カメラとを用いて、横方向における前記船舶の後部と第２被写体との間の第２距離を測定するように構成されている。

この構成によれば、合成画像を作成するための撮影カメラに、測距用のカメラを兼用させることができる。これにより、合成画像から把握される景色と、実際に測定される距離との間のズレを抑制することが可能になる。また、操船作業を支援する上で有利になる。

また、本開示の第２の態様によれば、前記船舶の撮影装置は、前記合成画像と、前記測距手段による測定結果と、を併せて表示する表示手段を備える、としてもよい。

この構成によれば、操船作業を支援する上で有利になる。

また、本開示の第３の態様によれば、前記第１補助カメラは、前記フロントカメラの後方に設置され、前記第２補助カメラは、前記バックカメラの前方に設置される、としてもよい。

この構成によれば、合成画像に補助カメラが映り込むのを抑制することができる。

また、本開示の第４の態様によれば、前記撮影カメラおよび前記補助カメラは、双方とも広角レンズを有する広角カメラとして構成されている、としてもよい。

この構成によれば、機械的な機構でレンズを回転させずとも、距離を測定することが可能になる。

また、本開示は、第１～第４の態様に係る撮影装置を有する船舶にも係る。

以上説明したように、前記船舶の撮影装置によれば、鳥瞰画像と、実際に測定される距離との間のズレを抑制することができる。

図１は、撮影装置が搭載された船舶を例示する平面図である。 図２は、撮影装置が搭載された船舶を例示する側面図である。 図３は、撮影装置が搭載された船舶を例示する正面図である。 図４は、撮影装置の構成を例示するブロック図である。 図５は、半天球カメラによって撮影される画像を例示する模式図である。 図６は、モニタに表示される鳥瞰画像を例示する模式図である。 図７は、撮影装置による距離の測定について例示する図である。 図８は、鳥瞰画像に併せて距離を表示した例を示す模式図である。 図９は、距離の表示態様の別例を示す模式図である。

以下、本開示の実施形態について説明する。なお、以下の説明は例示である。

本明細書において開示される船舶の撮影装置は、例えば船舶の接岸時などの操船作業において、同船舶の周辺状況を映像によって確認するためのシステムである。

船舶の撮影装置の構成について、図１～図４を参照しながら説明する。図１は、撮影装置１１が搭載された船舶１０１を例示する平面図である。図２は撮影装置１１が搭載された船舶１０１を例示する側面図であり、図３は撮影装置１１が搭載された船舶１０１を例示する正面図である。また、図４は、撮影装置１１の構成を例示するブロック図である。なお、図１では、撮影装置１１が備える複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒについて、それらの姿勢等まで厳密には図示していない。

船舶１０１の撮影装置１１は、図１～図４に示すように、互いに所定の間隔をあけて船舶１０１に設置された複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒと、船室１０３内およびフライングデッキ１０４に設置された表示手段としてのモニタ１５と、船舶１０１の姿勢を検出するための各種センサ１７，１９と、当該装置２３を総合的に制御する制御装置２１とを備えている。複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒと制御装置２１とは、船舶１０１の周辺画像を撮影して合成画像である疑似の鳥瞰画像３０１を作成するように構成されている。

ここで、複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、船舶１０１に設置されているとともに、この船舶１０１の周辺画像を撮影することができるという点で、本実施形態における「撮影カメラ」を例示している。以下、複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒを「撮影カメラ」と呼称する場合がある。

本実施形態に係る撮影装置１１は、各撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒによって撮影された周辺画像を繋ぎ合わせて合成画像を作成することができる。

まず、各撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの構成について詳細に説明をする。

＜撮影カメラ＞
複数の撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、船舶１０１の前部（本実施形態では船首側のバウデッキ１０５）に設置されたフロントカメラ１３ｆと、船舶１０１の後部（本実施形態では船尾側のスターンデッキ１０７）に設置されたバックカメラ１３ｂと、船舶１０１の長さ方向における中央部分である船央の左側に設置されたレフトカメラ１３ｌと、船央の右側に設置されたライトカメラ１３ｒと、を有している。これら４台の撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、船舶１０１の外周部分を含めて船舶１０１の周辺画像を撮影するようにそれぞれ設置されている。

フロントカメラ１３ｆは、バウデッキ１０５の左右方向における中央位置に立てられた支柱１０９に、前方斜め下方に臨む姿勢でレンズの光軸を船首（船舶１０１の外周部分）に向けて取り付けられている。このフロントカメラ１３ｆは、船舶１０１の前方における所定範囲Ｒｆの風景を動画または静止画で撮影して、周辺画像として前方画像Ｐｆを取得する。

バックカメラ１３ｂは、スターンデッキ１０７の左右方向における中央位置に立てられた支柱１１０に、後方斜め下方に臨む姿勢でレンズの光軸を船舶１０１の船尾（船舶１０１の外周部分）に向けて取り付けられている。このバックカメラ１３ｂは、船舶１０１の後方における所定範囲Ｒｂの風景を動画または静止画で撮影して、周辺画像として後方画像Ｐｂを取得する。

レフトカメラ１３ｌは、船室１０３の左側面に、左方斜め下方に臨む姿勢でレンズの光軸を左舷のガンネル１１１（船舶１０１の外周部分）に向けて取り付けられている。このレフトカメラ１３ｌは、船舶１０１の左方における所定範囲Ｒｌの風景を動画または静止画で撮影して、周辺画像として左方画像Ｐｌを取得する。

ライトカメラ１３ｒは、船室１０３の左側面に、右方斜め下方に臨む姿勢でレンズの光軸を右舷のガンネル１１２（船舶１０１の外周部分）に向けて取り付けられている。このライトカメラ１３ｒは、船舶１０１の右方における所定範囲Ｒｒの風景を動画または静止画で撮影して、周辺画像として右方画像Ｐｒを取得する。

フロントカメラ１３ｆの撮影範囲Ｒｆとレフトカメラ１３ｌの撮影範囲Ｒｌとは、互いに重複する共通の撮影範囲ＲＣｆｌ（図１で紙面左上の斜線を付した範囲）を含んでいる。フロントカメラ１３ｆとレフトカメラ１３ｌとは、当該各撮影カメラ１３ｒ，１３ｌの撮影によって取得される周辺画像Ｐｆ，Ｐｌに、船舶１０１のバウデッキ１０５の外周部分に設置された手すり１１３の左側部分が共通に写り込む位置および角度に設置される。そのことで、フロントカメラ１３ｆとレフトカメラ１３ｌとの共通の撮影範囲ＲＣｆｌは、当該手すり１１３の左側部分を含む範囲に設定される。

フロントカメラ１３ｆの撮影範囲Ｒｆとライトカメラ１３ｒの撮影範囲Ｒｒとは、互いに重複する共通の撮影範囲ＲＣｆｒ（図１で紙面右上の斜線を付した範囲）を含んでいる。フロントカメラ１３ｆとライトカメラ１３ｒとは、当該各撮影カメラ１３ｆ，１３ｒの撮影によって取得される周辺画像Ｐｆ，Ｐｒに、船舶１０１のバウデッキ１０５の外周部分に設置された手すり１１３の右側部分が共通に写り込む位置および角度に設置される。そのことで、フロントカメラ１３ｆとライトカメラ１３ｒとの共通の撮影範囲ＲＣｆｒは、当該手すり１１３の右側部分を含む範囲に設定される。

バックカメラ１３ｂの撮影範囲Ｒｂとレフトカメラ１３ｌの撮影範囲Ｒｌとは、互いに重複する共通の撮影範囲ＲＣｂｌ（図１で紙面左下の斜線を付した範囲）を含んでいる。バックカメラ１３ｂとレフトカメラ１３ｌとは、当該各撮影カメラ１３ｂ，１３ｌの撮影によって取得される周辺画像Ｐｂ，Ｐｌに、船舶１０１のスターンデッキ１０７の左側部分が共通に写り込む位置および角度に設置される。そのことで、バックカメラ１３ｂとレフトカメラ１３ｌとの共通の撮影範囲ＲＣｂｌは、当該スターンデッキ１０７の左側部分を含む範囲に設定される。

バックカメラ１３ｂの撮影範囲Ｒｂとライトカメラ１３ｒの撮影範囲Ｒｒとは、互いに重複する共通の撮影範囲ＲＣｂｒ（図１で紙面右下の斜線を付した範囲）を含んでいる。バックカメラ１３ｂとライトカメラ１３ｒとは、当該各撮影カメラ１３ｂ，１３ｒの撮影によって取得される周辺画像に、船舶１０１のスターンデッキ１０７の右側部分が共通に写り込む位置および角度に設置される。そのことで、バックカメラ１３ｂとライトカメラ１３ｒとの共通の撮影範囲ＲＣｂｒは、当該スターンデッキ１０７の右側部分を含む範囲に設定される。

この実施形態において、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの設置位置から船舶１０１の喫水線Ｌｗまでの距離である水上高さＨは、同じに高さに設定されている。フロントカメラ１３ｆの設置角度α１と、バックカメラ１３ｂの設置角度α２と、レフトカメラ１３ｌおよびライトカメラ１３ｒとの設置角度α３，α４とは、互いに異なる角度に設定されている。また、レフトカメラ１３ｌの設置角度α３とライトカメラ１３ｒの設置角度α４とは、同じ角度に設定されている。

なお、各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの設置角度は、任意に設定することができる。すなわち、フロントカメラ１３ｆの設置角度α１と、バックカメラ１３ｂの設置角度α２と、レフトカメラ１３ｌおよびライトカメラ１３ｒの設置角度α３，α４とは、互いに同じ角度であってもよいし、レフトカメラ１３ｌおよびライトカメラ１３ｒの設置角度α３，α４は、互いに異なる角度であってもよい。

また、これら各撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、防水および防塵の仕様とされている。また、各撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、それぞれ船舶１０１に着脱可能に取り付けられるようになっており、例えば、船舶１０１を使用するときに船体に取り付けるが船舶１０１の使用後には取り外したり、不具合が生じたときに取り替えたりすることができるようになっている。

また、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは、それぞれ標準レンズよりも画角の広い広角レンズ２３を備えた広角カメラである。広角レンズ２３には、例えば１８０度以上の画角を有するレンズが用いられる。具体的には、この実施形態でのフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒは、それぞれ広角レンズ２３として半球状のレンズを有する広域撮影カメラ、いわゆる半天球カメラである。

図５に、半天球カメラの撮影によって取得される画像２０１の概念図を示す。フロントカメラ１３ｆの撮影によって取得される前方画像Ｐｆ、バックカメラ１３ｂの撮影によって取得される後方画像Ｐｂ、レフトカメラ１３ｌの撮影によって取得される左方画像Ｐｌ、およびライトカメラ１３ｒの撮影によって取得される右方画像Ｐｒは、図５に示すように、広角レンズ２３の光軸Ａを中心として周囲３６０度を見渡したような円形状の画像２０１である。この円形状の画像２０１は、広角レンズ２３の外面に投影された立体の光学像を光軸Ａに沿って平面像に射影変換した像に相当する。

このような円形状の画像２０１である前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒは、広角歪みを含む。ここでいう「広角歪み」とは、立体の光学像を平面に射影する際に広角側で画像が被写界と相似にならず縮むように湾曲を伴って変形した歪みのことである。この広角歪みは、魚眼レンズ以外の広角レンズ２３では樽型の歪曲収差として知られるレンズの収差の１つであって、画像中心からの距離に応じて歪みの程度が大きくなり、特に画像周辺で顕著になる。

ここで、図１～図４に例示するように、本実施形態に係る撮影装置１１は、４台の撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒに加えて、これら撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒのうちの少なくとも１つに隣接する補助カメラ１４ａ，１４ｂを備えている。

以下、補助カメラ１４ａ，１４ｂの構成について詳細に説明をする。

＜補助カメラ＞
本実施形態に係る補助カメラ１４ａ，１４ｂは、フロントカメラ１３ｆの前後に隣接する第１補助カメラ１４ａと、バックカメラ１３ｂの前後に隣接する第２補助カメラ１４ｂと、を有している。

具体的に、第１補助カメラ１４ａは、バウデッキ１０５に立てられた支柱１０９に取り付けられており、フロントカメラ１３ｆの後方に設置されている。この第１補助カメラ１４ａは、船舶１０１の前後方向においては、同方向に沿ってフロントカメラ１３ｆと並んでおり、船舶１０１の高さ方向においては、フロントカメラ１３ｆと略同じ高さに配置されている。第１補助カメラ１４ａは、その光軸を斜め下方に向けた姿勢で取り付けられており、船舶１０１の左方における所定範囲Ｒｌと、船舶１０１の右方における所定範囲Ｒｒと、の風景を動画または静止で撮影し、周辺画像として取得する。

また、第１補助カメラ１４ａとフロントカメラ１３ｆとの間隔は既知とされており、後述の補助メモリ３７をはじめとする各種記憶装置において、予め記憶されている。

また、第２補助カメラ１４ｂは、スターンデッキ１０７に立てられた支柱１１０に取り付けられており、バックカメラ１３ｂの前方に設定されている。この第２補助カメラ１４ｂは、船舶１０１の前後方向においては、同方向に沿ってバックカメラ１３ｂと並んでおり、船舶１０１の高さ方向においては、バックカメラ１３ｂと略同じ高さに配置されている。第２補助カメラ１４ｂは、その光軸を斜め下方に向けた姿勢で取り付けられており、第１補助カメラ１４ａと同様に、船舶１０１の左方における所定範囲Ｒｌと、船舶１０１の右方における所定範囲Ｒｒと、の風景を動画または静止で撮影し、周辺画像として取得する。

また、第２補助カメラ１４ｂとバックカメラ１３ｂとの間隔は既知とされており、補助メモリ３７をはじめとする各種記憶装置において、予め記憶されている。

なお、本実施形態においては、撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒおよび補助カメラ１４ａ，１４ｂは、双方とも広角レンズ２３を有する広角カメラとして構成されている。

すなわち、第１補助カメラ１４ａおよび第２補助カメラ１４ｂは、それぞれ標準レンズよりも画角の広角レンズ２３を備えた広角カメラである。補助カメラ１４ａ，１４ｂ用の広角レンズ２３には、撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒ用の広角レンズ２３と同様に、例えば１８０度以上の画角を有するレンズが用いられる。具体的には、この実施形態での第１補助カメラ１４ａおよび第２補助カメラ１４ｂは、それぞれ広角レンズ２３として半球状のレンズを有する広域撮影カメラ、いわゆる半天球カメラである。また、第１補助カメラ１４ａの焦点位置は、フロントカメラ１３ｆの焦点位置と略一致しており、第２補助カメラ１４ｂの焦点位置は、バックカメラ１３ｂの焦点位置と略一致している。

そして、図７に例示するように、本実施形態に係る撮影装置１１は、第１補助カメラ１４ａとフロントカメラ１３ｆを第１のステレオカメラＳ１として機能させ、この第１のステレオカメラＳ１によって左右方向（所定方向）における距離Ｄ１を測定することができる。以下、第１のステレオカメラＳ１を、単に「第１ステレオカメラＳ１」と呼称する。

本実施形態に係る撮影装置１１はまた、第２補助カメラ１４ｂとバックカメラ１３ｂを第２のステレオカメラＳ２として機能させ、この第２のステレオカメラＳ２によって左右方向（所定方向）における距離Ｄ２を測定することができる。以下、第２のステレオカメラＳ２を、単に「第２ステレオカメラＳ２」と呼称する。

具体的には、撮影装置１１において制御装置２１をなす距離測定部５９が、第１又は第２ステレオカメラＳ１，Ｓ２を介して距離Ｄ１，Ｄ２を測定するように構成されている。そして、距離測定部５９によるによる測定結果は、合成画像としての鳥瞰画像３０１とともに、モニタ１５上に表示することができる。

以下、モニタ１５の構成について詳細に説明をする。

＜モニタ＞
モニタ１５は、船室１０３内の操舵席１２７の前方と、フライングデッキ１０４の操舵席１２７の周辺とにおいて、操舵席１２７に着席した操船者から操船中に見える位置に配置されている。このモニタ１５には、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒによって取得される前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに基づいて作成された、船舶１０１を上方から見下ろしたかのような疑似の鳥瞰画像が表示される。

図６に、モニタ１５に表示される鳥瞰画像３０１の模式図を示す。鳥瞰画像３０１は、図６に示すように、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒの４つの部分鳥瞰画像３０１ｐが共通の撮影範囲ＲＣｆｌ，ＲＣｆｒ，ＲＣｂｌ，ＲＣｂｒでシームレスに繋ぎ合わされて一体化された、または別々のデータとして並べて表示された合成画像である。この鳥瞰画像３０１では、船舶１０１の上面を表す船舶画像１０１ｇが中心位置に示される。船舶画像１０１ｇは、例えば、イラストでもよいし、写真であってもよい。

また、モニタ１５は、タッチパネル機能を有する液晶表示パネルなどによって構成されている。このモニタ１５は、表示される鳥瞰画像３０１の範囲を切り換えたり、鳥瞰画像３０１に代えて個別の周辺画像（前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌ、右方画像Ｐｒ）を表示したりするなどの表示設定を指示するための操作部２５を兼ねている。当該モニタ１５には、そうした指示に用いるメニュー画面も表示されるようになっている。操船者は、メニュー画面に従い操作部２５を操作することによって、各種処理を実行させることができる。

また、後述のように、表示手段としてのモニタ１５は、合成画像としての鳥瞰画像３０１と、距離測定部５９による測定結果Ｄ１，Ｄ２と、を同時に表示することができる（図８を参照）。こうした処理は、制御装置２１からの制御信号に基づいて実行される。

以下、撮影装置１１における制御系の構成について詳細に説明をする。

＜制御系＞
各種センサ１７，１９としては、ジャイロセンサ１７および加速度センサ１９が設けられている。ジャイロセンサ１７および加速度センサ１９は、船舶１０１の揺れに応じて変化するフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒの傾きを検出する傾きセンサ４０を構成している。

ジャイロセンサ１７は、船舶１０１が傾いたときに、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒがどれだけの速さで回転しているのかを検出する。加速度センサ１９は、船舶１０１が傾いたときに、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒがどのような向きに回転しているのかを検出する。

ジャイロセンサ１７および加速度センサ１９は、例えば、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒ、制御装置２１のうち少なくとも１つに内蔵されている。なお、これらジャイロセンサ１７および加速度センサ１９は、各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒおよび制御装置２１とは別に船舶１０１に設置されていてもよい。

制御装置２１は、周知のマイクロコンピュータをベースとするコントローラである。この制御装置２１は、例えば、船室１０３内に設置されており、船舶１０１のバッテリから電源供給を受けて、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒ、モニタ１５などに対して電力を分配供給すると共に、それら各撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒ、各モニタ１５および各種センサ１７，１９とデータのやり取りをするようになっている。

具体的には、制御装置２１は、図４に示すように、画像データに所定の処理を施す信号処理部２９と、プログラムやデータを一時的に記憶する主メモリ３１と、主メモリ３１に対するプログラムおよびデータの書き込みや読み出しを制御するメモリ制御部３３と、主メモリ３１に読み出されたプログラムを実行するＣＰＵ（Central Processing Unit）３５と、各種プログラムおよびデータを記憶する補助メモリ３７と、モニタ１５を動作させるモニタ用ドライバ３９とを備えている。

信号処理部２９およびＣＰＵ３５は、典型的にはＩＣ（Integrated Circuit）やＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integration Circuit
）などによって実現される。主メモリ３１は、典型的にはＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous DRAM）などの揮発性メモリによって実現される。補助メモリ３７は、典型的にはフラッシュメモリなどの不揮発性メモリによって実現される。

信号処理部２９は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒから出力された前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての各フレームの画像データを次々と取得し、取得した各周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒについての画像データに基づいて部分鳥瞰画像３０１ｐを４枚作成し、それら４枚の部分鳥瞰画像３０１ｐ（ＢＥＶｆ，ＢＥＶｂ，ＢＥＶｌ，ＢＥＶｒ）を繋ぎ合わせて合成することにより１枚の鳥瞰画像３０１を作成する。

補助メモリ３７には、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒ、第１補助カメラ１４ａおよび第２補助カメラ１４ｂの外部パラメータと、それらフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒ、第１補助カメラ１４ａおよび第２補助カメラ１４ｂの内部パラメータとが記憶されている。ここで「外部パラメータ」とは、カメラの設置位置や設置角度などの設置状態を示す数値である。また、「内部パラメータ」とは、カメラの光軸位置や焦点距離、広角歪みなどの歪みに関する情報といった、カメラに固有の光学的性質を表す数値である。

また、補助メモリ３７には、前方画像Ｐｆと左方画像Ｐｌとの組み合わせ位置、後方画像Ｐｂと左方画像Ｐｌとの組み合わせ位置、前方画像Ｐｆと右方画像Ｐｒとの組み合わせ位置、および後方画像Ｐｂと右方画像Ｐｒとの組み合わせ位置についての設定値（較正処理を行う前は共に初期値）が記憶されている。

前方画像Ｐｆにおいて、左方画像Ｐｌおよび右方画像Ｐｒとの組み合わせ位置は、鳥瞰画像３０１に用いる切り出し範囲、つまり前方鳥瞰画像ＢＥＶｆとする範囲を示している。後方画像Ｐｂにおいて、左方画像Ｐｌおよび右方画像Ｐｒとの組み合わせ位置は、鳥瞰画像３０１に用いる切り出し範囲、つまり後方鳥瞰画像ＢＥＶｆとする範囲を示している。左方画像Ｐｌにおいて、前方画像Ｐｆおよび後方画像Ｐｂとの組み合わせ位置は、鳥瞰画像３０１に用いる切り出し範囲、つまり左方鳥瞰画像ＢＥＶｌとする範囲を示している。右方画像において、前方画像Ｐｆおよび後方画像Ｐｂとの組み合わせ位置は、鳥瞰画像３０１に用いる切り出し範囲、つまり左方鳥瞰画像ＢＥＶｒとする範囲を示している。

信号処理部２９は、前処理部４１と、画像補正部４３と、切り出し処理部４５と、画像合成部４７とを備えている。これら前処理部４１、画像補正部４３、切り出し処理部４５および画像合成部４７は、マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって実現される機能部である。

メモリ制御部３３は、前処理部４１、画像補正部４３、切り出し処理部４５および画像合成部４７で、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに所定の処理を行う際に主メモリ３１から当該画像データを読み出し、且つ、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに当該所定の処理を行った後に当該画像データを主メモリ３１に書き込む。

前処理部４１は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒからそれぞれ取得される前方画像Ｐｆ、後方画像Ｐｂ、左方画像
Ｐｌおよび右方画像Ｐｒについての画像データに対し、前処理として、デジタルクランプ、画素欠陥補正、ゲイン制御などの調整処理を施す。

画像補正部４３は、補助メモリ３７に記憶されたフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの内部パラメータおよび外部パラメータを、メモリ制御部３３を介して主メモリ３１に読み出す。

そして、画像補正部４３は、前方画像Ｐｆについての画像データに対し、フロントカメラ１３ｆの内部パラメータに基づき、広角歪みなどの歪みのない画像となるように変換する歪み補正を施す。画像補正部４３は、後方画像Ｐｂについての画像データに対しても、バックカメラ１３ｂの内部パラメータに基づき、同様な歪み補正を施す。画像補正部４３は、左方画像Ｐｌについての画像データに対しても、レフトカメラ１３ｌの内部パラメータに基づき、同様な歪み補正を施す。画像補正部４３は、右方画像Ｐｒについての画像データに対しても、ライトカメラ１３ｒの内部パラメータに基づき、同様な歪み補正を施す。

また、画像補正部４３は、前方画像Ｐｆについての画像データに対し、フロントカメラ１３ｆの内部パラメータおよび外部パラメータに基づき、上方から見下ろしたような画像に変換する視点変換処理を施す。画像補正部４３は、後方画像Ｐｂについての画像データに対しても、バックカメラ１３ｂの内部パラメータおよび外部パラメータに基づき、同様な視点変換処理を施す。画像補正部４３は、左方画像Ｐｌについての画像データに対しても、レフトカメラ１３ｌの内部パラメータおよび外部パラメータに基づき、同様な視点変換処理を施す。画像補正部４３は、右方画像Ｐｒについての画像データに対しても、ライトカメラ１３ｒの内部パラメータおよび外部パラメータに基づき、同様な視点変換処理を施す。

切り出し処理部４５は、補助メモリ３７に記憶された、前方画像Ｐｆと左方画像Ｐｌとの組み合わせ位置、後方画像Ｐｂと左方画像Ｐｌとの組み合わせ位置、前方画像Ｐｆと右方画像Ｐｒとの組み合わせ位置、および後方画像Ｐｂと右方画像Ｐｒとの組み合わせ位置についての設定値を、メモリ制御部３３を介して主メモリ３１に読み出す。そして、これら周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒ同士の組み合わせ位置の設定値に基づいて、上述の歪み補正および視点変換処理が施された後の前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データをそれぞれ部分的に切り出すことにより、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒについての部分鳥瞰画像データを作成する。

信号処理部２９は、そのような画像データの切り出し処理を行う際に、傾きセンサ４０によって検出されるフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの傾きに基づき、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データの傾きと、部分鳥瞰画像３０１ｐ（前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒ）の切り出し位置とを補正する。こうした補正は、電子ジンバルと呼ばれ、カメラの姿勢の動的な変化に起因した撮影画像の回転方向への変位をキャンセルする技術である。

部分鳥瞰画像３０１ｐは、船体が波で揺れることによるカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの向きの変化に伴って傾く。このような部分鳥瞰画像３０１ｐの傾きは、上述した視点変換処理を施している関係上、当該部分鳥瞰画像３０１ｐにおいて船体から離れるほど大きく見える。これに対し、本実施形態では、上述の如く、鳥瞰画像３０１の作成において電子ジンバルを効かせているので、船舶１０１が揺れて傾いても、船舶１０１の姿勢に倣ったフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおおびライトカメラ１３ｒの傾き度合に合わせて、各部分鳥瞰画像３０１ｐの傾きが補正される。それによって、船体が波で揺れることに起因した部分鳥瞰画像３０１ｐの傾きを低減することができる。このことは、鳥瞰画像３０１をリアルタイムで表示したときの同画像３０１の揺れを軽減するのに有効である。このようにして作成された部分鳥瞰画像データは、メモリ制御部３３によって主メモリ３１に書き込まれる。

画像合成部４７は、主メモリ３１に書き込まれた前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒについての４枚分の部分鳥瞰画像データをフレーム毎にメモリ制御部３３によって読み出し、読み出された部分鳥瞰画像データを組み合わせると共に、船舶画像１０１ｇの画像データを画像中心に位置するように合成することにより、上述の各種補正および変換処理が施された前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒを所定の位置で組み合わせてなる鳥瞰画像３０１についての鳥瞰画像データを作成する。そうして作成された鳥瞰画像データは、メモリ制御部３３によって主メモリ３１に書き込まれる。

主メモリ３１に書き込まれた各フレームの鳥瞰画像データは、ＣＰＵ３５からの指令を受けてメモリ制御部３３により読み出され、モニタ用ドライバ３９に受け渡される。モニタ用ドライバ３９は、主メモリ３１から読み出された鳥瞰画像データに基づいてモニタ１５を駆動する。これにより、モニタ１５には、その鳥瞰画像データに基づく鳥瞰画像３０１がリアルタイム画像（ライブビュー）として表示される。

制御装置２１はまた、鳥瞰画像３０１の作成に係る機能に加えて、第１および第２ステレオカメラＳ１，Ｓ２を介して距離Ｄ１，Ｄ２を測定する機能を有している。具体的に、制御装置２１は、第１又は第２ステレオカメラＳ１，Ｓ２によって所定方向における距離を測定する距離測定部５９を有している。距離測定部５９は「測距手段」の例示である。

詳しくは、本実施形態に係る距離測定部５９は、第１ステレオカメラＳ１によって、所定方向としての左右方向における距離を測定する。さらに詳しくは、図７に示すように、距離測定部５９は、船舶１０１の前部（具体的には第１ステレオカメラＳ１の設置箇所）から、第１ステレオカメラＳ１によって撮影可能な被写体までの距離Ｄ１を測定することができる。図７に示す例では、被写体として、岸壁Ｑに設けられたビットｂ１が例示されている。以下、第１ステレオカメラＳ１による被写体とされたビットｂ１を、「第１ビットｂ１」と呼称する。

より詳細には、距離測定部５９は、フロントカメラ１３ｆにより撮影された画像と、第１補助カメラ１４ａにより撮影された画像と、に基づいて、フロントカメラ１３ｆと第１補助カメラ１４ａとの間の視差を算出する。続いて、距離測定部５９は、そうして算出した視差と、フロントカメラ１３ｆおよび第１補助カメラ１４ａの内部パラメータと、フロントカメラ１３ｆおよび第１補助カメラ１４ａの外部パラメータと、に基づいて、フロントカメラ１３ｆおよび第１補助カメラ１４ａから第１ビットｂ１までの距離を算出する。

同様に、本実施形態に係る距離測定部５９は、第２ステレオカメラＳ２によって、所定方向としての左右方向における距離を測定する。さらに詳しくは、図７に示すように、距離測定部５９は、船舶１０１の後部（具体的には第２ステレオカメラＳ２の設置箇所）から、第２ステレオカメラＳ２によって撮影可能な被写体までの距離Ｄ２を測定することができる。図７に示す例では、被写体として、岸壁Ｑに設けられたビットｂ２が例示されている。同図に示すように、第１ステレオカメラＳ１と第２ステレオカメラＳ２とで、測距対象を異ならせてもよい。以下、第２ステレオカメラＳ２による被写体とされたビットｂ２を、「第２ビットｂ２」と呼称する。

より詳細には、距離測定部５９は、バックカメラ１３ｂにより撮影された画像と、第２補助カメラ１４ｂにより撮影された画像と、に基づいて、バックカメラ１３ｂと第２補助カメラ１４ｂとの間の視差を算出する。続いて、距離測定部５９は、そうして算出した視差と、バックカメラ１３ｂおよび第２補助カメラ１４ｂの内部パラメータと、バックカメラ１３ｂおよび第２補助カメラ１４ｂの外部パラメータと、に基づいてバックカメラ１３ｂおよび第２補助カメラ１４ｂから第２ビットｂ２までの距離Ｄ２を算出する。

距離測定部５９は、そうして算出した距離Ｄ１，Ｄ２を表示部としてのモニタ１５に出力し、鳥瞰画像３０１とともにモニタ１５上に表示させる。図８に示す例では、鳥瞰画像３０１として、船舶１０１の周辺画像と、岸壁Ｑと、第１ビットｂ１および第２ビットｂ２とがモニタ１５上に表示されている。このモニタ１５には、鳥瞰画像３０１に併せて、第１ステレオカメラＳ１から第１ビットｂ１までの距離「ＸＸＸｍ」と、第２ステレオカメラＳ２から第２ビットｂ２までの距離「ＹＹＹｍ」と、が併せて表示されている。このように表示をすることで、岸壁Ｑに船舶１０１を係留する際に、船員による操船作業を支援することが可能となる。

以上説明したように、前記実施形態によれば、例えば図７に示すように、合成画像を作成するための撮影カメラ１３ｆ，１３ｂに、測距用のカメラを兼用させることができる。これにより、合成画像から把握される景色と、実際に測定される距離との間のズレを抑制することが可能になる。

また図８に示すように、表示手段としてのモニタ１５は、合成画像としての鳥瞰画像３０１に併せて、測距手段としての距離測定部５９による測定結果を表示することができる。これにより、操船作業を支援する上で有利になる。

また図２に示すように、第１補助カメラ１４ａはフロントカメラ１３ｆの後方に設置され、第２補助カメラ１４ｂはバックカメラ１３ｂの前方に設置される。これにより、合成画像としての鳥瞰画像３０１に補助カメラ１４ａ，１４ｂが映り込むのを抑制することができる。

また前述のように、撮影カメラ１３ｆ，１４ｂおよび補助カメラ１４ａ，１４ｂは、双方とも広角レンズ２３を有する広角カメラとして構成されている。これにより、機械的な機構でレンズを回転させずとも、ビットｂ１，ｂ２までの距離を測定することが可能になる。

《他の実施形態》
前記実施形態では、船舶１０１の撮影装置１１がフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの４台のカメラを備えるとしたが、この構成には限定されない。船舶１０１の撮影装置１１が備えるカメラの台数は、３台以下であっても５台以上であってもよく、鳥瞰画像３０１などの合成画像が作成できれば、任意の台数のカメラを採用することができる。

また、前記実施形態では、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは半天球カメラであるとしたが、この構成には限定されない。半天球カメラはカメラの一例に過ぎず、比較的広い視野を撮影可能なカメラであれば、任意のカメラを採用することが可能である。第１補助カメラ１４ａおよび第２補助カメラ１４ｂについても同様である。

また前記実施形態では、フロントカメラ１３ｆと第１補助カメラ１４ａは、前後に隣接するように配置されていたが、この配置には限定されてない。例えば、フロントカメラ１３ｆと第１補助カメラ１４ａとを左右方向に並べて配置し、船舶１０１の前後方向における距離を測定するように構成してもよい。

このような変形例は、バックカメラ１３ｂにおいても実施可能である。すなわち、バックカメラ１３ｂと第２補助カメラ１４ｂとを左右方向に並べて配置し、船舶１０１の前後方向における距離を測定するように構成してもよい。

また、前記実施形態のように、複数設置されている撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒのうちの一部についてのみ、補助カメラ１４ａ，１４ｂを並べて配置してもよいし、撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒのうちの全部に対して補助カメラ１４ａ，１４ｂを並べて配置してもよい。

また、第１補助カメラ１４ａおよび第２補助カメラ１４ｂ用の広角レンズ２３は、撮影カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒ用の広角レンズ２３と同じ画角を有していてもよいし、異なる画角を有していてもよい。

また前記実施形態では、船舶の撮影装置１１は、船舶１０１を上方から見下ろしたかのような鳥瞰画像３０１を作成するとしたが、この構成には限定されない。船舶の撮影装置１１は、船舶１０１周囲の景色をパノラマ状に表示するパノラマ画像を合成画像として作成するようになっていてもよい。

また前記実施形態では、図８に示すように、鳥瞰画像３０１と併せて距離を表示するように構成されていたが、この構成には限定されない。図９に例示するように、岸壁Ｑ、第１ビットｂ１および第２ビットｂ２等を側方からみた画像に対して、被写体までの距離を重ねて表示してもよい。

また前記実施形態では、図８に示すように、ビットｂ１，ｂ２までの距離を測定するように構成されていたが、この構成には限定されない。距離の測定対象としては、例えば岸壁Ｑの壁面に設けられる廃タイヤとしたり、岸壁Ｑの上に立てられるフェンスとしたりしてもよい。

ＢＥＶｆ 前方鳥瞰画像
ＢＥＶｂ 後方鳥瞰画像
ＢＥＶｌ 左方鳥瞰画像
ＢＥＶｒ 右方鳥瞰画像
Ｐｆ 前方画像（周辺画像）
Ｐｂ 後方画像（周辺画像）
Ｐｌ 左方画像（周辺画像）
Ｐｒ 右方画像（周辺画像）
Ｒｆ 撮影範囲
Ｒｂ 撮影範囲
Ｒｌ 撮影範囲
Ｒｒ 撮影範囲
Ｓ１ 第１ステレオカメラ
Ｓ２ 第２ステレオカメラ
１１ 船舶の撮影装置
１３ｆ フロントカメラ（撮影カメラ）
１３ｂ バックカメラ（撮影カメラ）
１３ｌ レフトカメラ（撮影カメラ）
１３ｒ ライトカメラ（撮影カメラ）
１４ａ 第１補助カメラ（補助カメラ）
１４ｂ 第２補助カメラ（補助カメラ）
１５ モニタ（表示システム）
２３ 広角レンズ
５９ 距離測定部（測距手段）
１０１ 船舶

Claims (5)

1. 船舶に設置され、該船舶の周辺画像を撮影して合成画像の作成に用いられる複数の撮影カメラを備え、
   前記各撮影カメラによって撮影された周辺画像を組み合わせて前記合成画像を作成する船舶の撮影装置であって、
   前記複数の撮影カメラのうちの少なくとも１つに隣接して配置され、前記合成画像の作成には用いられずに距離の測定に用いられる補助カメラと、
   前記補助カメラと、該補助カメラに隣接する撮影カメラとによって所定方向における距離を測定する測距手段と、を備え、
   前記複数の撮影カメラは、
   前記船舶の前部に設置されるフロントカメラと、
   前記船舶の後部に設置されるバックカメラと、を有し、
   前記補助カメラは、
   前記フロントカメラの前後に隣接する第１補助カメラと、
   前記バックカメラの前後に隣接する第２補助カメラと、を有し、
   前記測距手段は、前記フロントカメラと前記第１補助カメラとを用いて、横方向における前記船舶の前部と第１被写体との間の第１距離を測定し、前記バックカメラと前記第２補助カメラとを用いて、横方向における前記船舶の後部と第２被写体との間の第２距離を測定するように構成されている
   ことを特徴とする船舶の撮影装置。
2. 請求項１に記載された船舶の撮影装置において、
   前記合成画像と、前記測距手段による測定結果と、を併せて表示する表示手段を備える
   ことを特徴とする船舶の撮影装置。
3. 請求項１に記載された船舶の撮影装置において、
   前記第１補助カメラは、前記フロントカメラの後方に設置され、
   前記第２補助カメラは、前記バックカメラの前方に設置される
   ことを特徴とする船舶の撮影装置。
4. 請求項１から３のいずれか１項に記載された船舶の撮影装置において、
   前記撮影カメラおよび前記補助カメラは、双方とも広角レンズを有する広角カメラとして構成されている
   ことを特徴とする船舶の撮影装置。
5. 請求項１から４のいずれか１項に記載された船舶の撮影装置を有する
   ことを特徴とする船舶。

Images