JP7270537B2 - 物体検出装置、船舶、および物体検出方法 - Google Patents

Description

本発明は、画像から物体を検出する物体検出装置、当該物体検出装置を備えた船舶、および物体検出方法に関する。

航行中の船舶において、船員は、水面に浮かぶブイ等の浮遊物、岩礁、および他の船舶などの障害物に自船が衝突しないように、自船の周囲を監視する作業を、航行中、行う必要がある。監視作業は、船員への負担が大きく、また、障害物が見逃されると、衝突事故が発生してしまう可能性もある。船員の負担を軽減すると共に、衝突事故の防止を目的として、カメラの撮影画像から周囲の物体を自動的に検出する物体検出装置の開発が行われている。

このような画像認識による物体検出装置の一例として、例えば、非特許文献１に記載されている装置がある。この非特許文献１に開示された装置は、畳み込みニューラルネットワークを応用した物体検出技術を、浦賀水道が撮影された景観画像に適用し、浦賀水道を航行する船舶を検出する検出処理を行う。将来、普及が予想される自律運航船において、周囲を監視するために画像認識による物体検出装置の実用化が期待されている。

小林充、外３名、「深層学習による景観画像からの船影の検出」日本船舶海洋工学会講演会論文集、２０１８年、第２６号、ｐｐ．１２１－１２４

上述した画像認識による検出処理においては、検出対象の物体を撮影した複数の画像を予め学習させることによって得られた学習モデルが用いられ、カメラで撮像された撮影画像に含まれる当該物体の有無の判定や、当該物体の種類の識別処理等が行われる。

ここで、例えば、船舶に設置されたカメラによる撮影画像を用いて、他の船舶等の物体を検出する場合、当該撮影画像は、地上に固定されたカメラによって撮影される画像に比べ、傾いたものになる場合が多い。更にその傾きも一定とは限らないため、撮影画像に含まれる当該物体の傾きも様々なものになる。

このような様々な傾きの物体を撮影した撮影画像を対象に検出処理を行う場合、学習に用いた物体の画像と比べ、傾きが大きく異なる物体の画像を対象とするケースが多くなるため、物体の検出精度が低下するという問題がある。このような場合において物体の検出精度の向上のため、あらゆる傾きで撮影された当該物体の画像が学習時に必要となりうる。多くの場合、あらゆる傾きで撮影された当該物体の画像として、例えば、ランダムに回転させた、当該物体の画像が、学習対象として追加される。しかし、この場合には、学習時における計算時間が長くなる虞がある。

本発明は、上記課題を解決するためになされたものであり、学習時における計算時間を増加させずに、物体の検出精度を向上させる物体検出装置、当該物体検出装置を備えた船舶、および物体検出方法を提供することを目的とする。

本発明に係る物体検出装置は、物体を含む画像を表す第１教師データを複数用いて生成された第１学習モデルを用いて、該物体を検出する物体検出装置であって、前記物体の検出に用いられる検出用画像データによって表される画像に含まれる水平線の検出処理を行う水平線検出部と、前記画像における水平方向と前記水平線との間の第１角度が所定角度以下になるよう、前記検出用画像データを補正する補正部と、前記補正部による補正後の前記検出用画像データによって表される画像において、前記第１学習モデルを用いて前記物体の検出処理を行う物体検出部と、を備える。

本発明に係る船舶は、上記物体検出装置を備えたものである。

本発明に係る物体検出方法は、物体を含む画像を表す第１教師データを複数用いて生成された第１学習モデルを用いて、該物体を検出する物体検出装置が実行する物体検出方法であって、前記物体の検出に用いられる検出用画像データによって表される画像に含まれる水平線の検出処理を行う水平線検出ステップと、前記画像における水平方向と前記水平線との間の第１角度が該所定角度以下になるよう、前記検出用画像データを補正する補正ステップと、前記補正ステップにおける補正後の前記検出用画像データによって表される画像において、前記第１学習モデルを用いて前記物体の検出処理を行う物体検出ステップと、を含む。

本発明に係る物体検出装置、当該物体検出装置を備えた船舶、および物体検出方法によれば、水平線検出部が、物体の検出に用いられる検出用画像データによって表される画像に含まれる水平線を検出し、補正部が、水平方向と当該水平線との間の第１角度が所定角度以下になるよう検出用画像データを補正する。そして、物体検出部が、補正された検出用画像データについて、第１学習モデルを用いて物体の検出処理を行う。これにより、検出処理の対象である検出用画像データによって表される物体の画像の水平方向からの傾きが所定の範囲以内（所定角度以内）に抑えられる。従って、例えば、第１学習モデルの生成時に、第１教師データによって表される物体の画像の水平方向からの傾きを所定の範囲以内に抑えれば、第１教師データによって表される物体の画像と、検出用画像データによって表される物体の画像との傾きの相違が抑制される。すなわち、対象となる物体の画像について、学習対象の第１教師データと検出対象データとの一致性が高まるので、検出処理による物体の検出精度が向上する。また、水平方向から所定の範囲を越える傾きの物体を検出するために、学習時において、学習対象の画像をランダムに回転させて様々な傾きの物体の画像を生成する必要性や、回転後の膨大な画像を学習させる必要性もなくなるので、学習時における計算時間の増加を抑えることができる。

実施の形態１に係る物体検出装置の一構成例を示すブロック図である。 補正前の検出用画像データによって表される画像の一例である。 図２に例示した画像の補正後における画像を示す図である。 実施の形態１に係る物体検出装置による物体検出処理の一例を示すフローチャートである。 実施の形態２に係る物体検出装置による物体検出処理の一例を示すフローチャートである。 実施の形態２に係る物体検出装置による物体検出処理の一例を示すフローチャートである。

以下、実施の形態に係る物体検出装置、船舶、および物体検出方法について、図面に基づき説明する。なお、以下の図面では各構成部材の大きさの関係が実際のものとは異なる場合がある。

実施の形態１．
図１は、実施の形態１に係る物体検出装置の一構成例を示すブロック図である。物体検出装置１は、畳み込みニューラルネットワークを用いて、入力された画像データによって表される画像から物体を検出する。画像上の物体の検出に先立ち、物体検出装置１は、当該物体の検出処理に用いるための学習モデルを生成し、当該学習モデルを当該物体検出装置１または他の記憶装置等に記憶する。物体検出装置１は、入力された教師データとしての画像データを複数用いて学習を行うことにより、学習モデルを生成する。以下では、物体の検出処理に用いるための学習モデルを第１学習モデルと記載し、当該第１学習モデルを生成する際に用いる教師データを第１教師データと記載する。

物体検出装置１は、学習処理部２と、学習処理部２による演算の結果を記憶する記憶部３と、検出処理部４とを備える。学習処理部２は、カメラ等による撮影によって得られた複数の画像データ、または、スキャナ等によって読み取られた複数の画像データ等の各々を第１教師データとして用いて第１学習モデルを生成する。以下では、当該第１学習モデルの生成において用いられる複数の画像データをデータセットと記載する場合もある。

記憶部３は、学習処理部２が生成した第１学習モデルを記憶する。検出処理部４は、カメラ５による画像データから、検出対象の物体を検出する。なお、実施の形態１では、検出処理部４の検出対象を水上に現れている船舶であるとする。このため、学習処理部２が用いるデータセットに含まれる第１教師データとしての画像データは、様々な海または河川等において、航行または停泊等を行っている船舶を含む画像のデータであるとする。ただし、データセットには、地上における船舶を含む画像のデータが含まれていてもよい。また、検出処理部４が船舶を検出する際に用いる画像は、カメラ５の撮影により得られた画像であって、当該画像には海または河川等が含まれてもよい。当該画像には、島または砂浜等の陸地、埠頭、岸壁、および橋等のうちの少なくとも一つが含まれてもよい。以下では、検出処理部４が船舶などの検出対象の物体を検出する際に用いる画像のデータを検出用画像データと記載する場合もある。

実施の形態１におけるカメラ５は、船舶などの移動手段に設置されていても、陸上に設置されていてもよい。カメラ５は、レンズ５０と、撮像部５１と、Ａ／Ｄ変換回路５２（Analog-to-Digital Converter）と、出力部５３とを備える。被写体における反射光は、レンズ５０に入射し、レンズ５０によって撮像部５１に集光される。撮像部５１は、例えば、ＣＣＤ（Charge Coupled Device）およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等であり、マトリクス状に配置された複数の受光素子を有する。撮像部５１は、複数の受光素子により、光を電気信号へ変換する。

Ａ／Ｄ変換回路５２は、撮像部５１から電気信号を取得し、当該電気信号をアナログ信号からデジタル信号に変換する。出力部５３は、Ａ／Ｄ変換回路５２によってデジタル信号へと変換された当該電気信号を物体検出装置１に出力する。

検出処理部４は、カメラ５から取得した電気信号から２次元の画像を表すための画像データを生成する。当該画像データは、検出用画像データに相当する。なお、検出処理部４がカメラ５から取得する、検出用画像データの元となる電気信号も、以下では検出用画像データと記載する場合もあるとする。検出処理部４は、上記記憶部３に記憶されている第１学習モデルを用いて、当該検出用画像データによって表される画像上における船舶の検出処理を行う。

ここで、カメラ５は、平坦な地上ではなく、船舶同士の衝突を防止するため、船舶上に設置される場合がある。船舶は、海または河川等において、波に煽られたり、水の流れに応じて動揺したりするため、当該船舶に設置されたカメラ５によって撮影される画像は、実際の水平方向から傾いたものとなりうる。この場合、当該カメラ５によって他の船舶が撮影されると、当該他の船舶が表された画像も傾いたものとなりうる。

傾いた画像上において船舶が、検出処理によって船舶として検出されるためには、同じように傾いた船舶を表す画像データを第１教師データとして用いて生成された第１学習モデルを用いることが好ましい。第１学習モデルの生成の際に、傾いた船舶を表す画像のデータが用いられていない場合には、大きく傾いた画像上において船舶を検出できない可能性がある。

傾いた画像における船舶などの物体を検出するため、従来の物体検出装置は、学習時において、データ増強（Data Augmentation）により、学習の対象となるデータセットにおける画像をランダムに回転させた画像を学習対象として、角度に対するロバスト性を高めていた。

しかし、学習時におけるデータセットに、傾きを加えた画像を追加する場合には、データセットに含まれる画像データの数が大幅に増えることにより、学習時間が長期化するという問題がある。

ここで、船舶においてカメラが固定されている場合において、当該カメラによる撮影によって得られた画像が大きく傾いている頻度は、それほど高くはないと想定される。これにより、当該画像において船舶（船舶画像）が大きく傾いている頻度は、それほど高くはないと想定される。例えば、大時化など海が大きく荒れている場合などにおいて、航行を行う船舶はそれほど多くはないと推定され、船舶に固定されたカメラによって撮影されて得られる画像上の他の船舶（船舶画像）の傾きも、予め定められた範囲内に留まるものと推定される。

そのため、学習時間をより短くするため、実施の形態１に係る物体検出装置１は、学習時に、データセットに含まれる画像データに対して回転処理を行わず、海または河川等において航行または停泊等している船舶を被写体とした撮影画像を表す画像データをそのまま第１教師データとして使用する。また、物体検出装置１は、画像上において船舶が大きく傾いている場合においても船舶の検出精度を落とさないようにするため、船舶の検出処理の際に用いられる検出用画像データによって表される画像の傾きを、第１教師データが表す画像の傾きと一致するよう補正する。なお、第１教師データとして用いられる画像データは、地上または船舶に固定されたカメラによる撮影により得られたものとし、当該画像データによって表される画像の傾きは、例えば５°などの予め定められた所定角度以下であるとする。なお、第１教師データとして用いられる画像データには、多少傾いた船舶を表す画像データが含まれているため、検出用画像データによって表される画像の多少の傾きに対しては、ロバスト性が担保される。

検出処理部４は、検出用画像データによって表される画像が傾いている場合において、その傾きが０°、または、例えば５°以下の所定角度以下になるよう、当該検出用画像データに対して回転処理などの補正処理を行う。具体的には、検出処理部４は、画像における水平線が、当該画像における水平方向から、傾きが０°または上記所定角度以下となるよう補正する。なお、画像における水平方向とは、画像の２次元座標系（ＸＹ座標系）におけるＸ方向に相当し、仮に当該画像を画面に表示した場合において、当該画面を有する機器の底面を、平坦な地面に設置した場合における当該画面の水平方向と等しい方向である。なお、物体検出装置１は、画面表示を行うための表示装置を有さなくともよく、また、画像は表示対象でなくともよい。

画像の傾きの補正後において検出処理部４は、第１学習モデルを用いて、画像上の船舶の検出処理を行う。

上述したような、船舶の検出処理前の処理の実行のため、検出処理部４は、検出用画像取得部４０と、水平線検出部４１と、補正部４２と、物体検出部４３とを有する。なお、図１においては、検出用画像取得部４０と水平線検出部４１との間の接続関係、水平線検出部４１と補正部４２との間の接続関係、および、補正部４２と物体検出部４３との間の接続関係が示されているが、接続関係はこれに限られず、例えば、物体検出部４３と水平線検出部４１とが接続されていてもよい。

検出用画像取得部４０は、カメラ５と有線または無線によって通信し、カメラから検出用画像データの元となる電気信号を取得し、当該電気信号から検出用画像データを生成する。水平線検出部４１は、エッジ検出処理、またはＲＧＢの差を用いた処理等により水平線を検出する。なお、水平線検出部４１は、水平線に限らず、水平線と平行に延びる、岸壁または陸地と空との境界線を検出してもよい。なお、当該境界線も、以下では水平線として記載する。

水平線の検出処理について以下詳細に述べる。検出用画像データは、画素毎の、ＲＧＢ色空間におけるＲ（Red）、Ｇ(Green)、Ｂ(Blue)の各値を含む。なお、画素とは、ＲＧＢの各値などの色情報と関連付けられる、画像データにおける最小の要素を指すものとし、各画素には、上述したＸ方向（水平方向）のＸ座標とＹ方向（鉛直方向）のＹ座標との組み合わせが対応づけられている。検出用画像データは、ＲＧＢ色空間における当該各値に代えて、ＹＵＶ色空間(ＹＣｂＣｒ色空間)におけるＹ、Ｕ（Ｃｂ）、Ｖ（Ｃｒ）の各値、またはＨＳＶ色空間のＨ（Hue）、Ｓ（Saturation）、Ｖ（Value）の各値を、画素毎に有してもよい。なお、ＹＵＶ色空間のＹは輝度、Ｕ(Ｃｂ)およびＶ（Ｃｒ）は色差である。また、ＨＳＶ色空間におけるＨは色相、Ｓは彩度、Ｖは明度である。ＲＧＢ色空間における各値と、ＹＵＶ色空間(ＹＣｂＣｒ色空間)における各値と、ＨＳＶ色空間における各値とは、互いに変換可能である。

水平線検出部４１は、画素毎のＲＧＢ色空間における各値から、例えば、画素毎の輝度または明度等を算出し、検出用画像データによって表される画像において、輝度または明度等の変化の度合いが急峻な部分を抽出する。なお、輝度または明度等の変化の度合いが急峻な部分とは、例えば、当該輝度または明度等の変化の度合いが所定の閾値以上となる部分を指すものとする。ここで、例えば、空を表す画素と、海を表す画素とでは輝度（明度）が異なり、空を表す画素同士の輝度（明度）の変化の度合い、および、海を表す画素同士の輝度（明度）の変化の度合いに比べて、空と海との境界部分における、輝度（明度）の変化の度合いは大きいものになる。このようなことから、当該閾値は、空と海との境界部分における輝度（明度）の変化の度合い、陸地と海との境界部分における輝度（明度）の変化の度合い、および、海（または、空もしくは陸地）を表す画素同士の輝度（明度）の変化の度合い等に基づいて、予め定められているものとする。

ここで、輝度（明度）の変化の度合いが急峻な部分のうち、水平線は、略直線を形成するものと考えられる。また、同じように輝度（明度）の変化の度合いが急峻な部分のうち、陸地において隣り合う、色彩の大きく異なる２つの建築物の境界、あるいは、空と雲または飛行物体との境界などは、水平線の検出処理において、水平線を示す部分の候補として省かれる必要がある。このため、水平線検出部４１は、輝度（明度）の変化の度合いが急峻な部分であって直線状に延びる部分を、水平線の候補とする。以下では、このような、輝度（明度）の変化の度合いが急峻な部分であって直線状に延びる部分を直線部分と記載する。

しかし、このままでは、まだ、水平線検出部４１は、勾配がある陸地または岸壁等と、空との境界を、水平線として抽出してしまう可能性もある。このため、水平線検出部４１は、水平線を示す部分の候補となりうる部分のうち、最長の直線部分を水平線として抽出する。ただし、検出用画像データが狭い湾内を表すものである場合などであって、水面と陸地との境が湾曲線を形成する場合、あるいは、陸地と空との境が直線部分となり、当該直線部分が水平線と平行ではなく、且つ当該直線部分が、陸または空と、海との境界線よりも長い場合において、水平線検出部４１は、陸地と空との境界を水平線とするなどの誤検出を行う可能性がある。

このような場合においても水平線検出部４１が正確に水平線を検出するために、物体検出装置１の学習処理部２は、例えば、海または河川等を表す画像のデータを教師データとして学習し、海または河川等に関する学習モデルを予め生成し、記憶部３に当該海または河川等に関する学習モデルを記憶させておいて、水平線検出部４１は、水平線の検出処理の際に、当該海または河川等に関する学習モデルを用いて水平線の検出を行ってもよい。以下では、当該海または河川等に関する学習モデルを第２学習モデルと記載し、当該第２学習モデルの生成に用いられる教師データを第２教師データと記載する。なお、当該第２学習モデルは、海または河川等の色に関する情報を含んでもよい。また当該海または河川等の色に関する情報は、ＲＧＢの各値、ＹＵＶ(ＹＣｂＣｒ)の各値、またはＨＳＶの各値等を含むものでもよい。

上述の水平線検出処理には、輝度（明度）によるエッジ検出処理が用いられているが、これ以外にも、色相（Ｈ）もしくは彩度（Ｓ）によるエッジ検出処理、または、ＲＧＢの各値の変化の度合いなどが用いられてもよい。なお、色相もしくは彩度によるエッジ検出処理が用いられる場合には、当該色相または彩度等の変化の度合いが所定の閾値以上となる部分であって、直線状に延びる部分が直線部分とされてもよい。

補正部４２は、検出された水平線を示す直線部分の、画像における水平方向からの傾きが上記所定角度を超える場合において検出用画像データを補正する。補正部４２は、例えば、次のように検出用画像データを補正する。補正部４２は、画像における水平方向からの水平線の傾き、または、画像における水平方向と、水平線との間の角度を算出する。以下では当該角度を第１角度と記載する。補正部４２は、算出した第１角度が上述した所定角度より大きい場合には、当該傾きを０、または当該第１角度を０°など、当該第１角度が所定角度以下となるよう検出用画像データを補正する。なお、補正部４２は、当該第１角度が上述した所定角度より大きい場合に限らず、全ての検出用画像データに対して回転処理を行ってもよい。

ここで、画像に対して回転を行う場合において、元の画像サイズで出力すると、画像の端のデータなど、検出用画像データの一部が欠落する虞がある。このため、補正部４２は、検出用画像データ全体を物体検出部４３に出力するため、補正する傾きおよび第１角度に応じて、当該検出用画像データに割り当てるデータ量を大きくする。例えば、補正部４２は、画素数を増加させてもよい。なお、当該データ量は、画面上に当該検出用画像データによる画像が表示される場合があるときには、当該画像の面積に対応するものとする。

物体検出部４３は、畳み込みニューラルネットワークによって、記憶部３に記憶されている第１学習モデルを用いて、検出用画像データによって表される画像における船舶の検出処理を行う。

以下、図２および図３を参照して、水平線検出部４１、補正部４２、および物体検出部４３による具体的な処理内容について説明する。図２は、補正前の検出用画像データによって表される画像の一例である。図３は、図２に例示した画像の補正後における画像を示す図である。図２および図３に示す画像のＸＹ座標系のＸ方向は、画像における水平方向であり、Ｙ方向は、画像における鉛直方向に相当する。図２および図３において、ハッチングが施された領域Ａは空を表し、他のハッチングが施された領域Ｂは海を表す。直線部分Ｃは水平線を表す。人工物Ｄは、建築物または船舶等を表す。図２におけるフレームＦ１は、補正部４２による補正前の検出用画像データに割り当てられたデータ量に対応する、当該検出用画像データによる画像の表示範囲を示す。図２に示す画像において、水平線検出部４１は、領域Ａおよび人工物Ｄと、領域Ｂとの間の輝度（明度）の変化の度合いが急峻であること、またはＲＧＢの変化の度合いが大きいことなどから、直線部分Ｃを、水平線を示す直線部分の候補とする。また、水平線検出部４１は、当該直線部分Ｃが、水平線を示す直線部分の候補のうち最長であることから、当該直線部分Ｃを水平線として抽出する。

補正部４２は、画像における水平方向と水平線Ｃとの間の第１角度を算出する。当該第１角度が所定角度より大きい場合において、補正部４２は、当該第１角度を所定角度以下にするために検出用画像データに対して回転による補正処理を行う。図３に示す場合では、補正部４２は、当該第１角度を０°とする回転処理を行っている。このため、水平線Ｃは、画像における水平方向に平行となっている。

図３におけるフレームＦ２は、補正後の検出用画像データに割り当てられたデータ量に対応する、画像の表示範囲を示す。なお、このフレームＦ２における画像は、スクロールによって全体が示されるものであってもよい。図３におけるフレームＦ２の長辺における長さＬ１は、図２に示すフレームＦ１の長辺の長さに相当し、フレームＦ２の短辺のおける長さＬ２は、フレームＦ１の短辺の長さに相当する。図３に示すように、補正後の検出用画像データは、フレームＦ１に対応するデータ量を割り当てられると、長さＬ１の長辺と、長さＬ２の短辺とを用いて形成される長方形以外の部分における情報が欠落する可能性がある。このような欠落を防ぐために、補正部４２は、補正後の検出用画像データのＸ方向における範囲とＹ方向における範囲とを、補正前の検出用画像データから増加させ、検出用画像データにおける全画素の各色情報を全て含むことができる分のデータ量を、当該補正後の検出用画像データのデータ量として割り当てる。

物体検出部４３は、第１学習モデルに基づいて、補正後の検出用画像データによって表される画像から船舶Ｅを検出する。

実施の形態１に係る物体検出装置１は、例えば、ＧＰＵ（Graphics Processing Unit）またはＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）またはキャッシュメモリ等のメモリ、ＨＤＤ（Hard Disk Drive）等の記憶装置、通信用のインターフェース回路、および、スキャナまたはカメラ等の入力装置を用いて構成することができる。記憶部３による機能は、記憶装置によって実現できる。学習処理部２による第１学習モデルおよび第２学習モデル等の学習モデルの生成機能は、プロセッサが、入力装置に入力されたデータセットを用いて、メモリに記憶されている学習用のプログラムを読みだして実行することにより実現できる。検出処理部４における検出用画像取得部４０による機能は、通信用のインターフェース回路によって実現できる。検出処理部４における水平線検出部４１、補正部４２、および物体検出部４３による機能は、プロセッサが、カメラ５から取得した検出用画像データを用いて、メモリに記憶されている物体検出プログラムを読み出して実行することにより実現できる。なお、上述した物体検出装置１の全部または一部の機能は専用のハードウェアによって実現されるものでもよい。

図４は、実施の形態１に係る物体検出装置による物体検出処理の一例を示すフローチャートである。ステップＳ１において物体検出装置１の学習処理部２は、船舶が含まれる画像のデータセットを用いて第１学習モデルを生成し、当該第１学習モデルを記憶部３に記憶させる。

物体検出装置１は、ステップＳ２においてカメラ５から検出用画像データの元となる電気信号を取得するまでの間（ステップＳ２：ＮＯ）、待機する。ステップＳ２において検出処理部４における検出用画像取得部４０がカメラ５から検出用画像データの元となる電気信号を取得した場合には（ステップＳ２：ＹＥＳ）、ステップＳ３において検出用画像取得部４０は、当該電気信号から検出用画像データを生成する。

ステップＳ４において水平線検出部４１は、上述したエッジ検出処理によって、あるいはＲＧＢの各値の差を用いた処理等によって、検出用画像データによって表される画像における水平線の検出処理を行う。なお、実施の形態１においては、水平線検出部４１は、画像上における直線部分のうち、最も長い直線部分を水平線として抽出するものとするが、当該水平線の検出方法に加えて、海の色などの情報であって、ＲＧＢの各値、ＹＵＶ(ＹＣｂＣｒ)の各値、またはＨＳＶの各値等を含む情報などが水平線の検出処理の際に用いられてもよい。

ステップＳ４における水平線の検出処理によって、水平線検出部４１が水平線を検出した場合には（ステップＳ５：ＹＥＳ）、ステップＳ６において補正部４２は、画像における水平方向と水平線との間の第１角度を算出する。なお、当該第１角度は、当該水平線の当該水平方向からの傾きが求まれば算出できる。

ステップＳ７において補正部４２は、ステップＳ６において算出した第１角度が所定角度より大きいか否かを判定する。所定角度は、上述したように、第１学習モデル生成の際に用いられた第１教師データにおける水平線と水平方向との間の角度の上限であり、例えば５°などである。第１角度が所定角度より大きい場合には（ステップＳ７：ＹＥＳ）、ステップＳ８において補正部４２は、当該第１角度を所定角度以下にするため、検出用画像データを補正する。これにより画像の傾きが補正される。例えば、補正部４２は、図２に示す画像を図３に示す画像へと補正したように、当該第１角度が０°になるように検出用画像データを補正してもよい。これ以外にも、補正部４２は、当該第１角度が１°または２°等の所定角度以下の特定の角度になるよう検出用画像データを補正してもよい。あるいは、補正部４２は、当該第１角度の大きさが、複数の第１教師データの各々によって表される画像における水平線と水平方向との間の角度の大きさの最頻値または平均値となるよう検出用画像データを補正してもよい。なお、当該最頻値または当該平均値は、所定角度の大きさ以下であり、予め記憶部３において記憶されていてもよい。

なお、ステップＳ８において補正部４２は、補正後の検出用画像データの欠損を防ぐため、当該補正後の検出用画像データのＸ方向における範囲とＹ方向における範囲とを、補正前の検出用画像データから増加させ、補正後の検出用画像データにおける全画素の各々の、Ｘ座標とＹ座標と色情報とを含むことができる分のデータ量を、当該補正後の検出用画像データのデータ量とする。ステップＳ８に続いて、ステップＳ９において物体検出部４３は、補正後の検出用画像データによって表される画像における船舶の検出処理を実行する。なお、ステップＳ５において水平線が検出されなかった場合には（ステップＳ５：ＮＯ）、補正部４２は処理を実行することなく、ステップＳ９において物体検出部４３は、ステップＳ３において生成された検出用画像データによって表される画像における船舶の検出処理を実行する。また、ステップＳ７において第１角度が所定角度以下である場合には（ステップＳ７：ＮＯ）、補正部４２は補正処理を実行することなく、ステップＳ９において物体検出部４３は、ステップＳ３において生成された検出用画像データによって表される画像における船舶の検出処理を実行する。ステップＳ９における処理の後、物体検出装置１は、物体検出処理を終了する。当該物体検出処理の一例においては、補正部４２は、ステップＳ７において第１角度が所定角度より大きいか否かを判定し、当該第１角度が所定角度より大きい場合には画像の傾きを補正しているが、補正部４２は、ステップＳ７の処理を行わず、ステップＳ６の処理の後にステップＳ８における画像の補正処理を行ってもよい。

実施の形態１に係る物体検出装置１は、船舶等の物体を含む画像を表す第１教師データを複数用いて生成された第１学習モデルを用いて、当該物体を検出する物体検出装置であって、水平線検出部４１と補正部４２と物体検出部４３とを備える。水平線検出部４１は、物体の検出に用いられる検出用画像データによって表される画像に含まれる水平線の検出処理を行う。補正部４２は、画像における水平方向と当該水平線との間の第１角度が所定角度以下になるよう検出用画像データを補正する。物体検出部４３は、補正部４２による補正後の検出用画像データによって表される画像において、第１学習モデルを用いて物体の検出処理を行う。

水平線検出部４１が、物体の検出に用いるための画像において水平線を検出し、補正部４２が、画像における水平方向と当該水平線との間の第１角度を所定角度以下になるよう補正することにより、検出用画像データによって表される画像の傾きが所定の範囲以内（所定角度以内）に抑えられる。これにより、検出用画像データによって表される画像に検出対象の物体がある場合において、当該物体の水平方向からの傾きも所定の範囲以内に抑えられる。従って、学習時の第１教師データによって表される、物体の画像の、水平方向からの傾きを所定の範囲以内に抑えれば、第１教師データによって表される物体の画像と、検出用画像データによって表される物体の画像との傾きの相違が抑制される。すなわち、対象となる物体の画像について、学習対象の第１教師データと検出対象データとの一致性が高まるので、検出処理による物体の検出精度が向上する。また、水平方向から所定の範囲を越える傾きの物体を検出するために、学習時において、学習対象の画像をランダムに回転させて様々な傾きの物体の画像を生成する必要性や、回転後の膨大な画像を学習させる必要性もなくなるので、学習時における計算時間の増加を抑えることができる。

実施の形態１における補正部４２は、第１角度が所定角度より大きい場合において、当該第１角度が当該所定角度以下になるよう、水平線が検出された画像の検出用画像データを補正する。すなわち、補正部４２は、第１角度が所定角度より大きい場合にのみ補正処理を行って、第１角度が所定角度以下の場合には補正処理を行わない。これにより、不要な処理を抑制できるので、演算処理負荷を低減できる。

実施の形態１における補正部４２は、第１角度が所定角度より大きい場合には、水平線が検出された画像の検出用画像データに対して、第１角度が所定角度以下になるよう、当該水平線が検出された当該画像の回転処理に相当する補正処理を行う。また補正部４２は、補正後の検出用画像データに割り当てるデータ量を、当該第１角度に応じて増加させる。これにより、補正後の検出用画像データに含まれる情報に欠損が生じることがなくなり、検出の取りこぼしが低減される。

実施の形態１における第１教師データによって表される画像に水平線が含まれる場合には、当該水平線の水平方向からの角度は、所定角度以下であってもよい。これにより、第１教師データの画像に含まれる物体をあらゆる傾きとなるように、ランダムに回転させた膨大な画像を第１教師データとして用いる必要がなくなるため、第１学習モデルの学習に要する計算時間の増加を抑えることができる。そして、水平線と水平方向との間の角度が所定角度以下となる画像データのみを多く第１教師データとして用いた第１学習モデルが、補正後の検出用画像データの画像に含まれる物体の検出処理に用いられるため、学習時における計算時間の増加を抑制するとともに、物体の検出精度の向上が図られる。

実施の形態１における検出対象の物体は、船舶である。上記検出処理を船舶の検出に用いることで、船舶は他の船舶を的確に検出することができるようになり、船舶同士の衝突事故の抑制に繋がる。

実施の形態１における水平線検出部４１は、検出用画像データによって表される画像においてエッジ検出処理を行い、輝度または明度の変化の度合いが急峻な部分であって、直線状に延びる部分である直線部分を、水平線として検出する。これにより、画像において水平線を検出できるようになる。

実施の形態１における水平線検出部４１は、検出用画像データによって表される画像において、直線部分が複数存在する場合には、最長の直線部分を水平線として検出する。これにより、水平線の検出精度が向上する。

実施の形態１における水平線検出部４１は、検出用画像データによって表される画像における、ＲＧＢの変化の度合いから水平線を検出する。これにより、画像において水平線を検出できるようになる。

実施の形態１における水平線検出部４１は、水平線の検出処理において、海または河川等に関する第２学習モデルを用いる。これにより、例えば、空と陸地との境界線、または、空と建造物との境界線等が水平線として検出される可能性が低減され、水平線検出部４１は、より的確に水平線を検出可能になる。

上記実施の形態１では、物体検出装置１が学習処理部２を備える例を示したが、必ずしも学習処理部２を備えなくてよい。例えば、学習処理部２は、外部に設けられていてもよい。

上記実施の形態１では、検出用画像データがカメラ５から入力される場合について説明したが、検出用画像データは、データサーバ等の不図示の外部装置からネットワークを介して物体検出装置１に入力されるものでもよい。

さらに、上記実施の形態１において説明した物体検出装置１を船舶が備えていてもよい。物体検出装置１を備える船舶は、例えば、コンテナ船、石油タンカー、自動車運搬船、客船およびＬＮＧ（Liquefied Natural Gas）運搬船等である。物体検出装置１を備える船舶の種類は限定されない。

実施の形態２．
上述した実施の形態においては、水平線検出部４１が水平線を検出できなかった場合には、補正部４２等による処理もなく、船舶の検出処理が行われた。しかし、画像が大きく傾いた状態のまま、船舶が適切に検出される可能性は高くはない。また、水平線検出部４１が、水平線としての候補の直線部分を複数抽出した上で、水平線を検出できない場合もありえ、その場合においても船舶の検出のために画像の傾きが修正される必要がある場合もある。実施の形態２に係る物体検出装置１は、水平線の検出がされなかった場合において、フィードバック処理を行い、再度水平線の検出処理を行うことにより、船舶の検出精度を高めるものである。実施の形態２に係る物体検出装置１の各構成要素は、図１に示す上記実施の形態１と同様である。ただし、実施の形態２においては、図１に示す構成要素同士の接続関係に加え、物体検出部４３と水平線検出部４１とが接続されているものとする。以下では、特に断りがない限り、実施の形態２に係る物体検出装置１における各構成要素の機能および動作等のうち、上記実施の形態１におけるものと相違する点のみについて記載する。

実施の形態２における水平線検出部４１は、水平線を検出しなかった場合であって、物体検出部４３が船舶を少なくとも１つ検出した場合には、検出された当該船舶の喫水線の検出処理を行う。なお、喫水線とは、水に浮かんでいる船舶が水面と接している線を意味するものとする。

水平線検出部４１は、喫水線が検出された場合には、当該喫水線から水平線を推定する。水平線の方向は、多くの場合、喫水線の方向と等しい。そのため、例えば、１つの喫水線が検出された場合には、当該喫水線の方向が水平線の方向となりうる。画像の回転の際に用いるものは、水平線と水平方向との間の角度であるため、水平線の方向が推定できれば足りるため、１つの喫水線が検出された場合には、水平線検出部４１は、当該喫水線と平行な任意の直線を水平線として推定してもよい。一方、水平線検出部４１は、複数の喫水線が検出された場合には、これらの喫水線の水平方向からの傾きの平均値もしくは最頻値を傾きとする任意の直線、または、これらの喫水線のうちの１つと平行な任意の直線を水平線として推定してもよい。

補正部４２は、水平線検出部４１が推定した水平線の水平方向からの角度である第２角度に基づいて上記同様の補正を行う。

図５および図６は、実施の形態２に係る物体検出装置による物体検出処理の一例を示すフローチャートである。図５に示すステップＳ１１～ステップＳ１９の一連の処理における各ステップにおける処理は、上記実施の形態１におけるステップＳ１～ステップＳ９の各ステップにおける処理を同様のため、説明を省略する。ステップＳ１９における物体検出部４３による船舶の検出処理の後、ステップＳ２０において物体検出部４３は、ステップＳ１４の処理によって既に水平線が検出されているか否かを判定する。なお、当該判定は、水平線検出部４１が行ってもよい。既に水平線が検出されている場合には（ステップＳ２０：ＹＥＳ）、物体検出装置１は物体検出処理を終了する。

ステップＳ１４における処理によって水平線が検出されていない場合には（ステップＳ２０：ＮＯ）、ステップＳ２１において物体検出部４３は、少なくとも１つの船舶を検出したか否かを判定する。なお、当該判定は、水平線検出部４１が行ってもよい。少なくとも１つの船舶が検出されていない場合には（ステップＳ２１：ＮＯ）、物体検出装置１は物体検出処理を終了する。少なくとも１つの船舶が検出されている場合には（ステップＳ２１：ＹＥＳ）、図６におけるステップＳ２２において水平線検出部４１は、検出された船舶の喫水線の検出処理を行う。

ステップＳ２２において水平線検出部４１は、例えば、エッジ検出処理、ＲＧＢの各値の差を用いた処理、および上記第２学習モデルを用いた処理等のうちの少なくとも１つによって、検出用画像データによって表される画像における喫水線の検出処理を行う。例えば、水平線検出部４１は、検出されている船舶に着目し、画像における鉛直方向に沿って下方向においてエッジ検出処理またはＲＧＢの各値の差を用いた処理等を行うことにより、喫水線の検出処理を行ってもよい。また、これに限定されず、水平線検出部４１は、画像における水平方向に沿ってエッジ検出処理またはＲＧＢの各値の差を用いた処理等を行うことにより、喫水線の検出処理を行ってもよい。

ステップＳ２２における喫水線の検出処理によって、水平線検出部４１が少なくとも１つの船舶の喫水線を検出した場合には（ステップＳ２３：ＹＥＳ）、ステップＳ２４において水平線検出部４１は、検出した喫水線に基づいて水平線を推定する。水平線は、検出された１以上の喫水線のうちの１つと平行な直線として推定されてもよいし、検出された複数の喫水線の各傾きの平均値等を傾きとする直線として推定されてもよい。

ステップＳ２４における処理後、ステップＳ２５において補正部４２は、水平方向と、ステップＳ２４で推定した水平線との間の第２角度を算出する。ステップＳ２６において補正部４２は、ステップＳ２５において算出した第２角度が、上述した所定角度より大きいか否かを判定する。第２角度が所定角度より大きい場合には（ステップＳ２６：ＹＥＳ）、ステップＳ２７において補正部４２は、当該第２角度を所定角度以下にするため、検出用画像データを補正する。これにより画像の傾きが補正される。例えば、補正部４２は、図２に示す画像を図３に示す画像へと補正したように、当該第２角度が０°になるように検出用画像データを補正してもよい。これ以外にも、補正部４２は、当該第２角度が１°もしくは２°等の所定角度以下の特定の角度になるよう検出用画像データを補正してもよい。あるいは、補正部４２は、当該第２角度の大きさが、複数の第１教師データの各々によって表される画像における水平線と水平方向との間の角度の大きさの最頻値または平均値となるよう検出用画像データを補正してもよい。なお、当該最頻値または当該平均値は、所定角度の大きさ以下であり、予め記憶部３において記憶されていてもよい。

なお、ステップＳ２７において補正部４２は、ステップＳ８と同様、補正後の検出用画像データのＸ方向における範囲とＹ方向における範囲とを、補正前の検出用画像データから増加させ、補正後の検出用画像データにおける全画素の各々の、Ｘ座標とＹ座標と色情報とを含むことができる分のデータ量を、当該補正後の検出用画像データのデータ量とする。ステップＳ２７に続いて、ステップＳ２８において物体検出部４３は、補正後の検出用画像データによって表される画像における船舶であって、ステップＳ１９で検出されなかった船舶の検出処理を実行する。

ステップＳ２３において喫水線が検出されなかった場合には（ステップＳ２３：ＮＯ）、補正部４２は処理を実行することなく、ステップＳ２８において物体検出部４３は、ステップＳ１３において生成された検出用画像データによって表される画像における船舶であって、ステップＳ１９で検出されなかった船舶の検出処理を実行する。なお、ステップＳ２３において喫水線が検出されなかった場合において、当該ステップＳ２８における処理に代えて、物体検出装置１は、物体検出処理を終了してもよい。

ステップＳ２６において第２角度が所定角度以下である場合には（ステップＳ２６：ＮＯ）、補正部４２は補正処理を実行することなく、ステップＳ２８において物体検出部４３は、ステップＳ１３において生成された検出用画像データによって表される画像における船舶であって、ステップＳ１９で検出されなかった船舶の検出処理を実行する。なお、ステップＳ２６において第２角度が所定角度以下である場合において、当該ステップＳ２８における処理に代えて、物体検出装置１は、物体検出処理を終了してもよい。なお、補正部４２は、必ずしもステップＳ２６を実行しなくともよい。すなわち、補正部４２は、第２角度が上述した所定角度より大きい場合に限らず、全ての検出用画像データに対して回転処理を行ってもよい。ステップＳ２８における処理の後、物体検出装置１は、物体検出処理を終了する。

実施の形態２における水平線検出部４１は、水平線が検出されなかった場合において、物体検出部４３が少なくとも１つの船舶を検出した場合には、検出された当該船舶の喫水線の検出処理を行う。そして、水平線検出部４１は、少なくとも１つの喫水線が検出された場合には、検出された当該少なくとも１つの喫水線から水平線を推定する。補正部４２は、推定された水平線の水平方向からの第２角度が、所定角度以下になるよう、当該水平線が推定された画像の検出用画像データを補正する。物体検出部４３は、第２角度が所定角度以下になるよう補正された後の検出用画像データによって表される画像において、第１学習モデルを用いて、既に検出されている船舶以外の船舶の検出処理を行う。これにより、物体検出部４３は、水平線が検出されなかった場合でも、フィードバック処理により、水平線を推定して、画像の傾きを補正することによって、画像の補正なしでは検出できなかった他の船舶を検出することができるようになり、船舶の検出精度が向上する。

実施の形態２における補正部４２は、第２角度が所定角度より大きい場合において、当該第２角度が当該所定角度以下になるよう、水平線が推定された画像の検出用画像データを補正する。すなわち、補正部４２は、第２角度が所定角度より大きい場合にのみ補正処理を行って、第２角度が所定角度以下の場合には補正処理を行わない。これにより、不要な処理を抑制できるので、演算処理負荷を低減できる。

実施の形態２における第１教師データによって表される画像に水平線または喫水線が含まれる場合には、当該水平線または当該喫水線の水平方向からの角度は、所定角度以下であってもよい。これにより、ランダムに回転させた画像の画像データを第１教師データとして用いる必要がなくなるため、学習対象の画像データに対する回転処理などの必要がなくなる。そして、水平線または喫水線と水平方向との間の角度が所定角度以下となる画像データのみを多く第１教師データとして用いた第１学習モデルが、補正後の検出用画像データを用いての物体の検出処理に用いられるため、学習時間を増加させることなく、物体の検出の精度の向上が図られる。

なお、本実施の形態１～２において図４～６を参照して説明した物体検出方法をコンピュータに実行させるためのプログラムは、記録媒体に記録され、当該記録媒体から物体検出装置１に読み込まれるものであっていてもよいし、ネットワークを介して物体検出装置１にインストールされるものであってもよい。なお、記録媒体は、例えば、磁気ディスクまたは光学ディスク等である。光学ディスクは、例えば、ＣＤ（Compact Disc）またはＤＶＤ（Digital Versatile Disc）である。あるいは、記録媒体は、フラッシュメモリ等の半導体メモリが搭載されたＵＳＢ（Universal Serial Bus）メモリであってもよい。

１ 物体検出装置、２ 学習処理部、３ 記憶部、４ 検出処理部、５ カメラ、４０ 検出用画像取得部、４１ 水平線検出部、４２ 補正部、４３ 物体検出部、５０ レンズ、５１ 撮像部、５２ Ａ／Ｄ変換回路、５３ 出力部、Ａ、Ｂ 領域、Ｃ 水平線、Ｄ 人工物、Ｅ 船舶、Ｆ１、Ｆ２ フレーム、Ｌ１、Ｌ２ 長さ。

Claims (10)

1. 物体を含む画像を表す第１教師データを複数用いて生成された第１学習モデルを用いて、該物体を検出する物体検出装置であって、
   前記物体の検出に用いられる検出用画像データによって表される画像に含まれる水平線の検出処理を行う水平線検出部と、
   前記画像における水平方向と前記水平線との間の第１角度が所定角度以下になるよう、前記検出用画像データを補正する補正部と、
   前記補正部による補正後の前記検出用画像データによって表される画像において、前記第１学習モデルを用いて前記物体の検出処理を行う物体検出部と、
   を備える物体検出装置。
2. 前記補正部は、前記第１角度が前記所定角度より大きい場合において、該第１角度が該所定角度以下になるよう、前記水平線が検出された前記画像の前記検出用画像データを補正する、請求項１に記載の物体検出装置。
3. 前記補正部は、
   前記第１角度が前記所定角度より大きい場合には、前記水平線が検出された前記画像の前記検出用画像データに対して、該第１角度が該所定角度以下になるよう、該水平線が検出された該画像の回転処理に相当する補正処理を行うと共に、補正後の該検出用画像データに割り当てるデータ量を、前記第１角度に応じて増加させる、請求項１または請求項２に記載の物体検出装置。
4. 前記物体は船舶である、請求項１～請求項３のいずれか一項に記載の物体検出装置。
5. 前記水平線検出部は、
   前記検出用画像データによって表される画像においてエッジ検出処理を行い、輝度または明度の変化の度合いが急峻な部分であって、直線状に延びる該部分である直線部分を、前記水平線として検出する、請求項１～請求項４のいずれか一項に記載の物体検出装置。
6. 前記水平線検出部は、
   前記検出用画像データによって表される画像において、前記直線部分が複数存在する場合には、最長の前記直線部分を前記水平線として検出する、請求項５に記載の物体検出装置。
7. 前記水平線検出部は、
   前記水平線の検出処理において、海または河川を含む画像を表す第２教師データを用いて生成された第２学習モデルを用いる、請求項５または請求項６に記載の物体検出装置。
8. 前記水平線検出部は、
   前記水平線が検出されなかった場合において、前記物体検出部が、前記検出用画像データが表す前記画像から、少なくとも１つの前記物体を検出した場合には、検出された該物体の喫水線の検出処理を行い、少なくとも１つの該喫水線が検出された場合には、検出された該少なくとも１つの喫水線から水平線を推定し、
   前記補正部は、
   推定された前記水平線の前記水平方向からの第２角度が、前記所定角度以下になるよう、該水平線が推定された前記画像の前記検出用画像データを補正し、
   前記物体検出部は、
   前記第２角度が前記所定角度以下になるよう補正された後の前記検出用画像データによって表される画像において、前記第１学習モデルを用いて、既に検出されている前記少なくとも１つの物体以外の、前記物体の検出処理を行う、請求項１～請求項７のいずれか一項に記載の物体検出装置。
9. 請求項１～請求項８のいずれか一項に記載の物体検出装置を備えた、船舶。
10. 物体を含む画像を表す第１教師データを複数用いて生成された第１学習モデルを用いて、該物体を検出する物体検出装置が実行する物体検出方法であって、
    前記物体の検出に用いられる検出用画像データによって表される画像に含まれる水平線の検出処理を行う水平線検出ステップと、
    前記画像における水平方向と前記水平線との間の第１角度が該所定角度以下になるよう、前記検出用画像データを補正する補正ステップと、
    前記補正ステップにおける補正後の前記検出用画像データによって表される画像において、前記第１学習モデルを用いて前記物体の検出処理を行う物体検出ステップと、
    を含む物体検出方法。

Images