JP2020021188A - 自動車の姿勢推定装置 - Google Patents

Abstract

【課題】 画像中に写し出された自動車の姿勢を推定することのできる装置を提供する。【解決手段】 抽出手段２は、自動車を含む画像中から、セマンティック・セグメンテーションによって、少なくとも、当該自動車の前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面を抽出する処理を行う。画像に写し出された自動車の姿勢を推定する際において、学習済みの抽出手段２は、当該画像を受けて、自動車の前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面を推定する。通常進行方向判断手段４は、推定した前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面の位置に基づいて、画像上における自動車の通常の進行方向（すなわち姿勢）を判断して、その進行方向を出力する。【選択図】 図１

Description

この発明は、自動車を含む画像から自動車の各部位を推定する技術に関するものである。

セマンテック・セグメンテーションなどのディープラーニングによるセグメンテーションによって、複数の対象物を含む画像のそれぞれの画素について、いずれの対象物についての画素であるかを推定することが行われている。たとえば、特許文献１においては、画像から、各画素が道路、空、建物、車、歩行者、道路標識などいずれの対象物に属するものであるかを推定するシステムが開示されている。

このようなシステムによれば、画像中にどのような対象物がどこに写し出されているかを検出することができる。

特開２０１７−１６２４５６

しかしながら、特許文献１のような従来技術では、画像中に車が写し出されてことは認識できるものの、当該自動車がどのような姿勢（たとえば、その進行方向など）にあるのかを認識することはできなかった。このため、画像中から認識した車について、移動方向による交通量解析や、複数台の車が重なっていることの判定を行ったりすることは難しかった。

この発明は、上記のような問題点を解決して、画像中に写し出された自動車の姿勢を推定することのできる装置を提供することを目的とする。

この発明の独立して適用可能ないくつかの特徴を以下に列挙する。

(1)(2)この発明に係る姿勢推定装置は、自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段とを備えている。

したがって、画像から自動車の姿勢を判定することができる。

(3)この発明に係る姿勢推定装置は、推定手段が、自動車を含む画像と、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を少なくともラベリングしたラベリング画像とに基づいて学習のなされたディープラーニング・セグメンテーション処理手段を備えていることを特徴としている。

したがって、より正確に各部位を推定することができる。

(4)(5)この発明に係る交通量判断装置は、道路における自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段と、前記推定した各自動車の通常進行方向に基づいて当該道路における交通量を判断する交通量判断手段とを備えている。

したがって、移動方向も含めた交通量を計測することができる。

(6)この発明に係る交通量判断装置は、前記道路が交差点であることを特徴としている。

したがって、車の重なり合うことの多い交差点においても、各自動車を適切に判断し、交通量を計測することができる。

(7)この発明に係る交通量判断装置は、交通量判断手段が、前記判断結果に基づいて、交差点の信号機の青赤点灯比率を制御することを特徴としている。

したがって、交通量に応じた適切な信号制御を行うことができる。

(8)(9)この発明に係るディープラーニング・セグメンテーション装置の学習に用いるための学習データを生成する装置は、道路上を走行する自動車について背景と自動車を含む画像から自動車部分のみを抽出した自動車画像を取得する自動車画像取得手段と、前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれに、前記自動車画像を貼り付ける自動車画像貼付手段と、前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれについて、前記自動車画像に対応する位置に部位ラベルをおいてラベル画像を生成するラベル画像生成手段とを備えている。

したがって、容易に多くの学習データを生成することができる。

(10)この発明に係る抽出装置の生産方法は、自動車を含む画像を受けて、当該画像中の自動車の部位を抽出する処理部を有する抽出装置を生産するための方法であって、コンピュータが、道路上を走行する自動車について、背景と自動車を含む画像から自動車部分のみを抽出した自動車画像を用意し、前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれに、前記自動車画像を貼り付けて学習用画像データを生成し、前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれについて、前記自動車画像に対応する位置に部位ラベルをおいて学習用ラベル画像データを生成し、上記学習用画像データと学習用ラベル画像データに基づいて、前記抽出のための処理部を学習する。

したがって、少ない学習データを準備するだけで効率よく学習を行って抽出装置を生産することができる。

「抽出手段」は、実施形態においては、ステップＳ１２がこれに対応する。

「通常進行方向判断手段」は、実施形態においては、ステップＳ１３がこれに対応する。

「交通量判断手段」は、実施形態においては、ステップＳ２６がこれに対応する。

「自動車画像取得手段」は、実施形態においては、ステップＳ５２がこれに対応する。

「自動車画像貼付手段」は、実施形態においては、ステップＳ５５がこれに対応する。

「ラベル画像生成手段」は、実施形態においては、ステップＳ５６がこれに対応する。

「プログラム」とは、ＣＰＵまたはＧＰＵ（あるいはその双方）により直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

第１の実施形態による姿勢推定装置の機能ブロック図である。 姿勢推定装置のハードウエア構成である。 姿勢推定プログラムのフローチャートである。 図４Ａはオリジナル画像、図４Ｂはラベル画像である。 推定処理のフローチャートである。 図６Ａは取得した画像、図６Ｂは部位推定結果である。 姿勢推定処理のフローチャートである。 図８Ａは取得した画像、図８Ｂは部位推定結果である。 姿勢推定のためのルール例である。 自動車が重なり合った場合の部位推定結果を示す図である。 動画によって連続して推定することによるご認識の修正を説明する図である。 第２の実施形態による交通量判断装置の機能ブロック図である。 交通量判断処理のフローチャートである。 カメラによる交差点の撮像画像例である。 交差点の撮像画像に基づく部位推定例である。 交差点における自動車の移動方向分類である。 第３の実施形態による学習装置の機能ブロック図である。 学習用データ生成処理のフローチャートである。 図１９Ａは自動車画像、図１９Ｂはオリジナル画像、図１９Ｃは自動車のラベル画像である。 背景画像である。 図２１Ａはオリジナル画像の道路端部線、図２１Ｂは背景画像の道路端部線である。 図２２Ａは生成された学習用画像データ、図２２Ｂは学習用ラベル画像データである。

１．第１の実施形態
1.1全体構成
図１に、この発明の一実施形態による自動車の姿勢推定装置およびその学習装置の機能ブロック図を示す。抽出手段２は、自動車を含む画像中から、少なくとも、当該自動車の右前タイヤ、左前タイヤ、右後タイヤ、左後タイヤ、正面、左側面、右側面、背面、上面、背景を抽出する処理を行う。

この実施形態では、抽出手段２として、セマンティック・セグメンテーションによって、与えられた画像の各画素について上記いずれの部位に該当するかを判断するようにしている。セマンティックセ・グメンテーションを用いる場合、自動車を含むオリジナル画像に基づいて、左前タイヤ、左後タイヤ、右前タイヤ、右後タイヤ、正面、左側面、右側面、背面、上面、背景を色分けしてラベルを付したラベル画像を生成する。ラベル画像の生成は、ＰＣを利用して画像処理プログラムにより、人が作業することによって行うことができる。

学習処理において、抽出手段２は、自動車を含むオリジナル画像６を受けて、その処理結果（画素ごとに、左前タイヤ、左後タイヤ、右前タイヤ、右後タイヤ、正面、左側面、右側面、背面、上面、背景のいずれに属するか）を出力する。学習手段１０は、オリジナル画像６の処理結果と、オリジナル画像６に対応するラベル画像８とに基づいて、両者が合致するように抽出手段２のパラメータを学習する。この学習を、多数のオリジナル画像６とラベル画像８によって行う。

画像に写し出された自動車の姿勢を推定する際において、学習済みの抽出手段２は、当該画像を受けて、自動車の左前タイヤ、左後タイヤ、右前タイヤ、右後タイヤ、正面、左側面、右側面、背面、上面を推定する。通常進行方向判断手段４は、推定した左前タイヤ、左後タイヤ、右前タイヤ、右後タイヤ、正面、左側面、右側面、背面、上面の位置に基づいて、画像上における自動車の通常の進行方向（すなわち姿勢）を判断して、その進行方向を出力する。

1.2ハードウエア構成
図２に、自動車の姿勢推定装置のハードウエア構成を示す。ＣＰＵ２０には、メモリ２２、キーボード／マウス２４、ディスプレイ２６、ハードディスク２８、ＤＶＤ−ＲＯＭドライブ３０、通信回路３２、カメラ３４が接続されている。通信回路３２は、インターネットと接続するためのものである。カメラ３４は、たとえば道路などに設置され、移動する自動車を撮像するものである。

ハードディスク２８には、オペレーティングシステム３６、姿勢推定プログラム３８が記録されている。姿勢推定プログラム３８は、オペレーティングシステム３６と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ−ＲＯＭ４０に記録されていたものを、ＤＶＤ−ＲＯＭドライブ３０を介して、ハードディスク２８にインストールしたものである。

1.3学習処理
図３に、姿勢推定プログラム３８の学習処理のフローチャートを示す。この実施形態では、セマンティック・セグメンテーションによる推定処理を行うSegNet（https://qiita.com/uni-3/items/a62daa5a03a02f5fa46dにて入手可能）を、ディープラーニングのエンジンとして用いた。

まず、図４Ａに示すような自動車の含まれる画像データを多数用意して、ハードディスク２８に記録する。できれば、いろいろな車種、いろいろな背景による画像が多数あることが好ましい。

それぞれの画像データ（オリジナル画像データ）を、ディスプレイ２６に表示し、操作者が画像をみながら、マウス２４を操作して、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面および背景（自動車以外の部分）を、それぞれ異なる色でラベル付けする。ラベル画像の例を図４Ｂに示す。生成されたラベル画像データは、オリジナルの画像データに対応付けて、ハードディスク２８に記録される。

以上のようにして、オリジナル画像データとこれに対応するラベル画像データが、多数ハードディスク２８に記録されることとなる。

まず、ＣＰＵ２０は、ハードディスク２８からオリジナル画像データを取得する（ステップＳ２）。たとえば、図４Ａのようなオリジナル画像を読みだす。次に、ＣＰＵ２０は、オリジナル画像について、学習済みのセマンティック・セグメンテーションにより、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面の各部位を推定する（ステップＳ３）。推定結果の画像を、図４Ｃに示す。図４Ｃに示すように、各部位ごとに異なる色が付された画像となっている。

この実施形態では、オリジナル画像に対して、プーリングおよび畳み込みを繰り返し、さらに、アップサンプリングと畳み込みを繰り返すことで推定結果の画像を得るようにしている。

次に、ＣＰＵ２０は、オリジナル画像に対応してハードディスク２８に記録されているラベル画像を読みだす（ステップＳ４）。たとえば、図４Ｂのようなラベル画像が読みだされる。

続いて、ＣＰＵ２０は、図４Ｂのラベル画像を教師データとし、図４Ｃの推定結果画像に基づいて、ステップＳ３における推定のためのパラメータを学習する（ステップＳ５）。

全てのオリジナル画像・ラベル画像に基づいて学習を行うと、ＣＰＵ２０は、学習処理を終了する（ステップＳ１、Ｓ６）。

1.4推定処理
図５に、カメラ３４から取得した画像中の自動車の姿勢を推定する処理のフローチャートを示す。

ＣＰＵ２０は、カメラ３４から画像を取得する（ステップＳ１１）。この画像は、静止画であっても動画であってもよい。カメラ３４は、たとえば、交差点などに設置したカメラである。なお、ＣＰＵ２０は、カメラから動画を取得した場合、それを構成する静止画の連続として処理を行う。たとえば、図６Ａのような画像を取得したものとする。

次に、ＣＰＵ２０は、取得した画像について、セマンティック・セグメンテーションによる推定処理を行う（ステップＳ１２）。これにより、図６Ｂに示すように、自動車の各部位が推定される。この図では、前面ＦＳ、左前タイヤＦＬＴ、右前タイヤＦＲＴ、左側面ＬＳ、右側面ＲＳ、上面ＴＰおよび背景ＢＫが推定されている。

続いて、ＣＰＵ２０は、自動車について推定した各部位に基づいて、車の姿勢を推定する（ステップＳ１３）。

図７に、各部位に基づく車の姿勢の推定のフローチャートを示す。ＣＰＵ２０は、まず、推定した画像中に複数の自動車が含まれているかどうかを判断する（ステップＳ２１）。図６の例では、自動車は１台しか含まれていないが、図８に示すように、複数台の自動車が含まれる可能性があるからである。

複数台の自動車が含まれるかどうかの判断は、たとえば、同一部位が２以上推定されるかどうかによって行うことができる。図８Ｂの推定結果の場合、上面、左前タイヤ１、左後タイヤ１、左側面１、左前タイヤ２、左後タイヤ２、左側面２が推定されている。すなわち、左前タイヤ、左後タイヤ、左側面がそれぞれ２つ推定されている。

ＣＰＵ２０は、上記の各部位が現れる通常の位置関係をルールとして記録している。ルールの例を、図９に示す。左前タイヤは左後タイヤより前方にある、左側面は左前タイヤと左後タイヤの間にある、右前タイヤは右後タイヤより前方にある、右側面は右前タイヤと右後タイヤの間にある等のルールが記録されている。ＣＰＵ２０は、このルールに基づいて、各自動車を特定する。

図８Ｂの場合であれば、上面、左前タイヤ１、左後タイヤ１、左側面１が上記のルール１、２、７を満たす。したがって、これらが自動車Ｃ１の部位であることが特定できる。

これらの部位（上面、左前タイヤ１、左後タイヤ１、左側面１）に対し、左前タイヤ２、左後タイヤ２は、ルール１、２に反している。したがって、左前タイヤ２、左後タイヤ２は、自動車Ｃ１とは別の自動車Ｃ２の部位であると特定できる。左前タイヤ２、左後タイヤ２は、左側面２に対し、ルール２を満たしている。したがって、左前タイヤ２、左後タイヤ２、左側面２は、自動車Ｃ２の要素であると特定することができる。

また、同一部位が２以上推定されない場合であっても、前記のルールによって、１台の自動車の部位であると判定するには矛盾がある場合にも、複数台の自動車が含まれていると判断する。たとえば、進行方向の異なる自動車が重なって撮像された図１０のような推定結果が得られた場合、ＣＰＵ２０は次のように判断を行う。

左前タイヤ、左後タイヤ、左側面は上記のルール２に合致し、その他のルールに矛盾しないので、１台の車の部位であると判断できる。前面、右後タイヤが、この車と同一の車の部位であると仮定すると、ルール３、５に反するので、異なる車の部位であると判断できる。これにより、前面、右側面、右後タイヤは、他の１台の車の部位であると判断できる。

なお、図１１Ａに示すような推定結果が得られた時、左前タイヤ、左側面１、左側面２、左後タイヤが、一つの自動車であるかどうか決定できないことがある（あるいは、誤認識する場合がある）。動画にて連続した画像を取得していれば、このような場合であっても、正しく認識を行うことができる。

たとえば、図１１Ｂのように、何秒か後の画像を認識すると、手前に重なって存在していた自動車がなくなる場合がある。これによれば、左側面１、左後タイヤと、左側面２、左前タイヤ、左後タイヤ２は、異なる自動車であると認識することができる。これにより、遡って、移動方向や時間によって推定すれば、図１１Ａにおける、左側面１、左前タイヤと、左側面２、左後タイヤが異なる自動車であることを特定することが可能となる。

次に、ＣＰＵ２０は、上記にて判断したそれぞれの自動車について、各部位の推定結果に基づいて、自動車の姿勢（通常の進行方向）を推定する。まず、ＣＰＵ２０は、対象となる自動車について、２つ以上の部位が推定できているかどうかを判断する（ステップＳ２３）。１つの部位（たとえば、前面のみ）しか推定できないものについては、姿勢推定ができないので、これを行わない。

２つ以上の部位が推定できている自動車については、これら部位に基づいて自動車の姿勢を推定する（ステップＳ２４）。

自動車の姿勢の推定は、右前（左前）タイヤ、右後（左後）タイヤが特定できていれば、右後（左後）タイヤの重心から、右前（左前）タイヤの重心の方向に向かう線を想定し、その方向が当該自動車の通常の進行方向であると推定できる。

また、右側面（左側面）が特定できていれば、その下端の線の方向が進行方向であると推定できる。なお、いずれの方向が前であるかは、右前（左前）タイヤ、右後（左後）タイヤや前面、後面がいずれの方向にあるかによって決定することができる。

なお、上記のように各自動車の通常の進行方向を推定することができるので、動画を用いることで、当該自動車が前進しているかバックしているかを判断することもできる。すなわち、動画によって判断した移動方向と、上記部位推定によって判断した通常の進行方向が合致していれば前進、合致していなければバックしていると判断することができる。

２．第２の実施形態
2.1全体構成
図１２に、この発明の第２の実施形態による交通量判断装置の機能ブロック図を示す。抽出手段２、通常進行方向判断手段４は、第１の実施形態と同じである。また、学習手段１０によって、オリジナル画像６とラベル画像８を用いて抽出手段２が学習される点も同様である。

交通量判断手段１２は、通常進行方向判断手段４の出力を受けて、交差点などにおける交通量を算出する。

2.2ハードウエア構成
ハードウエア構成は、第１の実施形態における図２と同様である。カメラ３４は、交差点に設置された固定カメラである。また、ハードディスク２８には、交通量判断プログラムが記録されている。

2.3交通量判断処理
交通量判断プログラムにおける交通量判断の部分のフローチャートを示す。学習処理や部位特定処理は、第１の実施形態と同様であるのでフローチャートを省略する。

図１４に、カメラ３４にて撮像した交差点の画像例を示す。ここでは、固定カメラ３４を用いているので、道路方向のベクトルＡＢ、ＣＤが、画像上から固定的に定まる。このベクトル方向は、ハードディスク２８に予め記録されている。

図１５に、図１４の画像について、自動車の各部位を推定した結果を示す。ＦＳが前面、ＢＳが背面、ＵＳが上面、ＲＳが右側面、ＬＳが左側面、ＦＲＴが右前タイヤ、ＦＬＴが左前タイヤ、ＢＲＴが右後タイヤ、ＢＬＴが左後タイヤである。ステップＳ１１の処理によって、自動車Ｃ１〜Ｃ５が認識されている。

ＣＰＵ２０は、それぞれの自動車の推定された部位に基づいて、姿勢の推定を行う（ステップＳ２４）。まず、自動車Ｃ１の姿勢推定を行う。前面ＦＳと左側面ＬＳのみが推定されている。前面ＦＳと左側面ＬＳが見えるのは、ベクトルＡの方向に向かう場合だけである。したがって、自動車Ｃ１は、ベクトルＡの方向に向かっていると判断することができる。

また、自動車Ｃ２については、右前タイヤＦＲＴ、右後タイヤＢＲＴ、右側面ＲＳが推定されている。これらが推定されるのは、ベクトルＤの方向に向かう場合か、あるいはベクトルＢの方向に向かう場合だけである。ＣＰＵ２０は、右前タイヤＦＲＴの中心と右後タイヤＢＲＴの中心を結ぶ直線を想定する。この直線が、ベクトルＤとＢのいずれに近い角度であるかによって、自動車の向きを決定する。ここでは、ベクトルＤの方向であると決定されることになる。したがって、自動車Ｃ２は、ベクトルＤの方向に向かっていると判断することができる。

自動車Ｃ３については、左前タイヤＦＬＴ、左側面ＬＳ、左後タイヤＢＬＴ、後面ＢＳが推定されている。左前タイヤＦＬＴ、左側面ＬＳ、左後タイヤＢＬＴだけが推定されている場合には、ベクトルＣかＡの可能性があり自動車Ｃ２の場合と同じように、タイヤを結ぶ直線に近い角度を選ぶことになる。しかし、ここでは、後面ＢＳが推定されている。このため、ベクトルＣであると直ちに決定することができる。したがって、自動車Ｃ３は、ベクトルＣの方向に向かっていると判断することができる。

自動車Ｃ４については、右前タイヤＦＲＴ、右後タイヤＢＲＴ、右側面ＲＳ、前面ＦＳが推定されている。これらが推定されるのは、ベクトルＤの方向に向かう場合だけである。したがって、自動車Ｃ４は、ベクトルＤの方向に向かっていると判断することができる。

なお、自動車Ｃ５については、右側面ＲＳ、右前タイヤＦＲＴのみが推定されている。これは、ベクトルＢとＤの可能性がある。右後タイヤＢＲＴが推定されていないので、タイヤを結ぶ線によっていずれかを決定することができない。したがって、自動車Ｃ５については、いずれの方向に向かっているかを決定できない。

なお、上記のような場合に、２つのタイヤが推定されていなくとも、右側面ＲＳの底部分の直線（前後のタイヤを結ぶ線とほぼ等しい）が見いだせれば、姿勢を決定することができる。

また、交差点において自動車が曲がったことも動画によって連続して推定すれば判断することができる。たとえば、図１６に示すように、交差点では、左折、直進、右折のルートがある。これが、交差点のそれぞれの道（４つの道）について考えられるので、１２個のルートの移動量を算出することになる（ステップＳ２６）。

このようにして、交差点における、自動車の移動方向を含めた交通量を正確に把握することができる。

2.4その他
第１の実施形態および第２の実施形態についての変形例を以下に示す。

(1)上記実施形態では、自動車の姿勢を推定して交通量を計測する場合を例として示した。しかし、姿勢推定をその他の処理に用いてもよい。たとえば、自動車以外の人間や自転車などは進入を許可するが、自動車は進入を禁止するような場所に設けることで、その方向から進入しようとする自動車を検知して警告などを行うことができる。

(2)上記実施形態では、ディープラーニングを用いて自動車の各部位を推定するようにしている。しかし、機械学習などを用いて推定するようにしてもよい。

(3)上記実施形態では、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面を推定するようにしている。しかし、前タイヤ、後タイヤ、左タイヤ、右タイヤを推定するようにしてもよい。また、正面、左側面、右側面、背面、上面を推定するようにしてもよい。少なくともこれら前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、左側面、右側面、背面、上面のうちの２つを推定することで、姿勢を推定することができる。

また、前面ナンバプレート、後面ナンバプレート、前面左右ランプ、後面左右ランプ、左右ドアミラーなどを推定部位としてもよい。

(4)上記実施形態では、スタンドアローンのコンピュータによって姿勢推定装置を実現している。しかし、サーバ装置として構築するようにしてもよい。この場合、端末装置からの画像を受信し、推定結果（部位の推定または姿勢の推定またはその双方）を端末装置に返信するようにする。第２の実施形態による交通量判断装置についても同様である。

(5)上記実施形態では、学習処理と推定処理を分離して実行している。しかし、部位の推定処理結果についてその適正度を人が判断し、適正と判断された部位の推定結果に基づいて、リアルタイムに学習を繰り返すようにしてもよい。

(6)上記実施形態では、交差点における交通量を計測するようにしている。しかし、交差点以外の道路（自動車の通行できる場所をいう）における交通量を計測するようにしてもよい。

(7)上記実施形態では、交差点における交通量を計測するようにしている。しかし、これに加えて、計測した交通量に基づいて、当該交差点における青信号、赤信号の比率を変えるようにしてもよい。たとえば、ある方向への交通量が増大し、これに直交する方向の交通量が減少した場合には、交通量が増えた向きの信号の青時間を長くするように制御する。この制御は、図２のＣＰＵ２０から行うことができる。

(8)上記実施形態では、ＣＰＵを用いているが、ＧＰＵ（Graphics Processing Unit）などを用いてもよい。また、ＣＰＵとＧＰＵの双方を用いるようにしてもよい。この場合、セマンティックセグメンテーションの処理はＧＰＵにて、その他の画像の取り込みなどの処理はＣＰＵが行うようにすることができる。

(9)上記実施形態およびその変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。

３．第３の実施形態
3.1全体構成
第１の実施形態にて示したように、推定のためにセマンティック・セグメンテーションを用いる場合、背景・自動車を含む画像を多数用意して学習を行う必要がある。さらに、これら画像について、ラベル付けを行う必要がある。ラベル付けは、信頼性を持たせるためには、画像処理ソフトにて人がマウスなどを操作して指定することが好ましい。あるいは、コンピュータによって自動生成されたものを、人が修正することが好ましい。このため、学習のためのデータを多数用意することが困難となる。

第３の実施形態では、このような点を解決した学習データ生成装置を提供する。図１７に、この発明の第３の実施形態による学習データ生成装置の機能ブロック図を示す。自動車画像取得手段５０は、自動車のみが写されている自動車画像Ｃを取得する。この自動車画像Ｃは、道路などの背景とともに撮像された画像ＢＣから、自動車の部分のみを抽出したものである。この抽出処理は、コンピュータによって自動的に行ってもよいし、画像処理プログラム・マウスなどを用いて人が手作業によって行うようにしてもよい。

自動車画像貼付手段５２は、上記の車を含む画像ＢＣの道路を撮像したアングルと実質的に同じアングルにて撮像された背景のみの背景画像Ｂ１〜Ｂｎを取得する。続いて、自動車画像貼付手段５２は、それぞれの背景画像Ｂ１〜Ｂｎに対し、自動車画像Ｃを貼り付ける。これにより、学習用画像データ６０を多数得ることができる。

ラベル貼付手段５４は、前記生成した学習用画像データ６０に基づいて、ラベル画像データ６２を生成する。この際、自動車画像Ｃについて各部位をラベルづけした信頼性のあるラベル画像Ｌを用いる。学習用画像データ６０の自動車画像Ｃの部分に、このラベル画像Ｌを対応付ける。また、自動車画像Ｃを貼り付けた部分以外の領域は背景であることが明確であるから、背景としてのラベル付けを行う。これにより、学習用ラベル画像データ６２を多数得ることができる。

以上のようにして、ディープラーニング・セグメンテーションを学習するためのデータを多数得ることができる。

この装置によれば、たとえば、同じアングルにて異なる場所において異なる自動車について撮像した画像データ（およびラベルデータ）および背景画像データがそれぞれ１０００個あれば、約１０００×１０００＝１，０００，０００個の学習用データを得ることができる。

3.2ハードウエア構成
ハードウエア構成は、第１の実施形態における図２と同様である。ただし、ハードディスク２８には、学習用データ生成プログラムが記録されている。

3.3学習用データ生成処理
図１８に、学習用データ生成プログラムのフローチャートを示す。この実施形態では、ハードディスク２８に、自動車を含む画像、当該画像から抽出した自動車画像、自動車のラベル画像（または自動車を含む画像のラベル画像）、自動車を含む画像の道路に関して同じアングルにて撮像された背景画像が予め記録されているものとする。なお、これら画像は、異なる自動車、異なる背景について多数枚記録されていることが好ましい。

ＣＰＵ２０は、まず、自動車画像（図１９Ａ）およびそのラベル画像（図１９Ｃ）を読み出す（ステップＳ５２）。図１９Ａに、自動車画像の例を示す。この自動車画像は、図１９Ｂに示すような自動車付きオリジナル画像から抽出したものである。なお、自動車画像は、矩形画像ではなく、自動車の形状に沿った外形を有する画像である。

次に、ＣＰＵ２０は、背景画像を読み出す（ステップＳ５４）。図２０に背景画像の例を示す。背景画像は、図１９Ｂのオリジナル画像における道路に対する撮像アングル（角度・距離）が、同じになるようにして撮像された他の場所における背景画像である。背景画像においては、自動車が写っていないことが好ましい。

ＣＰＵ２０は、この背景画像上に、上記の自動車画像（図１９Ａ）を貼り付ける（ステップＳ５５）。この際、オリジナル画像における道路に対する自動車の位置を参照して、これと同じ位置関係になるように、背景画像の道路上に自動車画像を貼り付ける。この場合、画像中から道路の端部を検出し、この道路端部線に基づいて配置を決めることができる。

たとえば、図２１Ａはオリジナル画像における道路端部と自動車の重心位置（２次元画像としての重心）ＣＣＧである。重心ＣＣＧから、画像端面に水平に道路端部までの距離比Ａ：Ｂを算出する。ＣＰＵ２０は、図２１Ｂに示す背景画像の道路端部線に基づいて、Ａ：Ｂの比率の位置に重心が来るように自動車画像を貼り付ける。

このようにして、図２２Ａに示すような学習用画像データを生成することができる。なお、オリジナル画像と背景画像における道路端部線が合致するようにしておけば、オリジナル画像における自動車の位置に対応する背景画像の位置に自動車画像を配置すればよい。

次に、ＣＰＵ２０は、上記学習用画像と自動車画像のラベル画像に基づいて、学習用ラベル画像を生成する（ステップＳ５６）。これは、学習用画像の自動車の位置に自動車画像のラベル画像を貼り付け、その他の領域を背景としてラベルづけすることで生成することができる。なお、この実施形態では、異なる部位を示すために異なる色を用いている。図２２Ｂに生成された学習用ラベルデータを示す。

以上のようにして、１組の学習用画像データと学習用ラベルデータが生成される。

次に、ＣＰＵ２０は、同じ自動車画像とラベル画像を用いて、他の背景画像について学習用画像データと学習用ラベルデータを生成する（ステップＳ５３〜Ｓ５７）。これを、対象となる全ての背景画像について行って、学習用画像データと学習用ラベルデータを生成する。

以上のようにして、一つの自動車画像から多数の学習用データを生成することができる。

続いて、ＣＰＵ２０は、次の自動車画像についても、上記と同様の処理を繰り返す（ステップＳ５１〜Ｓ５７）。対象となる全ての自動車画像について、処理を行い、多数の学習用データを生成する。

以上のようにして、少ない学習用データから多数の学習用データを生成することができる。

2.4その他
(1)上記実施形態では、自動車を含むオリジナル画像（図１９Ｂ）に対応する背景画像（図２０）を、予め、ハードディスク２８に記録するようにしている。しかし、背景画像の道路端部線を抽出して記録しておき、ＣＰＵ２０が、オリジナル画像の道路端部線に類似する道路端部線を有する背景画像を選択して使用するようにしてもよい。

(2)上記実施形態および変形例は、その本質に反しない限り、他の実施形態や変形例と組み合わせて実施可能である。

Claims (10)

1. 自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、
   前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段と、
   を備えた自動車の姿勢推定装置。
2. コンピュータによって自動車の姿勢推定装置を実現するための姿勢推定プログラムであって、コンピュータを、
   自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、
   前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段として機能させるための姿勢推定プログラム。
3. 請求項１の装置または請求項２のプログラムにおいて、
   前記推定手段は、自動車を含む画像と、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を少なくともラベリングしたラベリング画像とに基づいて学習のなされたディープラーニング・セグメンテーション処理手段を備えていることを特徴とする装置またはプログラム。
4. 道路における自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、
   前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段と、
   前記推定した各自動車の通常進行方向に基づいて当該道路における交通量を判断する交通量判断手段と、
   を備えた交差点交通量判断装置。
5. コンピュータによって交通量判断装置を実現するための交通量判断プログラムであって、コンピュータを、
   道路における自動車を含む画像を受けて、当該画像中の自動車の前後左右のタイヤまたは正面、左側面、右側面、背面、上面を含む部位を抽出する抽出手段と、
   前記抽出手段によって抽出された部位に基づいて、当該自動車の通常進行方向を判断する通常進行方向判断手段と、
   前記推定した各自動車の通常進行方向に基づいて当該道路における交通量を判断する交通量判断手段として機能させるための交通量判断プログラム。
6. 請求項４の装置または請求項５のプログラムにおいて、
   前記道路は、交差点であることを特徴とする装置またはプログラム。
7. 請求項６の装置またはプログラムにおいて、
   前記交通量判断手段は、前記判断結果に基づいて、交差点の信号機の青赤点灯比率を制御することを特徴とする装置またはプログラム。
8. ディープラーニング・セグメンテーション装置の学習に用いるための学習データを生成する装置であって、
   道路上を走行する自動車について背景と自動車を含む画像から自動車部分のみを抽出した自動車画像を取得する自動車画像取得手段と、
   前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれに、前記自動車画像を貼り付ける自動車画像貼付手段と、
   前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれについて、前記自動車画像に対応する位置に部位ラベルをおいてラベル画像を生成するラベル画像生成手段と、
   を備えた学習データ生成装置。
9. コンピュータによって、ディープラーニング・セグメンテーション装置の学習に用いるための学習データを生成する装置を実現するための学習データ生成プログラムであって、コンピュータを、
   道路上を走行する自動車について背景と自動車を含む画像から自動車部分のみを抽出した自動車画像を取得する自動車画像取得手段と、
   前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれに、前記自動車画像を貼り付ける自動車画像貼付手段と、
   前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれについて、前記自動車画像に対応する位置に部位ラベルをおいてラベル画像を生成するラベル画像生成手段として機能させるための学習データ生成プログラム。
10. 自動車を含む画像を受けて、当該画像中の自動車の部位を抽出する処理部を有する抽出装置を生産するための方法であって、コンピュータが、
    道路上を走行する自動車について、背景と自動車を含む画像から自動車部分のみを抽出した自動車画像を用意し、
    前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれに、前記自動車画像を貼り付けて学習用画像データを生成し、
    前記背景中の道路を撮像したアングルと実質的に同一のアングルにて撮像した他の道路を含む複数の背景画像それぞれについて、前記自動車画像に対応する位置に部位ラベルをおいて学習用ラベル画像データを生成し、
    上記学習用画像データと学習用ラベル画像データに基づいて、前記抽出のための処理部を学習して抽出装置を生産する方法。