JP2022008108A

JP2022008108A - 道路領域確定装置及び方法、電子機器

Info

Publication number: JP2022008108A
Application number: JP2021086239A
Authority: JP
Inventors: ブゥ・シアオイェヌ; Xiaouyan Bu; ハヌ・ゼォジン; Zejing Han; ジャン・ナヌ; Nan Zhang
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2020-06-24
Filing date: 2021-05-21
Publication date: 2022-01-13
Also published as: CN113836978A

Abstract

【課題】本発明は、道路領域確定装置及び方法、電子機器を提供する。
【解決手段】かかる方法は、セマンティックセグメンテーションに基づいて入力画像のうちから道路領域を予備抽出し、予備道路領域を確定し；予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、前記２値化画像に基づいて道路輪郭を確定し；多辺形を用いて前記道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得する；並びに、フィッティング後の道路領域内の凹みのサーチを行い、前記道路領域内に凹みが存在するときに、前記凹みに基づいて前記フィッティング後の道路領域のセグメンテーションを行うこと、及び／又は、前記フィッティング後の道路領域内のオプティカルフローに基づいて前記フィッティング後の道路領域のセグメンテーションを行うことを含む。
【選択図】図１８

Description

本発明は、情報技術分野に関する。

交通ビデオ監視や自動運転では、道路領域の抽出が重要で困難な作業であり、それは、道路を走行する車両、道路間の緑地帯、セマンティックセグメンテーション（ＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎ）の正確さなどの多くの要因の影響を受ける可能性がある。

道路領域の抽出について言えば、良く用いられている方法の１つとして、エッジ検出及び数学的形態学に基づく方法がある。該方法では、数学的形態学における拡張及び腐食操作によって道路のエッジを特定し、最終的に正確な道路を選択することができる。

また、平均車両軌迹に基づく道路抽出方法も提案されている。この方法は、主に、各フレームにおいて取得された車両位置を追跡し、これらの位置の中心点を平均軌迹としてフィッティングし；ビデオフレームのうちから１つの適切なフレームを背景として選択し、形態学的処理を行い、両側の天空又は風景などの影響有りのノイズ点を除去し、そして、更なる処理によりバイナリ背景を取得し；及び、平均軌迹とバイナリ背景とのマッチングにより道路を抽出するステップを含む。

さらに、深層学習に基づく道路抽出方法が提案されている。該方法では、高解像度ダイナミックビジョンセンサー（ｄｙｎａｍｉｃｖｉｓｉｏｎｓｅｎｓｏｒ、ＤＶＳ）道路線抽出データセット（ＤＥＴ）（即ち、高分解能ＤＶＳデータセット）及びダイナミックビジョンセンサー（ＤＶＳ）を導入することによって道路抽出タスクを処理することができる。

エッジ検出及び数学的形態学に基づく方法の場合、この方法は、ノイズ点が少なく、且つ道路が明晰（クリア）な背景画像について、成功率が比較的高い。しかし、実際の交通ビデオでは、ノイズ点の除去が難しく、且つ道路そのものが複雑性及び可変性を有する。よって、該方法は、ノイズ点の影響を受けやすく、複数の道路の検出に適しない。また、該方法は、各道路の位置を提供することができない。

平均車両軌迹に基づく道路抽出方法の場合、該方法は、各道路領域の特定の座標を確定することができないので、制限がある。また、該方法はもう１つの制限もあり、即ち、各道路上の車両の走行方向を確定することができない。

深層学習に基づく道路抽出方法の場合、この方法は、手動で注釈をつけてデータセットを形成する必要がある。また、該方法は、各道路領域の具体的な座標及び各道路上の車両の走行方向を確定することができない。

上述の問題のうちの少なくとも１つを解決するために、本発明の実施例は、道路領域確定装置及び方法、電子機器を提供し、これにより、本発明は、干渉物有りのリアルなシナリオに適応し、複数の道路の抽出に適用し、また、各道路の座標を確定することもできる。

本発明の実施例の第一側面によれば、道路領域確定装置が提供され、前記装置は、
第一確定ユニットであって、セマンティックセグメンテーションに基づいて、入力画像のうちから道路領域を予備抽出し、予備道路領域を確定する、もの；
第二確定ユニットであって、予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、前記２値化画像に基づいて道路輪郭を確定する、もの；
フィッティング（ｆｉｔｔｉｎｇ）ユニットであって、多辺形（多角形）を用いて前記道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得する、もの；並びに
フィッティング後の道路領域内の凹みのサーチ（ｓｅａｒｃｈ（捜索））を行い、前記道路領域内に凹みが存在するときに、前記凹みに基づいて前記フィッティング後の道路領域のセグメンテーションを行う第一セグメンテーションユニット、及び／又は、前記フィッティング後の道路領域内のオプティカルフロー（ｏｐｔｉｃａｌｆｌｏｗ）に基づいて、前記フィッティング後の道路領域のセグメンテーションを行う第二セグメンテーションユニットを含む。

本発明の実施例の第二側面によれば、電子機器が提供され、前記電子機器は本発明の実施例の第一側面に記載の道路領域確定装置を含む。

本発明の実施例の第三側面によれば、道路領域確定方法が提供され、前記方法は、
セマンティックセグメンテーションに基づいて、入力画像のうちから道路領域を予備抽出し、予備道路領域を確定し；
予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、前記２値化画像に基づいて道路輪郭を確定し；
多辺形を用いて前記道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得し；並びに
フィッティング後の道路領域内の凹みのサーチを行い、前記道路領域内に凹みが存在するときに、前記凹みに基づいて前記フィッティング後の道路領域のセグメンテーションを行うこと、及び／又は、前記フィッティング後の道路領域内のオプティカルフローに基づいて、前記フィッティング後の道路領域のセグメンテーションを行うことを含む。

本発明の実施例の有利な効果は次のとおりであり、即ち、フィッティング後の道路領域に対して凹みのサーチを行うことで道路領域のセグメンテーションを行い及び／又はフィッティング後の道路領域内のオプティカルフローに基づいて道路領域のセグメンテーションを行うことにより、本発明は、干渉物有りのリアルなシナリオに適応し、複数の道路の抽出に適用し、また、各道路の座標を確定することもできる。

さらに、道路領域内のオプティカルフローに基づいて道路上の車両の走行方向を確定することができる。

本発明の実施例１における道路領域確定装置を示す図である。本発明の実施例１における第一確定ユニットを示す図である。本発明の実施例１におけるセマンティックセグメンテーション結果を示す図である。本発明の実施例１における第三確定ユニットがすべての画素の類型を確定した後の様子を示す図である。本発明の実施例１における第二確定ユニットを示す図である。本発明の実施例１における２値化画像内の輪郭を示す図である。図６に示す輪郭に対して選択を行うことで得られた輪郭を示す図である。本発明の実施例１におけるフィッティング後の道路領域を示す図である。本発明の実施例１における第一セグメンテーションユニットを示す図である。本発明の実施例１において確定された凹みを示す図である。本発明の実施例１における凹みに対しての処理を示す図である。本発明の実施例１における第二セグメンテーションユニットを示す図である。本発明の実施例１において２つ方向に沿って延伸する道路を含む道路領域を示す図である。本発明の実施例１における道路上のオプティカルフローを示す図である。本発明の実施例１における第二セグメンテーションユニットがオプティカルフローに基づいてセグメンテーションを行った後の道路領域を示す図である。本発明の実施例２における電子機器を示す図である。本発明の実施例２における電子機器のシステム構成を示すブロック図である。本発明の実施例３における道路領域確定方法を示す図である。

以下、添付した図面を参照しながら、本発明を実施するための好ましい実施例について詳細に説明する。

本発明の実施例は道路領域確定装置を提供する。図１は本発明の実施例１における道路領域確定装置を示す図である。

図１に示すように、道路領域確定装置１００は以下のものを含む。

第一確定ユニット１０１：セマンティックセグメンテーションに基づいて、入力画像のうちから道路領域を予備（初歩的に）抽出し、予備道路領域を確定し；
第二確定ユニット１０２：予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、該２値化画像に基づいて道路輪郭を確定し；
フィッティングユニット１０３：多辺形を用いて該道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得し；並びに
第一セグメンテーションユニット１０４：フィッティング後の道路領域内の凹みのサーチを行い、該道路領域内に凹みが存在するときに、該凹みに基づいてフィッティング後の道路領域に対してセグメンテーションを行い；及び／又は
第二セグメンテーションユニット１０５：フィッティング後の道路領域内のオプティカルフローに基づいて、フィッティング後の道路領域に対してセグメンテーションを行う。

上述の実施例から分かるように、フィッティング後の道路領域に対して凹みのサーチを行うことで道路領域のセグメンテーションを行い及び／又はフィッティング後の道路領域内のオプティカルフローに基づいて道路領域のセグメンテーションを行うことにより、本発明は、干渉物有りのリアルなシナリオに適応し、複数の道路の抽出に適用し、また、各道路の座標を確定することもできる。

本発明の実施例では、道路領域確定装置１００が処理する入力画像は、道路の所在する領域を撮影するカメラ装置から得たものであっても良く、例えば、道路の上方に設置される監視カメラヘッドにより取得することができる。

本発明の実施例では、道路領域確定装置１００は、監視カメラヘッドが得た監視ビデオの少なくとも１つのフレームに対して処理を行うことができ、例えば、監視ビデオの不連続フレームに対して処理を行っても良い。

本発明の実施例では、不連続フレームとは、２つのフレームの間に少なくとも1つのフレームで区切られた複数のフレームを指し、即ち、連続したフレームではない。このように、移動物体と不移動物体（静止物体）を明確に区別することができるため、予備道路領域の確定に有利である。

図２は本発明の実施例１における第一確定ユニットを示す図である。図２に示すように、第一確定ユニット１０１は以下のものを含む。

セグメンテーションユニット２０１：事前設定の数（所定の数）の不連続フレームに対してそれぞれセマンティックセグメンテーションを行い、事前設定の数の不連続フレームのセマンティックセグメンテーション結果を取得し；及び
第三確定ユニット２０２：各フレームの中のすべての画素について１つずつ該画素の類型を確定し、そのうち、事前設定の数の不連続フレームにおける該画素のセマンティックセグメンテーション結果の中で出現頻度が最も高い類型を該画素の類型とする。

本発明の実施例では、セグメンテーションユニット２０１は、事前設定の数の不連続フレームに対してセマンティックセグメンテーションを行い、該事前設定の数は実際のニーズに応じて確定することができ、例えば、該事前設定の数は１０であっても良い。

本発明の実施例では、セグメンテーションユニット２０１は、深層学習ネットワークに基づいてセマンティックセグメンテーションを行うことができ、例えば、ＤｅｅｐＬａｂＶ３ネットワークに基づいてセマンティックセグメンテーションを行っても良い。セマンティックセグメンテーションを行うときに、干渉物、例えば、緑化帯（グリーンベルト）、広告看板及び電柱などについて、これらの干渉物を道路と同一類別のものと見なすことで、これらの干渉物による干渉を除去することができる。また、移動物体、例えば、車両について、それを道路とは異なる類別のものと見なし、このようにして、車両のサイズが大き過ぎて道路境界がブロッキング（ｂｌｏｃｋｉｎｇ）されるときに２つの隣接する道路領域がつながることを回避し得る。

図３は本発明の実施例１におけるセマンティックセグメンテーション結果を示す図である。図３に示すように、入力画像としての１フレームに対してセマンティックセグメンテーションを行い、緑化帯、広告看板及び電柱などの干渉物及び道路は同一類別としてセグメンテーションされ、車両は道路とは異なる類別としてセグメンテーションされる。車両が道路表面の一部をブロッキングしているから、取得された道路領域は不完全であり、その中には穴が現れることがある。よって、セマンティックセグメンテーション結果に対して修正（ｃｏｒｒｅｃｔｉｏｎ）を行う必要がある。

第三確定ユニット２０２は、各フレームの中のすべての画素について１つずつ該画素の類型を確定し、そのうち、事前設定の数の不連続フレームにおける該画素のセマンティックセグメンテーション結果の中で出現頻度が最も高い類型を該画素の類型とする。このように、道路に属する領域に対して補充を行って完全なものにすることで、完全な予備道路領域を得ることができる。

例えば、１０個の不連続フレームに対してそれぞれセマンティックセグメンテーションを行った後、各フレームの中の各画素の類型を確定することができ、例えば、該画素は道路に属し、又は、該画素は車両に属する。或る画素について、それが道路に属すると確定されるフレームの数が、１０個の不連続フレームのうち、８であり、車両に属すると確定されるフレームの数が、１０個の不連続フレームのうち、２である場合、該画素の類型を道路と決定する。

図４は本発明の実施例１における第三確定ユニットがすべての画素の類型を確定した後の様子を示す図である。図４に示すように、第三確定ユニット２０２による修正の後、完全な予備道路領域を取得しており、つまり、幾つかのフレームの中で車両としてセグメンテーションされた領域を道路領域に修正している。

本発明の実施例では、第二確定ユニット１０２は、予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、そして、該２値化画像に基づいて道路輪郭を確定する。

図５は本発明の実施例１における第二確定ユニットを示す図である。図５に示すように、第二確定ユニット１０２は以下のものを含む。

２値化処理ユニット５０１：予備道路領域が確定された入力画像に対して２値化処理を行い、２値化画像を取得し；
第一サーチユニット５０２：該２値化画像内の一番外側の輪郭のサーチを行い、該２値化画像内の輪郭を取得し；及び
選択ユニット５０３：サーチにより得られた輪郭のうちから輪郭内の面積に基づいて選択を行い、該道路の輪郭を取得する。

本発明の実施例では、２値化処理ユニット５０１は、予備道路領域が確定された入力画像に対して２値化処理を行い、例えば、道路領域の画素値を１とし、他の領域の画素値を０とすることで、２値化画像を取得することができる。

第一サーチユニット５０２は該２値化画像内の一番外側の輪郭のサーチを行い、該２値化画像内の輪郭を取得する。

図６は本発明の実施例１における２値化画像内の輪郭を示す図である。図６に示すように、該２値化画像内の一番外側の輪郭のサーチを行い、外側の輪郭に含まれる内側の輪郭を無視することで、道路領域の輪郭を大雑把に把握することができる。

選択ユニット５０３は、サーチにより得られた輪郭のうちから輪郭内の面積に基づいて選択を行い、道路の輪郭を取得する。例えば、面積が比較的に小さい輪郭を除去し、例えば、面積が事前設定の値（所定の値）よりも小さい輪郭を除去する。

図７は図６における輪郭に対して選択を行うことで得られた道路領域を示す図である。図７に示すように、比較的に小さい輪郭を除去した後、道路領域の輪郭、即ち、道路輪郭を得ることができる。

道路輪郭を得た後に、フィッティングユニット１０３は多辺形を用いて該道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得する。例えば、多辺形を用いて近似法により道路輪郭のフィッティングを行い、フィッティング後の道路領域を取得することができる。

図８は本発明の実施例１におけるフィッティング後の道路領域を示す図である。図８に示すように、多辺形によりフィッティング後の道路領域を表すことができる。

幾つかの場合、セマンティックセグメンテーション結果が完璧なものではないので、隣接する道路領域はつながることがある。このような場合は、本発明の実施例は、凹みのサーチを行う方式で処理を行う。

本発明の実施例では、第一セグメンテーションユニット１０４及び第二セグメンテーションユニット１０５は、異なる状況に対して、異なる方法を用いて道路領域のセグメンテーションを行うことができる。装置１００は、実際の状況に応じて、第一セグメンテーションユニット１０４及び第二セグメンテーションユニット１０５のうちの少なくとも１つを含んでも良い。また、装置１００が第一セグメンテーションユニット１０４及び第二セグメンテーションユニット１０５の両方を含む場合、第一セグメンテーションユニット１０４及び第二セグメンテーションユニット１０５のうちの１つを用いて車道領域のセグメンテーションを行っても良い。

第一セグメンテーションユニット１０４は、フィッティング後の道路領域内の凹みのサーチを行い、該道路領域内に凹みが存在するときに、該凹みに基づいてフィッティング後の道路領域に対してセグメンテーションを行う。

以下、第一セグメンテーションユニット１０４が凹みのサーチを行って凹みに基づいてセグメンテーションを行う方法について例示的に説明する。

図９は本発明の実施例１における第一セグメンテーションユニットを示す図である。図９に示すように、第一セグメンテーションユニット１０４は以下のものを含む。

第四確定ユニット９０１：該フィッティング後の道路領域の中で、凹みの角度が第一閾値よりも小さく、且つ凹みの深さが第二閾値よりも大きいときに、該フィッティング後の該道路領域内に凹みが存在すると確定する。

このように、本当の隣接する車道により形成される凹みを選択し、他の凹み形状による干渉を除外することができる。

本発明の実施例では、第一閾値及び第二閾値は実際のニーズに応じて確定され得る。

本発明の実施例では、例えば、凹みの角度とは、凹みを形成する２つの辺の夾角を指し、凹みの深さとは、凹みの底辺から凹みの頂点までの距離を指す。

図１０は本発明の実施例１において確定された凹みを示す図である。図１０に示すように、第四確定ユニット９０１により、隣接する道路領域の間に凹み１０００が存在すると確定されている。

本発明の実施例では、図９に示すように、第一セグメンテーションユニット１０４はさらに以下のものを含んでも良い。

第五確定ユニット９０２：該凹みの頂点を確定し；
第六確定ユニット９０３：該凹みの底部の２つの端点の中心点を確定し；及び
第七確定ユニット９０４：該頂点及び該中心点に基づいて、隣接する２つの道路領域の第一セグメンテーション線を確定することで、該フィッティング後の道路領域に対してセグメンテーションを行う。

図１１は本発明の実施例１における凹みに対しての処理を示す図である。図１１に示すように、該凹みの頂点１００１及び底部の２つの端点１００２、１００３を確定し、そして、端点１００２、１００３に基づいて中心点１００４、即ち、端点１００２、１００３の接続線（端点１００２、１００３を両端とする線分）の中点を確定する。頂点１００１と中心点１００４を接続し、該接続線の延長線の道路領域内に位置する部分は、隣接する２つ道路領域のセグメンテーション線と見なすことができ、即ち、図１１の中のセグメンテーション線１００５である。

幾つかの場合、道路領域の間に凹みが無く、又は、確定された１つの道路領域に２つの方向に沿って延伸する道路、即ち、走行方向が異なる道路が含まれる。これらの場合、装置１００は、第二セグメンテーションユニット１０５を用いて道路領域のセグメンテーションを行うことができる。第二セグメンテーションユニット１０５は、フィッティング後の道路領域内のオプティカルフローに基づいて、該フィッティング後の道路領域に対してセグメンテーションを行う。

例えば、該フィッティング後の道路領域内の順方向オプティカルフローベクトルと逆方向オプティカルフローベクトルの比が第三閾値よりも大きく且つ第四閾値よりも小さく、且つすべてのオプティカルフローベクトルの平均長さが第五閾値よりも大きいときに、該フィッティング後の道路領域には２つの方向に沿って延伸する道路、即ち、走行方向が異なる道路が含まれることを表す。このときに、第二セグメンテーションユニット１０５は、該フィッティング後の道路領域内のオプティカルフローに基づいて、該フィッティング後の道路領域に対してセグメンテーションを行う。

また、本発明の実施例では、第一セグメンテーションユニット１０４を用いてセグメンテーションを行った後の道路領域にさらに２つの方向に沿って延伸する道路、即ち、走行方向が異なる道路が含まれるときに、第二セグメンテーションユニット１０４により該道路領域に対して更なるセグメンテーションを行っても良い。

本発明の実施例では、該第三閾値、第四閾値及び第五閾値の具体的な数値については実際のニーズに応じて設定することができる。

以下、第二セグメンテーションユニット１０５がオプティカルフローに基づいてセグメンテーションを行う方法について例示的に説明する。

図１２は本発明の実施例１における第二セグメンテーションユニットを示す図である。図１２に示すように、第二セグメンテーションユニット１０５は以下のものを含む。

計算ユニット１２０１：事前設定の数（所定の数）の不連続フレームに基づいて、該フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルを計算し；
第八確定ユニット１２０２：それぞれ該フィッティング後の道路領域内の順方向オプティカルフローベクトルの中心点及び逆方向オプティカルフローベクトルの中心点を確定し；
第九確定ユニット１２０３：該順方向オプティカルフローベクトルの中心点及び該逆方向オプティカルフローベクトルの中心点に基づいて、オプティカルフローベクトル全体の中心点を確定し；
第十確定ユニット１２０４：該フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルに基づいて、車両走行軌迹の消失点を確定し；及び
第十一確定ユニット１２０５：該オプティカルフローベクトル全体の該中心点及び該消失点に基づいて、隣接する２つ道路領域の第二セグメンテーション線を確定することで、該フィッティング後の道路領域に対してセグメンテーションを行う。

本発明の実施例では、計算ユニット１２０１は様々な方法で順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルを計算することができる。例えば、計算ユニット１０１はピラミッドＬ－Ｋオプティカルフロー（ＰｙｒａｍｉｄａｌＬＫＯｐｔｉｃａｌＦｌｏｗ）法を用いて順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルを計算する。

例えば、計算ユニット１２０１は以下のような公式（１）及び（２）を用いて反復計算を行い、方向を有するオプティカルフローベクトル、即ち、順方向又は逆方向のオプティカルフローベクトルを得ることができる。

そのうち、Ｉ_ｘはｘ方向上の偏導関数を示し、Ｉ_ｙはｙ方向上の偏導関数を示し、δＩ_ｋ（ｘ，ｙ）は不連続フレームの間の対応点のグレースケール誤差を表す。

第八確定ユニット１２０２は、それぞれ、該フィッティング後の道路領域内の順方向オプティカルフローベクトルの中心点及び逆方向オプティカルフローベクトルの中心点を確定する。例えば、第八確定ユニット１２０２は、該フィッティング後の道路領域内のすべての順方向オプティカルフローベクトルの画素点の平均座標を計算し、該平均座標の所在する画素点を順方向オプティカルフローベクトルの中心点として確定し、同様に、該フィッティング後の道路領域内のすべての逆方向オプティカルフローベクトルの画素点の平均座標を計算し、該平均座標の所在する画素点を逆方向オプティカルフローベクトルの中心点としても良い。

第九確定ユニット１２０３は、順方向オプティカルフローベクトルの中心点及び逆方向オプティカルフローベクトルの中心点に基づいて、オプティカルフローベクトル全体の中心点を確定する。例えば、第九確定ユニット１２０３は、順方向オプティカルフローベクトルの中心点及び逆方向オプティカルフローベクトルの中心点の平均座標を計算し、該平均座標の所在する画素点をオプティカルフローベクトル全体の中心点として確定しても良い。

第十確定ユニット１２０４は、該フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルに基づいて、車両走行軌迹の消失点を確定する。例えば、第十確定ユニット１２０４は、各１対の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルの延長線の交点を１つの消失点として確定し、各１対の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルに基づいて複数の消失点を確定した後に、各消失点の平均座標の所在する画素点を車両走行軌迹の消失点として確定しても良い。

第十一確定ユニット１２０５は、該オプティカルフローベクトル全体の該中心点及び該消失点に基づいて、隣接する２つ道路領域の第二セグメンテーション線を確定することで、該フィッティング後の道路領域に対してセグメンテーションを行う。例えば、第十一確定ユニット１２０５は、該中心点と該消失点を接続し、その接続線の該フィッティング後の道路領域内の部分は、第二セグメンテーション線を構成することができる。

本発明の実施例では、図１に示すように、装置１００はさらに以下のものを含んでも良い。

第十二確定ユニット１０６：セグメンテーション後の道路領域内のオプティカルフローベクトルの方向に基づいて、各道路領域の車両走行方向を確定する。

例えば、オプティカルフローベクトルの方向が車両の走行方向を示すため、セグメンテーション後の各道路領域内のオプティカルフローベクトルの方向に基づいて、対応する道路領域内の車両走行方向を確定することができ、そして、道路の方向を確定することができる。

図１３は本発明の実施例１における２つの方向の道路を含む道路領域を示す図である。図１４は本発明の実施例１における道路上のオプティカルフローを示す図である。図１５は本発明の実施例１における第二セグメンテーションユニットがオプティカルフローに基づいてセグメンテーションを行った後の道路領域を示す図である。図１５に示すように、オプティカルフローに基づいて確定された中心点１５０１及び消失点１５０２に基づいてセグメンテーション線１５０３を確定し、そして、２つの走行方向が異なる道路領域に対してセグメンテーションを行うことができる。

本発明の実施例はさらに電子機器を提供する、図１６は本発明の実施例２における電子機器を示す図である。図１６に示すように、電子機器１６００は道路領域確定装置１６０１を含み、道路領域確定装置１６０１の構造及び機能が実施例１の中の記載と同じであるため、ここではその詳しい説明を省略する。

本発明の実施例の１つの実施方式において、電子機器１６００は各種の類型の電子機器、例えば、車載端末、移動端末又はコンピュータであっても良い。

図１７は本発明の実施例２における電子機器のシステム構成を示すブロック図である。図１７に示すように、電子機器１７００は処理器１７０１及び記憶器１７０２を含んでも良く、該記憶器１７０２は該処理器１７０１に接続される。なお、該図は例示に過ぎず、さらに他の類型の構造を用いて該構造に対して補充又は代替を行うことで、電気通信機能又は他の機能を実現することができる。

図１７に示すように、電子機器１７００はさらに入力ユニット１７０３、表示器１７０４、電源１７０５などを含んでも良い。

本発明の実施例の１つの実施方式において、実施例１に記載の道路領域確定装置の機能は処理器１７０１に統合することができる。そのうち、処理器１７０１は次のように構成されても良く、即ち、セマンティックセグメンテーションに基づいて、入力画像のうちから道路領域を予備抽出し、予備道路領域を確定し；予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、該２値化画像に基づいて道路輪郭を確定し；多辺形を用いて該道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得し；並びに、フィッティング後の道路領域内の凹みのサーチを行い、該道路領域内に凹みが存在するときに、該凹みに基づいて該フィッティング後の道路領域に対してセグメンテーションを行い、及び／又は、該フィッティング後の道路領域内のオプティカルフローに基づいて、該フィッティング後の道路領域に対してセグメンテーションを行う。

例えば、該セマンティックセグメンテーションに基づいて入力画像のうちから道路領域を予備抽出することは、事前設定の数の不連続フレームに対してそれぞれセマンティックセグメンテーションを行い、事前設定の数の不連続フレームのセマンティックセグメンテーション結果を取得し；及び、各フレームの中のすべての画素について１つずつ該画素の類型を確定し、そのうち、事前設定の数の不連続フレームにおける該画素のセマンティックセグメンテーション結果の中で出現頻度が最も高い類型を該画素の類型とすることを含む。

例えば、該予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、該２値化画像に基づいて道路輪郭を確定することは、予備道路領域が確定された入力画像に対して２値化処理を行い、２値化画像を取得し；該２値化画像内の一番外側の輪郭のサーチを行い、該２値化画像内の輪郭を取得し；及び、サーチにより得られた輪郭のうちから輪郭内の面積に基づいて選択を行い、該道路輪郭を取得することを含む。

例えば、該フィッティング後の道路領域内の凹みのサーチは、該フィッティング後の道路領域内の凹みの角度が第一閾値よりも小さく、且つ凹みの深さが第二閾値よりも大きいときに、該フィッティング後の該道路領域に凹みが存在すると確定することを含む。

例えば、該凹みに基づいて該フィッティング後の道路領域に対してセグメンテーションを行うことは、さらに、該凹みの頂点を確定し；該凹みの底部の２つの端点の中心点を確定し；及び、該頂点及び該中心点に基づいて、隣接する２つ道路領域の第一セグメンテーション線を確定することで、該フィッティング後の道路領域のセグメンテーションを行うことを含む。

例えば、該フィッティング後の道路領域内の順方向オプティカルフローベクトルと逆方向オプティカルフローベクトルの比が第三閾値よりも大きく且つ第四閾値よりも小さく、且つすべてのオプティカルフローベクトルの平均長さが第五閾値よりも大きいときに、該フィッティング後の道路領域内のオプティカルフローに基づいて該フィッティング後の道路領域に対してセグメンテーションを行うことを含む。

例えば、該フィッティング後の道路領域内のオプティカルフローに基づいてフィッティング後の道路領域に対してセグメンテーションを行うことは、事前設定の数の不連続フレームに基づいて、前記フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルを計算し；それぞれ該フィッティング後の道路領域内の順方向オプティカルフローベクトルの中心点及び逆方向オプティカルフローベクトルの中心点を確定し；該順方向オプティカルフローベクトル及び該逆方向オプティカルフローベクトルの中心点に基づいて、オプティカルフローベクトル全体の中心点を確定し；前記フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルに基づいて、車両走行軌迹の消失点を確定し；及び、該オプティカルフローベクトル全体の該中心点及び該消失点に基づいて、隣接する２つの道路領域の第二セグメンテーション線を確定することで、該フィッティング後の道路領域のセグメンテーションを行うことを含む。

例えば、処理器１７０１はさらに次のように構成されても良く、即ち、セグメンテーション後の道路領域内のオプティカルフローベクトルの方向に基づいて各道路領域の車両走行方向を確定する。

本発明の実施例のもう１つの実施方式において、実施例１に記載の道路領域確定装置は該処理器１７０１と別々で配置されても良く、例えば、該道路領域確定装置を、処理器１７０１に接続されるチップとして構成し、処理器１７０１の制御によって該道路領域確定装置の機能を実現しても良い。

なお、本発明の実施例の１つの実施方式において、電子機器１７００は図１７に示すすべての部品を含む必要がない。

図１７に示すように、処理器１７０１は制御器又は操作コントローラと称される場合があり、マイクロプロセッサ又は他の処理器装置及び／又は論理装置を含んでも良く、処理器１７０１は入力を受信して電子機器１７００の各部品の操作を制御することができる。

記憶器１７０２は、例えば、バッファ、フレッシュメモリ、ＨＤＤ、可移動媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置の１つ又は複数であっても良い。また、処理器１７０１は、該記憶器１７０２に記憶されている該プログラムを実行して情報の記憶又は処理などを実現することもできる。なお、他の部品の機能が従来と同様であるため、ここではその詳しい説明を省略する。また、電子機器１７００の各部品は専用ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにより実現されても良いが、そのすべては本発明の範囲内に属する。

本発明の実施例はさらに道路領域確定方法を提供する、該方法は実施例１における道路領域確定装置に対応する。図１８は本発明の実施例３における道路領域確定方法を示す図である。図１８に示すように、該方法は以下のステップを含む。

ステップ１８０１：セマンティックセグメンテーションに基づいて入力画像のうちから道路領域を予備抽出し、予備道路領域を確定し；
ステップ１８０２：予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、該２値化画像に基づいて道路輪郭を確定し；
ステップ１８０３：多辺形を用いて該道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得し；並びに、
ステップ１８０４：フィッティング後の道路領域内の凹みのサーチを行い、該道路領域内に凹みが存在するときに、該凹みに基づいて該フィッティング後の道路領域に対してセグメンテーションを行い；及び／又は
ステップ１８０５：該フィッティング後の道路領域内のオプティカルフローに基づいて該フィッティング後の道路領域に対してセグメンテーションを行う。

本発明の実施例では、該方法はステップ１８０４及びステップ１８０５のうちの少なくとも１つを含んでも良い。

本発明の実施例の１つの実施方式において、上述の各ステップの具体的な実現方法は実施例１の中の記載と同じであるため、ここではその詳しい説明を省略する。

本発明の実施例はさらにコンピュータ可読プログラムを提供し、そのうち、道路領域確定装置又は電子機器中で前記プログラムを実行するときに、前記プログラムはコンピュータに、前記道路領域確定装置又は電子機器中で実施例３に記載の道路領域確定方法を実行させる。

本発明の実施例はさらにコンピュータ可読プログラムが記憶された記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムはコンピュータに、道路領域確定装置又は電子機器中で実施例３に記載の道路領域確定方法を実行させる。

また、本発明の実施例において説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、方法を示す図に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）を用いてこれらのソフトウェアモジュールを固化して実現することができる。

また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。

また、以上の実施例などに関し、さらに以下の付記を開示する。

（付記１）
道路領域確定装置であって、
セマンティックセグメンテーションに基づいて入力画像のうちから道路領域を予備抽出し、予備道路領域を確定する第一確定ユニット；
予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、前記２値化画像に基づいて道路輪郭を確定する第二確定ユニット；
多辺形を用いて前記道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得するフィッティングユニット；並びに
フィッティング後の道路領域内の凹みのサーチを行い、前記道路領域内に凹みが存在するときに、前記凹みに基づいて前記フィッティング後の道路領域のセグメンテーションを行う第一セグメンテーションユニット、及び／又は、前記フィッティング後の道路領域内のオプティカルフローに基づいて、前記フィッティング後の道路領域のセグメンテーションを行う第二セグメンテーションユニットを含む、装置。

（付記２）
付記１に記載の装置であって、
前記第一確定ユニットは、
事前設定の数の不連続フレームに対してそれぞれセマンティックセグメンテーションを行い、事前設定の数の不連続フレームのセマンティックセグメンテーション結果を得るセグメンテーションユニット；及び
各フレームの中のすべての画素について１つずつ前記画素の類型を確定する第三確定ユニットであって、事前設定の数の不連続フレームにおける前記画素のセマンティックセグメンテーション結果の中で出現頻度が最も高い類型を前記画素の類型とする、第三確定ユニットを含む、装置。

（付記３）
付記１に記載の装置であって、
前記第二確定ユニットは、
予備道路領域が確定された入力画像に対して２値化処理を行い、２値化画像を得る２値化処理ユニット；
前記２値化画像内の一番外側の輪郭に対してのサーチを行い、前記２値化画像内の輪郭を得る第一サーチユニット；及び
サーチにより得られた輪郭のうちから輪郭内の面積に基づいて選択を行い、前記道路輪郭を得る選択ユニットを含む、装置。

（付記４）
付記１に記載の装置であって、
前記第一セグメンテーションユニットは、
前記フィッティング後の道路領域における凹みの角度が第一閾値よりも小さく、且つ凹みの深さが第二閾値よりも大きいときに、前記フィッティング後の前記道路領域内に凹みが存在すると確定する第四確定ユニットを含む、装置。

（付記５）
付記４に記載の装置であって、
前記第一セグメンテーションユニットは、さらに、
前記凹みの頂点を確定する第五確定ユニット；
前記凹みの底部の２つの端点の中心点を確定する第六確定ユニット；及び
前記頂点及び前記中心点に基づいて、隣接する２つ道路領域の第一セグメンテーション線を確定し、前記フィッティング後の道路領域のセグメンテーションを行う第七確定ユニットを含む、装置。

（付記６）
付記１に記載の装置であって、
前記第二セグメンテーションユニットは、
前記フィッティング後の道路領域内の順方向オプティカルフローベクトルと逆方向オプティカルフローベクトルの比が第三閾値よりも大きく且つ第四閾値よりも小さく、且つすべてのオプティカルフローベクトルの平均長さが第五閾値よりも大きいときに、前記フィッティング後の道路領域内のオプティカルフローに基づいて前記フィッティング後の道路領域のセグメンテーションを行う、装置。

（付記７）
付記１に記載の装置であって、
前記第二セグメンテーションユニットは、
事前設定の数の不連続フレームに基づいて、前記フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルを計算する計算ユニット；
それぞれ前記フィッティング後の道路領域内の順方向オプティカルフローベクトルの中心点及び逆方向オプティカルフローベクトルの中心点を確定する第八確定ユニット；
前記順方向オプティカルフローベクトル及び前記逆方向オプティカルフローベクトルの中心点に基づいて、オプティカルフローベクトル全体の中心点を確定する第九確定ユニット；
前記フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルに基づいて、車両走行軌迹の消失点を確定する第十確定ユニット；及び
前記オプティカルフローベクトル全体の前記中心点及び前記消失点に基づいて、隣接する２つ道路領域の第二セグメンテーション線を確定し、前記フィッティング後の道路領域のセグメンテーションを行う第十一確定ユニットを含む、装置。

（付記８）
付記１に記載の装置であって、さらに、
セグメンテーション後の道路領域内のオプティカルフローベクトルの方向に基づいて各道路領域の車両走行方向を確定する第十二確定ユニットを含む、装置。

（付記９）
付記１乃至８の任意の１つに記載の道路領域確定装置を含む電子機器。

（付記１０）
道路領域確定方法であって、
セマンティックセグメンテーションに基づいて入力画像のうちから道路領域を予備抽出し、予備道路領域を確定し；
予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、前記２値化画像に基づいて道路輪郭を確定し；
多辺形を用いて前記道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得し；並びに
フィッティング後の道路領域内の凹みのサーチを行い、前記道路領域内に凹みが存在するときに、前記凹みに基づいて前記フィッティング後の道路領域のセグメンテーションを行い、及び／又は、前記フィッティング後の道路領域内のオプティカルフローに基づいてフィッティング後の道路領域のセグメンテーションを行うことを含む、方法。

（付記１１）
付記１０に記載の方法であって、
前記セマンティックセグメンテーションに基づいて入力画像のうちから道路領域を予備抽出することは、
事前設定の数の不連続フレームに対してそれぞれセマンティックセグメンテーションを行い、事前設定の数の不連続フレームのセマンティックセグメンテーション結果を取得し；及び
各フレームの中のすべての画素について１つずつ前記画素の類型を確定し、そのうち、事前設定の数の不連続フレームにおける前記画像のセマンティックセグメンテーション結果の中で出現頻度が最も高い類型を前記画素の類型とする、方法。

（付記１２）
付記１０に記載の方法であって、
前記予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、前記２値化画像に基づいて道路輪郭を確定することは、
予備道路領域が確定された入力画像に対して２値化処理を行い、２値化画像を取得し；
前記２値化画像内の一番外側の輪郭に対してのサーチを行い、前記２値化画像内の輪郭を取得し；及び
サーチにより得られた輪郭のうちから輪郭内の面積に基づいて選択を行い、前記道路輪郭を得ることを含む、方法。

（付記１３）
付記１０に記載の方法であって、
前記フィッティング後の道路領域内の凹みのサーチを行うことは、
前記フィッティング後の道路領域における凹みの角度が第一閾値よりも小さく、且つ凹みの深さが第二閾値よりも大きいときに、前記フィッティング後の前記道路領域内に凹みがあると確定することを含む、方法。

（付記１４）
付記１３に記載の方法であって、
前記凹みに基づいて前記フィッティング後の道路領域のセグメンテーションを行うことは、さらに、
前記凹みの頂点を確定し；
前記凹みの底部の２つの端点の中心点を確定し；及び
前記頂点及び前記中心点に基づいて、隣接する２つ道路領域の第一セグメンテーション線を確定し、前記フィッティング後の道路領域のセグメンテーションを行うことを含む、方法。

（付記１５）
付記１０に記載の方法であって、
前記フィッティング後の道路領域内の順方向オプティカルフローベクトルと逆方向オプティカルフローベクトルの比が第三閾値よりも大きく且つ第四閾値よりも小さく、且つすべてのオプティカルフローベクトルの平均長さが第五閾値よりも大きいときに、前記フィッティング後の道路領域内のオプティカルフローに基づいて前記フィッティング後の道路領域のセグメンテーションを行う、方法。

（付記１６）
付記１５に記載の方法であって、
前記フィッティング後の道路領域内のオプティカルフローに基づいてフィッティング後の道路領域に対してセグメンテーションを行うことは、
事前設定の数の不連続フレームに基づいて、前記フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルを計算し；
それぞれ前記フィッティング後の道路領域内の順方向オプティカルフローベクトルの中心点及び逆方向オプティカルフローベクトルの中心点を確定し；
前記順方向オプティカルフローベクトル及び前記逆方向オプティカルフローベクトルの中心点に基づいて、オプティカルフローベクトル全体の中心点を確定し；
前記フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルに基づいて、車両走行軌迹の消失点を確定し；及び
前記オプティカルフローベクトル全体の前記中心点及び前記消失点に基づいて、隣接する２つ道路領域の第二セグメンテーション線を確定し、前記フィッティング後の道路領域のセグメンテーションを行うことを含む、方法。

（付記１７）
付記１０に記載の方法であって、さらに、
セグメンテーション後の道路領域内のオプティカルフローベクトルの方向に基づいて各道路領域の車両走行方向を確定する、方法。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims

道路領域確定装置であって、
セマンティックセグメンテーションに基づいて入力画像のうちから道路領域を予備抽出し、予備道路領域を確定する第一確定ユニット；
予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、前記２値化画像に基づいて道路輪郭を確定する第二確定ユニット；
多辺形を用いて前記道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得するフィッティングユニット；並びに
フィッティング後の道路領域内の凹みのサーチを行い、前記道路領域内に凹みが存在するときに、前記凹みに基づいて前記フィッティング後の道路領域のセグメンテーションを行う第一セグメンテーションユニット、及び／又は、前記フィッティング後の道路領域内のオプティカルフローに基づいて前記フィッティング後の道路領域のセグメンテーションを行う第二セグメンテーションユニットを含む、道路領域確定装置。
請求項１に記載の道路領域確定装置であって、
前記第一確定ユニットは、
所定の数の不連続フレームに対してそれぞれセマンティックセグメンテーションを行い、所定の数の不連続フレームのセマンティックセグメンテーション結果を得るセグメンテーションユニット；及び
各フレームの中のすべての画素について１つずつ前記画素の類型を確定する第三確定ユニットであって、所定の数の不連続フレームにおける前記画素のセマンティックセグメンテーション結果の中で出現頻度が最も高い類型を前記画素の類型とする、第三確定ユニットを含む、道路領域確定装置。
請求項１に記載の道路領域確定装置であって、
前記第二確定ユニットは、
予備道路領域が確定された入力画像に対して２値化処理を行い、２値化画像を得る２値化処理ユニット；
前記２値化画像内の一番外側の輪郭に対してのサーチを行い、前記２値化画像内の輪郭を得る第一サーチユニット；及び
サーチにより得られた輪郭のうちから輪郭内の面積に基づいて選択を行い、前記道路輪郭を得る選択ユニットを含む、道路領域確定装置。
請求項１に記載の道路領域確定装置であって、
前記第一セグメンテーションユニットは、
前記フィッティング後の道路領域における凹みの角度が第一閾値よりも小さく、且つ凹みの深さが第二閾値よりも大きいときに、前記フィッティング後の前記道路領域内に凹みが存在すると確定する第四確定ユニットを含む、道路領域確定装置。
請求項４に記載の道路領域確定装置であって、
前記第一セグメンテーションユニットは、
前記凹みの頂点を確定する第五確定ユニット；
前記凹みの底部の２つの端点の中心点を確定する第六確定ユニット；及び
前記頂点及び前記中心点に基づいて、隣接する２つ道路領域の第一セグメンテーション線を確定し、前記フィッティング後の道路領域のセグメンテーションを行う第七確定ユニットをさらに含む、道路領域確定装置。
請求項１に記載の道路領域確定装置であって、
前記第二セグメンテーションユニットは、前記フィッティング後の道路領域内の順方向オプティカルフローベクトルと逆方向オプティカルフローベクトルの比が第三閾値よりも大きく且つ第四閾値よりも小さく、且つすべてのオプティカルフローベクトルの平均長さが第五閾値よりも大きいときに、前記フィッティング後の道路領域内のオプティカルフローに基づいて前記フィッティング後の道路領域のセグメンテーションを行う、道路領域確定装置。
請求項１に記載の道路領域確定装置であって、
前記第二セグメンテーションユニットは、
所定の数の不連続フレームに基づいて、前記フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルを計算する計算ユニット；
それぞれ前記フィッティング後の道路領域内の順方向オプティカルフローベクトルの中心点及び逆方向オプティカルフローベクトルの中心点を確定する第八確定ユニット；
前記順方向オプティカルフローベクトルの中心点及び前記逆方向オプティカルフローベクトルの中心点に基づいて、オプティカルフローベクトル全体の中心点を確定する第九確定ユニット；
前記フィッティング後の道路領域内の順方向オプティカルフローベクトル及び逆方向オプティカルフローベクトルに基づいて、車両走行軌迹の消失点を確定する第十確定ユニット；及び
前記オプティカルフローベクトル全体の前記中心点と前記消失点とに基づいて、隣接する２つ道路領域の第二セグメンテーション線を確定し、前記フィッティング後の道路領域のセグメンテーションを行う第十一確定ユニットを含む、道路領域確定装置。
請求項１に記載の道路領域確定装置であって、
前記セグメンテーション後の道路領域内のオプティカルフローベクトルの方向に基づいて各道路領域の車両走行方向を確定する第十二確定ユニットをさらに含む、道路領域確定装置。
請求項１乃至８のうちの何れか１項に記載の道路領域確定装置を含む電子機器。
道路領域確定方法であって、
セマンティックセグメンテーションに基づいて入力画像のうちから道路領域を予備抽出し、予備道路領域を確定し；
予備道路領域が確定された入力画像に対して２値化処理を行って２値化画像を取得し、前記２値化画像に基づいて道路輪郭を確定し；
多辺形を用いて前記道路輪郭に対してフィッティングを行い、フィッティング後の道路領域を取得し；並びに
フィッティング後の道路領域内の凹みのサーチを行い、前記道路領域内に凹みが存在するときに、前記凹みに基づいて前記フィッティング後の道路領域のセグメンテーションを行うこと、及び／又は、前記フィッティング後の道路領域内のオプティカルフローに基づいてフィッティング後の道路領域のセグメンテーションを行うことを含む、道路領域確定方法。