JP7024115B2 - 区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器 - Google Patents

Description

本開示は２０１８年０５月３１日に中国特許局に提出された、出願番号がＣＮ２０１８１０５５１９０８．Ｘであり、発明の名称が「区画線に基づくインテリジェントドライブ制御方法および装置、ならびに電子機器」である中国特許出願の優先権を主張し、その開示の全ての内容が参照によって本開示に組み込まれる。

区画線検出は自動運転および運転支援における重要な技術の一つであり、該技術によって、車両が走行車線の区画線を検出し、それにより車両の現在位置を判断し、次の早期警告に重要な情報を提供することができる。

本開示の実施例は区画線に基づくインテリジェントドライブ制御の技術的解決手段を提供する。

本開示の実施例が提供する区画線に基づくインテリジェントドライブ制御方法は、
車両走行環境の区画線検出結果を取得することと、
前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および／または前記車両が前記区画線を逸脱する推定時間を特定することと、
前記推定距離および／または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うことと、を含む。

本開示の実施例の別の態様によれば、
車両走行環境の区画線検出結果を取得するための取得モジュールと、
前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および／または前記車両が前記区画線を逸脱する推定時間を特定するための特定モジュールと、
前記推定距離および／または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うための制御モジュールと、を含む区画線に基づくインテリジェントドライブ制御装置が提供される。

本開示の実施例のさらに別の態様によれば、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するプロセッサと、を備え、
前記コンピュータプログラムを実行するときに、前記プロセッサは本開示の上記いずれかの実施例に記載の方法を実現することを特徴とする電子機器が提供される。

本開示の実施例のさらに別の態様によれば、コンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体であって、該コンピュータプログラムはプロセッサによって実行されるとき、本開示の上記いずれかの実施例に記載の方法を実現するコンピュータ読み取り可能記憶媒体が提供される。

本開示の実施例のさらに別の態様によれば、コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令は機器のプロセッサにおいて運用されるとき、本開示の上記いずれかの実施例に記載の方法を実現するコンピュータプログラムが提供される。

本開示の実施例のさらに別の態様によれば、コンピュータ読み取り可能命令を記憶するためのコンピュータプログラム製品であって、前記命令は実行されるときにコンピュータに上記いずれかの可能な実施形態に記載の人体キーポイント検出方法を実行させるコンピュータプログラム製品が提供される。

任意選択的な一実施形態では、前記コンピュータプログラム製品はコンピュータ記憶媒体であり、任意選択的な別の実施形態では、前記コンピュータプログラム製品はソフトウェア製品、例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などである。

本開示の上記実施例が提供する区画線に基づくインテリジェントドライブ制御方法および装置、電子機器、プログラムならびに媒体に基づき、車両走行環境の区画線検出結果を取得し、車両の走行状態および区画線検出結果に基づき、車両が区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定し、そして推定距離および／または推定時間に基づき、車両のインテリジェントドライブ制御を行う。これによって、本開示の実施例は車両走行状態の区画線に基づく知的制御を実現し、運転の安全性の向上に寄与する。

以下に図面および実施例により、本開示の技術的解決手段をさらに詳しく説明する。

明細書の一部を構成する図面は、本開示の実施例を説明し、その説明と共に本開示の原理を解釈することに用いられる。図面を参照し、以下の詳細な説明により本開示をより明瞭に理解することができる。
本開示の区画線に基づくインテリジェントドライブ制御方法の一実施例のフローチャートである。 本開示の区画線に基づくインテリジェントドライブ制御方法の別の実施例のフローチャートである。 本開示の区画線に基づくインテリジェントドライブ制御方法のさらに別の実施例のフローチャートである。 本開示の実施例における２本の区画線の例示である。 本開示の区画線に基づくインテリジェントドライブ制御装置の一実施例の構成模式図である。 本開示の区画線に基づくインテリジェントドライブ制御装置の別の実施例の構成模式図である。 本開示の電子機器の一応用例の構成模式図である。

ここで、図面を参照しながら本開示の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材およびステップの相対的配置、数式および値は本開示の範囲を限定するものではないことに注意すべきである。

また、本開示の実施例では、「複数の」とは二つ以上を指してもよく、「少なくとも一つの」とは一つ、二つまたは二つ以上を指してもよいことを理解すべきである。

当業者であれば、本開示の実施例における「第一」、「第二」などの用語は異なるステップ、機器またはモジュールなどを区別するためのものに過ぎず、なんらの特定の技術的意味も有さず、またそれらの間の必然的な論理的順序を表すものでもないことを理解できる。

また、本開示の実施例で言及された任意の部材、データまたは構造は、明確に限定されまたは明細書の前後で反対的に示唆された場合でなければ、一般的には一つ以上と理解してもよいことを理解すべきである。

また、本開示は各実施例間の相違点を重点に説明し、その同じまたは類似の部分は互いに参照すればよいことを理解すべきであり、その説明を簡潔にするために、ここでは説明を省略する。

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本開示およびその適用または使用へのなんらの制限にもならない。

関連分野の当業者に既知の技術、方法および機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。

なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

また、本開示における用語「および／または」とは、関連対象の関連関係を記述するためのものに過ぎず、三つの可能な関係を表すことができ、例えば、Ａおよび／またはＢとは、Ａが単独で存在する場合、ＡおよびＢが同時に存在する場合、Ｂが単独で存在する場合という三つの場合を表すことができる。また、本開示における符号「／」とは、一般的には前後の関連対象が「または」という関係にあることを表す。

本開示の実施例は端末機器、コンピュータシステム、サーバなどの電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に操作可能である。端末機器、コンピュータシステム、サーバなどの電子機器との併用に適する公知の端末機器、計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび前記任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

端末機器、コンピュータシステム、サーバなどの電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的なコンテキストにおいて説明できる。通常、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実現するルーチン、プログラム、目標プログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバは、タスクが通信ネットワークにわたって接続された遠隔処理機器により実行される分散型クラウドコンピューティング環境において実施できる。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。

図１は本開示の区画線に基づくインテリジェントドライブ制御方法の一実施例のフローチャートである。図１に示すように、区画線に基づくインテリジェントドライブ制御方法は以下を含む。

１０２、車両走行環境の区画線検出結果を取得する。

いくつかの任意選択的な例では、例えば以下のようにして車両走行環境における区画線検出結果を取得してもよい。例えば、ニューラルネットワークに基づいて車両走行環境における区画線を検出する。即ち、ニューラルネットワークによって前記車両走行環境を含む画像に対して区画線検出を行い、区画線検出結果を取得する。または、
1592795259250_0
（ＡＤＡＳ）から車両走行環境における区画線検出結果を直接取得する、即ち、ＡＤＡＳにおける区画線検出結果を直接利用する。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作１０２は実行されてもよく、プロセッサが運用する取得モジュールによって該操作１０２は実行されてもよい。

１０４、車両の走行状態および区画線検出結果に基づき、該車両が区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定する。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作１０４は実行されてもよく、プロセッサが運用する特定モジュールによって実行されてもよく。

１０６、上記推定距離および／または推定時間に基づき、該車両のインテリジェントドライブ制御を行う。

いくつかの実施形態では、車両のインテリジェントドライブ制御は、例えば、自動運転制御、運転支援制御などの少なくとも一つを含んでもよいが、これらに限定されない。

ここで、車両の自動運転制御は、例えば、制動、減速、走行方向変更、車線維持、運転モード切替制御（例えば、自動運転モードから非自動運転モードへの切り替え、非自動運転モードから自動運転モードへの切り替え）など車両の運転状態を制御する操作のいずれか一つまたは複数を含んでもよいが、これらに限定されない。ただし、運転モード切替制御は車両を自動運転モードから非自動運転モード（例えば、手動運転モード）へ、または非自動運転モードから自動運転モードへ切り替えるように制御してもよい。

車両の運転支援制御は、例えば、車線逸脱早期警告、車線維持指示など運転者に車両の運転状態を制御するように促すことに寄与する操作のいずれか一つまたは複数を含んでもよいが、これらに限定されない。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作１０６は実行されてもよく、プロセッサが運用する制御モジュールによって、該操作１０６は実行されてもよい。

本開示の上記実施例が提供する区画線に基づくインテリジェントドライブ制御方法に基づき、車両走行環境の区画線検出結果を取得し、車両の走行状態および区画線検出結果に基づき、車両が区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定し、そして推定距離および／または推定時間に基づき、車両の自動運転または運転支援などのインテリジェントドライブ制御を行う。このように、本開示の実施例は車両走行状態の区画線に基づく知的制御を実現し、それによって車両が区画線を逸脱して交通事故を引き起こすのを低減または回避することを図り、運転の安全性の向上に寄与する。

図２は本開示の区画線に基づくインテリジェントドライブ制御方法の別の実施例のフローチャートである。図２に示すように、該実施例の区画線に基づくインテリジェントドライブ制御方法は以下を含む。

２０２、ニューラルネットワークによって車両走行環境を含む画像に対してセマンティックセグメンテーションを行い、区画線確率マップを出力する。

ここで、区画線確率マップは画像における少なくとも一つの画素点のそれぞれが区画線に属する確率値を表すために用いられる。

本開示の実施例におけるニューラルネットワークは、例えば畳み込みニューラルネットワークのような深層ニューラルネットワークであってもよく、事前にサンプル画像および予めラベル付けされた正確な区画線確率マップによってニューラルネットワークを訓練して取得することができる。ここで、サンプル画像および正確な区画線確率マップによってニューラルネットワークを訓練することは、例えば以下のようにして実現してもよい。即ち、ニューラルネットワークによってサンプル画像に対してセマンティックセグメンテーションを行い、予測区画線確率マップを出力し、そして予測区画線確率マップと正確な区画線確率マップとの対応する少なくとも一つの画素点間の差異に基づき、ニューラルネットワークの損失関数値を取得し、該損失関数値に基づいてニューラルネットワークを訓練し、例えば、勾配更新による訓練方法に基づき、チェーンルールバックプロパゲーショングラディエントによって、ニューラルネットワークにおける各ネットワーク層パラメータのパラメータ値を、所定条件を満たすまで調整し、例えば、予測区画線確率マップと正確な区画線確率マップとの対応する少なくとも一つの画素点間の差異が設定差よりも小さいこと、および／またはニューラルネットワークの訓練回数が予め設定された回数に達し、訓練されておいたニューラルネットワークを取得する。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作２０２は実行されてもよく、プロセッサが運用する検出ユニットまたは検出ユニット内のニューラルネットワークによって該操作２０２は実行されてもよい。

２０４、区画線確率マップに基づいて区画線が存在する領域を、区画線検出結果として特定する。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作２０４は実行されてもよく、プロセッサが運用する検出ユニットまたは検出ユニット内の特定サブユニットによって該操作２０４は実行されてもよい。

２０６、車両の走行状態および区画線検出結果に基づき、該車両が区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定する。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作２０６は実行されてもよく、プロセッサが運用する特定モジュールによって該操作２０６は実行されてもよい。

２０８、上記推定距離および／または推定時間に基づき、該車両のインテリジェントドライブ制御を行う。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作２０８は実行されてもよく、プロセッサが運用する制御モジュールによって該操作２０８は実行されてもよい。

本実施例に基づいてニューラルネットワークによって画像に対してセマンティックセグメンテーションを行い、区画線確率マップを出力し、該区画線確率マップに基づいて区画線が存在する領域を特定する。ニューラルネットワークは深層学習の方式に基づき、大量のラベル付けされた区画線画像、例えば曲がり、区画線欠落、縁石エッジ、および光線の暗さ、逆光などのシーンでの区画線画像を学習することで、手動で特徴を設計する必要なく、区画線の様々な特徴を自動的に習得することができるため、フローを簡略化し、手動でラベル付けするコストを削減し、また、それは様々な運転シーンにおいて区画線を効果的に識別し、曲がり、区画線欠落、縁石エッジ、および光線の暗さ、逆光などの様々の複雑なシーンでの区画線検出を実現し、区画線検出の正確度を向上させ、それによって正確な推定距離および／または推定時間を取得し、さらにインテリジェントドライブ制御の正確性を向上させ、運転の安全性を向上させることができる。

任意選択的に、本開示の区画線に基づくインテリジェントドライブ制御方法の別の実施例では、上記操作２０２の前に、さらに、車両走行環境を含む元画像を前処理し、車両走行環境を含む上記画像を取得することを含んでもよい。それに対して、操作２０２では、ニューラルネットワークによって、前処理された上記画像に対してセマンティックセグメンテーションを行う。

ここで、ニューラルネットワークによって元画像を前処理することは、例えば、カメラで取得した元画像を、予め設定されたサイズの画像としてズームやトリミングをして、ニューラルネットワークに入力して処理する。このように、画像のニューラルネットワークによるセマンティックセグメンテーションの複雑度が低くになり、処理時間が短縮され、処理効率が向上できる。

また、ニューラルネットワークによって元画像を前処理することは、予め設定された画像品質（例えば画像の解像度、露光など）基準に従い、カメラで取得した元画像からいくつかの品質が選択可能な画像を選択し、ニューラルネットワークに入力して処理し、それによりセマンティックセグメンテーションの正確性が向上し、さらに区画線検出の正確率も向上する。

いくつかの実施形態では、操作２０２でニューラルネットワークによって車両走行環境を含む画像に対してセマンティックセグメンテーションを行い、区画線確率マップを出力することは、
ニューラルネットワークによって画像に対して特徴抽出を行い、特徴マップを取得することと、
ニューラルネットワークによって該特徴マップに対してセマンティックセグメンテーションを行い、Ｎ本の区画線の区画線確率マップを取得することと、を含んでもよい。ここで、各車線の区画線確率マップにおける各画素点の画素値は、画像における画素点のそれぞれが該区画線に属する確率値を表すために用いられ、Ｎの値は０よりも大きい整数とする。例えば、いくつかの任意選択的な例では、Ｎの値は４とする。

本開示の各実施例におけるニューラルネットワークは、特徴抽出用のネットワーク層および分類用のネットワーク層を含んでもよい。ここで、特徴抽出用のネットワーク層は、例えば、畳み込み層、バッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）層および非線形層を含んでもよい。順に畳み込み層、ＢＮ層および非線形層によって画像の特徴抽出を行うと、特徴マップを生成することができる。そして分類用のネットワーク層によって特徴マップに対してセマンティックセグメンテーショを行うと、複数の区画線の区画線確率マップを取得することができる。

上記Ｎ本の区画線の区画線確率マップは一つのチャネルの確率マップであってもよく、該確率マップにおける各画素点の画素値は画像における対応する画素点が区画線に属する確率値をそれぞれ表す。また、上記Ｎ本の区画線の区画線確率マップはＮ＋１個のチャネルの確率マップであってもよく、該Ｎ＋１個のチャネルはＮ本の区画線および背景にそれぞれ対応し、つまり、Ｎ＋１個のチャネルの確率マップにおける各チャネルの確率マップは上記画像における少なくとも一つの画素点のそれぞれが該チャネルの対応する区画線または背景に属する確率をそれぞれ表す。

いくつかの任意選択的な例では、ニューラルネットワークによって特徴マップに対してセマンティックセグメンテーションを行い、Ｎ本の区画線の区画線確率マップを取得するステップは、
ニューラルネットワークによって上記特徴マップに対してセマンティックセグメンテーションを行い、Ｎ＋１個のチャネルの確率マップを取得することと、
Ｎ＋１個のチャネルの確率マップからＮ本の区画線の区画線確率マップを取得することと、を含んでもよい。
ここで、該Ｎ＋１個のチャネルはＮ本の区画線および背景にそれぞれ対応し、即ち、Ｎ＋１個のチャネルの確率マップにおける各チャネルの確率マップは上記画像における少なくとも一つの画素点のそれぞれが該チャネルの対応する区画線または背景に属する確率をそれぞれ表す。

本開示の実施例におけるニューラルネットワークは、特徴抽出用のネットワーク層、分類用のネットワーク層、および正規化（Ｓｏｆｔｍａｘ）層を含んでもよい。順に、特徴抽出用の各ネットワーク層によって画像の特徴抽出を行い、一連の特徴マップを生成し、分類用のネットワーク層によって最終的に出力される特徴マップに対してセマンティックセグメンテーションを行い、Ｎ＋１個のチャネルの区画線確率マップを取得し、そしてＳｏｆｔｍａｘ層を利用してＮ＋１個のチャネルの区画線確率マップを正規化処理し、区画線確率マップにおける各画素点の確率値を０～１の範囲内の値に変換する。

本開示の実施例では、分類用のネットワーク層は、特徴マップにおける各画素点を多分類することができる。例えば、４本の区画線（左左区画線、即ち左区画線の左側の区画線、左区画線、右区画線および右右区画線、即ち右区画線の右側の区画線と言う）のシーンについて、特徴マップにおける各画素点を五分類し、特徴マップにおける各画素点が五つの種類（背景、左左区画線、左区画線、右区画線および右右区画線）それぞれに属する確率値を識別し、特徴マップにおける各画素点がそれらの一つの種類に属する確率マップをそれぞれ出力し、上記Ｎ＋１個のチャネルの確率マップを取得する。各確率マップにおける各画素の確率値は、該画素の対応する画像における画素がある種類に属する確率値を表す。

上記実施例では、Ｎは車両走行環境における区画線の本数であり、０よりも大きい任意の整数値であってもよい。例えば、Ｎの値は２とする場合、Ｎ＋１個のチャネルは車両走行環境における背景、左区画線および右区画線にそれぞれ対応し、または、Ｎの値は３とする場合、Ｎ＋１個のチャネルは車両走行環境における背景、左区画線、中区画線および右区画線にそれぞれ対応し、または、Ｎの値は４とする場合、Ｎ＋１個のチャネルは車両走行環境における背景、左左区画線、左区画線、右区画線および右右区画線にそれぞれ対応する。

いくつかの実施形態では、操作２０４で１本の区画線の区画線確率マップに基づいて区画線が存在する領域を特定することは、
上記区画線確率マップから確率値が第一所定閾値より大きい画素点を選択することと、
選択された画素点に基づいて区画線確率マップにおいて最大連結領域検索を行い、該区画線に属する画素点集合を特定することと、
区画線に属する上記画素点集合に基づいて該区画線が存在する領域を特定することと、を含んでもよい。

例示的に、幅優先探索アルゴリズムを採用して最大連結領域検索を行い、確率値が第一所定閾値よりも大きい全ての連結領域を探し出し、続いて全ての連結領域を比べ、取得した最大領域を、検出された区画線が存在する領域としてもよい。

ニューラルネットワークの出力は数本の区画線の区画線確率マップであり、区画線確率マップにおける各画素点の画素値は対応する画像における画素点がある区画線に属する確率値を表し、その値は０～１の正規化後の値であってもよい。第一所定閾値によって区画線確率マップにおける該区画線確率マップの所属区画線に属する確率が高い画素点を選択し、続いて最大連結領域検索を行い、該区画線に属する画素点集合を、該区画線が存在する領域として探し出す。区画線毎に上記操作をそれぞれ実行すれば、各区画線が存在する領域を特定できる。

いくつかの任意選択的な例では、区画線に属する画素点集合に基づいて該区画線が存在する領域を特定する上記ステップは、
該区画線に属する画素点集合内の全ての画素点の確率値の和を統計し、該区画線の信頼度を取得することと、
該信頼度が第二所定閾値よりも大きい場合、上記画素点集合により形成された領域を該区画線が存在する領域とすることと、を含んでもよい。

本開示の実施例では、各区画線について、画素点集合内の全ての画素点の確率値の和を統計し、該区画線の信頼度を取得する。ここの信頼度は、画素点集合により形成された領域が実在する区画線である確率値である。ここで、第二所定閾値は実際の必要に応じて設定された経験値であり、実際のシーンに応じて調整可能である。信頼度が低くなり過ぎた場合、即ち第二所定閾値以下である場合、該区画線が存在せず、特定された該区画線を破棄し、信頼度が高い場合、即ち第二所定閾値よりも大きい場合、特定された区画線存在領域が実在する区画線である確率値が高く、それを該区画線が存在する領域として決定する。

図３は本開示の区画線に基づくインテリジェントドライブ制御方法の別の実施例のフローチャートである。図３に示すように、該実施例の区画線に基づくインテリジェントドライブ制御方法は以下を含む。

３０２、ニューラルネットワークによって車両走行環境を含む画像に対してセマンティックセグメンテーションを行い、区画線確率マップを出力する。

ここで、区画線確率マップは画像における少なくとも一つの画素点のそれぞれが区画線に属する確率値を表すために用いられる。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作３０２は実行されてもよく、プロセッサが運用する検出ユニットまたは検出ユニット内のニューラルネットワークによって該操作３０２は実行されてもよい。

３０４、区画線確率マップに基づいて区画線が存在する領域を、区画線検出結果として特定する。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作３０４は実行されてもよく、プロセッサが運用する検出ユニットまたは検出ユニット内の特定サブユニットによって該操作３０４は実行されてもよい。

３０６、各区画線が存在する領域における画素点に対してカーブフィッティングを行い、各区画線の区画線情報を取得する。

ここで、該区画線情報は区画線上の少なくとも一つの点（例えば区画線上のそれぞれの点）から車両までの距離を含む。ここの区画線情報の表現形式は様々あり、例えば曲線、直線、および区画線上の少なくとも一つの点やその車両との距離を含む分散マップとしてもよいし、データテーブルとしてもよく、または方程式で表してもよいなど、本開示の実施例は区画線情報の表現形式を限定しない。

区画線情報は方程式で表される場合、区画線方程式と呼ばれてもよい。そのいくつかの任意選択的な例では、区画線方程式は二次曲線方程式として、ｘ＝ａ＊ｙ＊ｙ＋ｂ＊ｙ＋ｃで表してもよい。該区画線方程式は三つのパラメータ（ａ、ｂ、ｃ）を有する。図４に示すように、図中の２本の曲線は二つの区画線方程式の対応する２本の区画線である。ここで、Ｙ_－ｍａｘは区画線が存在する地面上の一つの点から車両真正面の垂直方向までの最大距離を表し、Ｙ_－ｍｉｎは区画線が存在する地面上の一つの点から車両真正面の垂直方向までの最小距離を表す。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作３０６は実行されてもよく、プロセッサが運用する特定モジュールまたは特定モジュール内のフィッティング処理ユニットによって該操作３０６は実行されてもよい。

３０８、車両の走行状態および区画線の区画線情報に基づき、該車両が対応する区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定する。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作３０８は実行されてもよく、プロセッサが運用する特定モジュールまたは特定モジュール内の特定ユニットによって該操作３０８は実行されてもよい。

３１０、上記推定距離および／または推定時間に基づき、該車両のインテリジェントドライブ制御を行う。

任意選択的な一例では、プロセッサがメモリに記憶された対応する命令を呼び出すことで、該操作３１０は実行されてもよく、プロセッサが運用する制御モジュールによって該操作３１０は実行されてもよい。

本開示の実施例は区画線が存在する領域を特定してから、各区画線が存在する領域における画素点のカーブフィッティングを行うことで各区画線の区画線情報を取得し、そして車両の走行状態および区画線の区画線情報に基づいて該車両が対応する区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定する。カーブフィッティングによって得られた区画線情報は二次曲線または類似の表現形式で表現できる、曲がり区画線に効果的にフィットできるため、曲がりに対しても高い適用性を有し、様々な道路状況の早期警告に適する。

いくつかの実施形態では、操作３０６で、１本の区画線が存在する領域における画素点に対してカーブフィッティングを行い、該区画線の区画線情報を取得することは、
１本の区画線が存在する領域から複数（例えば三つ以上）の画素点を選択することと、
選択された複数の画素点を、カメラが存在するカメラ座標系からワールド座標系へ変換し、上記複数の画素点のワールド座標系における座標を取得することと、
上記複数の画素点のワールド座標系における座標に基づき、ワールド座標系において上記複数の画素点に対してカーブフィッティングを行い、上記１本の区画線の区画線情報を取得することと、を含んでもよい。ここで、ワールド座標系の原点は必要に応じて設定してもよく、例えば原点を車両の左前輪の着地点として設定してもよく、ワールド座標系におけるｙ軸方向は車両の真正面方向とする。

例えば、１本の区画線が存在する領域から一部の画素点をランダムに選択し、カメラ校正パラメータ（ビデオカメラ校正パラメータと呼んでもよい）に基づき、これらの画素点をワールド座標系へ変換し、続いてワールド座標系でこれらの画素点のカーブフィッティングを行えば、フィッティング曲線を取得することができる。このフィッティング曲線によって、上記区画線上の上記いずれか一つの点から車両までの距離を算出でき、つまり、フィッティング曲線ｘ＝ａ＊ｙ＊ｙ＋ｂ＊ｙ＋ｃによって、区画線が存在する地面上のいずれか一つの点ｘから車両真正面の垂直方向までの距離ｙ、および前方の道路上の車線区分状況を計算でき、ここで、ａ、ｂ、ｃはフィッティング曲線におけるパラメータである。カメラ校正パラメータは、内部パラメータおよび外部パラメータを含んでもよい。外部パラメータに基づいてカメラまたはビデオカメラのワールド座標系における位置および向きを特定でき、外部パラメータは回転行列および並進行列を含んでもよく、回転行列および並進行列は、どのように点をワールド座標系からカメラ座標系へ変換するまたは逆に変換するかを共同で記述しており、内部パラメータはカメラ自体の特性に関連するパラメータ、例えばカメラの焦点距離、画素数などである。

ここのカーブフィッティングとは、いくつかの分散点に基づいてこれらの点からなる曲線を算出することである。本開示の実施例のいくつかの任意選択的な例では、例えば最小二乗法を採用して上記複数の画素点に基づいてカーブフィッティングを行うことができる。

また、本開示の区画線に基づくインテリジェントドライブ制御方法のさらに別の実施例では、２フレームの画像に基づいて特定した区画線のブレおよび車両の車線変更過程での区画線の混乱を防止するために、操作３０６で区画線の区画線情報を取得する後に、さらに、区画線の区画線情報内のパラメータに対してフィルタリングを行い、それによってブレおよび何らかの異常状況を排除し、区画線情報の安定性を保証することを含んでもよい。それに対して、操作３０８で、車両の走行状態およびフィルタリングされた区画線の区画線情報に基づき、車両が対応する区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定する。いくつかの実施形態では、１本の区画線の区画線情報内のパラメータに対してフィルタリングを行うことは、
該区画線の区画線情報内のパラメータのパラメータ値および前のフレームの画像に基づいて得られた該区画線の履歴情報内のパラメータのパラメータ値に基づき、該区画線情報内のパラメータのパラメータ値に対してカルマン（ｋａｌｍａｎ）フィルタリングを行うことを含んでもよい。ここで、前のフレームの画像は上記画像が存在するビデオにおいて検出タイミングが該画像より前の１フレームの画像であり、例えば該画像に隣接する前のフレームの画像であってもよいし、検出タイミングが該画像よりも前の、１フレーム間隔以上の画像であってもよい。

カルマンフィルタリングは時変確率的信号の統計特性に基づき、信号の将来値をできるだけ真値に近付ける推定方法である。本実施例では該区画線の区画線情報内のパラメータのパラメータ値および前のフレームの画像に基づいて得られた該区画線の履歴情報内のパラメータのパラメータ値によって、該区画線情報内のパラメータのパラメータ値に対してカルマンフィルタリングを行い、該区画線情報の正確性を向上可能であり、後続で車両と区画線との間の距離などの情報を正確に特定し、車両の車線逸脱を正確に早期警告することに寄与する。

さらに、本開示の区画線に基づくインテリジェントドライブ制御方法のさらに別の実施例では、区画線情報内のパラメータのパラメータ値に対してカルマンフィルタリングを行う前に、さらに、同一区画線について、区画線情報内のパラメータのパラメータ値が履歴区画線情報内の対応するパラメータのパラメータ値に対して変化した、区画線情報内のパラメータのパラメータ値と履歴区画線情報内の対応するパラメータのパラメータ値との差が第三所定閾値よりも小さい区画線情報を、カルマンフィルタリングのための有効な区画線情報として選択すること、即ち区画線情報内のパラメータ（例えばｘ＝ａ＊ｙ＊ｙ＋ｂ＊ｙ＋ｃにおける三つのパラメータ（ａ、ｂ、ｃ））を平滑化することを含んでもよい。ビデオにおいて各フレームの画像に基づいてフィッティングした区画線情報内のパラメータはいずれも変化するが、隣接するフレームの画像が大きく変化しないため、現在フレームの画像の区画線情報を少し平滑化し、ブレおよび何らかの異常状況を排除し、区画線情報の安定性を保証することができる。

例えば、いくつかの実施形態では、ビデオにおける区画線検出に参与する最初のフレームの画像によって特定した区画線に基づいて、各区画線に対してトラッカーを作成して該区画線を追跡し、現在フレームの画像から同一区画線を検出する、かつ該区画線の区画線情報と前のフレームの画像によって特定した同一区画線の区画線情報内のパラメータ値との差が第三所定閾値よりも小さい場合、現在フレームの画像の区画線情報内のパラメータ値を、前のフレームの画像によって特定した同一区画線のトラッカーへ更新し、現在フレームの画像における該同一区画線の区画線情報に対してカルマンフィルタリングを行うようにしてもよい。同一区画線のトラッカーは連続２フレームの画像において更新された場合、該区画線の特定結果がより正確であり、該区画線のトラッカーを確認して、該トラッカーで追跡した区画線を最終の区画線結果とすることができる。

トラッカーは連続数フレームも更新されていない場合、対応する区画線が消えたと考えられ、該トラッカーを削除する。

現在フレームの画像から前のフレームの画像とマッチングする区画線を検出できない場合、前のフレームの画像において特定した該区画線の誤差が大きく、前のフレームの画像における該トラッカーを削除する。

いずれかの実施例のいくつかの実施形態では、操作３０８で、車両の走行状態および区画線検出結果に基づき、車両が区画線を逸脱する推定距離を特定することは、
該車両のワールド座標系における位置、および区画線の区画線情報に基づき、該車両と対応する区画線との間の推定距離を特定することを含んでもよく、該実施例では、車両の走行状態は該車両のワールド座標系における位置を含む。

同様に、操作３０８で、車両の走行状態および区画線検出結果に基づき、車両が区画線を逸脱する推定時間を特定することは、
車両の速度、車両のワールド座標系における位置、および区画線の区画線情報に基づき、車両が区画線を逸脱する推定時間を特定することを含み、車両の走行状態は車両の速度および車両のワールド座標系における位置を含む。

いずれかの実施例のいくつかの実施形態では、上記推定距離および／または推定時間に基づき、該車両のインテリジェントドライブ制御を行うことは、
推定距離および／または推定時間を少なくとも一つ所定閾値と比較することと、
比較結果が一つ以上の所定条件を満たす場合、満たされる所定条件の対応するインテリジェントドライブ制御、例えば満たされる所定条件の対応する自動運転制御および／または運転支援制御を行うことと、を含んでもよい。

所定条件が複数ある場合、該複数の所定条件のそれぞれ対応するインテリジェントドライブ制御の程度は段階的に増加してもよい。本実施例では、複数の所定条件のそれぞれ対応するインテリジェントドライブ制御の程度は段階的に増加でき、車両が区画線を逸脱する推定距離および／または推定時間によって、対応するインテリジェントドライブ制御措置を取って車両に対して対応する自動運転制御および／または運転支援制御を行うことができ、正常な運転を妨げることなく、車両が区画線を超えて交通事故を引き起こすことを効果的に回避し、運転の安全性が向上できる。

例えば、比較結果が一つ以上の所定条件を満たす場合、満たされる所定条件の対応するインテリジェントドライブ制御を行うときは、いくつかの任意選択的な例では、
推定距離が第四所定閾値以下、かつ第五所定閾値よりも大きくなれば、例えば、車両が現在車線から逸脱しており、現在区画線をすぐに超えるなどを指示するように、車両の車線逸脱指示を行うこと、または、
推定時間が第六所定閾値以下、かつ第七所定閾値よりも大きくなれば、車両の車線逸脱指示を行うこと、または、
推定距離が第四所定閾値以下かつ第五所定閾値よりも大きくなり、かつ推定時間が第六所定閾値以下かつ第七所定閾値よりも大きくなれば、車両の車線逸脱指示を行うことを含んでもよく、
ここで、車線逸脱早期警告は車線逸脱指示を含む。第四所定閾値および第五所定閾値はそれぞれ０よりも大きい値とし、かつ第五所定閾値は第四所定閾値よりも小さく、例えば、第四所定閾値および第五所定閾値はそれぞれ５メートル、３メートルとする。第六所定閾値および第七所定閾値はそれぞれ０よりも大きい値とし、かつ第七所定閾値は第六所定閾値よりも小さく、例えば、第六所定閾値および第七所定閾値はそれぞれ５秒、３秒とする。

車両と区画線との推定距離が第四所定閾値以下、かつ第五所定閾値よりも大きい場合、または、車両が区画線を逸脱する予測推定時間が第六所定閾値以下、かつ第七所定閾値よりも大きい場合、車両の車線逸脱指示を行えば、運転者に車両が車線から逸脱したことを指示し、それによって対応する運転措置を適時に取り、車両が区画線を超えるのを回避し、運転の安全性を向上させることができる。さらに車両と区画線との推定距離および区画線を逸脱する予測推定時間を組み合わせて車線逸脱指示を行い、車線逸脱早期警告の正確率が向上できる。任意選択的なさらなる例では、さらに、
推定距離が第五所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行うこと、あるいは、
推定時間が第七所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行うこと、あるいは、
推定距離が第五所定閾値以下、かつ推定時間が第七所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行うことを含んでもよく、
ここで、車線逸脱早期警告は車線逸脱警告を含み、該車線逸脱警告は、例えば声、光、電気などによる警告であってもよい。

上記実施形態では、推定距離および／または推定時間が徐々に小さくなることに伴い、そのそれぞれ対応するインテリジェントドライブ制御の程度は、車両の車線逸脱指示から、車両の自動運転制御および／または車線逸脱警告まで段階的に増加し、それによって車両が区画線を超えることを回避し、運転の安全性が向上できる。

任意選択的なさらなる例では、画像および履歴フレーム画像に基づいて特定した推定距離はいずれも第五所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行い、当該履歴フレーム画像は、画像が存在するビデオにおいて検出タイミングが画像より前の少なくとも１フレームの画像を含む。あるいは、画像および履歴フレーム画像に基づいて特定した推定時間はいずれも第七所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行う。あるいは、画像および履歴フレーム画像に基づいて特定した推定距離はいずれも第五所定閾値以下、かつ画像および履歴フレーム画像に基づいて特定した推定時間はいずれも第七所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行う。

本実施例は履歴フレーム画像の推定距離および推定時間を、車両の自動運転制御および／または車線逸脱警告を行う根拠として同時に統計し、車両の自動運転制御および／または車線逸脱警告の正確性が向上できる。

例えば、一応用例では、車両の現在位置をＡ、現在走行方向に沿った１本の区画線（目標区画線と呼ばれると想定する）との交点位置をＢと想定すると、線分ＡＢは車両が現在状態で該目標区画線を超える軌跡となる。カメラ校正パラメータによって車両のワールド座標系における絶対位置Ａ’を取得でき、続いて該目標区画線の方程式によって、区画線走行方向の直線Ａ’Ｂと該目標区画線との交点位置Ｂを算出し、それにより直線Ａ’Ｂの長さを取得することができる。さらに車両の現在走行速度によって、該車両が該目標区画線を逸脱する時間ｔを算出できる。履歴フレーム画像情報を統計し、該車両が数フレームの画像において該目標区画線を逸脱する時間が短くなりすぎ（第七所定閾値よりも小さい）、同時に該車両と該目標区画線との距離Ａ’Ｂが短くなりすぎる（第五所定閾値よりも小さい）場合、例えば該車両を減速させ、同時に音声によって警告するように、自動運転制御および／または車線逸脱警告を行う。同時に履歴フレーム画像情報を総計すれば該車両の現在時刻の側方速度を算出でき、さらに該車両と該目標区画線との現在の距離によって、現在時刻から車両が該目標区画線を踏むまでの時間（即ち該目標区画線に到達する時間）を、該車両の自動運転制御および／または車線逸脱警告を行うかどうかの根拠として算出できる。

ここで、車両と目標区画線との間の距離は、該目標区画線の方程式の座標原点の設定、および車両走行方向、車両の幅によって取得可能である。例えば、区画線方程式の座標原点が車両の左輪として設定され、目標区画線が該車両の左側にある場合、該車両と、その走行方向と目標区画線との交点との間の距離を直接取得すればよい。区画線方程式の座標原点が車両の右輪として設定され、目標区画線が該車両の左側にある場合、該車両と、その走行方向と目標区画線との交点との間の距離を取得し、車両の幅がその走行方向に投影した有効幅を加えれば、車両と目標区画線との間の距離を取得することができる。区画線方程式の座標原点が車両の中心として設定され、目標区画線が該車両の左側にある場合、該車両と、その走行方向と目標区画線との交点との間の距離を取得し、車両の半分の幅がその走行方向に投影した有効幅を加えれば、車両と目標区画線との間の推定距離を取得することができる。

本開示の実施例は自動運転および運転支援シーンに用いて、正確な区画線検出、自動運転制御および車両の車線逸脱早期警告を実現することができる。

本開示の実施例が提供するいずれかの区画線に基づくインテリジェントドライブ制御方法は、端末機器およびサーバなどに限られないデータ処理能力を有する任意の適当な機器によって実行できる。または、本開示の実施例が提供するいずれかの区画線に基づくインテリジェントドライブ制御方法は、例えばプロセッサがメモリに記憶された対応する命令を呼び出すことで本開示の実施例で言及されたいずれかの区画線に基づくインテリジェントドライブ制御方法を実行するように、プロセッサによって実行できる。以下は説明を省略する。

当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

図５は本開示の区画線に基づくインテリジェントドライブ制御装置の一実施例の構成模式図である。該実施例の区画線に基づくインテリジェントドライブ制御装置は本開示のいずれかの区画線に基づく制御方法の実施例を実現するために用いることができる。図５に示すように、該実施例の区画線に基づくインテリジェントドライブ制御装置は、
車両走行環境の区画線検出結果を取得するための取得モジュールと、
車両の走行状態および区画線検出結果に基づき、車両が区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定するための特定モジュールと、
推定距離および／または推定時間に基づき、車両のインテリジェントドライブ制御を行うための制御モジュールと、を含む。

本開示の上記実施例が提供する区画線に基づくインテリジェントドライブ制御装置に基づき、車両走行環境の区画線検出結果を取得し、車両の走行状態および区画線検出結果に基づき、車両が区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定し、そして推定距離および／または推定時間に基づき、車両のインテリジェントドライブ制御を行う。これによって、本開示の実施例は車両走行状態の区画線に基づく知的制御を実現し、それによって車両を車線内に維持するように走行させ、車両が区画線を超えて交通事故を引き起こすのを低減または回避し、運転の安全性が向上できることを図る。

いくつかの実施形態では、取得モジュールは、ニューラルネットワークによって車両走行環境における区画線を検出し、区画線検出結果を取得するための検出ユニット、または、
1592795259250_1
から車両走行環境の区画線検出結果を取得するための取得ユニットを含んでもよい。

いくつかの実施形態では、検出ユニットは、車両走行環境を含む画像に対してセマンティックセグメンテーションを行い、画像における少なくとも一つの画素点が区画線に属するそれぞれの確率値を表すための区画線確率マップを出力するためのニューラルネットワークと、区画線確率マップに基づいて区画線が存在する領域を特定するための特定サブユニットと、を含んでもよく、区画線検出結果は区画線が存在する領域を含む。

いくつかの任意選択的な例では、ニューラルネットワークは、ニューラルネットワークによって画像に対して特徴を抽出し、特徴マップを取得し、およびニューラルネットワークによって特徴マップに対してセマンティックセグメンテーションを行い、Ｎ本の区画線の区画線確率マップを取得するために用いられ、各車線の区画線確率マップにおける各画素点の画素値は、画像における対応する画素点が該区画線に属するそれぞれの確率値を表し、Ｎの値は０よりも大きい整数とする。

ここで、ニューラルネットワークは、特徴マップに対してセマンティックセグメンテーションを行い、Ｎ本の区画線の区画線確率マップを取得するときは、ニューラルネットワークによって特徴マップに対してセマンティックセグメンテーションを行い、Ｎ本の区画線および背景にそれぞれ対応するＮ＋１個のチャネルの確率マップを取得し、およびＮ＋１個のチャネルの確率マップからＮ本の区画線の区画線確率マップを取得するために用いられる。

いくつかの任意選択的な例では、Ｎの値は２とし、Ｎ＋１個のチャネルは背景、左区画線および右区画線にそれぞれ対応し、または、Ｎの値は３とし、Ｎ＋１個のチャネルは背景、左区画線、中区画線および右区画線にそれぞれ対応し、または、Ｎの値は４とし、Ｎ＋１個のチャネルは背景、左左区画線、左区画線、右区画線および右右区画線にそれぞれ対応する。

いくつかの任意選択的な例では、特定サブユニットは、区画線の区画線確率マップから確率値が第一所定閾値よりも大きい画素点を選択し、選択された画素点に基づいて区画線確率マップにおいて最大連結領域を検索し、区画線に属する画素点集合を探し出し、および区画線に属する画素点集合に基づいて区画線が存在する領域を特定するために用いられる。

例えば、特定サブユニットは、区画線に属する画素点集合に基づいて区画線が存在する領域を特定するとき、区画線に属する画素点集合内の全ての画素点の確率値の和を統計し、区画線の信頼度を取得し、そして信頼度が第二所定閾値よりも大きくなれば、画素点集合により形成された領域を区画線が存在する領域とするために用いられる。

図６は本開示の区画線に基づくインテリジェントドライブ制御装置の一実施例の構成模式図である。図６に示すように、図５に示す実施例と比べ、該実施例の区画線に基づくインテリジェントドライブ制御装置はさらに、車両走行環境を含む元画像を前処理するための前処理モジュールを含む。それに対して、該実施例では、ニューラルネットワークは、車両走行環境を含む画像に対してセマンティックセグメンテーションを行うときは、前処理された画像に対してセマンティックセグメンテーションを行うために用いられる。

いくつかの実施形態では、特定モジュールは、各区画線が存在する領域における画素点に対してカーブフィッティングをそれぞれ行い、区画線上の少なくとも一つの点から車両までの距離を含む各区画線の区画線情報を取得するためのフィッティング処理ユニットと、車両の走行状態および区画線の区画線情報に基づき、車両が区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定するための特定ユニットと、を含んでもよい。

いくつかの任意選択的な例では、フィッティング処理ユニットは、１本の区画線が存在する領域から複数の画素点を選択し、複数の画素点を、カメラが存在するカメラ座標系からワールド座標系へ変換し、複数の画素点のワールド座標系における座標を取得し、および複数の画素点のワールド座標系における座標に基づき、ワールド座標系において複数の画素点に対してカーブフィッティングを行い、区画線の区画線情報を取得するために用いられる。

また、別のいくつかの実施形態では、特定モジュールはさらに、区画線の区画線情報内のパラメータに対してフィルタリングを行うためのフィルタリングユニットを含んでもよい。それに対して、該実施例では、特定ユニットは、車両の走行状態およびフィルタリングされた区画線の区画線情報に基づき、車両が区画線を逸脱する推定距離および／または車両が区画線を逸脱する推定時間を特定するために用いられる。

いくつかの任意選択的な例では、フィルタリングユニットは、区画線情報内のパラメータのパラメータ値、および画像が存在するビデオにおいて検出タイミングが画像より前の１フレームの画像である前のフレームの画像に基づいて得られた区画線の履歴情報内のパラメータのパラメータ値によって、区画線情報内のパラメータのパラメータ値に対してカルマンフィルタリングを行うために用いられる。

それに対して、別のいくつかの任意選択的な例では、特定モジュールはさらに、区画線情報内のパラメータのパラメータ値が履歴区画線情報内の対応するパラメータのパラメータ値に対して変化した、且つ区画線情報内のパラメータのパラメータ値と履歴区画線情報内の対応するパラメータのパラメータ値との差が第三所定閾値よりも小さい区画線情報を、カルマンフィルタリングのための有効な区画線情報として選択するための選択ユニットを含んでもよい。

別のいくつかの実施形態では、特定モジュールは、車両の走行状態および区画線検出結果に基づき、車両が区画線を逸脱する推定距離を特定するとき、車両のワールド座標系における位置、および区画線の区画線情報に基づき、車両と区画線との間の推定距離を特定するために用いられ、車両の走行状態は車両のワールド座標系における位置を含む。

別のいくつかの実施形態では、特定モジュールは、車両の走行状態および区画線検出結果に基づき、車両が区画線を逸脱する推定時間を特定するときは、車両の速度および車両のワールド座標系における位置、ならびに区画線の区画線情報に基づき、車両が区画線を逸脱する推定時間を特定するために用いられ、車両の走行状態は車両の速度および車両のワールド座標系における位置を含む。

再び図６を参照すると、いくつかの実施形態では、制御モジュールは、推定距離および／または推定時間を少なくとも一つ所定閾値と比較するための比較ユニットと、比較結果が一つ以上の所定条件を満たす場合、満たされる所定条件の対応する、自動運転制御および／または運転支援制御を含むインテリジェントドライブ制御を行うための制御ユニットと、を含んでもよい。

いくつかの実施形態では、車両のインテリジェントドライブ制御は、例えば、自動運転制御、運転支援制御などの少なくとも一つを含んでもよいが、これらに限定されない。そのうち、車両の自動運転制御は、例えば、制動、減速、走行方向変更、車線維持、運転モード切替制御など車両の運転状態を制御する操作のいずれか一つまたは複数を含んでもよいが、これらに限定されない。車両の運転支援制御は、例えば、車線逸脱早期警告、車線維持指示など運転者に車両の運転状態を制御するように促すことに寄与する操作のいずれか一つまたは複数を含んでもよいが、これらに限定されない。

任意選択的に、上記実施形態では、所定条件が複数ある場合、該複数の所定条件のそれぞれ対応するインテリジェントドライブ制御の程度は段階的に増加してもよい。

いくつかの実施形態では、制御ユニットは、推定距離が第四所定閾値以下、かつ第五所定閾値よりも大きい場合に、車両の車線逸脱指示を行うために、または、推定時間が第六所定閾値以下、かつ第七所定閾値よりも大きい場合に、車両の車線逸脱指示を行うために、または、推定距離が第四所定閾値以下かつ第五所定閾値よりも大きく、かつ推定時間が第六所定閾値以下かつ第七所定閾値よりも大きい場合に、車両の車線逸脱指示を行うために用いられる。ここで、車線逸脱早期警告は車線逸脱指示を含み、第五所定閾値は第四所定閾値よりも小さく、第七所定閾値は第六所定閾値よりも小さい。

いくつかの実施形態では、制御ユニットはさらに、推定距離が第五所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行うために、あるいは、推定時間が第七所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行うために、あるいは、推定距離が第五所定閾値以下、かつ推定時間が第七所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行うために用いられてもよい。ここで、車線逸脱早期警告は車線逸脱警告を含む。

いくつかのさらなる実施形態では、制御ユニットはさらに、推定距離が第五所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行うときは、画像および、画像が存在するビデオにおいて検出タイミングが画像より前の少なくとも１フレームの画像を含む履歴フレーム画像に基づいて特定した推定距離はいずれも第五所定閾値以下であれば、車両の自動運転制御および／または車線逸脱警告を行うために用いられてもよく、あるいは、推定時間が第七所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行うときは、画像および履歴フレーム画像に基づいて特定した推定時間はいずれも第七所定閾値以下であれば、車両の自動運転制御および／または車線逸脱警告を行うために用いられてもよく、あるいは、推定距離が第五所定閾値以下、かつ推定時間が第七所定閾値以下である場合に、車両の自動運転制御および／または車線逸脱警告を行うときは、画像および履歴フレーム画像に基づいて特定した推定距離はいずれも第五所定閾値以下、かつ画像および履歴フレーム画像に基づいて特定した推定時間はいずれも第七所定閾値以下であれば、車両の自動運転制御および／または車線逸脱警告を行うために用いられてもよい。

本開示の実施例はさらに、本開示の上記いずれかの実施例の区画線に基づくインテリジェントドライブ制御装置を含む電子機器を提供する。

本開示の実施例はさらに、実行可能命令を記憶するためのメモリ、およびメモリと通信して実行可能命令を実行することで本開示の上記いずれかの実施例の区画線に基づくインテリジェントドライブ制御方法の操作を完了するためのプロセッサを含む別の電子機器を提供する。

図７は本開示の電子機器の一応用例の構成模式図である。以下に図７を参照すると、本開示の実施例の端末機器またはサーバの実現に適する電子機器の構成模式図が示される。図７に示すように、該電子機器は一つ以上のプロセッサ、通信部などを含み、前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）、および／または一つ以上の画像処理装置（ＧＰＵ）などであり、プロセッサは読み取り専用メモリ（ＲＯＭ）に記憶されている実行可能命令または記憶部分からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能命令に従って様々な適当の操作および処理を実行できる。通信部はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されず、プロセッサは読み取り専用メモリおよび／またはランダムアクセスメモリと通信して実行可能命令を実行し、バスを介して通信部と接続し、通信部によって他の目標機器と通信し、それにより本開示の実施例が提供するいずれかの区画線に基づくインテリジェントドライブ制御方法の対応する操作、例えば、車両走行環境の区画線検出結果を取得することと、前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および／または前記車両が前記区画線を逸脱する推定時間を特定することと、前記推定距離および／または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うことと、を完了することができる。

また、ＲＡＭには、装置の操作に必要な種々のプログラムおよびデータを記憶することができる。ＣＰＵ、ＲＯＭおよびＲＡＭはバスを介して互いに接続される。ＲＡＭが存在する場合、ＲＯＭは任意選択的なモジュールとなる。ＲＡＭは実行可能命令を記憶するか、または操作時にＲＯＭへ実行可能命令を書き込み、実行可能命令によってプロセッサは本開示の上記いずれかの区画線に基づくインテリジェントドライブ制御方法の対応する操作を実行する。入力／出力（Ｉ／Ｏ）インタフェースもバスに接続される。通信部は統合設置してもよいし、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつバスリンクに存在する。

キーボード、マウスなどを含む入力部分、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分、ハードディスクなどを含む記憶部分、およびＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信部分といった部品は、Ｉ／Ｏインタフェースに接続される。通信部分はインターネットのようなネットワークによって通信処理を行う。ドライバも必要に応じてＩ／Ｏインタフェースに接続される。取り外し可能な媒体、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバに取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分にインストールされる。

なお、図７に示すアーキテクチャは任意選択的な一実施形態に過ぎず、実践では、実際の必要に応じて上記図７の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信部は分離設置するか、またＣＰＵやＧＰＵに統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本開示の保護範囲に属する。

また、本開示の実施例は、コンピュータ読み取り可能な命令を記憶するためのコンピュータ記憶媒体であって、該命令は実行されるときに本開示の上記いずれかの実施例の区画線に基づくインテリジェントドライブ制御方法の操作を実現するコンピュータ記憶媒体をさらに提供する。

また、本開示の実施例は、コンピュータ読み取り可能な命令を含むコンピュータプログラムであって、該コンピュータ読み取り可能な命令が機器において運用されるとき、該機器内のプロセッサは本開示の上記いずれかの実施例の区画線に基づくインテリジェントドライブ制御方法におけるステップを実現するための実行可能命令を実行するコンピュータプログラムをさらに提供する。

本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。

本開示の方法および装置は、様々な形態で実現され取得する。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって本開示の方法および装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本開示の方法のステップは、特に断らない限り、以上で説明した順序に限定されない。また、いくつかの実施例では、本開示は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本開示の方法を実現するための機械可読命令を含む。従って、本開示は本開示の方法を実行するためのプログラムが記憶された記録媒体も含む。

本開示の説明は、例示および説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本開示を限定するというわけでない。当業者にとっては多くの修正および変形を加えることができるのは明らかであろう。実施例は本開示の原理および実際の適用をより明瞭に説明するため、かつ当業者が本開示を理解して特定用途に適した様々な修正を加えた様々な実施例を設計可能にするように選択され説明されたものである。

Claims (16)

1. 車両走行環境の区画線検出結果を取得することと、
   前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および／または前記車両が前記区画線を逸脱する推定時間を特定することと、
   前記推定距離および／または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うことと、を含み、
   ここで、ニューラルネットワークに基づいて前記車両走行環境の区画線を検出し、前記区画線検出結果を取得することは、
   ニューラルネットワークによって前記車両走行環境を含む画像に対してセマンティックセグメンテーションを行い、区画線確率マップを出力し、前記区画線確率マップは、前記画像における少なくとも一つの画素点のそれぞれが区画線に属する確率値を表すために用いられることと、
   前記区画線確率マップに基づいて区画線が存在する領域を特定することと、を含み、前記区画線検出結果は前記区画線が存在する領域を含み、
   ニューラルネットワークによって前記車両走行環境を含む画像に対してセマンティックセグメンテーションを行い、区画線確率マップを出力することは、
   前記ニューラルネットワークによって前記画像に対して特徴抽出を行い、特徴マップを取得することと、
   前記ニューラルネットワークによって前記特徴マップに対してセマンティックセグメンテーションを行い、Ｎ本の区画線の区画線確率マップを取得することと、を含み、
   各区画線の区画線確率マップにおける各画素点の画素値は、前記画像における対応する画素点のそれぞれが該区画線に属する確率値を表し、Ｎの値は０よりも大きい整数とすることを特徴とする区画線に基づくインテリジェントドライブ制御方法。
2. 前記推定距離および／または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うことは、
   前記推定距離および／または前記推定時間を少なくとも一つ所定閾値と比較することと、
   比較結果が一つ以上の所定条件を満たす場合、満たされる所定条件の対応するインテリジェントドライブ制御を行うことと、を含み、
   前記インテリジェントドライブ制御は、自動運転制御および／または運転支援制御を含むこと、
   を特徴とする請求項１に記載の方法。
3. 前記ニューラルネットワークによって前記特徴マップに対してセマンティックセグメンテーションを行い、Ｎ本の区画線の区画線確率マップを取得することは、
   前記ニューラルネットワークによって前記特徴マップに対してセマンティックセグメンテーションを行い、Ｎ＋１個のチャネルの確率マップを取得し、Ｎ＋１個のチャネルは、Ｎ本の区画線および背景にそれぞれ対応することと、
   前記Ｎ＋１個のチャネルの確率マップから前記Ｎ本の区画線の区画線確率マップを取得することと、を含むこと、
   および／または、
   Ｎの値は２とし、前記Ｎ＋１個のチャネルは背景、左区画線および右区画線にそれぞれ対応し、または、Ｎの値は３とし、前記Ｎ＋１個のチャネルは背景、左区画線、中区画線および右区画線にそれぞれ対応し、または、Ｎの値は４とし、前記Ｎ＋１個のチャネルは背景、左左区画線、左区画線、右区画線および右右区画線にそれぞれ対応すること、
   および／または、
   １本の区画線の区画線確率マップに基づいて前記区画線が存在する領域を特定することは、
   区画線の区画線確率マップから確率値が第一所定閾値より大きい画素点を選択することと、
   選択された画素点に基づいて前記区画線確率マップにおいて最大連結領域検索を行い、前記区画線に属する画素点集合を特定することと、
   前記区画線に属する画素点集合に基づいて前記区画線が存在する領域を特定することと、を含むこと、
   を特徴とする請求項１に記載の方法。
4. 前記区画線に属する画素点集合に基づいて前記区画線が存在する領域を特定することは、
   前記区画線に属する画素点集合内の全ての画素点の確率値の和を統計し、前記区画線の信頼度を取得することと、
   前記信頼度が第二所定閾値よりも大きい場合、前記画素点集合により形成された領域を前記区画線が存在する領域とすることと、を含むことを特徴とする請求項３に記載の方法。
5. 前記車両走行環境を含む元画像を前処理することをさらに含み、
   ニューラルネットワークによって前記車両走行環境を含む画像に対してセマンティックセグメンテーションを行うことは、
   前記ニューラルネットワークによって、前処理された前記画像に対してセマンティックセグメンテーションを行うことを含むこと、
   および／または、
   前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および／または前記車両が前記区画線を逸脱する推定時間を特定することは、
   各前記区画線が存在する領域における画素点に対してカーブフィッティングを行い、各前記区画線の区画線情報を取得し、前記区画線の区画線情報は、前記区画線上の少なくとも一つの点から前記車両までの距離を含むことと、
   前記車両の走行状態および前記区画線の区画線情報に基づき、前記車両が前記区画線を逸脱する推定距離および／または前記車両が前記区画線を逸脱する推定時間を特定することと、を含むことを特徴とする請求項１から４のいずれか一項に記載の方法。
6. 前記区画線が存在する領域における画素点に対してカーブフィッティングを行い、前記区画線の区画線情報を取得することは、
   １本の前記区画線が存在する領域から複数の画素点を選択することと、
   前記複数の画素点を、前記カメラが存在するカメラ座標系からワールド座標系へ変換し、前記複数の画素点のワールド座標系における座標を取得することと、
   前記複数の画素点のワールド座標系における座標に基づき、ワールド座標系において前記複数の画素点に対してカーブフィッティングを行い、前記区画線の区画線情報を取得することと、を含むこと、
   および／または、
   前記区画線の区画線情報を取得する後に、
   前記区画線の区画線情報内のパラメータに対してフィルタリングを行うことをさらに含み、
   前記車両の走行状態および前記区画線の区画線情報に基づき、前記車両が前記区画線を逸脱する推定距離および／または前記車両が前記区画線を逸脱する推定時間を特定することは、
   前記車両の走行状態およびフィルタリングされた前記区画線の区画線情報に基づき、前記車両が前記区画線を逸脱する推定距離および／または前記車両が前記区画線を逸脱する推定時間を特定することを含むこと、
   および／または、
   前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離を特定することは、
   前記車両のワールド座標系における位置、および前記区画線の区画線情報に基づき、前記車両と前記区画線との間の推定距離を特定することを含み、
   前記車両の走行状態は前記車両のワールド座標系における位置を含むこと、
   および／または、
   前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定時間を特定することは、
   前記車両の速度、前記車両のワールド座標系における位置、および前記区画線の区画線情報に基づき、前記車両が前記区画線を逸脱する推定時間を特定することを含み、
   前記車両の走行状態は前記車両の速度および前記車両のワールド座標系における位置を含むこと、
   を特徴とする請求項５に記載の方法。
7. 前記区画線の区画線情報内のパラメータに対してフィルタリングを行うことは、
   前記区画線情報内のパラメータのパラメータ値、および前記画像が存在するビデオにおいて検出タイミングが前記画像より前の１フレームの画像である前のフレームの画像に基づいて得られた前記区画線の履歴区画線情報内のパラメータのパラメータ値に基づき、前記区画線情報内のパラメータのパラメータ値に対してカルマンフィルタリングを行うことを含むことを特徴とする請求項６に記載の方法。
8. 前記区画線情報内のパラメータのパラメータ値に対してカルマンフィルタリングを行う前に、さらに、
   前記区画線情報内のパラメータのパラメータ値が前記履歴区画線情報内の対応するパラメータのパラメータ値に対して変化した、且つ前記区画線情報内のパラメータのパラメータ値と前記履歴区画線情報内の対応するパラメータのパラメータ値との差が第三所定閾値よりも小さい前記区画線情報を、カルマンフィルタリングのための有効な区画線情報として選択することを含むことを特徴とする請求項７に記載の方法。
9. 前記自動運転制御は、制動、減速、走行方向変更、車線維持、運転モード切替制御のいずれか一つまたは複数を含むこと、
   および／または、
   前記車両の運転支援制御を行うことは、車線逸脱早期警告を行うこと、または、車線維持指示を行うことを含むこと、
   および／または、
   前記所定条件が複数ある場合、複数の所定条件のそれぞれ対応するインテリジェントドライブ制御の程度は段階的に増加すること
   を特徴とする請求項２に記載の方法。
10. 比較結果が一つ以上の所定条件を満たす場合、満たされる所定条件の対応するインテリジェントドライブ制御を行うことは、
    前記推定距離が第四所定閾値以下、かつ第五所定閾値よりも大きい場合に、前記車両の車線逸脱指示を行うこと、または、
    前記推定時間が第六所定閾値以下、かつ第七所定閾値よりも大きい場合に、前記車両の車線逸脱指示を行うこと、または、
    前記推定距離が第四所定閾値以下かつ第五所定閾値よりも大きく、かつ前記推定時間が第六所定閾値以下かつ第七所定閾値よりも大きい場合に、前記車両の車線逸脱指示を行うことを含み、
    前記車線逸脱早期警告は前記車線逸脱指示を含み、前記第五所定閾値は前記第四所定閾値よりも小さく、前記第七所定閾値は前記第六所定閾値よりも小さいことを特徴とする請求項９に記載の方法。
11. 比較結果が一つ以上の所定条件を満たす場合、満たされる所定条件の対応するインテリジェントドライブ制御を行うことはさらに、
    前記推定距離が前記第五所定閾値以下である場合に、前記車両の自動運転制御および／または車線逸脱警告を行うこと、または、
    前記推定時間が前記第七所定閾値以下である場合に、前記車両の自動運転制御および／または車線逸脱警告を行うこと、または、
    前記推定距離が前記第五所定閾値以下、かつ前記推定時間が前記第七所定閾値以下である場合に、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、
    前記車線逸脱早期警告は前記車線逸脱警告を含むことを特徴とする請求項１０に記載の方法。
12. 前記推定距離が前記第五所定閾値以下である場合に、前記車両の自動運転制御および／または車線逸脱警告を行うことは、
    前記画像および履歴フレーム画像に基づいて特定した前記推定距離はいずれも前記第五所定閾値以下である場合に、前記車両の自動運転制御および／または車線逸脱警告を行い、前記履歴フレーム画像は、前記画像が存在するビデオにおいて検出タイミングが前記画像より前の少なくとも１フレームの画像を含むことを含み、または、
    前記推定時間が前記第七所定閾値以下である場合に、前記車両の自動運転制御および／または車線逸脱警告を行うことは、
    前記画像および履歴フレーム画像に基づいて特定した前記推定時間はいずれも前記第七所定閾値以下である場合に、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、または、
    前記推定距離が前記第五所定閾値以下、かつ前記推定時間が前記第七所定閾値以下である場合に、前記車両の自動運転制御および／または車線逸脱警告を行うことは、
    前記画像および履歴フレーム画像に基づいて特定した前記推定距離はいずれも前記第五所定閾値以下、かつ前記画像および履歴フレーム画像に基づいて特定した前記推定時間はいずれも前記第七所定閾値以下である場合に、前記車両の自動運転制御および／または車線逸脱警告を行うことを含むことを特徴とする請求項１１に記載の方法。
13. 車両走行環境の区画線検出結果を取得するための取得モジュールと、
    前記車両の走行状態および区画線検出結果に基づき、前記車両が前記区画線を逸脱する推定距離および／または前記車両が前記区画線を逸脱する推定時間を特定するための特定モジュールと、
    前記推定距離および／または前記推定時間に基づき、前記車両のインテリジェントドライブ制御を行うための制御モジュールと、を含み、
    ここで、前記取得モジュールは、ニューラルネットワークに基づいて前記車両走行環境の区画線を検出し、前記区画線検出結果を取得するための検出ユニット、を含み、
    前記検出ユニットは、
    前記車両走行環境を含む画像に対してセマンティックセグメンテーションを行い、前記画像における少なくとも一つの画素点のそれぞれが区画線に属する確率値を表すための区画線確率マップを出力するためのニューラルネットワークと、
    前記区画線確率マップに基づいて区画線が存在する領域を特定するための特定サブユニットと、を含み、前記区画線検出結果は前記区画線が存在する領域を含み、
    前記ニューラルネットワークは、具体的に、前記ニューラルネットワークによって前記画像に対して特徴抽出を行い、特徴マップを取得し、および前記ニューラルネットワークによって前記特徴マップに対してセマンティックセグメンテーションを行い、Ｎ本の区画線の区画線確率マップを取得するために用いられ、各区画線の区画線確率マップにおける各画素点の画素値は、前記画像における対応する画素点のそれぞれが該区画線に属する確率値を表し、Ｎの値は０よりも大きい整数とすることを特徴とする区画線に基づくインテリジェントドライブ制御装置。
14. コンピュータプログラムを記憶するためのメモリと、
    前記メモリに記憶されたコンピュータプログラムを実行するプロセッサと、を備え、
    前記コンピュータプログラムを実行するときに、前記プロセッサは前記請求項１から１２のいずれか一項に記載の方法を実現することを特徴とする電子機器。
15. コンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体であって、当該コンピュータプログラムはプロセッサによって実行されるときに、前記請求項１から１２のいずれか一項に記載の方法が実現されることを特徴とするコンピュータ読み取り可能記憶媒体。
16. コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令は機器のプロセッサにおいて運用されるときに、前記請求項１から１２のいずれか一項に記載の方法が実現されることを特徴とするコンピュータプログラム。

Images