JP2021503414A - 知的運転制御方法および装置、電子機器、プログラムならびに媒体 - Google Patents

Abstract

本願の実施例は知的運転制御方法および装置、電子機器、プログラムならびに媒体を開示し、前記方法は、車両走行環境のレーンライン検出結果を取得することと、前記車両の走行状態および前記レーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定することと、前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定することと、前記推定時間に基づいて知的運転制御を行うことと、を含む。車両走行状態のレーンラインに基づく知的制御を実現し、それによって車両がレーンラインを超えて交通事故を引き起こすことを低減または回避し、運転の安全性を向上させることを図る。

Description

（関連出願の相互参照）
本願は２０１８年０８月２２日に出願された、出願番号２０１８１０９６１５１１．８の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

本願の実施例は知的運転の技術分野に関し、特に知的運転制御方法および装置、電子機器、プログラムならびに媒体に関する。

自動運転の発展に伴い、道路走行において、自動運転の安全性を向上させるために、道路上のレーンラインへの検出が必要となっている。レーンライン検出は主に視覚ナビゲーションシステムに用いられ、撮影した道路画像からレーンラインの道路検出画像における位置を探し出すことである。しかし、レーンラインを検出してから、検出したレーンラインをどのように利用して車線逸脱を早期に警告するかは、自動運転製品および運転支援製品などの知的運転製品において考慮される重要な要因となっている。

本願の実施例は知的運転制御方法および装置、電子機器、プログラムならびに媒体を提供する。

第一態様で、本願の実施例は、車両走行環境のレーンライン検出結果を取得することと、前記車両の走行状態および前記レーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定することと、前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定することと、前記推定時間に基づいて知的運転制御を行うことと、を含む知的運転制御方法を提供する。

第二態様で、本願の実施例は、車両走行環境のレーンライン検出結果を取得するための取得モジュールと、前記車両の走行状態および前記レーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定するための距離決定モジュールと、前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定するための時間決定モジュールと、前記推定時間に基づいて知的運転制御を行うための制御モジュールと、を含む知的運転制御装置を提供する。

第三態様で、本願の実施例は、コンピュータプログラムを記憶するためのメモリ、および前記コンピュータプログラムを実行し、それによって第一態様のいずれか一項に記載の知的運転制御方法を実現するためのプロセッサを含む電子機器を提供する。

第四態様で、本願の実施例は実行される時に第一態様のいずれか一項に記載の知的運転制御方法を実現するコンピュータプログラムが記憶されているコンピュータ記憶媒体を提供する。

第五態様で、本願の実施例は、コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記第一態様のいずれか一項に記載の知的運転制御方法を実現することを特徴とするコンピュータプログラムを提供する。

本願の実施例が提供する知的運転制御方法および装置、電子機器、プログラムならびに媒体は、車両走行環境のレーンライン検出結果を取得し、車両の走行状態およびレーンライン検出結果に基づき、車両がレーンラインを超えるまでの推定距離を決定し、推定距離および／または推定時間に基づき、前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定し、そして前記推定時間に基づいて知的運転制御を行う。これによって、本願の実施例は車両走行状態のレーンラインに基づく知的制御を実現し、それによって車両がレーンラインを超えて交通事故を引き起こすことを低減または回避し、運転の安全性を向上させることを図る。

本願の実施例１が提供する知的運転制御方法のフローチャートである。 本実施例１に係るニューラルネットワークモデルの構成模式図である。 本実施例１に係る車両とレーンラインの相対位置の模式図である。 本願の実施例２が提供する知的運転制御方法のフローチャートである。 本願の実施例３が提供する知的運転制御方法のフローチャートである。 本実施例２に係る車両とレーンラインの相対位置の一模式図である。 本実施例２に係る車両とレーンラインの相対位置の別の模式図である。 本願の実施例１が提供する知的運転制御装置の構成模式図である。 本願の実施例２が提供する知的運転制御装置の構成模式図である。 本願の実施例３が提供する知的運転制御装置の構成模式図である。 本願の実施例４が提供する知的運転制御装置の構成模式図である。 本願の実施例５が提供する知的運転制御装置の構成模式図である。 本願の実施例６が提供する知的運転制御装置の構成模式図である。 本願の電子機器の一応用例の構成模式図である。

本願の実施例の目的、技術的解決手段および利点をより明確にするために、以下に本願の実施例における図面と関連付けて、本願の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例は本願の実施例の一部に過ぎず、全ての実施例ではない。本願における実施例に基づき、当業者が創造的な労力を要することなく、得られた他の全ての実施例は、いずれも本願の保護範囲に属する。

本願の実施例は端末機器、コンピュータシステム、サーバなどの電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末機器、コンピュータシステム、サーバなどの電子機器との併用に適する公知の端末機器、計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、およびマイクロプロセッサ、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、画像処理装置（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）や、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）に基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび上記任意のシステムを含む分散型クラウドコンピューティング技術環境、車載機器などを含むが、これらに限定されない。

端末機器、コンピュータシステム、サーバなどの電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的なコンテキストにおいて説明できる。通常、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実現するルーチン、プログラム、目標プログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバは、タスクが通信ネットワークにわたって接続された遠隔処理機器により実行される分散型クラウドコンピューティング環境において実施できる。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。

以下に具体的な実施例により本願の技術的解決手段を詳細に説明する。以下の該いくつかの具体的な実施例は互いに組み合わせることができ、同一または類似の概念またはプロセスは一部の実施例において説明を省略することがある。

図１は本願の実施例１が提供する知的運転制御方法のフローチャートである。図１に示すように、本実施例の方法は以下を含むことができる。

Ｓ１０１において、車両走行環境のレーンライン検出結果を取得する。

本実施例は実行主体が電子機器であることを例にして説明し、該電子機器はスマートフォン、コンピュータ、車載システムなどであってもよいが、これらに限定されない。

本願の一つ以上の実施例によれば、本実施例の電子機器はさらに、車両の走行環境、例えば車両が走行する道路の前方（または周囲）を撮影し、道路検出画像を生成し、該道路検出画像を電子機器のプロセッサに送信することが可能なカメラを有してもよい。

本願の一つ以上の実施例によれば、本実施例の電子機器は外部のカメラと接続可能であり、該カメラは車両の走行環境を撮影し、道路検出画像を生成可能であり、電子機器は該カメラから道路検出画像を取得可能である。

本実施例は電子機器が道路検出画像を取得する具体的な方式を限定しない。

本実施例の道路検出画像には少なくとも一つのレーンラインが含まれる。

本実施例は車両走行環境のレーンライン検出結果を取得する方法を限定せず、例えば、以下のようにして車両走行環境におけるレーンライン検出結果を取得してもよい。即ち、例えばニューラルネットワークによって前記車両走行環境を含む画像のレーンライン検出を行うように、ニューラルネットワークに基づいて車両走行環境におけるレーンラインを検出し、レーンライン検出結果を得るか、または、先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ：ＡＤＡＳ）もしくは無人運転システムから車両走行環境におけるレーンライン検出結果を直接取得し、ＡＤＡＳまたは無人運転システムにおけるレーンライン検出結果を直接利用するようにしてもよい。ここで、ニューラルネットワークに基づく車両走行環境におけるレーンライン検出は、図２を参照すればよい。具体的には、図２における最左側の道路検出画像を予め設定され且つ訓練されておいたニューラルネットワークモデルに入力し、各レーンラインの確率マップ（図２の最右側を参照）を生成する。続いて、確率マップにおけるレーンラインの対応する点のカーブフィッティングを行い、レーンラインのフィッティング曲線を生成する。

本願の一つ以上の実施例によれば、予め設定されたニューラルネットワークモデルは完全畳み込みネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ：ＦＣＮ）、残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ：Ｒｅｓ Ｎｅｔ）または畳み込みニューラルネットワークモデルなどであってもよい。

本願の一つ以上の実施例によれば、図２に示すように、本実施例のニューラルネットワークモデルは、それぞれパラメータが１４５＊１６９＊１６である１つ目の畳み込み層、パラメータが７３＊８５＊３２である２つ目の畳み込み層、パラメータが３７＊４３＊６４である３つ目の畳み込み層、パラメータが１９＊２２＊１２８である４つ目の畳み込み層、パラメータが７３＊８５＊３２である５つ目の畳み込み層、パラメータが１４５＊１６９＊１６である６つ目の畳み込み層、およびパラメータが２８９＊３３７＊５である７つ目の畳み込み層という７個の畳み込み層を含むことができる。

本実施例では、各レーンラインは、それぞれ一つの確率マップに対応し、例えば、図２の最左側に示す道路検出画像には４つのレーンラインが含まれており、ニューラルネットワークモデルは４つの確率マップを出力できる。

本願の一つ以上の実施例によれば、容易に道路検出画像と照合できるよう、各レーンラインの確率マップを、一つの確率マップとして併合してもよい。例えば、４つのレーンラインの確率マップを併合し、図２の最右側に示す確率マップを生成する。

各レーンラインの確率マップは、それぞれ道路検出画像における画素点に一対一で対応する複数の確率点を含む。各確率点の値は道路検出画像における対応する位置の画素点が該レーンラインである確率値である。

図２における各確率点の値は道路検出画像における対応する位置の画素点がレーンラインである確率値を表し、図２に示すように、白色の確率点の確率値は１、黒色の確率点の確率値は０である。図２に示す確率マップに基づき、図２における確率値が設定値よりも大きい確率点を取得し、これらの確率点の対応する画素点はレーンラインにおける点であり、そしてこれらの点のカーブフィッティングを行い、該レーンラインのフィッティング曲線を生成する。ここで、設定値は確率点の対応する画素点がレーンラインにおける点であるかどうかを区別する基準であり、該設定値は実際の必要に応じて決定してもよい。例えば、設定値を０．８とすると、図２における確率値が０．８よりも大きい点、即ち図２における白色の確率点を取得でき、これらの白色の確率点の対応する画素点のカーブフィッティングを行えば、該レーンラインのフィッティング曲線を得ることができる。

本願の一つ以上の実施例によれば、本実施例はカーブフィッティングを行う時、一次関数によるカーブフィッティング、二次関数によるカーブフィッティング、三次関数によるカーブフィッティング、または高次関数によるカーブフィッティングを使用することができる。本実施例はカーブフィッティングの方式を限定せず、具体的には実際の必要に応じて決定する。

Ｓ１０２において、前記車両の走行状態および前記レーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定する。

本願の上記実施例が提供する知的運転制御方法に基づき、車両走行環境のレーンライン検出結果を取得し、車両の走行状態およびレーンライン検出結果に基づき、車両がレーンラインを超えるまでの推定距離を決定する。

例えば、車両の走行状態は車両の走行方向および車両の現在座標位置を含み、レーンラインの検出結果はレーンラインのフィッティング曲線を含み、そして上記情報に基づき、車両がレーンラインを超えるまでの推定距離を決定できる。

Ｓ１０３において、前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定する。

例えば、図３に示すように、本実施例では、車両が前記レーンラインを超えるまでの推定距離ｄを取得し、該推定距離ｄを第一の予め設定された距離値ａと比較する。該推定距離ｄが上記第一の予め設定された距離値ａよりも大きく、第二設定値ｂ以下である、即ちａ＜ｄ＜ｂである場合、車両が該レーンラインを超えるまでの推定時間を決定しなければならない。そして、該推定時間に基づいて知的運転制御を行う。

一例では、上記車両の走行状態は車両の走行速度を含み、車両がレーンラインを超えるまでの推定距離および車両の走行速度に基づき、車両が前記レーンラインを超えるまでの推定時間を決定できる。

別の例では、本実施例の電子機器は車両のバスと接続され、該バスから車両の走行速度ｖを読み取ることができる。このように、車両の走行速度ｖおよび推定距離ｄに基づき、車両が現在の走行速度ｖで前記レーンラインを超えるまでの推定時間ｔを決定し、例えばｔ＝ｄ／ｖである。

Ｓ１０４において、前記推定時間に基づいて知的運転制御を行う。

本願の一つ以上の実施例によれば、推定時間に基づく車両の知的運転制御は、例えば、車両に、自動運転制御、運転支援制御、運転モード切替制御（例えば、自動運転モードから非自動運転モードへの切替、非自動運転モードから自動運転モードへの切替）などの少なくとも一つを実行することを含んでもよいが、これに限定されない。ここで、運転モード切替制御は車両を自動運転モードから非自動運転モード（非自動運転モードは例えば、手動運転モード）、または非自動運転モードから自動運転モードに切り替えるように制御できる。ここで、車両の自動運転制御は、例えば、車両に、車線逸脱警告、制動、減速、走行速度変更、走行方向変更、車線維持、車両ランプ状態変更などの車両運転状態を制御する動作のいずれか一つまたは複数を実行することを含んでもよいが、これに限定されない。ここで、車両の運転支援制御は、例えば、車両に、車線逸脱早期警告、車線維持指示など、運転者に車両の運転状態を制御するように促すことに役立つ動作のいずれか一つまたは複数を実行することを含んでもよいが、これに限定されない。

本願の実施例が提供する知的運転制御方法は、車両走行環境のレーンライン検出結果を取得し、車両の走行状態およびレーンライン検出結果に基づき、車両がレーンラインを超えるまでの推定距離を決定し、推定距離および／または推定時間に基づき、前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定し、そして前記推定時間に基づいて知的運転制御を行う。これによって、本願の実施例は車両走行状態のレーンラインに基づく知的制御を実現し、それによって車両がレーンラインを超えて交通事故を引き起こすことを低減または回避し、運転の安全性を向上させることを図る。

本願の一つ以上の実施例によれば、前記方法はさらに、前記推定距離が第二の予め設定された距離値以下または第一の予め設定された距離値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化すること、または、前記推定時間が予め設定された閾値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化すること、または、前記車両が前記レーンラインを踏んでいると検出したことに応答して、前記知的運転制御機能を自動的に有効化することを含む。

例えば、正常な運転過程では、知的運転制御機能はオフまたはスリープ状態になっており、推定距離が第二の予め設定された距離値以下または第一の予め設定された距離値よりも小さい場合、あるいは推定時間が予め設定された閾値よりも小さい場合、あるいは車両がレーンライン（車線境界線）を踏んでいると検出した場合、知的運転制御機能は自動的に有効化され、このように知的運転制御機能の対応するモジュールのエネルギー消費を低減し、知的運転制御機能の対応するモジュールの動作時間を延長させることができる。

図４は本願の実施例２が提供する知的運転制御方法のフローチャートである。上記実施例のもとに、本実施例は前記推定時間に基づいて知的運転制御を行う具体的なプロセスに関する。図４に示すように、上記Ｓ１０４は、前記推定時間を少なくとも一つの予め設定された閾値と比較するＳ２０１、および比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する知的運転制御を行うＳ２０２を含むことができる。

上記少なくとも一つの予め設定された閾値は実際の必要に応じて決定され、本実施例はこれを限定しない。

例えば、比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する知的運転制御を行うステップは、本願の一つ以上の実施例によれば、前記推定時間が第一の予め設定された時間値以下であり、かつ第二の予め設定された時間値よりも大きい場合、前記車両の車線逸脱早期警告を行うことを含んでもよい。例えば、車両が現在車線から逸脱したこと、すぐに現在車線からはみ出すことなどを指示する。

ここで、前記車線逸脱早期警告は、ランプ点滅、アラーム鳴動および音声指示の少なくとも一つを含む。

上記第二の予め設定された時間値は第一の予め設定された時間値よりも小さい。例えば、第一の予め設定された閾値および第二の予め設定された閾値はそれぞれ５秒、３秒とする。

本実施例では、前記推定時間が第一の予め設定された時間値以下であり、かつ第二の予め設定された時間値よりも大きい場合、前記車両の車線逸脱を指示し、それは運転者に車両が車線から逸脱したと指示し、それによって対応する運転措置を適時に取らせ、車両がレーンラインを超えることを回避し、運転の安全性を向上させることができる。さらに車両とレーンラインとの推定距離およびレーンラインを超えるまでの推定時間と合わせて車線逸脱を指示し、車線逸脱早期警告の正確率を向上させる。

本願の一つ以上の実施例によれば、さらに、前記推定時間が前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うこと、または、前記第一距離が前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含んでもよく、ここで、前記車線逸脱早期警告は前記車線逸脱警告を含む。そのうち、前記車線逸脱警告は、声、光、電気などによる警告、例えば、コーナリングランプ起動および／または音声指示を含む。

上記実施形態では、推定距離および／または推定時間が徐々に小さくなることに伴い、そのそれぞれ対応する知的運転制御の程度は、車両の車線逸脱指示から、車両の自動運転制御および／または車線逸脱警告まで段階的に増加し、それによって車両がレーンラインを超えることを回避し、運転の安全性を向上させる。

本願の一つ以上の実施例によれば、前記推定時間が前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことは、前記画像および履歴フレーム画像に基づいて決定された前記推定時間はいずれも前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含む。または、前記第一距離が前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことは、前記画像および履歴フレーム画像に基づいて決定された前記推定距離はいずれも前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、ここで、前記履歴フレーム画像は前記画像が存在するビデオにおける検出タイミングが前記画像よりも前になっている少なくとも１フレームの画像を含む。

本実施例は履歴フレーム画像の推定距離および推定時間を、車両の自動運転制御および／または車線逸脱警告を行う根拠として同時に統計し、車両の自動運転制御および／または車線逸脱警告の正確性を向上可能である。

本願の一つ以上の実施例によれば、本実施例の可能な一実施形態では、前記方法はさらに、前記車両の運転者の運転レベルを取得することと、前記運転レベルに基づき、上記第一の予め設定された距離値、前記第二の予め設定された距離値、第一の予め設定された時間値、第二の予め設定された時間値の少なくとも一つを調整することと、を含む。

本願の一つ以上の実施例によれば、前記車両の運転者の、車両を運転する習熟度を示す運転レベルを取得する。続いて、前記運転レベルに基づき、前記第一の予め設定された距離値、前記第二の予め設定された距離値、第一の予め設定された時間値、第二の予め設定された時間値の少なくとも一つを調整する。例えば、運転者の運転レベルが高ければ高いほど、運転者が車両を運転する習熟度が高く、こうすると、該運転者の対応する第一の予め設定された距離値、第二の予め設定された距離値、第一の予め設定された時間値および第二の予め設定された時間値の少なくとも一つを小さく調整してもよい。運転者の運転レベルが低ければ低いほど、運転者が車両を運転する習熟度が低く、こうすると、該運転者の対応する第一の予め設定された距離値、第二の予め設定された距離値、第一の予め設定された時間値および第二の予め設定された時間値の少なくとも一つを大きく調整し、それによって該車両の安全運転を保証するようにしてもよい。

ここで、運転者の運転レベルは運転者が手動で入力してもよく、運転者の運転免許証をスキャンし、運転免許証における運転年数に基づき、例えば運転者の運転年数が長ければ長いほど、対応する運転レベルが高くなるように、決定してもよい。他の実施例では、さらに他の方法によって運転者の運転レベルを取得してもよい。

本願の実施例は自動運転および運転支援シーンに用いて、正確なレーンライン検出、自動運転制御および車両の車線逸脱早期警告を実現することができる。

図５は本願の実施例３が提供する知的運転制御方法のフローチャートである。図５に示すように、該実施例の知的運転制御方法は以下を含む。

Ｓ３０１において、ニューラルネットワークによって車両走行環境を含む画像のセマンティックセグメンテーションを行い、画像における少なくとも一つの画素点がレーンラインに属するそれぞれの確率値を表すためのレーンライン確率マップを出力する。

本願の実施例におけるニューラルネットワークは深層ニューラルネットワーク、例えば畳み込みニューラルネットワークであってもよく、事前にサンプル画像および予めラベル付けされた正確なレーンライン確率マップによってニューラルネットワークを訓練して得ることができる。ここで、サンプル画像および正確なレーンライン確率マップによってニューラルネットワークを訓練することは、例えば以下のようにして実現してもよい。即ち、ニューラルネットワークによってサンプル画像のセマンティックセグメンテーションを行い、予測レーンライン確率マップを出力し、そして予測レーンライン確率マップと正確なレーンライン確率マップとの対応する少なくとも一つの画素点間の差異に基づき、ニューラルネットワークの損失関数値を取得し、該損失関数値に基づいてニューラルネットワークを、例えば、勾配更新による訓練方法に基づき、チェーンルールによって勾配を逆伝播し、ニューラルネットワークにおける各ネットワーク層パラメータの値を予め設定された条件、例えば予測レーンライン確率マップと正確なレーンライン確率マップとの対応する少なくとも一つの画素点間の差異が設定差よりも小さいこと、および／またはニューラルネットワークの訓練回数が予め設定された回数に達したことを満たすまで調整するように、訓練し、訓練されておいたニューラルネットワークを得るようにしてもよい。

本願の一つ以上の実施例によれば、本願の知的運転制御方法の別の実施例では、上記ステップＳ３０１の前に、さらに、車両走行環境を含む元画像を前処理し、車両走行環境を含む上記画像を得ることを含んでもよい。それに対して、ステップＳ３０１では、ニューラルネットワークによって、前処理した上記画像のセマンティックセグメンテーションを行う。

ここで、ニューラルネットワークによって元画像を前処理することは、例えば、カメラで取得した元画像を、予め設定されたサイズの画像としてズームしたり、切り出したりし、ニューラルネットワークに入力して処理し、それによって画像のニューラルネットワークによるセマンティックセグメンテーションの複雑度を低下させ、処理時間を短縮し、処理効率を向上させるように、実現してもよい。

また、ニューラルネットワークによって元画像を前処理することは、予め設定された画像品質（例えば画像の解像度、露光など）基準に従い、カメラで取得した元画像からいくつかの品質が高い画像を選択し、ニューラルネットワークに入力して処理し、それによりセマンティックセグメンテーションの正確性を向上させ、さらにレーンライン検出の正確率を向上させるように、実現してもよい。

本願の一つ以上の実施例によれば、ステップＳ３０１で、ニューラルネットワークによって車両走行環境を含む画像のセマンティックセグメンテーションを行い、レーンライン確率マップを出力する前記工程は、ニューラルネットワークによって画像の特徴を抽出し、特徴マップを得ることと、ニューラルネットワークによって該特徴マップのセマンティックセグメンテーションを行い、Ｎ本のレーンラインの確率マップを得ることと、を含んでもよい。ここで、各レーンラインの確率マップにおける各画素点の画素値は画像における対応する画素点が該レーンラインに属するそれぞれの確率値を表すために用いられ、Ｎの値は０よりも大きい整数である。例えば、Ｎの値は４とする。

本願の各実施例におけるニューラルネットワークは、特徴抽出用のネットワーク層および分類用のネットワーク層を含んでもよい。ここで、特徴抽出用のネットワーク層は、例えば、畳み込み層、バッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ：ＢＮ）層および非線形層を含んでもよい。順に畳み込み層、ＢＮ層および非線形層によって画像の特徴抽出を行うと、特徴マップを生成することができ、そして分類用のネットワーク層によって特徴マップのセマンティックセグメンテーショを行うと、複数のレーンラインの確率マップを得ることができる。ここで、上記Ｎ本のレーンラインの確率マップは一つのチャネルの確率マップであってもよく、該確率マップにおける各画素点の画素値は画像における対応する画素点がレーンラインに属する確率値をそれぞれ表す。また、上記Ｎ本のレーンラインの確率マップはＮ＋１個のチャネルの確率マップであってもよく、該Ｎ＋１個のチャネルはＮ本のレーンラインおよび背景にそれぞれ対応し、つまり、Ｎ＋１個のチャネルの確率マップにおける各チャネルの確率マップは上記画像における少なくとも一つの画素点が該チャネルの対応するレーンラインまたは背景に属するそれぞれの確率をそれぞれ表す。

本願の一つ以上の実施例によれば、ニューラルネットワークによって特徴マップのセマンティックセグメンテーションを行い、Ｎ本のレーンラインの確率マップを得ることは、ニューラルネットワークによって上記特徴マップのセマンティックセグメンテーションを行い、Ｎ＋１個のチャネルの確率マップを得ることを含んでもよい。ここで、該Ｎ＋１個のチャネルはＮ本のレーンラインおよび背景にそれぞれ対応し、つまり、Ｎ＋１個のチャネルの確率マップにおける各チャネルの確率マップは上記画像における少なくとも一つの画素点が該チャネルの対応するレーンラインまたは背景に属するそれぞれの確率をそれぞれ表す。ここで、Ｎ＋１個のチャネルの確率マップからＮ本のレーンラインの確率マップを取得する。

本願の実施例におけるニューラルネットワークは、特徴抽出用のネットワーク層、分類用のネットワーク層、および正規化（Ｓｏｆｔｍａｘ）層を含んでもよい。順に特徴抽出用の各ネットワーク層によって画像の特徴抽出を行い、一連の特徴マップを生成し、分類用のネットワーク層によって最終的に出力される特徴マップのセマンティックセグメンテーションを行い、Ｎ＋１個のチャネルのレーンライン確率マップを得て、そしてＳｏｆｔｍａｘ層を利用してＮ＋１個のチャネルのレーンライン確率マップを正規化処理し、レーンライン確率マップにおける各画素点の確率値を０〜１の範囲内の値に変換する。

本願の実施例では、分類用のネットワーク層は、例えば、４つのレーンライン（左左レーンライン、左レーンライン、右レーンラインおよび右右レーンラインという）のシーンについて、特徴マップにおける各画素点を五分類し、特徴マップにおける各画素点が五つの種類（背景、左左レーンライン、左レーンライン、右レーンラインおよび右右レーンライン）に属するそれぞれの確率値を識別し、特徴マップにおける各画素点がそれらの一つのタイプに属する確率マップをそれぞれ出力し、上記Ｎ＋１個のチャネルの確率マップを得るように、特徴マップにおける各画素点を数種類に分類することができ、ここで、各確率マップにおける各画素の確率値は該画素の対応する画像における画素がある種類に属する確率値を表す。

上記実施例では、Ｎは車両走行環境におけるレーンラインの本数であり、０よりも大きい任意の整数値であってもよい。例えば、Ｎの値は２とする場合、Ｎ＋１個のチャネルは車両走行環境における背景、左レーンラインおよび右レーンラインにそれぞれ対応し、または、Ｎの値は３とする場合、Ｎ＋１個のチャネルは車両走行環境における背景、左レーンライン、中レーンラインおよび右レーンラインにそれぞれ対応し、または、Ｎの値は４とする場合、Ｎ＋１個のチャネルは車両走行環境における背景、左左レーンライン、左レーンライン、右レーンラインおよび右右レーンラインにそれぞれ対応する。

Ｓ３０２において、レーンライン確率マップに基づいてレーンラインが存在する領域を決定する。ここで、前記レーンライン検出結果は前記レーンラインが存在する領域を含む。

本実施例が提供する知的運転制御方法に基づき、ニューラルネットワークによって画像のセマンティックセグメンテーションを行い、レーンライン確率マップを出力し、該レーンライン確率マップに基づいてレーンラインが存在する領域を決定する。ニューラルネットワークは深層学習の方式に基づき、大量のラベル付けされたレーンライン画像、例えば曲がり、レーンライン欠落、縁石エッジ、および光線が暗い、逆光などのシーンでのレーンライン画像を学習することで、手動で特徴を設計する必要なく、レーンラインの様々な特徴を自動的に習得することができるため、フローを簡略化し、手動でラベル付けするコストを削減し、また、それは様々な運転シーンにおいてレーンラインを効果的に識別し、曲がり、レーンライン欠落、縁石エッジ、および光線が暗い、逆光などの様々の複雑なシーンでのレーンライン検出を実現し、レーンライン検出の正確度を向上させ、それによって正確な推定距離および／または推定時間を取得し、さらに知的運転制御の正確性を向上させ、運転の安全性を向上させることができる。

本願の一つ以上の実施例によれば、ステップＳ３０２で一つのレーンラインの確率マップに基づいてレーンラインが存在する領域を決定することは、上記レーンライン確率マップから確率値が第一の予め設定された閾値よりも大きい画素点を選択することと、選択した画素点に基づいてレーンライン確率マップにおいて最大連結領域を検索し、該レーンラインに属する画素点集合を探し出すことと、レーンラインに属する上記画素点集合に基づいて該レーンラインが存在する領域を決定することと、を含んでもよい。

例えば、幅優先探索アルゴリズムを採用して最大連結領域を検索し、確率値が第一の予め設定された閾値よりも大きい全ての連結領域を探し出し、続いて全ての連結領域の最大領域を、検出したレーンライン存在領域として比較するようにしてもよい。

ニューラルネットワークの出力は複数のレーンラインの確率マップであり、レーンライン確率マップにおける各画素点の画素値は対応する画像における画素点があるレーンラインに属する確率値を表し、その値は０−１の正規化後の値であってもよい。第一の予め設定された閾値によってレーンライン確率マップにおける該レーンライン確率マップの所属レーンラインに属する確率が高い画素点を選択し、続いて最大連結領域を検索し、該レーンラインに属する画素点集合を、該レーンラインが存在する領域として探し出す。レーンライン毎に上記動作をそれぞれ実行すれば、各レーンラインが存在する領域を決定できる。

本願の一つ以上の実施例によれば、レーンラインに属する画素点集合に基づいて該レーンラインが存在する領域を決定する上記ステップは、該レーンラインに属する画素点集合内の全ての画素点の確率値の和を統計し、該レーンラインの信頼度を得ることと、該信頼度が第二の予め設定された閾値よりも大きい場合、上記画素点集合により形成された領域を該レーンラインが存在する領域とすることと、を含んでもよい。

本願の実施例では、各レーンラインについて、画素点集合内の全ての画素点の確率値の和を統計し、該レーンラインの信頼度を得る。ここの信頼度は、画素点集合により形成された領域が実在するレーンラインである確率値である。ここで、第二の予め設定された閾値は実際の必要に応じて設定された経験値であり、実際のシーンに応じて調整可能である。信頼度が低くなり過ぎた場合、即ち第二の予め設定された閾値以下である場合、該レーンラインが存在せず、決定された該レーンラインを破棄し、信頼度が高い場合、即ち第二の予め設定された閾値よりも大きい場合、決定されたレーンライン存在領域が実在するレーンラインである確率値が高く、それを該レーンラインが存在する領域として決定する。

Ｓ３０３において、各前記レーンラインが存在する領域における画素点のカーブフィッティングをそれぞれ行い、各前記レーンラインのフィッティング曲線を得る。

ここのレーンライン情報の表現形式は様々あり、例えば曲線、直線、レーンラインにおける少なくとも一つの点およびその車両との距離を含む分散マップとしてもよく、データテーブルとしてもよく、または方程式で表してもよいなど、本願の実施例はレーンライン情報の具体的な表現形式を限定しない。レーンライン情報は方程式で表される場合、レーンライン方程式と呼ばれてもよい。そのいくつかの任意選択的な例では、レーンライン方程式は二次曲線方程式として、ｘ＝ａ＊ｙ＊ｙ＋ｂ＊ｙ＋ｃで表してもよい。該レーンライン方程式は三つのパラメータ（ａ、ｂ、ｃ）を有する。

本願の一つ以上の実施例によれば、ステップＳ３０３で、１本のレーンラインが存在する領域における画素点のカーブフィッティングを行い、該レーンラインの情報を得ることは、１本のレーンラインが存在する領域から複数（例えば三つ以上）の画素点を選択することと、選択した複数の画素点をカメラが存在するカメラ座標系からワールド座標系へ変換し、上記複数の画素点のワールド座標系における座標を得ることと、を含んでもよい。そのうち、ワールド座標系の原点は必要に応じて設定してもよく、例えば原点を車両の左前輪の着地点として設定してもよく、ワールド座標系におけるｙ軸方向は車両の真正面方向とし、そして上記複数の画素点のワールド座標系における座標に基づき、ワールド座標系において上記複数の画素点のカーブフィッティングを行い、上記１本のレーンラインの情報を得る。

例えば、１本のレーンラインが存在する領域から一部の画素点をランダムに選択し、カメラ校正パラメータ（ビデオカメラ校正パラメータと呼んでもよい）に基づき、これらの画素点をワールド座標系へ変換し、続いてワールド座標系でこれらの画素点のカーブフィッティングを行えば、フィッティング曲線を得ることができる。ここのカメラ校正パラメータは、内部パラメータおよび外部パラメータを含むことができる。そのうち、外部パラメータに基づいてカメラまたはビデオカメラのワールド座標系における位置および向きを決定でき、外部パラメータは回転行列および並進行列を含んでもよく、回転行列および並進行列はどのように点をワールド座標系からカメラ座標系へまたはその逆に変換するかを共同で記述しており、内部パラメータはカメラ自体の特性に関連するパラメータ、例えばカメラの焦点距離、画素数などである。

ここのカーブフィッティングとは、いくつかの分散点に基づいてこれらの点からなる曲線を算出することである。本願の一つ以上の実施例によれば、例えば最小二乗法を採用して上記複数の画素点に基づいてカーブフィッティングを行うことができる。

また、本願の知的運転制御方法のさらに別の実施例では、２フレームの画像に基づいて決定されたレーンラインのブレおよび車両の車線変更過程でのレーンラインの混乱を防止するために、ステップＳ３０３でレーンラインの情報を得る後に、さらに、レーンラインの情報内のパラメータをフィルタリングし、それによってブレおよび何らかの異常状況を排除し、レーンライン情報の安定性を保証することを含んでもよい。本願の一つ以上の実施例によれば、１本のレーンラインの情報内のパラメータをフィルタリングすることは、該レーンラインの情報内のパラメータの値および前のフレームの画像に基づいて得られた該レーンラインの履歴情報内のパラメータの値に基づき、該レーンライン情報内のパラメータの値をカルマン（ｋａｌｍａｎ）フィルタリングする。ここで、前のフレームの画像は上記画像が存在するビデオにおいて検出タイミングが該画像よりも前になっている１フレームの画像であり、例えば該画像に隣接する前のフレームの画像であってもよく、検出タイミングが該画像よりも前の、１フレーム間隔以上の画像であってもよい。

カルマンフィルタリングは時変確率的信号の統計特性に基づき、信号の将来値をできるだけ真値に近付ける推定方法である。本実施例では該レーンラインの情報内のパラメータの値および前のフレームの画像に基づいて得られた該レーンラインの履歴情報内のパラメータの値によって、該レーンライン情報内のパラメータの値をカルマンフィルタリングし、該レーンライン情報の正確性を向上可能であり、後続で車両とレーンラインとの間の距離などの情報を正確に決定し、車両の車線逸脱を正確に早期警告することに寄与する。

本願の知的運転制御方法のさらに別の実施例では、レーンライン情報内のパラメータの値をカルマンフィルタリングする前に、さらに、同一レーンラインについて、レーンライン情報内のパラメータの値が履歴レーンライン情報内の対応するパラメータの値に対して変化しており、かつレーンライン情報内のパラメータの値と履歴レーンライン情報内の対応するパラメータの値との差が第三の予め設定された閾値よりも小さいレーンライン情報を、カルマンフィルタリングするための有効なレーンライン情報として選択すること、即ちレーンライン情報内のパラメータ（例えばｘ＝ａ＊ｙ＊ｙ＋ｂ＊ｙ＋ｃにおける三つのパラメータ（ａ、ｂ、ｃ））を平滑化することを含んでもよい。ビデオにおいて各フレームの画像に基づいてフィッティングしたレーンライン情報内のパラメータはいずれも変化するが、隣接するフレームの画像が大きく変化しないため、現在フレームの画像のレーンライン情報を少し平滑化し、ブレおよび何らかの異常状況を排除し、レーンライン情報の安定性を保証することができる。

例えば、ビデオにおけるレーンライン検出に参与する最初のフレームの画像によって決定されたレーンラインについて、各レーンラインのトラッカーをそれぞれ作成して該レーンラインを追跡し、そして現在フレームの画像から同一レーンラインを検出しており、かつ該レーンラインの情報は前のフレームの画像によって決定された同一レーンラインの情報内のパラメータ値に対する差が第三の予め設定された閾値よりも小さい場合、現在フレームの画像のレーンライン情報内のパラメータ値を前のフレームの画像によって決定された同一レーンラインのトラッカーへ更新し、それによって現在フレームの画像における該同一レーンラインの情報をカルマンフィルタリングするようにしてもよい。同一レーンラインのトラッカーは連続２フレームの画像において更新された場合、該レーンラインの決定結果が正確であり、該レーンラインのトラッカーを確認して、該トラッカーで追跡したレーンラインを最終のレーンライン結果とすることができる。トラッカーは連続数フレームも更新されていない場合、対応するレーンラインが消えたと考えられ、該トラッカーを削除する。現在フレームの画像から前のフレームの画像とマッチするレーンラインを検出できない場合、前のフレームの画像において決定された該レーンラインの誤差が大きく、前のフレームの画像における該トラッカーを削除する。

Ｓ３０４において、前記車両の走行状態および前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定する。

本願の実施例はレーンラインが存在する領域を決定してから、各レーンラインが存在する領域における画素点のカーブフィッティングを行うことで各レーンラインのレーンライン情報を得て、車両の走行状態およびレーンラインの情報に基づいて該車両が対応するレーンラインを超えるまでの推定距離を決定することができる。カーブフィッティングによって得られたレーンライン情報は二次曲線または類似の表現形式で表現可能で、曲がりレーンラインに効果的にフィット可能であるため、曲がりに対しても高い適用性を有し、様々な道路状況の早期警告に適する。

本願の一つ以上の実施例によれば、ステップＳ３０４で、前記車両の走行状態および前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定する前記工程は、該車両のワールド座標系における位置、および前記レーンラインのフィッティング曲線に基づき、該車両と前記レーンラインとの間の推定距離を決定することを含んでもよく、ここで、前記車両の走行状態は該車両のワールド座標系における位置を含む。

例えば、一応用例では、車両の現在位置をＡ、現在走行方向に沿った１本のレーンライン（目標レーンラインと呼ばれると想定する）との交点位置をＢと想定すると、線分ＡＢは車両が現在状態で該目標レーンラインを超える軌跡となる。カメラ校正パラメータによって車両のワールド座標系における絶対位置Ａ’を取得でき、続いて該目標レーンラインの方程式によって、レーンライン走行方向の直線Ａ’Ｂと該目標レーンラインとの交点位置Ｂを算出し、それにより直線Ａ’Ｂの長さを得ることができる。

ここで、車両と目標レーンラインとの間の距離は、該目標レーンラインの方程式の座標原点の設定、および車両走行方向、車両の幅によって取得可能である。例えば、レーンライン方程式の座標原点が車両の左輪として設定され、目標レーンラインが該車両の左側にある場合、該車両と、その走行方向と目標レーンラインとの交点との間の距離を直接取得すればよい。レーンライン方程式の座標原点が車両の右輪として設定され、目標レーンラインが該車両の左側にある場合、該車両と、その走行方向と目標レーンラインとの交点との間の距離を取得し、車両の幅がその走行方向に投影した有効幅を加えれば、車両と目標レーンラインとの間の距離を得ることができる。レーンライン方程式の座標原点が車両の中心として設定され、目標レーンラインが該車両の左側にある場合、該車両と、その走行方向と目標レーンラインとの交点との間の距離を取得し、車両の半分の幅がその走行方向に投影した有効幅を加えれば、車両と目標レーンラインとの間の推定距離を得ることができる。

Ｓ３０５において、前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定する。

上記ステップに基づき、車両とレーンラインとの間の推定距離を得て、該推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下である場合、車両が前記レーンラインを超えるまでの推定時間を決定する。

本願の一つ以上の実施例によれば、ステップＳ３０５で、前記車両が前記レーンラインを超えるまでの推定時間を決定する前記工程は、前記車両の速度および前記車両のワールド座標系における位置、ならびに前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定することを含んでもよく、前記車両の走行状態は前記車両の速度および前記車両のワールド座標系における位置を含む。

例えば、履歴フレーム画像情報を統計すれば該車両の現在時刻の側方速度を算出可能であり、さらに該車両と該目標レーンラインとの現在の距離によって、現在時刻の車両が該目標レーンラインを踏むまでの時間（即ち該目標レーンラインに到達する時間）を算出し、該レーンラインを踏むまでの時間を車両が前記レーンラインを超えるまでの推定時間として決定することができる。

本願の一つ以上の実施例によれば、前記車両の速度および前記車両のワールド座標系における位置、ならびに前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定することは、前記車両の走行方向と前記レーンラインのフィッティング曲線との夾角を取得することと、前記車両のワールド座標系における位置に基づき、前記車両と前記レーンラインのフィッティング曲線との間の推定距離を取得することと、前記夾角、前記推定距離および前記車両の速度に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定することと、を含む。

例えば、図６に示すように、前記車両の走行方向と前記レーンラインのフィッティング曲線との夾角θを取得する。続いて該夾角θおよび車両の走行速度によって車両の走行速度の水平成分ｖ＿ｘを得ることができる。上記推定距離および車両の走行速度の水平成分ｖ＿ｘによって、車両が前記レーンラインを踏むまでの推定時間ｔを得ることができ、例えば、ｔ＝ｄ／ｖ＿ｘである。

本願の一つ以上の実施例によれば、実際の走行過程で、車両は短時間内でレーンラインを踏んでしまったこと、例えば車両がふらつくためにヘッドがレーンラインを踏んでしまったことが不可避であり得るが、これらの現象について、その消えた後、車両は正常な運転軌跡に自動的に戻るため、これらの状況では警告しなくてもよい。上記状況での誤警告を回避するために、レーンラインが踏まれる臨界線を設置する。例えば、図７に示すように、レーンラインの車両から離れた一方に一つの臨界線（図７におけるレーンライン左側の点線）を設置すると、車両が該臨界線を踏んだ時のみ、車両へ警告メッセージを発信し、さらに誤警告の確率を低下させる。推定距離ｄと予め設定された距離ｃとの和を新たな推定距離ｄ’とし、夾角、新たな推定距離ｄ’および前記車両の走行速度に基づき、車両がレーンラインを踏むまでの時間を決定する。

Ｓ３０６において、推定時間に基づき、該車両の知的運転制御を行う。

本願の実施例が提供する知的運転制御方法は、端末機器およびサーバなどに限られないデータ処理能力を有する任意の適当な機器によって実行できる。または、本願の実施例が提供するいずれかの知的運転制御方法は、例えばプロセッサがメモリに記憶された対応する命令を呼び出すことで本願の実施例で言及されたいずれかの知的運転制御方法を実行するように、プロセッサによって実行できる。以下は説明を省略する。

当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

図８は本願の実施例１が提供する知的運転制御装置の構成模式図である。図８に示すように、本実施例の知的運転制御装置１００は、車両走行環境のレーンライン検出結果を取得するための取得モジュール１１０と、前記車両の走行状態および前記レーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定するための距離決定モジュール１２０と、前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定するための時間決定モジュール１３０と、前記推定時間に基づいて知的運転制御を行うための制御モジュール１４０と、を含む。

本発明の実施例のレーンラインに基づく知的運転制御装置は、上述した方法の実施例の技術的解決手段を実行するために用いることができ、その実現原理は技術的効果に類似し、以上の対応する記載を参照すればよく、ここでは説明を省略する。図９は本願の実施例２が提供する知的運転制御装置の構成模式図である。上記実施例のもとに、図９に示すように、本実施例の制御モジュール１４０は、前記推定時間を少なくとも一つの予め設定された閾値と比較するための比較ユニット１４１と、比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する、自動運転制御、運転支援制御、運転モード切替制御の少なくとも一つを含む知的運転制御を行うための制御ユニット１４２と、を含む。

本実施例の可能な一実施形態では、前記自動運転制御は、車線逸脱警告、制動、走行速度変更、走行方向変更、車線維持、および車両ランプ状態変更のいずれか一つまたは複数を含み、および／または、前記運転支援制御は、車線逸脱早期警告、車線維持指示の少なくとも一つを含む。

本発明の実施例のレーンラインに基づく知的運転制御装置は、上述した方法の実施例の技術的解決手段を実行するために用いることができ、その実現原理は技術的効果に類似し、以上の対応する記載を参照すればよく、ここでは説明を省略する。

図１０は本願の実施例３が提供する知的運転制御装置の構成模式図である。上記実施例のもとに、図１０に示すように、本実施例の知的運転制御装置１００はさらに、前記推定距離が第二の予め設定された距離値以下または第一の予め設定された距離値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化するための、または、前記推定時間が予め設定された閾値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化するための、または、前記車両が前記レーンラインを踏んでいると検出したことに応答して、前記知的運転制御機能を自動的に有効化するための有効化モジュール１５０を含む。

本願の一つ以上の実施例によれば、前記予め設定された条件が複数ある場合、複数の予め設定された条件のそれぞれ対応する知的運転制御の程度は段階的に増加する。

本実施例の可能な一実施形態では、前記制御ユニット１４２は、前記推定時間が第一の予め設定された時間値以下で、かつ前記第一の予め設定された時間値よりも小さい第二の予め設定された時間値よりも大きい場合、前記車両の車線逸脱早期警告を行うために用いられる。

本実施例の可能な一実施形態では、前記制御ユニット１４２はさらに、前記推定時間が前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために用いられ、ここで、前記車線逸脱早期警告は前記車線逸脱警告を含む。

本実施例の可能な一実施形態では、前記制御ユニット１４２はさらに、前記第一距離が前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために用いられ、ここで、前記車線逸脱早期警告は前記車線逸脱警告を含む。

本実施例の可能な一実施形態では、前記制御ユニット１４２は、前記画像および履歴フレーム画像に基づいて決定された前記推定時間はいずれも前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために、または、前記画像および履歴フレーム画像に基づいて決定された前記推定距離はいずれも前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために用いられ、前記履歴フレーム画像は前記画像が存在するビデオにおける検出タイミングが前記画像よりも前になっている少なくとも１フレームの画像を含む。

本願の一つ以上の実施例によれば、前記車線逸脱警告は、コーナリングランプ起動および／または音声指示を含む。

本願の一つ以上の実施例によれば、前記車線逸脱早期警告は、ランプ点滅、アラーム鳴動および音声指示の少なくとも一つを含む。

本発明の実施例のレーンラインに基づく知的運転制御装置は、上述した方法の実施例の技術的解決手段を実行するために用いることができ、その実現原理は技術的効果に類似し、以上の対応する記載を参照すればよく、ここでは説明を省略する。

図１１は本願の実施例４が提供する知的運転制御装置の構成模式図である。上記実施例のもとに、図１１に示すように、本実施例の知的運転制御装置１００はさらに調整モジュール１６０を含み、前記取得モジュール１１０はさらに、前記車両の運転者の運転レベルを取得するために用いられ、前記調整モジュール１６０は、前記運転レベルに基づき、前記第一の予め設定された距離値、前記第二の予め設定された距離値および予め設定された閾値の少なくとも一つを調整するために用いられる。

図１２は本願の実施例５が提供する知的運転制御装置の構成模式図である。上記実施例のもとに、図１２に示すように、本実施例の取得モジュール１１０は、ニューラルネットワークによって前記車両走行環境を含む画像のセマンティックセグメンテーションを行い、前記画像における少なくとも一つの画素点がレーンラインに属するそれぞれの確率値を表すためのレーンライン確率マップを出力するためのセグメンテーションユニット１１１と、前記レーンライン確率マップに基づいてレーンラインが存在する領域を決定するための第一決定ユニット１１２と、を含み、前記レーンライン検出結果は前記レーンラインが存在する領域を含む。

本発明の実施例のレーンラインに基づく知的運転制御装置は、上述した方法の実施例の技術的解決手段を実行するために用いることができ、その実現原理は技術的効果に類似し、以上の対応する記載を参照すればよく、ここでは説明を省略する。

図１３は本願の実施例６が提供する知的運転制御装置の構成模式図である。上記実施例のもとに、図１３に示すように、前記距離決定モジュール１２０は、各前記レーンラインが存在する領域における画素点のカーブフィッティングをそれぞれ行い、各前記レーンラインのフィッティング曲線を得るためのフィッティングユニット１２１と、前記車両の走行状態および前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定するための第二決定ユニット１２２と、を含む。

可能な一実施形態では、前記第二決定ユニット１２２は、前記車両のワールド座標系における位置、および前記レーンラインのフィッティング曲線に基づき、前記車両と前記レーンラインとの間の推定距離を決定するために用いられ、前記車両の走行状態は前記車両のワールド座標系における位置を含む。

可能な一実施形態では、前記時間決定モジュール１３０は、前記車両の速度および前記車両のワールド座標系における位置、ならびに前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定するために用いられ、前記車両の走行状態は前記車両の速度および前記車両のワールド座標系における位置を含む。

可能な一実施形態では、前記時間決定モジュール１３０はさらに、前記車両の走行方向と前記レーンラインのフィッティング曲線との夾角を取得し、前記車両のワールド座標系における位置に基づき、前記車両と前記レーンラインのフィッティング曲線との間の推定距離を取得し、そして前記夾角、前記推定距離および前記車両の速度に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定するために用いられる。

本願の実施例の知的運転制御装置は、上述した方法の実施例の技術的解決手段を実行するために用いることができ、その実現原理は技術的効果に類似し、以上の対応する記載を参照すればよく、ここでは説明を省略する。

本願の実施例はさらに、本願の上記いずれかの実施例に係る知的運転制御装置を含む電子機器を提供する。

本願の実施例はさらに、実行可能命令を記憶するためのメモリ、およびメモリと通信して実行可能命令を実行することで本願の上記いずれかの実施例に係る知的運転制御方法のステップを完了するためのプロセッサを含む別の電子機器を提供する。

図１４は本願の電子機器の一応用例の構成模式図である。図１４を参照すると、本願の実施例の端末機器またはサーバの実現に適する電子機器の構成模式図が示される。図１４に示すように、該電子機器は一つ以上のプロセッサ、通信部などを含み、前記一つ以上のプロセッサは例えば、一つ以上のＣＰＵ、および／または一つ以上のＧＰＵまたはＦＰＧＡなどであり、プロセッサは読み取り専用メモリ（ＲＯＭ）に記憶されている実行可能命令または記憶部分からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能命令に従って様々な適当の動作および処理を実行できる。通信部はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されず、プロセッサは読み取り専用メモリおよび／またはランダムアクセスメモリと通信して実行可能命令を実行し、バスを介して通信部と接続し、通信部によって他の目標機器と通信し、それにより本願の実施例が提供するいずれかの知的運転制御方法の対応する動作、例えば、車両走行環境のレーンライン検出結果を取得することと、前記車両の走行状態およびレーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離および／または前記車両が前記レーンラインを超えるまでの推定時間を決定することと、前記推定距離および／または前記推定時間に基づき、前記車両の知的運転制御を行うことと、を完了することができる。

また、ＲＡＭには、装置の動作に必要な種々のプログラムおよびデータを記憶することができる。ＣＰＵ、ＲＯＭおよびＲＡＭはバスを介して互いに接続される。ＲＡＭが存在する場合、ＲＯＭは任意選択的なモジュールとなる。ＲＡＭは実行可能命令を記憶するか、または動作時にＲＯＭへ実行可能命令を書き込み、実行可能命令によってプロセッサは本願の実施例に記載のいずれかの知的運転制御方法の対応する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェースもバスに接続される。通信部は統合設置してもよく、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつバスリンクに存在する。

キーボード、マウスなどを含む入力部分、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分、ハードディスクなどを含む記憶部分、およびＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信部分といった部品は、Ｉ／Ｏインタフェースに接続される。通信部分はインターネットのようなネットワークによって通信処理を行う。ドライバも必要に応じてＩ／Ｏインタフェースに接続される。取り外し可能な媒体、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバに取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分にインストールされる。

なお、図１４に示すアーキテクチャは任意選択的な一実施形態に過ぎず、具体的な実践では、実際の必要に応じて上記図１４の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信部は分離設置するか、またＣＰＵやＧＰＵに統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の実施例が開示する保護範囲に属する。

また、本願の実施例は、実行される時に本願の上記いずれかの実施例に係る知的運転制御方法の動作を実現するコンピュータ読み取り可能な命令を記憶するためのコンピュータ記憶媒体を提供する。

また、本願の実施例は、コンピュータ読み取り可能な命令を含むコンピュータプログラムであって、該コンピュータ読み取り可能な命令は機器において運用される時、該機器内のプロセッサは本願の上記いずれかの実施例に係る知的運転制御方法におけるステップを実現するための実行可能命令を実行するコンピュータプログラムを提供する。

本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。

本願の実施例の方法および装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって本願の実施例の方法および装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の実施例の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の実施例に係る方法を実現するための機械可読命令を含む。従って、本願の実施例は本願の実施例に係る方法を実行するためのプログラムが記憶された記録媒体も含む。

最後に、説明すべきは、以上の各実施例は本願の実施例の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、前記各実施例を参照しながら本願を詳細に説明したが、当業者であれば、前記各実施例に記載の技術的解決手段に対する修正、またはその一部もしくは全ての技術的特徴に対する置換が可能であることは、当然理解されるものであり、これらの修正または置換は、該当する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させるものではないということである。

本願の実施例が提供する知的運転制御方法および装置、電子機器、プログラムならびに媒体は、車両走行環境のレーンライン検出結果を取得し、車両の走行状態およびレーンライン検出結果に基づき、車両がレーンラインを超えるまでの推定距離を決定し、推定距離および／または推定時間に基づき、前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定し、そして前記推定時間に基づいて知的運転制御を行う。これによって、本願の実施例は車両走行状態のレーンラインに基づく知的制御を実現し、それによって車両がレーンラインを超えて交通事故を引き起こすことを低減または回避し、運転の安全性を向上させることを図る。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
車両走行環境のレーンライン検出結果を取得することと、
前記車両の走行状態および前記レーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定することと、
前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定することと、
前記推定時間に基づいて知的運転制御を行うことと、を含む知的運転制御方法。
（項目２）
前記推定時間に基づいて知的運転制御を行うことは、前記推定時間を少なくとも一つの予め設定された閾値と比較することと、
比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する、自動運転制御、運転支援制御、運転モード切替制御の少なくとも一つを含む知的運転制御を行うことと、を含む項目１に記載の知的運転制御方法。
（項目３）
前記自動運転制御は、車線逸脱警告、制動、走行速度変更、走行方向変更、車線維持、および車両ランプ状態変更のいずれか一つまたは複数を含み、
および／または、前記運転支援制御は、車線逸脱早期警告、車線維持指示の少なくとも一つを含む項目２に記載の知的運転制御方法。
（項目４）
前記知的運転制御方法はさらに、
前記推定距離が第二の予め設定された距離値以下または第一の予め設定された距離値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化すること、または、
前記推定時間が予め設定された閾値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化すること、または、
前記車両が前記レーンラインを踏んでいると検出したことに応答して、前記知的運転制御機能を自動的に有効化することを含む項目１から３のいずれか一項に記載の知的運転制御方法。
（項目５）
前記予め設定された条件が複数ある場合、複数の予め設定された条件のそれぞれ対応する知的運転制御の程度は段階的に増加する項目２から４のいずれか一項に記載の知的運転制御方法。
（項目６）
比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する知的運転制御を行うことは、
前記推定時間が第一の予め設定された時間値以下で、かつ前記第一の予め設定された時間値よりも小さい第二の予め設定された時間値よりも大きい場合、前記車両の車線逸脱早期警告を行うことを含む項目５に記載の知的運転制御方法。
（項目７）
比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する知的運転制御を行うことはさらに、
前記推定時間が前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、
前記車線逸脱早期警告は前記車線逸脱警告を含む項目５または６に記載の知的運転制御方法。
（項目８）
前記知的運転制御方法はさらに、前記第一距離が前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、
前記車線逸脱早期警告は前記車線逸脱警告を含む項目５から７のいずれか一項に記載の知的運転制御方法。
（項目９）
前記推定時間が前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことは、前記画像および履歴フレーム画像に基づいて決定された前記推定時間はいずれも前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、または、
前記第一距離が前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことは、前記画像および履歴フレーム画像に基づいて決定された前記推定距離はいずれも前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、
前記履歴フレーム画像は前記画像が存在するビデオにおける検出タイミングが前記画像よりも前になっている少なくとも１フレームの画像を含む項目８に記載の知的運転制御方法。
（項目１０）
前記車線逸脱警告は、コーナリングランプ起動および／または音声指示を含む項目３に記載の知的運転制御方法。
（項目１１）
前記車線逸脱早期警告は、ランプ点滅、アラーム鳴動および音声指示の少なくとも一つを含む項目４に記載の知的運転制御方法。
（項目１２）
前記知的運転制御方法はさらに、
前記車両の運転者の運転レベルを取得することと、
前記運転レベルに基づき、前記第一の予め設定された距離値、前記第二の予め設定された距離値および予め設定された閾値の少なくとも一つを調整することと、を含む項目２から１１のいずれか一項に記載の知的運転制御方法。
（項目１３）
車両走行環境のレーンライン検出結果を取得することは、ニューラルネットワークによって前記車両走行環境を含む画像のセマンティックセグメンテーションを行い、前記画像における少なくとも一つの画素点がレーンラインに属するそれぞれの確率値を表すためのレーンライン確率マップを出力することと、
前記レーンライン確率マップに基づいてレーンラインが存在する領域を決定することと、を含み、
前記レーンライン検出結果は前記レーンラインが存在する領域を含む項目１から１２のいずれか一項に記載の知的運転制御方法。
（項目１４）
前記車両の走行状態およびレーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定することは、
各前記レーンラインが存在する領域における画素点のカーブフィッティングをそれぞれ行い、各前記レーンラインのフィッティング曲線を得ることと、
前記車両の走行状態および前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定することと、を含む項目１３に記載の知的運転制御方法。
（項目１５）
前記車両の走行状態および前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定することは、前記車両のワールド座標系における位置、および前記レーンラインのフィッティング曲線に基づき、前記車両と前記レーンラインとの間の推定距離を決定することを含み、
前記車両の走行状態は前記車両のワールド座標系における位置を含む項目１４に記載の知的運転制御方法。
（項目１６）
前記車両が前記レーンラインを超えるまでの推定時間を決定することは、
前記車両の速度および前記車両のワールド座標系における位置、ならびに前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定することを含み、
前記車両の走行状態は前記車両の速度および前記車両のワールド座標系における位置を含む項目１４または１５に記載の知的運転制御方法。
（項目１７）
前記車両の速度および前記車両のワールド座標系における位置、ならびに前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定することは、
前記車両の走行方向と前記レーンラインのフィッティング曲線との夾角を取得することと、
前記車両のワールド座標系における位置に基づき、前記車両と前記レーンラインのフィッティング曲線との間の推定距離を取得することと、
前記夾角、前記推定距離および前記車両の速度に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定することと、を含む項目１６に記載の知的運転制御方法。
（項目１８）
車両走行環境のレーンライン検出結果を取得するための取得モジュールと、
前記車両の走行状態および前記レーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定するための距離決定モジュールと、
前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定するための時間決定モジュールと、
前記推定時間に基づいて知的運転制御を行うための制御モジュールと、を含む知的運転制御装置。
（項目１９）
前記制御モジュールは、
前記推定時間を少なくとも一つの予め設定された閾値と比較するための比較ユニットと、
比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する、自動運転制御、運転支援制御、運転モード切替制御の少なくとも一つを含む知的運転制御を行うための制御ユニットと、を含む項目１８に記載の知的運転制御装置。
（項目２０）
前記自動運転制御は、車線逸脱警告、制動、走行速度変更、走行方向変更、車線維持、および車両ランプ状態変更のいずれか一つまたは複数を含み、
および／または、前記運転支援制御は、車線逸脱早期警告、車線維持指示の少なくとも一つを含む項目１９に記載の知的運転制御装置。
（項目２１）
前記知的運転制御装置はさらに、
前記推定距離が第二の予め設定された距離値以下または第一の予め設定された距離値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化するための、または、前記推定時間が予め設定された閾値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化するための、または、前記車両が前記レーンラインを踏んでいると検出したことに応答して、前記知的運転制御機能を自動的に有効化するための有効化モジュールを含む項目１８から２０のいずれか一項に記載の知的運転制御装置。
（項目２２）
前記予め設定された条件が複数ある場合、複数の予め設定された条件のそれぞれ対応する知的運転制御の程度は段階的に増加する項目１９から２１のいずれか一項に記載の知的運転制御装置。
（項目２３）
前記制御ユニットは、前記推定時間が第一の予め設定された時間値以下で、かつ前記第一の予め設定された時間値よりも小さい第二の予め設定された時間値よりも大きい場合、前記車両の車線逸脱早期警告を行うために用いられる項目２１または２２に記載の知的運転制御装置。
（項目２４）
前記制御ユニットはさらに、前記推定時間が前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために用いられ、
前記車線逸脱早期警告は前記車線逸脱警告を含む項目２１から２３のいずれか一項に記載の知的運転制御装置。
（項目２５）
前記制御ユニットはさらに、前記第一距離が前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために用いられ、
前記車線逸脱早期警告は前記車線逸脱警告を含む項目２４に記載の知的運転制御装置。
（項目２６）
前記制御ユニットは、前記画像および履歴フレーム画像に基づいて決定された前記推定時間はいずれも前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために、または、
前記画像および履歴フレーム画像に基づいて決定された前記推定距離はいずれも前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために用いられ、
前記履歴フレーム画像は前記画像が存在するビデオにおける検出タイミングが前記画像よりも前になっている少なくとも１フレームの画像を含む項目２５に記載の知的運転制御装置。
（項目２７）
前記車線逸脱警告は、コーナリングランプ起動および／または音声指示を含む項目２０に記載の知的運転制御装置。
（項目２８）
前記車線逸脱早期警告は、ランプ点滅、アラーム鳴動および音声指示の少なくとも一つを含む項目２１に記載の知的運転制御装置。
（項目２９）
前記知的運転制御装置はさらに、調整モジュールを含み、
前記取得モジュールはさらに、前記車両の運転者の運転レベルを取得するために用いられ、
前記調整モジュールは、前記運転レベルに基づき、前記第一の予め設定された距離値、前記第二の予め設定された距離値および予め設定された閾値の少なくとも一つを調整するために用いられる項目１９から２８のいずれか一項に記載の知的運転制御装置。
（項目３０）
前記取得モジュールは、
ニューラルネットワークによって前記車両走行環境を含む画像のセマンティックセグメンテーションを行い、前記画像における少なくとも一つの画素点がレーンラインに属するそれぞれの確率値を表すためのレーンライン確率マップを出力するためのセグメンテーションユニットと、
前記レーンライン確率マップに基づいてレーンラインが存在する領域を決定するための第一決定ユニットと、を含み、
前記レーンライン検出結果は前記レーンラインが存在する領域を含む項目１８から２９のいずれか一項に記載の知的運転制御装置。
（項目３１）
前記距離決定モジュールは、
各前記レーンラインが存在する領域における画素点のカーブフィッティングをそれぞれ行い、各前記レーンラインのフィッティング曲線を得るためのフィッティングユニットと、
前記車両の走行状態および前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定するための第二決定ユニットと、を含む項目３０に記載の知的運転制御装置。
（項目３２）
前記第二決定ユニットは、前記車両のワールド座標系における位置、および前記レーンラインのフィッティング曲線に基づき、前記車両と前記レーンラインとの間の推定距離を決定するために用いられ、
前記車両の走行状態は前記車両のワールド座標系における位置を含む項目３１に記載の知的運転制御装置。
（項目３３）
前記時間決定モジュールは、前記車両の速度および前記車両のワールド座標系における位置、ならびに前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定するために用いられ、
前記車両の走行状態は前記車両の速度および前記車両のワールド座標系における位置を含む項目３１または３２に記載の知的運転制御装置。
（項目３４）
前記時間決定モジュールはさらに、前記車両の走行方向と前記レーンラインのフィッティング曲線との夾角を取得し、前記車両のワールド座標系における位置に基づき、前記車両と前記レーンラインのフィッティング曲線との間の推定距離を取得し、そして前記夾角、前記推定距離および前記車両の速度に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定するために用いられる項目３３に記載の知的運転制御装置。
（項目３５）
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶された、実行される時に上記項目１から１７のいずれか一項に記載の知的運転制御方法を実現するコンピュータプログラムを実行するためのプロセッサと、を含む電子機器。
（項目３６）
実行される時に項目１から１７のいずれか一項に記載の知的運転制御方法を実現するコンピュータプログラムが記憶されているコンピュータ記憶媒体。
（項目３７）
コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令が機器のプロセッサで実行される時に、上記項目１から１７のいずれか一項に記載の知的運転制御方法を実現するコンピュータプログラム。

Claims (37)

1. 車両走行環境のレーンライン検出結果を取得することと、
   前記車両の走行状態および前記レーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定することと、
   前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定することと、
   前記推定時間に基づいて知的運転制御を行うことと、を含む知的運転制御方法。
2. 前記推定時間に基づいて知的運転制御を行うことは、前記推定時間を少なくとも一つの予め設定された閾値と比較することと、
   比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する、自動運転制御、運転支援制御、運転モード切替制御の少なくとも一つを含む知的運転制御を行うことと、を含む請求項１に記載の知的運転制御方法。
3. 前記自動運転制御は、車線逸脱警告、制動、走行速度変更、走行方向変更、車線維持、および車両ランプ状態変更のいずれか一つまたは複数を含み、
   および／または、前記運転支援制御は、車線逸脱早期警告、車線維持指示の少なくとも一つを含む請求項２に記載の知的運転制御方法。
4. 前記知的運転制御方法はさらに、
   前記推定距離が第二の予め設定された距離値以下または第一の予め設定された距離値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化すること、または、
   前記推定時間が予め設定された閾値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化すること、または、
   前記車両が前記レーンラインを踏んでいると検出したことに応答して、前記知的運転制御機能を自動的に有効化することを含む請求項１から３のいずれか一項に記載の知的運転制御方法。
5. 前記予め設定された条件が複数ある場合、複数の予め設定された条件のそれぞれ対応する知的運転制御の程度は段階的に増加する請求項２から４のいずれか一項に記載の知的運転制御方法。
6. 比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する知的運転制御を行うことは、
   前記推定時間が第一の予め設定された時間値以下で、かつ前記第一の予め設定された時間値よりも小さい第二の予め設定された時間値よりも大きい場合、前記車両の車線逸脱早期警告を行うことを含む請求項５に記載の知的運転制御方法。
7. 比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する知的運転制御を行うことはさらに、
   前記推定時間が前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、
   前記車線逸脱早期警告は前記車線逸脱警告を含む請求項５または６に記載の知的運転制御方法。
8. 前記知的運転制御方法はさらに、前記第一距離が前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、
   前記車線逸脱早期警告は前記車線逸脱警告を含む請求項５から７のいずれか一項に記載の知的運転制御方法。
9. 前記推定時間が前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことは、前記画像および履歴フレーム画像に基づいて決定された前記推定時間はいずれも前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、または、
   前記第一距離が前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことは、前記画像および履歴フレーム画像に基づいて決定された前記推定距離はいずれも前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うことを含み、
   前記履歴フレーム画像は前記画像が存在するビデオにおける検出タイミングが前記画像よりも前になっている少なくとも１フレームの画像を含む請求項８に記載の知的運転制御方法。
10. 前記車線逸脱警告は、コーナリングランプ起動および／または音声指示を含む請求項３に記載の知的運転制御方法。
11. 前記車線逸脱早期警告は、ランプ点滅、アラーム鳴動および音声指示の少なくとも一つを含む請求項４に記載の知的運転制御方法。
12. 前記知的運転制御方法はさらに、
    前記車両の運転者の運転レベルを取得することと、
    前記運転レベルに基づき、前記第一の予め設定された距離値、前記第二の予め設定された距離値および予め設定された閾値の少なくとも一つを調整することと、を含む請求項２から１１のいずれか一項に記載の知的運転制御方法。
13. 車両走行環境のレーンライン検出結果を取得することは、ニューラルネットワークによって前記車両走行環境を含む画像のセマンティックセグメンテーションを行い、前記画像における少なくとも一つの画素点がレーンラインに属するそれぞれの確率値を表すためのレーンライン確率マップを出力することと、
    前記レーンライン確率マップに基づいてレーンラインが存在する領域を決定することと、を含み、
    前記レーンライン検出結果は前記レーンラインが存在する領域を含む請求項１から１２のいずれか一項に記載の知的運転制御方法。
14. 前記車両の走行状態およびレーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定することは、
    各前記レーンラインが存在する領域における画素点のカーブフィッティングをそれぞれ行い、各前記レーンラインのフィッティング曲線を得ることと、
    前記車両の走行状態および前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定することと、を含む請求項１３に記載の知的運転制御方法。
15. 前記車両の走行状態および前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定することは、前記車両のワールド座標系における位置、および前記レーンラインのフィッティング曲線に基づき、前記車両と前記レーンラインとの間の推定距離を決定することを含み、
    前記車両の走行状態は前記車両のワールド座標系における位置を含む請求項１４に記載の知的運転制御方法。
16. 前記車両が前記レーンラインを超えるまでの推定時間を決定することは、
    前記車両の速度および前記車両のワールド座標系における位置、ならびに前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定することを含み、
    前記車両の走行状態は前記車両の速度および前記車両のワールド座標系における位置を含む請求項１４または１５に記載の知的運転制御方法。
17. 前記車両の速度および前記車両のワールド座標系における位置、ならびに前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定することは、
    前記車両の走行方向と前記レーンラインのフィッティング曲線との夾角を取得することと、
    前記車両のワールド座標系における位置に基づき、前記車両と前記レーンラインのフィッティング曲線との間の推定距離を取得することと、
    前記夾角、前記推定距離および前記車両の速度に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定することと、を含む請求項１６に記載の知的運転制御方法。
18. 車両走行環境のレーンライン検出結果を取得するための取得モジュールと、
    前記車両の走行状態および前記レーンライン検出結果に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定するための距離決定モジュールと、
    前記推定距離が第一の予め設定された距離値よりも大きくかつ第二の予め設定された距離値以下であることに応答して、前記車両が前記レーンラインを超えるまでの推定時間を決定するための時間決定モジュールと、
    前記推定時間に基づいて知的運転制御を行うための制御モジュールと、を含む知的運転制御装置。
19. 前記制御モジュールは、
    前記推定時間を少なくとも一つの予め設定された閾値と比較するための比較ユニットと、
    比較結果が一つ以上の予め設定された条件を満たす場合、満たされる予め設定された条件の対応する、自動運転制御、運転支援制御、運転モード切替制御の少なくとも一つを含む知的運転制御を行うための制御ユニットと、を含む請求項１８に記載の知的運転制御装置。
20. 前記自動運転制御は、車線逸脱警告、制動、走行速度変更、走行方向変更、車線維持、および車両ランプ状態変更のいずれか一つまたは複数を含み、
    および／または、前記運転支援制御は、車線逸脱早期警告、車線維持指示の少なくとも一つを含む請求項１９に記載の知的運転制御装置。
21. 前記知的運転制御装置はさらに、
    前記推定距離が第二の予め設定された距離値以下または第一の予め設定された距離値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化するための、または、前記推定時間が予め設定された閾値よりも小さいことに応答して、前記知的運転制御機能を自動的に有効化するための、または、前記車両が前記レーンラインを踏んでいると検出したことに応答して、前記知的運転制御機能を自動的に有効化するための有効化モジュールを含む請求項１８から２０のいずれか一項に記載の知的運転制御装置。
22. 前記予め設定された条件が複数ある場合、複数の予め設定された条件のそれぞれ対応する知的運転制御の程度は段階的に増加する請求項１９から２１のいずれか一項に記載の知的運転制御装置。
23. 前記制御ユニットは、前記推定時間が第一の予め設定された時間値以下で、かつ前記第一の予め設定された時間値よりも小さい第二の予め設定された時間値よりも大きい場合、前記車両の車線逸脱早期警告を行うために用いられる請求項２１または２２に記載の知的運転制御装置。
24. 前記制御ユニットはさらに、前記推定時間が前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために用いられ、
    前記車線逸脱早期警告は前記車線逸脱警告を含む請求項２１から２３のいずれか一項に記載の知的運転制御装置。
25. 前記制御ユニットはさらに、前記第一距離が前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために用いられ、
    前記車線逸脱早期警告は前記車線逸脱警告を含む請求項２４に記載の知的運転制御装置。
26. 前記制御ユニットは、前記画像および履歴フレーム画像に基づいて決定された前記推定時間はいずれも前記第二の予め設定された時間値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために、または、
    前記画像および履歴フレーム画像に基づいて決定された前記推定距離はいずれも前記第一の予め設定された距離値以下である場合、前記車両の自動運転制御および／または車線逸脱警告を行うために用いられ、
    前記履歴フレーム画像は前記画像が存在するビデオにおける検出タイミングが前記画像よりも前になっている少なくとも１フレームの画像を含む請求項２５に記載の知的運転制御装置。
27. 前記車線逸脱警告は、コーナリングランプ起動および／または音声指示を含む請求項２０に記載の知的運転制御装置。
28. 前記車線逸脱早期警告は、ランプ点滅、アラーム鳴動および音声指示の少なくとも一つを含む請求項２１に記載の知的運転制御装置。
29. 前記知的運転制御装置はさらに、調整モジュールを含み、
    前記取得モジュールはさらに、前記車両の運転者の運転レベルを取得するために用いられ、
    前記調整モジュールは、前記運転レベルに基づき、前記第一の予め設定された距離値、前記第二の予め設定された距離値および予め設定された閾値の少なくとも一つを調整するために用いられる請求項１９から２８のいずれか一項に記載の知的運転制御装置。
30. 前記取得モジュールは、
    ニューラルネットワークによって前記車両走行環境を含む画像のセマンティックセグメンテーションを行い、前記画像における少なくとも一つの画素点がレーンラインに属するそれぞれの確率値を表すためのレーンライン確率マップを出力するためのセグメンテーションユニットと、
    前記レーンライン確率マップに基づいてレーンラインが存在する領域を決定するための第一決定ユニットと、を含み、
    前記レーンライン検出結果は前記レーンラインが存在する領域を含む請求項１８から２９のいずれか一項に記載の知的運転制御装置。
31. 前記距離決定モジュールは、
    各前記レーンラインが存在する領域における画素点のカーブフィッティングをそれぞれ行い、各前記レーンラインのフィッティング曲線を得るためのフィッティングユニットと、
    前記車両の走行状態および前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定距離を決定するための第二決定ユニットと、を含む請求項３０に記載の知的運転制御装置。
32. 前記第二決定ユニットは、前記車両のワールド座標系における位置、および前記レーンラインのフィッティング曲線に基づき、前記車両と前記レーンラインとの間の推定距離を決定するために用いられ、
    前記車両の走行状態は前記車両のワールド座標系における位置を含む請求項３１に記載の知的運転制御装置。
33. 前記時間決定モジュールは、前記車両の速度および前記車両のワールド座標系における位置、ならびに前記レーンラインのフィッティング曲線に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定するために用いられ、
    前記車両の走行状態は前記車両の速度および前記車両のワールド座標系における位置を含む請求項３１または３２に記載の知的運転制御装置。
34. 前記時間決定モジュールはさらに、前記車両の走行方向と前記レーンラインのフィッティング曲線との夾角を取得し、前記車両のワールド座標系における位置に基づき、前記車両と前記レーンラインのフィッティング曲線との間の推定距離を取得し、そして前記夾角、前記推定距離および前記車両の速度に基づき、前記車両が前記レーンラインを超えるまでの推定時間を決定するために用いられる請求項３３に記載の知的運転制御装置。
35. コンピュータプログラムを記憶するためのメモリと、
    前記メモリに記憶された、実行される時に上記請求項１から１７のいずれか一項に記載の知的運転制御方法を実現するコンピュータプログラムを実行するためのプロセッサと、を含む電子機器。
36. 実行される時に請求項１から１７のいずれか一項に記載の知的運転制御方法を実現するコンピュータプログラムが記憶されているコンピュータ記憶媒体。
37. コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令が機器のプロセッサで実行される時に、上記請求項１から１７のいずれか一項に記載の知的運転制御方法を実現するコンピュータプログラム。