JP2020077414A - シーン検出装置及び方法 - Google Patents
シーン検出装置及び方法 Download PDFInfo
- Publication number
- JP2020077414A JP2020077414A JP2019196308A JP2019196308A JP2020077414A JP 2020077414 A JP2020077414 A JP 2020077414A JP 2019196308 A JP2019196308 A JP 2019196308A JP 2019196308 A JP2019196308 A JP 2019196308A JP 2020077414 A JP2020077414 A JP 2020077414A
- Authority
- JP
- Japan
- Prior art keywords
- input image
- vehicle
- lane
- detected
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】本発明の実施例はシーン検出装置及び方法を提供する。【解決手段】該装置及び方法は、入力画像における所定カテゴリの物体の検出結果及び所定ルールに基づいて、入力画像における該所定ルールに対応するシーンを検出することで、様々なシーンを簡単、効果的に検出することができ、実現のコストが低い。【選択図】図1
Description
本発明は、情報技術の分野に関し、特にシーン検出装置及び方法に関する。
自動車通信サービス(v2x)と自動運転技術の急速な発展と応用により、車載カメラを用いて交通シーンを識別するというニーズが益々差し迫っている。交通シーンは、例えば物体、物体の関係、背景、環境、時間、天気、照明など多くの複雑な要素で表すことができる。よって、シーンの状況は様々な方式で変化する可能性があるため、全ての交通シーンのために共通のパターンを定義することは困難である。
なお、上述した背景技術の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
本発明の発明者の発見によると、交通シーンを識別する従来の方法は、各状況の部分集合のみを考慮し、或いは複雑な方法を用いて複雑な要素を対処する必要がある。
本発明の実施例は、入力画像における所定カテゴリの物体の検出結果及び所定ルールに基づいて、入力画像における該所定ルールに対応するシーンを検出することで、様々なシーンを簡単、効果的に検出することができ、実現のコストが低い、シーン検出装置及び方法を提供する。
本発明の実施例の第1態様では、シーン検出装置であって、入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得する第1検出手段と、検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出する第2検出手段と、を含み、前記所定カテゴリの物体は、前記所定ルールに基づいて決定される、装置を提供する。
本発明の実施例の第2態様では、本発明の実施例の第1態様に記載の装置を含む電子機器を提供する。
本発明の実施例の第3態様では、シーン検出方法であって、入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得するステップと、検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出するステップと、を含み、前記所定カテゴリの物体は、前記所定ルールに基づいて決定される、方法を提供する。
本発明の効果としては、入力画像における所定カテゴリの物体の検出結果及び所定ルールに基づいて、入力画像における該所定ルールに対応するシーンを検出することで、様々なシーンを簡単、効果的に検出することができ、実現のコストが低い。
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。
ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
なお、用語「含む/有する」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
本発明の実施例1のシーン検出装置を示す図である。
本発明の実施例1の第1検出部を示す図である。
本発明の実施例1の入力画像における車両及び車線の検出結果を示す図である。
本発明の実施例1の第2検出部を示す図である。
本発明の実施例1の第1計算部を示す図である。
本発明の実施例1の入力画像に基づいて距離を計算する方法を示す図である。
本発明の実施例1の第1検出部を示す他の図である。
本発明の実施例1の第2検出部を示す他の図である。
本発明の実施例1の第1検出部を示す他の図である。
本発明の実施例1の第2検出部を示す他の図である。
本発明の実施例2の電子機器を示す図である。
本発明の実施例2の電子機器のシステム構成を示すブロック図である。
本発明の実施例3のシーン検出方法を示す図である。
本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。
<実施例1>
本発明の実施例はシーン検出装置を提供する。図1は本発明の実施例1のシーン検出装置を示す図である。図1に示すように、シーン検出装置100は、第1検出部101及び第2検出部102を含む。
本発明の実施例はシーン検出装置を提供する。図1は本発明の実施例1のシーン検出装置を示す図である。図1に示すように、シーン検出装置100は、第1検出部101及び第2検出部102を含む。
第1検出部101は、入力画像における所定カテゴリの物体を検出し、検出された物体の情報を取得する。
第2検出部102は、検出された物体の情報及び所定ルールに基づいて、該入力画像における該所定ルールに対応するシーンを検出する。
ここで、該所定カテゴリの物体は、該所定ルールに基づいて決定される。
本実施例によれば、入力画像における所定カテゴリの物体の検出結果及び所定ルールに基づいて、入力画像における該所定ルールに対応するシーンを検出することで、様々なシーンを簡単、効果的に検出することができ、実現のコストが低い。
本実施例では、該入力画像は車両における撮影装置により取得されてもよく、例えば、該入力画像は車載カメラにより撮影されてもよく、例えば、車載カメラにより現在車両の前方視野を撮影して取得されてもよい。
本実施例では、入力画像を取得するための車載カメラの所在する車両は、現在車両と称される。
本実施例では、第1検出部101及び第2検出部102は各種の検出方法を用いてシーンを検出してもよく、例えば、第1検出部101及び第2検出部102は、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)に基づいて、該入力画像における所定カテゴリの物体及び該入力画像における該シーンをそれぞれ検出する。該畳み込みニューラルネットワークの具体的な構成は従来技術を参照してもよい。
畳み込みニューラルネットワークは、強力な対象識別能力を有するため、実際の環境から複雑な要素を簡略化することができるため、検出効率及び検出精度をさらに向上させることができる。
本実施例では、異なるシーンの検出要求に応じて、異なるルールを予め設定し、設定された該ルールに基づいて識別すべき所定カテゴリの物体、即ち該ルールに関する物体を決定してもよい。
例えば、一般的な交通シーンは、渋滞、道路工事、及びバス待ちなどを含んでもよい。
本実施例では、これらの一般的な交通シーンについてその具体的な検出方法をそれぞれ説明するが、本発明の実施例はこれらのシーンの検出に限定されない。
まず、渋滞のシーンの検出方法を例示的に説明する。
図2は本発明の実施例1の第1検出部を示す図である。図2に示すように、第1検出部101は第3検出部201を含む。
第3検出部201は、該入力画像における車両及び車線を検出し、検出された車両の位置及び該車両の所在する車線を取得する。
図3は本発明の実施例1の入力画像における車両及び車線の検出結果を示す図である。図3に示すように、検出結果は、例えばトラック(truck)、小型乗用車(car)、ワゴン車(van)及びバス(bus)等の各種の車両及びそのタイプを含み、また、各車両の位置情報を含み、車線ラインの画定により各車両の所在する車線を決定する。
図4は本発明の実施例1の第2検出部を示す図である。図4に示すように、第2検出部102は、第1決定部401、第1計算部402及び第2決定部403を含む。
第1決定部401は、検出された車両の位置及び該車両の所在する車線に基づいて、車線占有率が高いか否かを決定する。
第1計算部402は、該入力画像を取得する現在車両と該現在車両の先行車両との距離を計算する。
第2決定部403は、該車線占有率が高い占有率であると判定され、且つ該距離が第1閾値以下である場合、該入力画像に渋滞のシーンが存在すると決定する。
本実施例では、第1決定部401は、検出された車両の位置及び該車両の所在する車線に基づいて車線占有率が高いか否かを決定し、例えば、該現在車両の所在する車線の車両の数が第2閾値以上であり、且つ該現在車両の所在する車線の隣接車線の車両の数が第3閾値以上である場合、該車線占有率が高い占有率であると決定する。
本実施例では、第2閾値及び第3閾値は実際の需要に応じて設定されてもよい。例えば、該第2閾値は1であり、該第3閾値は2である。
例えば、図3に示すように、該入力画像を撮影する現在車両の所在する車線の車両数が1であり、現在車両の所在する車線の隣接車線の車両数が2であるため、車線占有率が高いと決定する。
本実施例では、第1計算部402は、該入力画像を取得する現在車両と該現在車両の先行車両との距離を計算し、各種の方法を用いて該距離を計算してもよい。以下は、第1計算部402の構成及び計算方法を例示的に説明する。
図5は本発明の実施例1の第1計算部を示す図である。図5に示すように、第1計算部402は、第3決定部501、第2計算部502、検索部503及び第3計算部504を含む。
第3決定部501は、該現在車両の所在する車線の車線ラインに基づいて、基準三角形を決定する。
第2計算部502は、該入力画像を撮影するための車載カメラの焦点距離を計算する。
検索部503は、該基準三角形から該現在車両に最も近い車両の検出枠を検索する。
第3計算部504は、該焦点距離及び該検出枠の下辺の長さに基づいて、該現在車両と該現在車両の先行車両との距離を計算する。
図6は本発明の実施例1の入力画像に基づいて距離を計算する方法を示す図である。図6に示すように、現在車両の所在する車線の車線ライン及び現在車両の前方境界により形成された三角形を、基準三角形601とする。
本実施例では、第2計算部502は、該入力画像を撮影するための車載カメラの焦点距離を計算する。例えば、以下の式(1)に従って、該入力画像を撮影するための車載カメラの焦点距離を計算してもよい。
f=D*w/W (1)
ここで、fは車載カメラの焦点距離を表し、Dは基準三角形の底辺に対応する実際の幅を表し、wは車線ラインの幅方向の画素数を表し、Wは実際の車線幅を表す。
ここで、fは車載カメラの焦点距離を表し、Dは基準三角形の底辺に対応する実際の幅を表し、wは車線ラインの幅方向の画素数を表し、Wは実際の車線幅を表す。
本実施例では、検索部503は、該基準三角形から該現在車両に最も近い車両の検出枠を検索し、例えば、図6に示すように、該現在車両に最も近い車両の検出枠は602である。
本実施例では、第3計算部504は、該焦点距離及び該検出枠の下辺の長さに基づいて、該現在車両と該現在車両の先行車両との距離を計算し、例えば、以下の式(2)に従って該距離を計算してもよい。
dis=f*W/w1 (2)
ここで、disは該距離を表し、fは車載カメラの焦点距離を表し、Wは実際の車線幅を表し、w1は該検出枠の下辺の画素数を表す。
ここで、disは該距離を表し、fは車載カメラの焦点距離を表し、Wは実際の車線幅を表し、w1は該検出枠の下辺の画素数を表す。
次に、道路工事のシーンの検出方法を例示的に説明する。
図7は本発明の実施例1の第1検出部を示す他の図である。図7に示すように、第1検出部101は第4検出部701を含む。
第4検出部701は、入力画像における道路工事に関連する標識、及び該入力画像を取得する現在車両の所在する車線を検出し、検出された標識の位置及び数、並びに車線ラインを取得する。
図8は本発明の実施例1の第2検出部を示す他の図である。図8に示すように、第2検出部102は第4決定部801を含む。
第4決定部801は、検出された標識の各標識の数が所定条件を満たし、且つ検出された標識のうち少なくとも1つの標識が該車線ライン内に位置し、且つ/或いは該車線ラインと交差する場合、該入力画像に道路工事のシーンが存在すると決定する。
例えば、該所定条件は実際の需要に応じて設定されてもよく、例えば、該所定条件は、交通コーン(traffic cone)の数が5以上であり、且つフェンスの数が2以上であり、且つ方向転換の標識の数が1以上であることであってもよい。
次に、バス待ちのシーンの検出方法を例示的に説明する。
図9は本発明の実施例1の第1検出部を示す他の図である。図9に示すように、第1検出部101は第5検出部901を含む。
第5検出部901は、該入力画像における人、停留所表示板及びバス停留所を検出し、検出された人、停留所表示板及びバス停留所の数及び位置を取得する。
図10は本発明の実施例1の第2検出部を示す他の図である。図10に示すように、第2検出部102は第5決定部1001を含む。
第5決定部1001は、検出された停留所表示板及び/又はバス停留所の周囲の所定範囲内の人の数が第4閾値以上である場合、該入力画像にバス待ちのシーンが存在すると決定する。
言い換えれば、停留所表示板が検出され、且つ該停留所表示板の周囲の所定範囲内の人の数が第4閾値以上である場合、及び/又はバス停留所が検出され、且つ該バス停留所の周囲の所定範囲内の人の数が第4閾値以上である場合、該入力画像にバス待ちのシーンが存在すると決定する。
本実施例では、該所定範囲及び該第4閾値は実際の需要に応じて設定されてもよく、例えば、該所定範囲は停留所表示板から10メートルの範囲であり、該第4閾値は1である。
本実施例では、実際の需要に応じて第1検出部101及び第2検出部102に含まれる機能部を決定してもよく、例えば、対応するシーンの検出機能を実現するように、第1検出部101は図2、図7及び図9に示す構成における少なくとも1つを含んでもよく、第2検出部102は図4、図8及び図10に示す構成における少なくとも1つを含んでもよい。
本実施例では、図1に示すように、シーン検出装置100は送信部103をさらに含んでもよい。
送信部103は、検出された該入力画像におけるシーンの情報、及び該入力画像を取得する現在車両の所在する位置の情報を共に送信し、即ち、検出されたシーン及び該シーンが発生した位置の情報を共に送信する。例えば、インテリジェント交通管理システムに送信してもよいし、他の車両に送信してもよい。
本実施例では、送信部103はオプションの構成部である。
本実施例では、現在車両の所在する位置の情報は、例えば全地球測位システム(Global Positioning System:GPS)により取得されてもよい。
このように、検出されたシーン及び該シーンが発生した位置の情報をインテリジェント交通管理システム又は他の車両に共に送信することで、検出の価値及び実用性を向上させることができる。
本実施例によれば、入力画像における所定カテゴリの物体の検出結果及び所定ルールに基づいて、入力画像における該所定ルールに対応するシーンを検出することで、様々なシーンを簡単、効果的に検出することができ、実現のコストが低い。
<実施例2>
本発明の実施例は電子機器をさらに提供し、図11は本発明の実施例2の電子機器を示す図である。図11に示すように、電子機器500はシーン検出装置1101を含み、シーン検出装置1101の構成及び機能は実施例1に記載されたものと同じであり、ここでその説明を省略する。
本発明の実施例は電子機器をさらに提供し、図11は本発明の実施例2の電子機器を示す図である。図11に示すように、電子機器500はシーン検出装置1101を含み、シーン検出装置1101の構成及び機能は実施例1に記載されたものと同じであり、ここでその説明を省略する。
図12は本発明の実施例2の電子機器のシステム構成を示すブロック図である。図12に示すように、電子機器1200は、中央制御装置(中央処理装置)1201及び記憶装置1202を含んでもよく、記憶装置1202は中央制御装置1201に接続される。該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。
図6に示すように、電子機器1200は、入力部1203、ディスプレイ1204及び電源1205をさらに含んでもよい。
1つの態様では、実施例1のシーン検出装置の機能は中央制御装置1201に統合されてもよい。ここで、中央制御装置1201は、入力画像における所定カテゴリの物体を検出し、検出された該物体の情報を取得し、検出された該物体の情報及び所定ルールに基づいて、該入力画像における該所定ルールに対応するシーンを検出し、該所定カテゴリの物体は、該所定ルールに基づいて決定されるように構成されてもよい。
例えば、畳み込みニューラルネットワークに基づいて、該入力画像における所定カテゴリの物体及び該入力画像における前記シーンをそれぞれ検出する。
例えば、該入力画像における所定カテゴリの物体を検出し、検出された該物体の情報を取得するステップは、該入力画像における車両及び車線を検出し、検出された車両の位置及び該車両の所在する車線を取得するステップ、を含み、該検出された該物体の情報及び所定ルールに基づいて、該入力画像における該所定ルールに対応するシーンを検出するステップは、検出された車両の位置及び該車両の所在する車線に基づいて、車線占有率が高いか否かを決定するステップと、該入力画像を取得する現在車両と該現在車両の先行車両との距離を計算するステップと、該車線占有率が高い占有率であると判定され、且つ該距離が第1閾値以下である場合、該入力画像に渋滞のシーンが存在すると決定するステップと、を含む。
例えば、該検出された車両の位置及び該車両の所在する車線に基づいて、車線占有率が高いか否かを決定するステップは、該現在車両の所在する車線の車両の数が第2閾値以上であり、且つ該現在車両の所在する車線の隣接車線の車両の数が第3閾値以上である場合、該車線占有率が高い占有率であると決定するステップ、を含む。
例えば、該入力画像を取得する現在車両と該現在車両の先行車両との距離を計算するステップは、該現在車両の所在する車線の車線ラインに基づいて、基準三角形を決定するステップと、該入力画像を撮影するための車載カメラの焦点距離を計算するステップと、該基準三角形から該現在車両に最も近い車両の検出枠を検索するステップと、該焦点距離及び該検出枠の下辺の長さに基づいて、該現在車両と該現在車両の先行車両との距離を計算するステップと、を含む。
例えば、該入力画像における所定カテゴリの物体を検出し、検出された該物体の情報を取得するステップは、入力画像における道路工事に関連する標識、及び該入力画像を取得する現在車両の所在する車線を検出し、検出された標識の位置及び数、並びに車線ラインを取得するステップ、を含み、該検出された該物体の情報及び所定ルールに基づいて、該入力画像における該所定ルールに対応するシーンを検出するステップは、検出された標識の各標識の数が所定条件を満たし、且つ検出された標識のうち少なくとも1つの標識が該車線ライン内に位置し、且つ/或いは該車線ラインと交差する場合、該入力画像に道路工事のシーンが存在すると決定するステップ、を含む。
例えば、該入力画像における所定カテゴリの物体を検出し、検出された該物体の情報を取得するステップは、該入力画像における人、停留所表示板及びバス停留所を検出し、検出された人、停留所表示板及びバス停留所の数及び位置を取得するステップ、を含み、該検出された該物体の情報及び所定ルールに基づいて、該入力画像における該所定ルールに対応するシーンを検出するステップは、検出された停留所表示板及び/又はバス停留所の周囲の所定範囲内の人の数が第4閾値以上である場合、該入力画像にバス待ちのシーンが存在すると決定するステップ、を含む。
例えば、該入力画像は、現在車両における車載カメラにより取得される。
例えば、該中央制御装置1201は、検出された該入力画像におけるシーンの情報、及び該入力画像を取得する現在車両の所在する位置の情報を共に送信するように構成されてもよい。
もう1つの態様では、実施例1のシーン検出装置は中央制御装置1201とそれぞれ配置されてもよく、例えば、シーン検出装置は中央制御装置1201に接続されたチップであり、中央制御装置1201の制御によりシーン検出装置の機能を実現するように構成されてもよい。
本実施例における電子機器1200は、図12に示されている全ての構成部を含まなくてもよい。
図12に示すように、中央制御装置1201は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び/又は論理装置を含んでもよく、中央制御装置1201は入力を受け付け、電子機器1200の各部の操作を制御する。
記憶装置1202は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の1つ又は複数であってもよい。また、中央制御装置1201は、記憶装置1202に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の部材は従来技術に類似するため、ここでその説明が省略される。電子機器1200の各部は、本発明の範囲から逸脱することなく、専用のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。
本実施例によれば、入力画像における所定カテゴリの物体の検出結果及び所定ルールに基づいて、入力画像における該所定ルールに対応するシーンを検出することで、様々なシーンを簡単、効果的に検出することができ、実現のコストが低い。
<実施例3>
本発明の実施例は、実施例1のシーン検出装置に対応するシーン検出方法をさらに提供する。図13は本発明の実施例3のシーン検出方法を示す図である。図13に示すように、該方法は以下のステップを含む。
本発明の実施例は、実施例1のシーン検出装置に対応するシーン検出方法をさらに提供する。図13は本発明の実施例3のシーン検出方法を示す図である。図13に示すように、該方法は以下のステップを含む。
ステップ1301:入力画像における所定カテゴリの物体を検出し、検出された該物体の情報を取得する。
ステップ1302:検出された該物体の情報及び所定ルールに基づいて、該入力画像における該所定ルールに対応するシーンを検出する。
ここで、該所定カテゴリの物体は、該所定ルールに基づいて決定される。
本実施例では、上記各ステップの具体的な実現方法は実施例1に記載されたものと同じであり、ここでその説明を省略する。
本実施例によれば、入力画像における所定カテゴリの物体の検出結果及び所定ルールに基づいて、入力画像における該所定ルールに対応するシーンを検出することで、様々なシーンを簡単、効果的に検出することができ、実現のコストが低い。
本発明の実施例は、シーン検出装置又は電子機器においてプログラムを実行する際に、コンピュータに、該シーン検出装置又は電子機器において上記実施例3に記載のシーン検出方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。
本発明の実施例は、コンピュータに、シーン検出装置又は電子機器において上記実施例3に記載のシーン検出方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。
本発明の実施例を参照しながら説明したシーン検出装置又は電子機器において実行されているシーン検出方法は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図1に示す機能的ブロック図における1つ若しくは複数、又は機能的ブロック図の1つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図13に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ(FPGA)を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。
ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、モバイルハードディスク、CD−ROM又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はASICに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、電子機器が比較的に大きい容量のMEGA−SIMカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該MEGA−SIMカード又は大容量のフラッシュメモリ装置に記憶されてもよい。
図1に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲートアレイ(FPGA)又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図1に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばDSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、DSP通信と組み合わせた1つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。
以上は具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。
また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
シーン検出方法であって、
入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得するステップと、
検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出するステップと、を含み、
前記所定カテゴリの物体は、前記所定ルールに基づいて決定される、方法。
(付記2)
畳み込みニューラルネットワークに基づいて、前記入力画像における所定カテゴリの物体及び前記入力画像における前記シーンをそれぞれ検出する、付記1に記載の方法。
(付記3)
前記入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得するステップは、
前記入力画像における車両及び車線を検出し、検出された車両の位置及び前記車両の所在する車線を取得するステップ、を含み、
前記検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出するステップは、
検出された車両の位置及び前記車両の所在する車線に基づいて、車線占有率が高いか否かを決定するステップと、
前記入力画像を取得する現在車両と前記現在車両の先行車両との距離を計算するステップと、
前記車線占有率が高い占有率であると判定され、且つ前記距離が第1閾値以下である場合、前記入力画像に渋滞のシーンが存在すると決定するステップと、を含む、付記1に記載の方法。
(付記4)
前記検出された車両の位置及び前記車両の所在する車線に基づいて、車線占有率が高いか否かを決定するステップは、
前記現在車両の所在する車線の車両の数が第2閾値以上であり、且つ前記現在車両の所在する車線の隣接車線の車両の数が第3閾値以上である場合、前記車線占有率が高い占有率であると決定するステップ、を含む、付記3に記載の方法。
(付記5)
前記入力画像を取得する現在車両と前記現在車両の先行車両との距離を計算するステップは、
前記現在車両の所在する車線の車線ラインに基づいて、基準三角形を決定するステップと、
前記入力画像を撮影するための車載カメラの焦点距離を計算するステップと、
前記基準三角形から前記現在車両に最も近い車両の検出枠を検索するステップと、
前記焦点距離及び前記検出枠の下辺の長さに基づいて、前記現在車両と前記現在車両の先行車両との距離を計算するステップと、を含む、付記3に記載の方法。
(付記6)
前記入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得するステップは、
入力画像における道路工事に関連する標識、及び前記入力画像を取得する現在車両の所在する車線を検出し、検出された標識の位置及び数、並びに車線ラインを取得するステップ、を含み、
前記検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出するステップは、
検出された標識の各標識の数が所定条件を満たし、且つ検出された標識のうち少なくとも1つの標識が前記車線ライン内に位置し、且つ/或いは前記車線ラインと交差する場合、前記入力画像に道路工事のシーンが存在すると決定するステップ、を含む、付記1に記載の方法。
(付記7)
前記入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得するステップは、
前記入力画像における人、停留所表示板及びバス停留所を検出し、検出された人、停留所表示板及びバス停留所の数及び位置を取得するステップ、を含み、
前記検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出するステップは、
検出された停留所表示板及び/又はバス停留所の周囲の所定範囲内の人の数が第4閾値以上である場合、前記入力画像にバス待ちのシーンが存在すると決定するステップ、を含む、付記1に記載の方法。
(付記8)
前記入力画像は、現在車両における車載カメラにより取得される、付記1に記載の方法。
(付記9)
検出された前記入力画像におけるシーンの情報、及び前記入力画像を取得する現在車両の所在する位置の情報を共に送信するステップ、をさらに含む、付記1に記載の方法。
(付記1)
シーン検出方法であって、
入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得するステップと、
検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出するステップと、を含み、
前記所定カテゴリの物体は、前記所定ルールに基づいて決定される、方法。
(付記2)
畳み込みニューラルネットワークに基づいて、前記入力画像における所定カテゴリの物体及び前記入力画像における前記シーンをそれぞれ検出する、付記1に記載の方法。
(付記3)
前記入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得するステップは、
前記入力画像における車両及び車線を検出し、検出された車両の位置及び前記車両の所在する車線を取得するステップ、を含み、
前記検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出するステップは、
検出された車両の位置及び前記車両の所在する車線に基づいて、車線占有率が高いか否かを決定するステップと、
前記入力画像を取得する現在車両と前記現在車両の先行車両との距離を計算するステップと、
前記車線占有率が高い占有率であると判定され、且つ前記距離が第1閾値以下である場合、前記入力画像に渋滞のシーンが存在すると決定するステップと、を含む、付記1に記載の方法。
(付記4)
前記検出された車両の位置及び前記車両の所在する車線に基づいて、車線占有率が高いか否かを決定するステップは、
前記現在車両の所在する車線の車両の数が第2閾値以上であり、且つ前記現在車両の所在する車線の隣接車線の車両の数が第3閾値以上である場合、前記車線占有率が高い占有率であると決定するステップ、を含む、付記3に記載の方法。
(付記5)
前記入力画像を取得する現在車両と前記現在車両の先行車両との距離を計算するステップは、
前記現在車両の所在する車線の車線ラインに基づいて、基準三角形を決定するステップと、
前記入力画像を撮影するための車載カメラの焦点距離を計算するステップと、
前記基準三角形から前記現在車両に最も近い車両の検出枠を検索するステップと、
前記焦点距離及び前記検出枠の下辺の長さに基づいて、前記現在車両と前記現在車両の先行車両との距離を計算するステップと、を含む、付記3に記載の方法。
(付記6)
前記入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得するステップは、
入力画像における道路工事に関連する標識、及び前記入力画像を取得する現在車両の所在する車線を検出し、検出された標識の位置及び数、並びに車線ラインを取得するステップ、を含み、
前記検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出するステップは、
検出された標識の各標識の数が所定条件を満たし、且つ検出された標識のうち少なくとも1つの標識が前記車線ライン内に位置し、且つ/或いは前記車線ラインと交差する場合、前記入力画像に道路工事のシーンが存在すると決定するステップ、を含む、付記1に記載の方法。
(付記7)
前記入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得するステップは、
前記入力画像における人、停留所表示板及びバス停留所を検出し、検出された人、停留所表示板及びバス停留所の数及び位置を取得するステップ、を含み、
前記検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出するステップは、
検出された停留所表示板及び/又はバス停留所の周囲の所定範囲内の人の数が第4閾値以上である場合、前記入力画像にバス待ちのシーンが存在すると決定するステップ、を含む、付記1に記載の方法。
(付記8)
前記入力画像は、現在車両における車載カメラにより取得される、付記1に記載の方法。
(付記9)
検出された前記入力画像におけるシーンの情報、及び前記入力画像を取得する現在車両の所在する位置の情報を共に送信するステップ、をさらに含む、付記1に記載の方法。
Claims (10)
- シーン検出装置であって、
入力画像における所定カテゴリの物体を検出し、検出された前記物体の情報を取得する第1検出手段と、
検出された前記物体の情報及び所定ルールに基づいて、前記入力画像における前記所定ルールに対応するシーンを検出する第2検出手段と、を含み、
前記所定カテゴリの物体は、前記所定ルールに基づいて決定される、装置。 - 前記第1検出手段及び前記第2検出手段は、畳み込みニューラルネットワークに基づいて、前記入力画像における所定カテゴリの物体及び前記入力画像における前記シーンをそれぞれ検出する、請求項1に記載の装置。
- 前記第1検出手段は、
前記入力画像における車両及び車線を検出し、検出された車両の位置及び前記車両の所在する車線を取得する第3検出手段、を含み、
前記第2検出手段は、
検出された車両の位置及び前記車両の所在する車線に基づいて、車線占有率が高いか否かを決定する第1決定手段と、
前記入力画像を取得する現在車両と前記現在車両の先行車両との距離を計算する第1計算手段と、
前記車線占有率が高い占有率であると判定され、且つ前記距離が第1閾値以下である場合、前記入力画像に渋滞のシーンが存在すると決定する第2決定手段と、を含む、請求項1に記載の装置。 - 前記第1決定手段は、前記現在車両の所在する車線の車両の数が第2閾値以上であり、且つ前記現在車両の所在する車線の隣接車線の車両の数が第3閾値以上である場合、前記車線占有率が高い占有率であると決定する、請求項3に記載の装置。
- 前記第1計算手段は、
前記現在車両の所在する車線の車線ラインに基づいて、基準三角形を決定する第3決定手段と、
前記入力画像を撮影するための車載カメラの焦点距離を計算する第2計算手段と、
前記基準三角形から前記現在車両に最も近い車両の検出枠を検索する検索手段と、
前記焦点距離及び前記検出枠の下辺の長さに基づいて、前記現在車両と前記現在車両の先行車両との距離を計算する第3計算手段と、を含む、請求項3に記載の装置。 - 前記第1検出手段は、
入力画像における道路工事に関連する標識、及び前記入力画像を取得する現在車両の所在する車線を検出し、検出された標識の位置及び数、並びに車線ラインを取得する第4検出手段、を含み、
前記第2検出手段は、
検出された標識の各標識の数が所定条件を満たし、且つ検出された標識のうち少なくとも1つの標識が前記車線ライン内に位置し、且つ/或いは前記車線ラインと交差する場合、前記入力画像に道路工事のシーンが存在すると決定する第4決定手段、を含む、請求項1に記載の装置。 - 前記第1検出手段は、
前記入力画像における人、停留所表示板及びバス停留所を検出し、検出された人、停留所表示板及びバス停留所の数及び位置を取得する第5検出手段、を含み、
前記第2検出手段は、
検出された停留所表示板及び/又はバス停留所の周囲の所定範囲内の人の数が第4閾値以上である場合、前記入力画像にバス待ちのシーンが存在すると決定する第5決定手段、を含む、請求項1に記載の装置。 - 前記入力画像は、現在車両における車載カメラにより取得される、請求項1に記載の装置。
- 検出された前記入力画像におけるシーンの情報、及び前記入力画像を取得する現在車両の所在する位置の情報を共に送信する送信手段、をさらに含む、請求項1に記載の装置。
- 請求項1に記載の装置を含む電子機器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811311865.4 | 2018-11-06 | ||
CN201811311865.4A CN111144179A (zh) | 2018-11-06 | 2018-11-06 | 场景检测装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020077414A true JP2020077414A (ja) | 2020-05-21 |
Family
ID=70459928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019196308A Pending JP2020077414A (ja) | 2018-11-06 | 2019-10-29 | シーン検出装置及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200143175A1 (ja) |
JP (1) | JP2020077414A (ja) |
CN (1) | CN111144179A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022196316A1 (ja) * | 2021-03-16 | 2022-09-22 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法及びプログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11120277B2 (en) * | 2018-10-10 | 2021-09-14 | Denso Corporation | Apparatus and method for recognizing road shapes |
US11398150B2 (en) * | 2019-07-31 | 2022-07-26 | Verizon Patent And Licensing Inc. | Navigation analysis for a multi-lane roadway |
CN111589154B (zh) * | 2020-05-20 | 2021-05-07 | 苏州沁游网络科技有限公司 | 一种资源规范性检测及优化方法、装置、设备及存储介质 |
CN111967377A (zh) * | 2020-08-14 | 2020-11-20 | 上海眼控科技股份有限公司 | 工程车辆状态识别方法、装置、设备及存储介质 |
CN112241718B (zh) * | 2020-10-23 | 2024-05-24 | 北京百度网讯科技有限公司 | 车辆信息的检测方法、检测模型的训练方法和装置 |
CN114936330A (zh) * | 2021-02-04 | 2022-08-23 | 腾讯科技(深圳)有限公司 | 一种车辆行驶场景中信息推送的方法以及相关装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ITBO20030368A1 (it) * | 2003-06-17 | 2004-12-18 | Qubica S P A | Sistema per la gestione di almeno un evento in un impianto da bowling. |
JP6054777B2 (ja) * | 2013-03-01 | 2016-12-27 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
US9988047B2 (en) * | 2013-12-12 | 2018-06-05 | Magna Electronics Inc. | Vehicle control system with traffic driving control |
KR101663511B1 (ko) * | 2015-04-30 | 2016-10-14 | 엘지전자 주식회사 | 차량 운전 보조 장치, 차량 운전 보조 장치의 제어 방법 및 차량 |
JP7124700B2 (ja) * | 2016-08-26 | 2022-08-24 | ソニーグループ株式会社 | 移動体制御装置、移動体制御方法、及び、移動体 |
CN108316682A (zh) * | 2018-03-13 | 2018-07-24 | 陈闯 | 公交候车亭及组件 |
CN108615358A (zh) * | 2018-05-02 | 2018-10-02 | 安徽大学 | 一种道路拥堵检测方法及装置 |
-
2018
- 2018-11-06 CN CN201811311865.4A patent/CN111144179A/zh active Pending
-
2019
- 2019-10-29 JP JP2019196308A patent/JP2020077414A/ja active Pending
- 2019-11-01 US US16/671,760 patent/US20200143175A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022196316A1 (ja) * | 2021-03-16 | 2022-09-22 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN111144179A (zh) | 2020-05-12 |
US20200143175A1 (en) | 2020-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020077414A (ja) | シーン検出装置及び方法 | |
US10933881B1 (en) | System for adjusting autonomous vehicle driving behavior to mimic that of neighboring/surrounding vehicles | |
CN109284674B (zh) | 一种确定车道线的方法及装置 | |
CN108986465B (zh) | 一种车流量检测的方法、***及终端设备 | |
US9180814B2 (en) | Vehicle rear left and right side warning apparatus, vehicle rear left and right side warning method, and three-dimensional object detecting device | |
US9195894B2 (en) | Vehicle and mobile device traffic hazard warning techniques | |
CN111105639B (zh) | 车位状态检测方法及装置、车辆引导方法及***、摄像机 | |
JP7040605B2 (ja) | 交通監視装置、交通監視システム、交通監視方法及びプログラム | |
US20140365109A1 (en) | Apparatus and method for recognizing driving lane | |
CN111444798B (zh) | 电动自行车驾驶行为的识别方法、装置和计算机设备 | |
US10147315B2 (en) | Method and apparatus for determining split lane traffic conditions utilizing both multimedia data and probe data | |
JP6060058B2 (ja) | 交通流把握装置及び方法 | |
CN103377558A (zh) | 交通流量管控***及方法 | |
CN110972111B (zh) | 用于由自动驾驶车辆检测呼叫者的方法 | |
JP2018013847A (ja) | 端末装置、運転補助方法及び運転補助プログラム | |
JPWO2019189216A1 (ja) | 交通監視装置、交通監視システム、交通監視方法及びプログラム | |
CN114202936B (zh) | 一种交通指挥机器人及其控制方法 | |
CN114141022B (zh) | 应急车道占用行为检测方法、装置、电子设备及存储介质 | |
CN111681432B (zh) | 一种包含信号灯路口的拥堵源头确定方法及装置 | |
JP6185327B2 (ja) | 車両後側方警報装置、車両後側方警報方法および他車両距離検出装置 | |
CN116935631A (zh) | 基于雷视融合的异常交通态势检测方法、装置及*** | |
US10339803B2 (en) | Method for operating an assistance system of a motor vehicle and assistance system | |
JP2021182379A (ja) | 道路中心線の認識装置、認識方法及び電子機器 | |
JP2019212186A (ja) | 運転支援装置 | |
CN113994391A (zh) | 车辆通行提醒方法、装置及车载终端 |