JP7320307B1 - 知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法 - Google Patents

知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法 Download PDF

Info

Publication number
JP7320307B1
JP7320307B1 JP2022077903A JP2022077903A JP7320307B1 JP 7320307 B1 JP7320307 B1 JP 7320307B1 JP 2022077903 A JP2022077903 A JP 2022077903A JP 2022077903 A JP2022077903 A JP 2022077903A JP 7320307 B1 JP7320307 B1 JP 7320307B1
Authority
JP
Japan
Prior art keywords
dimensional
target
detection
prediction
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022077903A
Other languages
English (en)
Other versions
JP2023152231A (ja
Inventor
暉 張
▲ティン▼▲ティン▼ 滕
海涛 趙
洪波 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Application granted granted Critical
Publication of JP7320307B1 publication Critical patent/JP7320307B1/ja
Publication of JP2023152231A publication Critical patent/JP2023152231A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

【課題】知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法を提供する。【解決手段】１次元シーン向けの３種類の目標検出モデルを構築し、現在の時間類、天気類に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、この２種類のモデルをｍ３個の１次元目標検出モデルと階層的な結合検出を行い、階層的結合の基準として階層的結合メカニズムを採用し、第１階層的結合に対して、次元、確率の２つの異なる等級に基づいて、どの目標種別に属するかを順次決定し、第２階層的結合検出に対して、適合度、確率の２つの異なる等級に基づいて、どの目標類別に属するかを順次決定する。【効果】機器視覚分野における交通の複雑な多目標に向けた精密な階層的等級的結合検出に広く応用することができ、コストを保証すると同時に各種目標の終日時、全天候の精密な検出を実現することができ、非常に広い応用前景を有する。【選択図】図５

Description

本発明は、知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法に関し、機器視覚分野に属する。
近年、ディープラーニングの急速な発展および高性能グラフィックスカードの出現に伴い、コンピュータ視覚技術の発展が大いに促進された。ディープラーニングに基づく目標検出は、目標の特徴を自動的に抽出することができ、多くの時間を無駄にせずに人工的な分析、設計、抽出を行うことができ、検出精度およびシーンの適用性を大幅に向上させ、そのため、ディープラーニングに基づく車両歩行者検出技術の研究ブームを巻き起こしている。
車両歩行者検出アルゴリズムが解決しようとする問題は、画像または動画フレーム中のすべての車両、歩行者（位置と大きさを含む）を探し出すことであり、一般的には矩形枠で表される。既存の車両歩行者目標検出方法の大部分は、目標検出ネットワーク、特徴抽出方法などに対して革新を行うものである。これらの方法は、画像や動画中の目標行動そのものに重点を置いているが、画像や動画中の目標行動情報は、限られており、画像や動画内のシーン情報や、シーンと目標行動との関連性は、無視されがちである。しかし、画像や動画中のシーン情報や、シーンと目標行動との関連性は、車両歩行者検出アルゴリズムの正確性に直接的な影響を与える。
従来技術の不足を克服するために、本発明は、知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法を提案し、コストを保証すると同時に各種目標の終日時、全天候の精密な検出を実現することができる。
上述した技術課題を解決するために、本発明で採用される技術手段は、以下のとおりである。
本発明は、時間類、天気類、目標類のシーンを含む３次元シーン空間である知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法を提案し、具体的には、
時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含む。
さらに、前記ステップ１で、１次元シーン向けの３種類の目標検出モデルを構築し、具体的には、以下のとおりである。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
さらに、前記ステップ２で、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行う。
さらに、前記ステップ３における階層的結合は、具体的には、以下のとおりである。
（１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
（２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
さらに、前記第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせた結果に対して以下の処理を行って融合結果を出力する。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
、
、Ｐｕｏｔｈｅｒの三者のうち最大値に対応する類別を、合併後の予測枠が属する類別とし、かつ合併後の予測枠が属する類別の確率をその最大値とする。ここで、
は、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠の属する類別がｊｌである確率を示し、ｊｌは、１次元時間検出モデル／１次元天気検出モデルのｍ３＋１個の出力のいずれかを示す。
は、１次元目標検出モデルに対応する予測枠の属する類別がｊｋである結合確率を示し、
ｊｋは、ｍ３種類の目標のいずれかを示し、Ｐｕｏｔｈｅｒは、１次元目標検出モデルに対応する予測枠の属する類別がその他である結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がｊｋである結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がその他である確率を示し、ｋ＝１，２，．．．，ｍ３であり、出力にｊｋを含む１次元目標検出モデルから予測枠が出力されなかった場合、
、
。
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他であり、（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
さらに、前記第２階層的結合は、具体的には、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を以下のように処理して最終検出結果を出力する。
（ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
さらに、第１階層／第２階層的結合の際に、互いに重複している予測枠のうち、属する類別が同じものが存在する場合には、合併後の予測枠の属する類別の確率を更新し、更新後の確率は、
である。
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示す。
さらに、
前記誤検出閾値ｄ１の式は、以下のように定義される。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
。ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示す。
さらに、前記適合度は、時間類１次元シーン適合度と天気類１次元シーン適合度の２種類に分けられ、
検出対象画像の時間類１次元シーン適合度
検出対象画像の天気類１次元シーン適合度
ここで、ＡＤＥＲＴは、時間類１次元シーンの平均動的変化率であり、ＡＤＥＲＷは、天気類１次元シーンの平均動的変化率であり、ＤＥＲＣｕｒｒｅｎｔは、検出対象画像の動的変化率である。
ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別である。
さらに、前記動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値であり、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下であり、
ここで、ＰＲｇｒａｙｒＣは、検出対象画像における階調値ｒの画素点が、検出対象画像の全画素点に占める割合を示し、
は、前／後フレーム画像の全画素点に占める、検出対象画像の前／後フレーム画像における階調値ｒの画素点の割合を示す。
前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値である。
本発明が提案する知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法は、コストを保証すると同時に各種目標の終日時、全天候の精密な検出を実現することができる。まず１次元シーン向けの３種類の目標検出モデルを構築し、次に時間類、天気類の２次元のシーンを事前知識として、現在の時間類、天気類に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、さらにこの２種類のモデルをｍ３個の１次元目標検出モデルと階層的な結合検出を行い、最後に階層的結合検出の基準として階層的結合検出メカニズムを提案し、第１階層的結合検出に対して、次元、確率の２つの異なる等級（優先度が順次低下する）に基づいて、どの目標種別に属するかを順次決定し、第２階層的結合検出に対して、適合度、確率の２つの異なる等級（優先度が順次低下する）に基づいて、どの目標類別に属するかを順次決定する。本発明は、機器視覚分野における交通の複雑な多目標に向けた精密な階層的等級的結合検出に広く応用することができ、コストを保証すると同時に各種目標の精密な検出を実現することができ、非常に広い応用前景を有する。
１次元シーン向けの３種類の検出モデル構築の流れを示す図である。 階層的結合の流れを示す図である。 第１階層的結合の流れを示す図である。 第２階層的結合の流れを示す図である。 知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法の流れを示す図である。
本発明によって提案された知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法をより詳細に説明するために、添付の図面および具体的な実施例を参照して以下にさらに説明する。
一実施例では、図５に示すように、知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法が提供されている。該方法は、前記知的交通環境を時間類、天気類、目標類のシーンを含む３次元シーン空間とみなし、具体的なステップは、以下のとおりである。
ステップ１において、時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得る。
ステップ２において、１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行う。
ステップ３において、ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力する。
一実施例では、図１に示すように、ステップ１で１次元シーン向けの３種類の目標検出モデルを構築し、具体的には以下のとおりである。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
一実施例では、ステップ１は、以下のステップを含む。
ステップＳ１０１において、３次元シーン空間を構築する。
昼／夜／未明／夕方などの異なる時間シーン、晴れ／曇り／雨／雪などの異なる天気シーンの交通の複雑な環境、および、自動車、非自動車、歩行者、その他などの目標タイプの交通多目標に対して、３次元シーン空間を構築する思想方法を提案する。この３つの次元のシーンは、それぞれ、時間、天気、目標類の１次元シーンであり、そのうち、時間類の１次元シーンは、未明／夕方／…の計ｍ１種類に分けられ、天気類の１次元シーンは、晴れ／曇り／…の計ｍ２種類に分けられ、目標類の１次元シーンは、自動車／非自動車／歩行者／…／その他の計ｍ３＋１種類に分けられる。
ステップＳ１０２において、サンプルデータを選択する。
時間類、天気類、目標類の１次元シーンに対して、それぞれ、対応するサンプルデータを選択する。
ステップＳ１０３において、サンプルラベリングを行う。
データラベリングツールｌａｂｅｌｉｍｇを用いて、Ｓ１０２で収集したサンプルデータに対してサンプルラベリングを行う。
ステップＳ１０４において、モデル学習を行う。
ラベリングしたデータセットをＹＯＬＯｖ３モデルの学習に用いると、全部でｍ１個の１次元時間検出モデル、ｍ２個の１次元天気検出モデル、ｍ３個の１次元目標検出モデルを得ることができる。そのうち、１次元時間検出モデル／１次元天気検出モデルの出力は、いずれも自動車／非自動車／歩行者／…／その他の計ｍ３＋１個の出力であり、１次元目標検出モデルの出力は「自動車／その他」、「非自動車／その他」、「歩行者／その他」・・・の１つである。
一実施例では、前記ステップ２において、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行う。
一実施例では、図２に示すように、ステップ３における階層的結合は、主に以下のステップを含む。
ステップＳ２０１において、第１階層的結合を行う。
ｍ３個の１次元目標検出モデルの出力結果を１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルの出力結果を１次元天気検出モデルの出力結果と融合させる。これは、第１階層的結合である。
ステップＳ２０２において、第２階層的結合を行う。
第１階層的結合の２つの融合結果をさらに融合させて出力する。これは、第２階層的結合である。
一実施例では、１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルは、目標類１次元シーンの各類別に対してサンプルのラベリングおよび学習を行うため、１次元目標検出モデルは、１次元時間検出モデル／１次元天気検出モデルに比べて、検出対象画像中の目標認識精度が高い。検出目標ｊｋの１次元目標検出モデルは、目標をｊｋと認識した場合は、誤検出や検出漏れがなく、認識目標がｊｋでない場合は、誤検出がないが、検出漏れがある可能性がある（ここで注意しなければならないのは、ｊｋは、自動車、非自動車、歩行者…のうちのいずれか１つであり、その他ではない。
）。１次元時間検出モデル／１次元天気検出モデルは、ｍ３＋１個の目標類別に対して誤検出する可能性があるが、類別がその他である場合にのみ検出漏れとなる。第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせ結果を図３に示すフローで処理した後、融合結果を出力する。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、次のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同じくＡであると、合併後の予測枠が属する類別は、Ａである。ここで、Ａは、自動車、非自動車、歩行者…のうちのいずれか１つであり、その他ではない。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別は、いずれもその他であれば、合併後の予測枠が属する類別は、その他である。
上記（１）と（２）の２つの場合において、合併後の予測枠の所属類別の確率は、以下のように更新される。
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示す。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別は、いずれも一致しなければ、
、
、Ｐｕｏｔｈｅｒの三者のうち最大値に対応する類別を、合併後の予測枠が属する類別とし、かつ合併後の予測枠が属する類別の確率をその最大値とする。
一般的に、検出目標ｊｋの１次元目標検出モデルから、目標類別ｊｋが出力される確率は、
で表され、目標類別のその他が出力される確率は、
で表される。ここで、ｏｔｈｅｒは、出力される目標類別がその他であることを表し、
具体的には、ある目標を検出する場合に予測枠が出力されず、すなわち検出漏れの場合、
、
。
一般に、１次元時間検出モデルから、目標類別ｊｌが出力される確率は、
で表される。ここで、Ｔは、時間を表し、ｊｌは、ｍ３＋１個の目標類別のいずれかを指す。具体的には、ある目標を検出する場合に予測枠が出力されず、すなわち検出漏れの場合、ｊｌは、その他であり、確率は、
である。
一般に、１次元天気検出モデルから、目標類別
が出力される確率は、
で表される。ここで、Ｗは、時間を表し、
は、ｍ３＋１個の目標類別のうちのいずれかの類別を指す。ここで、注意しなければならないこととして、ｊｌと
は、同一であっても異なっていてもよい。具体的には、ある目標を検出する場合に予測枠が出力されず、すなわち検出漏れの場合、
は、その他であり、確率は、
である。
したがって、１次元目標モデルから類別ｊｋが出力される結合確率は、次のように計算される。
１次元目標モデルから類別のその他が出力される結合確率は、次のように計算される。
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の所属類別は、その他である。（ｂ）所属類別が他の予測枠と異なる予測枠Ａが１つ存在する場合、合併後の予測枠の所属類別は、その予測枠Ａの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
一実施例では、第２階層的結合において、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を図４に示すフローに従って処理した後、最終検出結果を出力する。
（ア）互いに重複している予測枠については、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。この場合、合併後の予測枠の所属類別の確率は、以下のように更新される。
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示す。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
一実施例では、誤検出閾値ｄ１の式は、以下のように定義される。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
。ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示し、正規化に用いられる。
一実施例では、適合度は、動的変化率から得られる。動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値として定義される。ここで、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下である。
ここで、ＰＲｇｒａｙｒＣは、検出対象画像における階調値ｒの画素点が、検出対象画像の全画素点に占める割合を示し、
は、前／後フレーム画像の全画素点に占める、検出対象画像の前／後フレーム画像における階調値ｒの画素点の割合を示す。動的変化率は、連続する３フレーム画像相互間の階調分布変化率であることが分かる。
検出対象画像の対応する時間シーンの平均動的変化率ＡＤＥＲＴ、対応する天気シーンの平均動的変化率ＡＤＥＲＷおよび検出対象画像の動的変化率ＤＥＲＣｕｒｒｅｎｔに基づいて、適合度を計算する。
ここで、ＡＰＭＷＣｕｒｒｅｎｔは、検出対象画像の天気類１次元シーン適合度であり、ＡＰＭＴＣｕｒｒｅｎｔは、検出対象画像の時間類１次元シーン適合度であり、ＡＤＥＲＴは、時間類１次元シーンの平均動的変化率であり、ＡＤＥＲＷは、天気類の１次元シーンの平均動的変化率であり、ＤＥＲＣｕｒｒｅｎｔは、検出対象画像の動的変化率である。前記時間類／天気類の１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値である。
現在シーンは、時間、天気の２次元が交差するシーンであるため、現在シーンの動的変化率を、それぞれ対応する時間シーン、対応する天気シーンの平均動的変化率と減算して絶対値を取ると、適合度を得ることができる。それから、検出対象画像が、対応する時間シーンにより近いか、対応する天気シーンにより近いかを判断する。より近いシーンは、検出対象画像をより正確に記述することができるので、より近いシーンで作成されたモデルは、より正確に目標を予測することができる。したがって、ＡＰＭＴｎｏｗ＞ＡＰＭＷｎｏｗであれば、天気シーン出力に準じ、そうでなければ、時間シーン出力に準ずる。
以上の記載は、本発明の具体的な実施形態に過ぎず、本発明の範囲は、これに限定されるものではない。当業者であれば、本発明の開示された技術的範囲内において想定される変形や置換は、いずれも本発明の範囲内に包含されるべきである。したがって、本発明の保護範囲は、特許請求の範囲に基づくものである。
（付記）
（付記１）
時間類、天気類、目標類のシーンを含む３次元シーン空間である知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、具体的には、
時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
１次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含むことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（付記２）
付記１に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ１で、１次元シーン向けの３種類の目標検出モデルを構築し、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
（２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
（付記３）
付記２に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ２で、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行うことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（付記４）
付記３に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記ステップ３における階層的結合は、具体的には、以下のとおりであることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
（２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
（付記５）
付記４に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせた結果に対して以下の処理を行って融合結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
（１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
（２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
（３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
、
、Ｐｕｏｔｈｅｒの三者のうち最大値に対応する類別を、合併後の予測枠が属する類別とし、かつ合併後の予測枠が属する類別の確率をその最大値とする。ここで、
は、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠の属する類別がｊｌである確率を示し、ｊｌは、１次元時間検出モデル／１次元天気検出モデルのｍ３＋１個の出力のいずれかを示す。
は、１次元目標検出モデルに対応する予測枠の属する類別がｊｋである結合確率を示し、
ｊｋは、ｍ３種類の目標のいずれかを示し、Ｐｕｏｔｈｅｒは、１次元目標検出モデルに対応する予測枠の属する類別がその他である結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がｊｋである結合確率を示し、
は、出力にｊｋを含む１次元目標検出モデルの出力がその他である確率を示し、ｋ＝１，２，．．．，ｍ３。出力にｊｋを含む１次元目標検出モデルから予測枠が出力されなかった場合、
、
。
（４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他である。（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
（イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
（付記６）
付記４に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記第２階層的結合は、具体的には、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を以下のように処理して最終検出結果を出力することを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
（１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
（２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
（ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
（ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
（イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
（付記７）
付記５または６に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
第１階層／第２階層的結合の際に、互いに重複している予測枠のうち、属する類別が同じものが存在する場合には、合併後の予測枠の属する類別の確率を更新し、更新後の確率は、
であり、
ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示すことを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（付記８）
付記７に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記誤検出閾値ｄ１の式は、以下のように定義されることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
ｄ１＝ｄ＋δ×ＢＶ
ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
。
ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示す。
（付記９）
付記７に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記適合度は、時間類１次元シーン適合度と天気類１次元シーン適合度の２種類に分けられ、
検出対象画像の時間類１次元シーン適合度
検出対象画像の天気類１次元シーン適合度
ここで、ＡＤＥＲＴは、時間類１次元シーンの平均動的変化率であり、ＡＤＥＲＷは、天気類１次元シーンの平均動的変化率であり、ＤＥＲＣｕｒｒｅｎｔは、検出対象画像の動的変化率であり、
ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
（付記１０）
付記９に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
前記動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値であり、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下であり、
ここで、ＰＲｇｒａｙｒＣは、検出対象画像における階調値ｒの画素点が、検出対象画像の全画素点に占める割合を示し、
は、前／後フレーム画像の全画素点に占める、検出対象画像の前／後フレーム画像における階調値ｒの画素点の割合を示し、
前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値であることを特徴とする、
知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。

Claims (9)

  1. 時間類、天気類、目標類のシーンを含む３次元シーン空間である知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、具体的には、
    時間類、天気類、目標類の３つの１次元シーンのそれぞれに対してＹＯＬＯｖ３を学習し、１次元シーン向けの３種類の目標検出モデルである１次元時間検出モデル、１次元天気検出モデル、１次元目標検出モデルを得るステップ１と、
    １次元時間検出モデル、１次元天気検出モデルおよび１次元目標検出モデルに基づいて、それぞれ検出対象画像に対して目標検出を行うステップ２と、
    ステップ２の目標検出結果を階層的に結合し、検出対象画像の最終検出結果を出力するステップ３とを含み、
    前記ステップ１で、１次元シーン向けの３種類の目標検出モデルを構築し、具体的には、以下のとおりであることを特徴とする、
    知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
    （１）必要に応じて、時間類１次元シーンをｍ１種類、天気類１次元シーンをｍ２種類、目標類１次元シーンをｍ３＋１種類に分類する。
    （２）時間類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ１個の１次元時間検出モデルを得る。
    天気類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ２個の１次元天気検出モデルを得る。
    目標類１次元シーンの各類別に対して、各類別の学習サンプルをラベリングし、ＹＯＬＯｖ３を学習し、ｍ３個の１次元目標検出モデルを得る。
    ここで、１次元時間検出モデルおよび１次元天気検出モデルは、いずれもｍ３種類の目標および１種類のその他に対応するｍ３＋１個の出力を含み、１次元目標検出モデルは、１種類の目標および１種類のその他に対応する２個の出力を含む。
  2. 請求項１に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
    前記ステップ２で、検出対象画像の時間類１次元シーンおよび天気類１次元シーンにおける類別に基づいて、対応する１次元時間検出モデル、１次元天気検出モデルを選択し、検出対象画像に対して目標検出を行うことを特徴とする、
    知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
  3. 請求項２に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
    前記ステップ３における階層的結合は、具体的には、以下のとおりであることを特徴とする、
    知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
    （１）第１階層的結合：ｍ３個の１次元目標検出モデルの出力結果をそれぞれ１次元時間検出モデルの出力結果と融合させるとともに、ｍ３個の１次元目標検出モデルを１次元天気検出モデルの出力結果と融合させる。
    （２）第２階層的結合：第１階層的結合の２つの融合結果をさらに融合させる。
  4. 請求項３に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
    前記第１階層的結合に際して、ｍ３個の１次元目標検出モデルと１次元時間検出モデル／１次元天気検出モデルの出力結果を重ね合わせ、重ね合わせた結果に対して以下の処理を行って融合結果を出力することを特徴とする、
    知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
    （ア）互いに重複している予測枠を１つの予測枠に合併し、重複していない他の予測枠をそのまま保持する。前記合併の原則は、以下のとおりである。
    （１）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応するいずれかの予測枠とは、属する類別が同一であり、かつ、属する類別がその他でなければ、合併後の予測枠が属する類別は、その同一類別である。
    （２）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、１次元目標検出モデルに対応する全ての予測枠とは、属する類別がいずれもその他であれば、合併後の予測枠が属する類別は、その他である。
    （３）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠と、いずれかの１次元目標検出モデルに対応する予測枠とは、属する類別がいずれも一致しなければ、
    、
    、Ｐｕｏｔｈｅｒの三者のうち最大値に対応する類別を、合併後の予測枠が属する類別とし、かつ合併後の予測枠が属する類別の確率をその最大値とする。ここで、
    は、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠の属する類別がｊｌである確率を示し、ｊｌは、１次元時間検出モデル／１次元天気検出モデルのｍ３＋１個の出力のいずれかを示す。
    は、１次元目標検出モデルに対応する予測枠の属する類別がｊｋである結合確率を示し、
    ｊｋは、ｍ３種類の目標のいずれかを示し、Ｐｕｏｔｈｅｒは、１次元目標検出モデルに対応する予測枠の属する類別がその他である結合確率を示し、
    は、出力にｊｋを含む１次元目標検出モデルの出力がｊｋである結合確率を示し、
    は、出力にｊｋを含む１次元目標検出モデルの出力がその他である確率を示し、ｋ＝１，２，．．．，ｍ３。出力にｊｋを含む１次元目標検出モデルから予測枠が出力されなかった場合、
    、
    。
    （４）互いに重複している予測枠のうち、１次元時間検出モデル／１次元天気検出モデルに対応する予測枠がなければ、（ａ）全ての予測枠の属する類別が同一であると、合併後の予測枠の属する類別は、その他である。（ｂ）所属類別が他の予測枠と異なる予測枠Ｂが１つ存在する場合、合併後の予測枠の属する類別は、その予測枠Ｂの所属類別である。
    （イ）ほかと重ならない単一の予測枠について、その予測枠を一時的に保存し、その所属類別の確率をそのまま保持する。
  5. 請求項３に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
    前記第２階層的結合は、具体的には、第１階層的結合の２つの融合結果を重ね合わせ、重ね合わせた結果を以下のように処理して最終検出結果を出力することを特徴とする、
    知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
    （ア）互いに重複している予測枠について、それらを１つの予測枠に合併し、次の規則にしたがって、合併後の予測枠の属する類別を判断する。
    （１）互いに重複している予測枠の属する類別が同一であれば、合併後の予測枠の属する類別は、その同一類別である。
    （２）互いに重複している予測枠の属する類別が異なるであれば、予測枠に対応する適合度を比較する。
    （ａ）適合度が異なれば、合併後の予測枠の所属類別および確率は、対応適合度が小さい予測枠の所属類別および確率となる。
    （ｂ）適合度が同じであれば、合併後の予測枠の所属類別および確率は、対応確率が大きい予測枠の所属類別および確率となる。
    （イ）ほかと重ならない単一の予測枠について、その予測枠の属する類別の確率が誤検出閾値未満であればその予測枠を削除し、そうでなければその予測枠を保持し、確率をそのまま保持する。
  6. 請求項５に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
    前記誤検出閾値の式は、以下のように定義されることを特徴とする、
    知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
    ｄ１＝ｄ＋δ×ＢＶ
    ここで、ｄは、誤検出ベース閾値であり、δは、係数であり、ＢＶは、背景差分であり、
    。
    ＨＣｕｒｒｅｎｔｉ、ＳＣｕｒｒｅｎｔｉ、ＶＣｕｒｒｅｎｔｉは、それぞれ、検出対象画像の色相Ｈ、彩度Ｓ、明度Ｖの３つの成分がｉの値をとる個数を示し、ＨＢａｓｅｉ、ＳＢａｓｅｉ、ＶＢａｓｅｉは、基準画像のＨ、Ｓ、Ｖの３成分がｉの値をとる個数を示し、Ｈ＋Ｓ＋Ｖは、検出対象画像および基準画像におけるＨ、Ｓ、Ｖの３成分の合計個数を示す。
  7. 請求項４から６のいずれか１項に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
    第１階層／第２階層的結合の際に、互いに重複している予測枠のうち、属する類別が同じものが存在する場合には、合併後の予測枠の属する類別の確率を更新し、更新後の確率は、
    であり、
    ここで、ｑは、互いに重複している予測枠のうち、属する類別が同じである予測枠の数を示し、
    は、同じ類別に属するｏ番目の予測枠の前記類別の確率を示し、Δは、補償値を示すことを特徴とする、
    知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
  8. 請求項５に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
    前記適合度は、時間類１次元シーン適合度と天気類１次元シーン適合度の２種類に分けられ、
    検出対象画像の時間類１次元シーン適合度
    検出対象画像の天気類１次元シーン適合度
    ここで、ＡＤＥＲＴは、時間類１次元シーンの平均動的変化率であり、ＡＤＥＲＷは、天気類１次元シーンの平均動的変化率であり、ＤＥＲＣｕｒｒｅｎｔは、検出対象画像の動的変化率であり、
    ＡＰＭＴＣｕｒｒｅｎｔ＞ＡＰＭＷＣｕｒｒｅｎｔであれば、合併後の予測枠の属する類別は、１次元天気検出モデルの出力結果に対応する類別であり、そうでなければ、合併後の予測枠の属する類別は、１次元時間検出モデルの出力結果に対応する類別であることを特徴とする、
    知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
  9. 請求項８に記載の知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法であって、
    前記検出対象画像の動的変化率は、検出対象画像とその前後２フレーム画像との間の階調分布変化率の平均値であり、検出対象画像と前／後フレーム画像との間の階調分布変化率は、以下であり、
    ここで、ＰＲｇｒａｙｒＣは、検出対象画像における階調値ｒの画素点が、検出対象画像の全画素点に占める割合を示し、
    は、前／後フレーム画像の全画素点に占める、検出対象画像の前／後フレーム画像における階調値ｒの画素点の割合を示し、
    前記時間類／天気類１次元シーンの平均動的変化率は、連続する３つのフレーム画像のいくつかのセットの間の動的変化率の平均値であることを特徴とする、
    知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法。
JP2022077903A 2022-03-31 2022-05-11 知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法 Active JP7320307B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210337923.0 2022-03-31
CN202210337923.0A CN114842428A (zh) 2022-03-31 2022-03-31 面向智慧交通的复杂多目标分层分级联合精准检测方法

Publications (2)

Publication Number Publication Date
JP7320307B1 true JP7320307B1 (ja) 2023-08-03
JP2023152231A JP2023152231A (ja) 2023-10-16

Family

ID=82564816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022077903A Active JP7320307B1 (ja) 2022-03-31 2022-05-11 知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法

Country Status (2)

Country Link
JP (1) JP7320307B1 (ja)
CN (1) CN114842428A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047879A (zh) 2019-12-24 2020-04-21 苏州奥易克斯汽车电子有限公司 一种车辆超速检测方法
KR102122850B1 (ko) 2020-03-03 2020-06-15 (주)사라다 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN112487911A (zh) 2020-11-24 2021-03-12 中国信息通信科技集团有限公司 智能监控环境下基于改进yolov3的实时行人检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047879A (zh) 2019-12-24 2020-04-21 苏州奥易克斯汽车电子有限公司 一种车辆超速检测方法
KR102122850B1 (ko) 2020-03-03 2020-06-15 (주)사라다 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN112487911A (zh) 2020-11-24 2021-03-12 中国信息通信科技集团有限公司 智能监控环境下基于改进yolov3的实时行人检测方法及装置

Also Published As

Publication number Publication date
JP2023152231A (ja) 2023-10-16
CN114842428A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN109447018B (zh) 一种基于改进Faster R-CNN的道路环境视觉感知方法
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN113762209A (zh) 一种基于yolo的多尺度并行特征融合路标检测方法
CN116484971A (zh) 车辆的自动驾驶感知自学习方法、装置及电子设备
CN112364855A (zh) 一种基于多尺度特征融合的视频目标检测方法及***
CN112669615B (zh) 一种基于摄像头的停车位检测方法和***
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN116071747A (zh) 一种基于3d点云数据和2d图像数据融合匹配语义分割方法
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和***
CN115376108A (zh) 一种复杂天气下障碍物检测方法及装置
CN113361528B (zh) 一种多尺度目标检测方法及***
CN115985104A (zh) 一种交通流量预测装置、预测方法及预测模型构建方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN114898243A (zh) 基于视频流的交通场景解析方法以及装置
CN114419603A (zh) 一种自动驾驶车辆控制方法、***和自动驾驶车辆
CN113269119A (zh) 一种夜间车辆检测方法及装置
CN117218576A (zh) 一种基于视频识别的毫米波雷达点云自动标注方法
JP7320307B1 (ja) 知的交通に向けた複雑な多目標の精密な階層的等級的結合検出方法
CN117036412A (zh) 一种融合可变形卷积的孪生网络红外行人目标跟踪方法
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法
CN108256444B (zh) 一种用于车载视觉***的目标检测方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230714

R150 Certificate of patent or registration of utility model

Ref document number: 7320307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150