JP2024032396A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2024032396A
JP2024032396A JP2022136023A JP2022136023A JP2024032396A JP 2024032396 A JP2024032396 A JP 2024032396A JP 2022136023 A JP2022136023 A JP 2022136023A JP 2022136023 A JP2022136023 A JP 2022136023A JP 2024032396 A JP2024032396 A JP 2024032396A
Authority
JP
Japan
Prior art keywords
vehicle
trajectory
area
information processing
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022136023A
Other languages
English (en)
Inventor
卓也 作元
Takuya Sakumoto
翔 磯部
Sho Isobe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2022136023A priority Critical patent/JP2024032396A/ja
Publication of JP2024032396A publication Critical patent/JP2024032396A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】移動物体の軌跡を高精度に抽出することを可能とする技術が提供されることが望まれる。【解決手段】時系列に沿って連続的に撮像された複数の撮像画像を取得する画像取得部と、前記複数の撮像画像それぞれから移動物体が写る領域を含んだ物体領域を検出する検出部と、前記物体領域に基づいて、第１の撮像画像における前記移動物体の第１の移動方向を算出する方向算出部と、前記第１の移動方向と前記第１の撮像画像から検出された第１の物体領域とに基づいて、前記移動物体の軌跡を抽出する軌跡抽出部と、を備える、情報処理装置が提供される。【選択図】図５

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。
近年、時系列に沿って撮像された動画像を解析することにより、移動物体の軌跡を抽出する技術が知られている。例えば、動画像を構成する複数のフレームそれぞれから移動物体が写る物体領域を検出し、各々の物体領域における所定位置（例えば、中心位置または左上隅位置など）を結ぶことによって移動物体の軌跡を抽出する技術が知られている（例えば、特許文献１参照。）。
特開２０２１－１３５８１５号公報
しかし、移動物体の軌跡を高精度に抽出することを可能とする技術が提供されることが望まれる。
上記課題を解決するために、本発明のある観点によれば、時系列に沿って連続的に撮像された複数の撮像画像を取得する画像取得部と、前記複数の撮像画像それぞれから移動物体が写る領域を含んだ物体領域を検出する検出部と、前記物体領域に基づいて、第１の撮像画像における前記移動物体の第１の移動方向を算出する方向算出部と、前記第１の移動方向と前記第１の撮像画像から検出された第１の物体領域とに基づいて、前記移動物体の軌跡を抽出する軌跡抽出部と、を備える、情報処理装置が提供される。
前記方向算出部は、前記複数の撮像画像から検出された前記物体領域それぞれに対応する所定位置に基づいて、前記第１の移動方向を算出してもよい。
前記軌跡抽出部は、前記第１の移動方向と、前記第１の物体領域と、第２の撮像画像における前記移動物体の第２の移動方向と、前記第２の撮像画像から検出された第２の物体領域とに基づいて、前記軌跡を抽出してもよい。
前記軌跡抽出部は、前記第１の移動方向と前記第１の物体領域とに基づいて、前記第１の物体領域の第１の代表点を決定し、前記第１の代表点を前記軌跡として抽出してもよい。
前記軌跡抽出部は、前記第１の物体領域に対応する所定位置から前記第１の撮像画像における左方向または右方向に所定の移動量だけ移動した位置を前記第１の代表点として決定してもよい。
前記軌跡抽出部は、前記物体の移動方向が右下方向または左上方向である場合に、前記第１の物体領域に対応する所定位置から前記第１の撮像画像における右方向に移動した位置を前記第１の代表点として決定してもよい。
前記軌跡抽出部は、前記物体の移動方向が左下方向または右上方向である場合に、前記第１の物体領域に対応する所定位置から前記第１の撮像画像における左方向に移動した位置を前記第１の代表点として決定してもよい。
前記軌跡抽出部は、前記第１の移動方向が前記第１の撮像画像における上方向または下方向から遠ざかるほど、前記移動量を大きくしてもよい。
前記検出部は、前記第１の撮像画像から前記移動物体の車種を検出し、前記軌跡抽出部は、前記車種に基づいて前記移動量を制御してもよい。
前記軌跡抽出部は、前記車種がトラックである場合には、前記車種が自動二輪車である場合と比較して、前記移動量を大きくしてもよい。
前記軌跡抽出部は、前記第１の物体領域を示す情報に基づいて前記第１の物体領域の大きさを算出し、前記第１の物体領域の大きさに基づいて前記移動量を制御してもよい。
前記第１の物体領域の大きさは、前記第１の物体領域の左右方向の長さまたは前記第１の物体領域の面積であってもよい。
前記軌跡抽出部は、前記第１の物体領域を示す情報に基づいて前記第１の物体領域の縦横比を算出し、前記縦横比に基づいて前記移動量を制御してもよい。
前記軌跡抽出部は、前記第２の移動方向と前記第２の物体領域とに基づいて、前記第２の物体領域の第２の代表点を決定し、前記第１の代表点と前記第２の代表点とに基づいて前記軌跡を抽出してもよい。
前記情報処理装置は、前記複数の撮像画像における計測線を跨いだ軌跡の数によって、前記移動物体の数を計測する計測部を備えてもよい。
前記移動物体は、車両であってもよい。
前記第１の撮像画像は、前記複数の撮像画像に含まれてもよい。
前記第１の撮像画像は、前記複数の撮像画像に含まれなくてもよい。
また、上記課題を解決するために本発明の別の観点によれば、時系列に沿って連続的に撮像された複数の撮像画像を取得することと、前記複数の撮像画像それぞれから移動物体が写る領域を含んだ物体領域を検出することと、前記物体領域に基づいて、第１の撮像画像における前記移動物体の第１の移動方向を算出することと、前記第１の移動方向と前記第１の撮像画像から検出された第１の物体領域とに基づいて、前記移動物体の軌跡を抽出することと、を備える、コンピュータにより実行される情報処理方法が提供される。
また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、時系列に沿って連続的に撮像された複数の撮像画像を取得する画像取得部と、前記複数の撮像画像それぞれから移動物体が写る領域を含んだ物体領域を検出する検出部と、前記物体領域に基づいて、第１の撮像画像における前記移動物体の第１の移動方向を算出する方向算出部と、前記第１の移動方向と前記第１の撮像画像から検出された第１の物体領域とに基づいて、前記移動物体の軌跡を抽出する軌跡抽出部と、として機能させるプログラムが提供される。
以上説明したように本発明によれば、移動物体の軌跡を高精度に抽出することを可能とする技術が提供される。
車両領域の代表点が車両領域の下端中心点である場合について説明するための図である。 車両領域の代表点が車両領域の中心点である場合について説明するための図である。 本発明の実施形態の概要を説明するための図である。 本発明の実施形態の概要を説明するための図である。 本発明の第１の実施形態に係る交通量計測システムの機能構成例を示す図である。 本発明の第１の実施形態に係る交通量計測装置２０の全体的な動作例を示すフローチャートである。 抽出部２３の詳細な動作例を示すフローチャートである。 車両領域の例を示す図である。 車両が撮像装置１０から見て左奥から右手前に走行している場合における代表点の決定例を示す図である。 車両が撮像装置１０から見て奥から手前に走行している場合における代表点の決定例を示す図である。 車両が撮像装置１０から見て右奥から左手前に走行している場合における代表点の決定例を示す図である。 車両が撮像装置１０から見て右手前から左奥に走行している場合における代表点の決定例を示す図である。 車両が撮像装置１０から見て手前から奥に走行している場合における代表点の決定例を示す図である。 車両が撮像装置１０から見て左手前から右奥に走行している場合における代表点の決定例を示す図である。 本発明の実施形態に係る交通量計測装置２０の例としての情報処理装置９００のハードウェア構成を示す図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（０．概要）
まず、本発明の実施形態の概要について説明する。
近年、時系列に沿って撮像された動画像を解析することにより、移動物体の軌跡を抽出する技術が知られている。例えば、上記したように、動画像を構成する複数の撮像画像それぞれから移動物体が写る物体領域を検出し、各々の物体領域における所定位置を代表点とし、代表点同士を結ぶことによって移動物体の軌跡を抽出する技術（以下、「比較例」とも言う。）が知られている。
以下では、動画像を構成する複数の撮像画像それぞれを「フレーム」とも言う。また、以下では、移動物体が車両である場合を主に想定する。かかる場合には、移動物体の移動は、車両の走行とも表現され得る。また、物体領域は、車両領域とも表現され得る。しかし、移動物体は、車両に限定されない。例えば、移動物体は、車両以外の乗り物（例えば、船舶、航空機など）であってもよいし、人物またはロボットなどであってもよい。
比較例においては、フレームにおける車両領域の代表点が、そのフレームの前または後に撮像されたフレーム（以下、「前後のフレーム」とも言う。）における車両領域に依存しない位置である。比較例のように、フレームにおける車両領域の代表点が、そのフレームの前後のフレームにおける車両領域に依存しない位置である場合には、改善すべき点が生じ得る。
以下では、かかる比較例が有する改善すべき点について説明する。より詳細に、フレームにおける車両領域の代表点が、そのフレームの前後のフレームにおける車両領域に依存しない位置である場合の例として、車両領域の代表点がその車両領域の下端中心点である場合、および、車両領域の代表点がその車両領域の中心点である場合について順に説明する。
（代表点が車両領域の下端中心点である場合）
図１は、車両領域の代表点が車両領域の下端中心点である場合について説明するための図である。図１を参照すると、フレームＦ４が示されている。フレームＦ４には、路面Ｒ１上を走行する車両Ｃ１が写っている。また、フレームＦ４には、路面Ｒ１において車両Ｃ１が走行する車線と同じ車線上を走行する車両の台数を計測するための計測線Ｌ１が設定されている。
さらに、図１を参照すると、複数のフレームそれぞれから検出された車両領域が、車両領域Ｓｔ１～Ｓｔ４として示されている。車両領域は、フレームに写る車両Ｃ１を含んだ領域であり、フレームから検出される。車両Ｃ１は、時間経過とともに車両領域Ｓｔ１の内部から車両領域Ｓｔ４の内部に向けて移動する。ここでは、図示しない撮像装置から見て左奥から右手前に向けて車両Ｃ１が移動しているため、車両Ｃ１の前面がフレームＦ４に写っている。
図１に示された例では、車両領域Ｓｔ４の下端中心点Ｐｔ４が、代表点として設定されている。同様に、車両領域Ｓｔ１～Ｓｔ３の下端中心点Ｐｔ１～Ｐｔ３が、代表点として設定されている。そして、代表点として設定された下端中心点Ｐｔ１～Ｐｔ４を結ぶことによって車両Ｃ１の軌跡Ｔｒ８が抽出され得る。
しかし、このようにして車両領域Ｓｔ１～Ｓｔ４の下端中心点Ｐｔ１～Ｐｔ４が、代表点として設定される場合には、図示しない撮像装置に対する車両Ｃ１の向きなどによっては、動画像から抽出された車両Ｃ１の軌跡Ｔｒ８の位置と、動画像において車両Ｃ１が実際に通過した位置との間にずれが生じてしまう場合がある。
より詳細に、車両Ｃ１の側面が車両領域Ｓｔ１～Ｓｔ４に含まれる場合には、動画像から抽出された車両Ｃ１の軌跡Ｔｒ８の位置が、動画像において車両Ｃ１が実際に通過した位置を基準として、車両Ｃ１の移動方向に向かって左または右にずれてしまう場合がある。
一例として、図１に示されるように、図示しない撮像装置から見て左奥から右手前に向けて移動している車両Ｃ１の右側面が車両領域Ｓｔ１～Ｓｔ４に含まれる場合には、動画像から抽出された車両Ｃ１の軌跡Ｔｒ８の位置が、動画像において車両Ｃ１が実際に通過した位置を基準として、車両Ｃ１の移動方向に向かって右に（すなわち、動画像における左に）ずれてしまう場合がある。
かかる場合には、実際に車線を走行した車両Ｃ１の軌跡Ｔｒ８が計測線Ｌ１を通過しない場合が生じ得る。より詳細に、図１に示された例では、車両Ｃ１の軌跡Ｔｒ８が、車両Ｃ１の移動方向に向かって計測線Ｌ１の右側（すなわち、動画像における計測線Ｌ１の左側）を通過してしまっている。そのため、計測線Ｌ１を跨いだ車両の台数によって車線を走行した車両の台数を計測する場合には、車線を走行した車両の台数が正確に計測できなくなってしまう。
さらに、車長（すなわち、車両の全長）の大きな車両（例えば、大型トラックなど）の軌跡の位置のほうが、車長の小さな車両（例えば、乗用車など）の軌跡の位置よりも、車両が実際に通過する位置とのずれが大きくなりやすい。そのため、複数の車両それぞれの軌跡として同一の軌跡が抽出されたとしても、複数の車両それぞれの実際の軌跡は互いに異なる場合がある。
以上、図１を参照しながら、車両領域の代表点が車両領域の下端中心点である場合について説明した。
（代表点が車両領域の中心点である場合）
図２は、車両領域の代表点が車両領域の中心点である場合について説明するための図である。図２を参照すると、図１に示された例と同様に、フレームＦ４が示されている。
図２に示された例では、車両領域Ｓｔ４の中心点Ｐｔ９４が、代表点として設定されている。同様に、車両領域Ｓｔ１～Ｓｔ３の中心点Ｐｔ９１～Ｐｔ９３が、代表点として設定されている。そして、代表点として設定された中心点Ｐｔ９１～Ｐｔ９４を結ぶことによって車両Ｃ１の軌跡Ｔｒ９が抽出され得る。
しかし、このようにして車両領域Ｓｔ１～Ｓｔ４の中心点Ｐｔ９１～Ｐｔ９４が、代表点として設定される場合には、動画像から抽出された車両Ｃ１の軌跡Ｔｒ９の位置と、動画像に写る路面Ｒ１の位置との間にずれが生じてしまう場合がある。
かかる場合には、実際に車線を走行した車両Ｃ１の軌跡Ｔｒ９が計測線Ｌ１を通過しない場合が生じ得る。そのため、計測線Ｌ１を跨いだ車両の台数によって車線を走行した車両の台数を計測する場合には、車線を走行した車両の台数が正確に計測できなくなってしまう。その他、路面Ｒ１上における車両Ｃ１の軌跡を、動画像に描画する処理が必要であったとしても、軌跡Ｔｒ９だけを用いてそのような処理を実行するのは困難である。
以上、図２を参照しながら、車両領域の代表点が車両領域の中心点である場合について説明した。
（計測線を調整する場合）
図１および図２を参照しながら説明したように、車両領域の代表点が車両領域の下端中心点または中心点である場合には、計測線Ｌ１を跨いだ車両の台数によって車線を走行した車両の台数を正確に計測できなくなってしまう。
これに対し、動画像から抽出される車両の軌跡の位置と、動画像において車両が実際に通過する位置との間に生じるずれをあらかじめ予測し、予測したずれに基づいて、計測線Ｌ１の長さまたは位置を調整する手法も想定される。しかし、かかる手法では、動画像から抽出される車両の軌跡の位置と、動画像において車両が実際に通過する位置との間に生じるずれを予測する手間が掛かってしまう。
あるいは、車線を走行する車両が必ず計測線Ｌ１を跨ぐように、計測線Ｌ１を長くしておく手法も想定される。しかしながら、かかる手法では、車両だけではなく計測対象以外の物体（例えば、障害物など）も計測線Ｌ１を跨いでしまう可能性が高まる。そのため、かかる手法では、車線を走行した車両の台数の計測精度が向上しない可能性がある。
（代表点をフレームから直接検出する場合）
複数のフレームそれぞれから検出された車両領域の所定位置を代表点として設定するのではなく、各フレームから画像処理により車両の一部の位置を代表点として検出し、代表点同士を結ぶことにより車両の軌跡を抽出する手法も想定される。例えば、各フレームから検出される車両の一部としては、車両の照明またはナンバープレートなどが想定され得る。
しかし、検出済みの車両領域の所定位置を代表点として設定する場合と比較して、フレームから画像処理によって代表点を直接検出する場合には、代表点を検出するためのシステム構成が複雑になってしまう。さらに、検出済みの車両領域の所定位置を代表点として設定する場合と比較して、フレームから画像処理によって代表点を直接検出する場合には、代表点を検出するための計算コストが増加してしまう。
そこで、本明細書においては、車両の軌跡を高精度に抽出することを可能とする技術について主に説明する。より詳細に、本明細書においては、フレームにおける車両領域の代表点が、そのフレームの前後のフレームにおける車両領域も加味された位置である場合について主に説明する。これにより、車両の移動方向が車両の軌跡に反映されるため、車両の軌跡が高精度に抽出され得る。
図３および図４は、本発明の実施形態の概要を説明するための図である。図３および図４を参照すると、図１に示された例と同様に、フレームＦ４が示されている。本発明の実施形態においては、複数の車両領域（図３に示された例では、車両領域Ｓｔ３、Ｓｔ４）に基づいて、動画像における車両Ｃ１の移動方向が算出される。
図３に示された例では、フレームのｘ軸（右方向）を基準とした車両Ｃ１の移動方向の時計回りの角度がθ（ただし、０≦θ＜２π［ｒａｄ］）によって表現されている。本発明の実施形態においては、車両領域Ｓｔ１～Ｓｔ４の下端中心点Ｐｔ１～Ｐｔ４が暫定的な代表点として設定され、暫定的な代表点が車両領域Ｓｔ１～Ｓｔ４の下端において補正される。図３に示された例では、補正後の代表点Ａ１～Ａ４が示されている。
より詳細に、本発明の実施形態において、代表点Ａ１～Ａ４は、車両領域Ｓｔ１～Ｓｔ４に写る車両の前面または背面の下端中心点に近い位置に設定される。例えば、図４を参照すると、車両領域Ｓｔ４には、車両Ｃ１の前面Ｆｆ４が写っている。このとき、代表点Ａ４は、前面Ｆｆ４の下端中心点Ｆｐ４と代表点Ａ４との距離Ｄが小さくなるように設定される。そして、代表点Ａ１～Ａ４が結ばれることにより、車両Ｃ１の軌跡Ｔｒ１が抽出される。
このように代表点Ａ１～Ａ４が設定されることにより、動画像から抽出される車両Ｃ１の軌跡Ｔｒ１の位置が、動画像において車両Ｃ１が実際に通過した位置から、車両Ｃ１の移動方向に向かって右または左にずれてしまう可能性が低減される。さらに、このように代表点Ａ１～Ａ４が設定されることにより、動画像から抽出された車両Ｃ１の軌跡Ｔｒ１の位置と、動画像に写る路面Ｒ１の位置との間にずれが生じてしまう可能性が低減され得る。
したがって、本発明の実施形態によれば、車両Ｃ１の軌跡Ｔｒ１が高精度に抽出されることが期待される。さらに、このようにして高精度に抽出された車両の軌跡に基づいて、計測線Ｌ１（図３）を跨いだ車両の台数によって車線を走行した車両の台数を計測することにより、車線を走行した車両の台数（以下、「交通量」とも言う。）が高精度に計測されることが期待される。
以上、本発明の実施形態の概要について説明した。
（１．第１の実施形態）
まず、本発明の第１の実施形態について説明する。
（１－１．交通量計測システムの構成）
図５を参照しながら、本発明の第１の実施形態に係る交通量計測システムの構成例について説明する。図５は、本発明の第１の実施形態に係る交通量計測システムの機能構成例を示す図である。図５に示されるように、本発明の第１の実施形態に係る交通量計測システム１は、撮像装置１０と、交通量計測装置２０と、記憶装置３０と、出力装置４０とを備える。
交通量計測装置２０は、コンピュータによって実現され得る。図５に示されるように、交通量計測装置２０は、撮像装置１０、記憶装置３０および出力装置４０それぞれと有線または無線により接続されている。また、交通量計測装置２０は、車両検出部２１と、車両追跡部２２と、抽出部２３と、交通量計測部２４とを備える。
車両検出部２１と、車両追跡部２２と、抽出部２３と、交通量計測部２４とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
あるいは、車両検出部２１と、車両追跡部２２と、抽出部２３と、交通量計測部２４とは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。演算装置による演算に必要なデータは、記憶装置３０によって適宜記憶される。
（撮像装置１０）
撮像装置１０は、カメラによって構成され得る。カメラは、時系列に沿って連続的に撮像を行って動画像を得るイメージセンサを含み得る。映像は、時系列に沿って連続的に撮像される複数のフレームを含み得る。例えば、撮像装置１０は、道路上方または道路脇などに設置されており、路面（道路平面）を撮像することによってフレームを連続的に交通量計測装置２０に出力する。
なお、図５に示された例では、撮像装置１０と交通量計測装置２０とは、別個に存在している。しかし、撮像装置１０と交通量計測装置２０とは、一体化されていてもよい。例えば、撮像装置１０は、交通量計測装置２０に組み込まれてもよい。
（記憶装置３０）
記憶装置３０は、交通量計測装置２０を動作させるためのプログラムおよび各種情報を記憶することが可能な記憶装置である。例えば、記憶装置３０は、不揮発性メモリによって構成されてよい。また、記憶装置３０は、交通量計測装置２０の動作の過程で必要となるデータを一時的に記憶することもできる。
なお、図５に示された例では、記憶装置３０と交通量計測装置２０とは、別個に存在している。しかし、記憶装置３０と交通量計測装置２０とは、一体化されていてもよい。例えば、記憶装置３０は、交通量計測装置２０に組み込まれてもよい。
（出力装置４０）
出力装置４０は、計測結果の一例として、交通量計測装置２０によって計測された交通量（例えば、所定の時間あたりの交通量など）を出力する。さらに、出力装置４０は、交通量計測装置２０によって他の計測結果（例えば、車両ごとの速度、車両の平均速度など）が計測される場合には、当該他の計測結果を出力してもよい。
例えば、出力装置４０は、ディスプレイによって構成されてよい。このとき、出力装置４０は、計測結果がユーザの視覚によって知覚され得るように計測結果を視覚情報として表示してよい。一例として、出力装置４０は、車両ごとの軌跡を動画像上に描画してもよい。しかし、出力装置４０の形態は限定されない。例えば、出力装置４０は、スピーカなどを含んでもよい。このとき、出力装置４０は、計測結果がユーザの聴覚によって知覚され得るように判定結果を聴覚情報として出力してよい。
なお、図５に示された例では、出力装置４０と交通量計測装置２０とは、別個に存在している。しかし、出力装置４０と交通量計測装置２０とは、一体化されていてもよい。例えば、出力装置４０は、交通量計測装置２０に組み込まれてもよい。
（交通量計測装置２０の動作例）
図６～図１４を参照しながら（図３～図５も適宜参照しながら）、交通量計測装置２０の動作例について説明する。図６は、本発明の第１の実施形態に係る交通量計測装置２０の全体的な動作例を示すフローチャートである。図６を参照すると、交通量計測装置２０によって実行されるステップとしてＳ１～Ｓ６が示されている。なお、交通量計測装置２０による交通量の計測が継続されている間は、Ｓ１～Ｓ６が繰り返し実行されてよい。
（車両検出部２１の動作例）
図６に示されるように、車両検出部２１は、画像取得部の例として機能し、撮像装置１０によって時系列に沿って連続的に撮像された複数のフレームを撮像装置１０から取得する（Ｓ１）。そして、車両検出部２１は、取得した複数のフレームを記憶装置３０に記憶させる。
また、車両検出部２１は、検出部の例として機能し、複数のフレームそれぞれから車両検出を行う（Ｓ２）。より詳細に、車両検出部２１は、複数のフレームそれぞれから車両が写る領域を含んだ車両領域を検出する。車両検出部２１は、車両領域を示す情報を記憶装置３０に記憶させる。
車両検出部２１は、撮像装置１０からフレームが出力されるたびに逐次的にフレームから車両領域の検出を行ってもよい。あるいは、車両検出部２１は、撮像装置１０から出力されたフレームを記憶装置３０に記憶させ、所定時間分のフレームが記憶装置３０に蓄積されてから、記憶装置３０に蓄積された所定時間分のフレームそれぞれから車両領域を検出してもよい。
車両領域は、フレームに写る車両の画素を囲む領域であってよい。本発明の実施形態においては、車両領域の形状が矩形形状である場合を主に想定する。しかし、車両領域の形状は、矩形形状以外の多角形形状であってもよい。
車両領域は、車両領域の基準位置の座標によって示されてもよい。すなわち、車両領域を示す情報は、車両領域の基準位置の座標であってもよい。車両領域の形状が矩形形状である場合、車両領域の基準位置の座標は、車両領域の四隅それぞれの座標であってもよいし、車両領域の左上隅の座標と車両領域の右下隅の座標との組み合わせであってもよいし、車両領域の右上隅の座標と車両領域の左下隅の座標であってもよい。
ここで、車両領域の検出の具体的な手法は特に限定されない。例えば、車両領域の検出は、ディープラーニングによる学習済みのニューラルネットワークモデルを用いて行われてもよいし、パターンマッチングを用いて行われてもよい。
さらに、車両検出部２１は、複数のフレームそれぞれに写る車両の種類（以下、「車種」とも言う。）をさらに検出してもよい。例えば、車両検出部２１は、各々の車両領域内に写る車両の車種をさらに検出してもよい。そして、車両検出部２１は、車両領域を示す情報に対応付けて車種を記憶装置３０に記憶させてもよい。
ここで、車種の検出の具体的な手法は特に限定されない。一例として、車両検出部２１は、車両領域内の画素値を車種分類器へ入力することに基づいて、車種分類器から出力される車種を得てもよい。なお、車種の例としては、普通自動車、バス、トラック、自動二輪車などが挙げられる。
（車両追跡部２２の動作例）
車両追跡部２２は、車両検出部２１によって検出された車両領域に基づいて、同一の車両を追跡することにより追跡結果を得る（Ｓ３）。かかる車両の追跡は、同一の車両の車両領域を紐づけるグルーピングに該当し得る。したがって、追跡結果は、同一の車両の車両領域同士の紐づけを示す情報である。なお、車両の追跡の具体的な手法は、特に限定されない。
例えば、車両追跡部２２は、連続する二つのフレーム間における車両領域の距離を算出し、算出した距離に基づいて当該二つのフレーム間における同一の車両の車両領域を推定してもよい。より詳細に、車両追跡部２２は、当該距離が所定の距離よりも小さい車両領域同士を、同一の車両の車両領域として推定してもよい。
あるいは、車両追跡部２２は、連続する二つのフレーム間における車両領域内の画素値に基づいて車両領域同士の類似度を算出し、算出した類似度に基づいて、当該二つのフレーム間における同一の車両の車両領域を推定してもよい。ここで、類似度はどのように算出されてもよい。
より詳細に、車両追跡部２２は、平均画素値同士の差分が所定の値よりも小さい車両領域同士を、同一の車両の車両領域として推定してもよい。あるいは、車両追跡部２２は、画素値の成分分布（例えば、ＲＧＢ分布）同士の類似度が所定の値よりも大きい車両領域同士を、同一の車両の車両領域として推定してもよい。あるいは、車両追跡部２２は、画素値から算出される特徴量同士の差分が所定の値よりも小さい車両領域同士を、同一の車両の車両領域として推定してもよい。
（抽出部２３の動作例）
抽出部２３は、車両ごとの車両領域に基づいて、車両ごとの軌跡を抽出する（Ｓ４）。図７を参照しながら、抽出部２３の詳細な動作例について説明する。
図７は、抽出部２３の詳細な動作例を示すフローチャートである。図７を参照すると、抽出部２３によって実行されるステップとしてＳ４１～Ｓ４４が示されている。Ｓ４１およびＳ４２は、車両追跡部２２によって同一の車両が推定された後に、車両追跡部２２によって実行されてもよい。
（検出結果取得Ｓ４１）
抽出部２３は、車両検出部２１によって検出された車両領域と、車両追跡部２２によって得られた追跡結果とに基づいて、同一の車両の車両領域を取得する（Ｓ４１）。なお、車両検出部２１によって検出された車種が車両領域を示す情報に紐づけられている場合には、抽出部２３は、車両領域を示す情報に紐づけられた車種をさらに取得してもよい。
（移動方向算出Ｓ４２）
抽出部２３は、方向算出部の例として機能し、検出結果取得Ｓ４１において取得した車両領域に対応する所定位置に基づいて、当該車両の移動方向を車両ごとに算出する（Ｓ４２）。以下では、抽出部２３が、車両領域ごとに車両の移動方向を算出する場合を想定する。しかし、抽出部２３は、２つ以上の車両領域ごとに車両の移動方向を算出してもよい。換言すると、２つ以上の車両領域における車両の移動方向が同じであってよい。
以下の説明においては、抽出部２３が、移動方向に基づく軌跡抽出に用いられるフレームにおける車両の移動方向を、２つのフレームから検出された車両領域に基づいて算出する場合を主に想定する。しかし、抽出部２３は、移動方向に基づく軌跡抽出に用いられるフレームにおける車両の移動方向を、３つ以上のフレームから検出された車両領域に基づいて算出してもよい。
また、以下の説明においては、車両の移動方向の算出に用いられる２つのフレームに、移動方向に基づく軌跡抽出に用いられるフレームが含まれる場合を想定する。しかし、車両の移動方向の算出に用いられる複数のフレームには、移動方向に基づく軌跡抽出に用いられるフレームが含まれなくてもよい。以下の説明においては、車両の移動方向の算出に用いられる２つのフレームのうち、後のフレームを「最新のフレーム」とも表現し、前のフレームを「直前のフレーム」とも表現する。
抽出部２３は、最新のフレームおよび直前のフレームそれぞれから検出された車両領域に対応する所定位置に基づいて、最新のフレームにおける車両の移動方向を算出する。以下の説明においては、車両領域に対応する所定位置が、車両領域の下端中心点である場合を主に想定する。しかし、車両領域に対応する所定位置は、車両領域に対応する他の点（例えば、中心点など）であってもよい。
（代表点決定Ｓ４３）
抽出部２３は、軌跡抽出部の例として機能し、最新のフレームにおける車両領域と、最新のフレームにおける車両の移動方向とに基づいて、当該車両領域の軌跡を抽出する。まず、抽出部２３は、最新のフレームにおける車両領域と、最新のフレームにおける車両の移動方向とに基づいて、当該車両領域の代表点を決定する（Ｓ４３）。まず、図８を参照しながら、本発明の実施形態に係る車両領域の例について説明する。
図８は、車両領域の例を示す図である。図８を参照すると、車両領域Ｓｔが示されており、車両領域Ｓｔの幅ｗ、車両領域Ｓｔの高さｈが示されている。
また、フレームにおける位置は、フレームの左上隅を原点とするｘｙ座標系によって表現される。図８には、フレームにおける右方向がｘ軸として示されており、フレームにおける下方向がｙ軸として示されている。しかし、原点の位置は、かかる例に限定されない。また、ｘ軸は、フレームにおける左方向であってもよいし、ｙ軸は、フレームにおける上方向であってもよい。
さらに、車両領域Ｓｔの基準位置Ｂ（ｘｓ，ｙｓ）が示されている。図８に示された例では、基準位置Ｂ（ｘｓ，ｙｓ）が車両領域Ｓｔの左上隅である。しかし、基準位置Ｂ（ｘｓ，ｙｓ）は、車両領域Ｓｔの他の位置（例えば、車両領域Ｓｔの右下隅、右上隅または左下隅など）であってもよい。
また、図８を参照すると、本発明の実施形態において移動方向に基づく軌跡抽出に用いられる代表点Ａ（ｘｐ，ｙｐ）が示されている。以下では、図９～図１４を参照しながら、代表点Ａ（ｘｐ，ｙｐ）を決定する手法の例について説明する。なお、撮像装置１０から見て車両がどの方向に走行しているかによって、代表点Ａの決定のされ方が異なるため、車両の走行方向別に代表点の決定手法について説明する。
（左奥から右手前への移動）
図９は、車両が撮像装置１０から見て左奥から右手前に走行している場合における代表点の決定例を示す図である。図９を参照すると、最新のフレームから検出された車両領域である最新の車両領域Ｓｔ４と、直前のフレームから検出された車両領域である直前の車両領域Ｓｔ３とが示されている。最新の車両領域Ｓｔ４および直前の車両領域Ｓｔ３は、同一の車両の車両領域である。
図９に示された例では、車両が撮像装置１０から見て左奥から右手前に走行しているため、最新の車両領域Ｓｔ４は、直前の車両領域Ｓｔ３を基準として、右下方向に移動している。
また、直前の車両領域Ｓｔ３の下端中心点Ｐｔ３から、最新の車両領域Ｓｔ４における下端中心点Ｐｔ４への方向が、車両の移動方向Ｍ１として算出されている。さらに、ｘ軸を基準とした車両の移動方向Ｍ１の時計回りの角度がθ（ただし、０≦θ＜π／２［ｒａｄ］）によって表現されている。また、車両領域Ｓｔ４の基準位置Ｂ４（ｘｓ，ｙｓ）が示されている。ここで、代表点Ａ４（ｘｐ，ｙｐ）を決定することを考える。
下端中心点Ｐｔ４のフレームにおける上下方向における位置は、車両が路面に接する位置と近いことが想定される。したがって、抽出部２３は、下端中心点Ｐｔ４のフレームにおける上下方向における位置と、代表点Ａ４のフレームにおける上下方向における位置とを同じにしてよい。したがって、抽出部２３は、代表点Ａ４のｙ座標（ｙｐ）を、下記の式（１）によって算出してよい。これによって、代表点Ａ４の位置と、フレームに写る路面の位置との間のずれが大きくならずに済む。
ｙｐ＝ｙｓ＋ｈ ・・・（１）
代表点Ａ４のフレームにおける左右方向における位置は、車両の前面または背面の下端中心点に近い位置に設定されるのが望ましい。これによって、代表点Ａ４の位置が、フレームにおいて車両が実際に通過した位置から、車両の移動方向に向かって右または左にずれてしまう可能性が低減される。したがって、抽出部２３は、下端中心点Ｐｔ４から、最新の車両領域Ｓｔ４における左方向または右方向に所定の移動量だけ移動させた位置を、代表点Ａ４として決定してよい。
図９に示された例では、０≦θ＜π／２［ｒａｄ］という条件が成立している。かかる条件が成立している場合、車両がフレームにおける右下方向に移動していることが抽出部２３によって推定され得る。このとき、車両領域Ｓｔ４には、車両の前面および右側面が写っていると考えられる。したがって、下端中心点Ｐｔ４は、車両の前面の下端中心点を基準として、車両の移動方向に向かって右（すなわち、フレームにおける左方向）にずれてしまっていると考えられる。そのため、抽出部２３は、下端中心点Ｐｔ４を車両の移動方向に向かって左（すなわち、フレームにおける右方向）に移動させた位置を、代表点Ａ４として決定してよい。
より詳細に、抽出部２３は、０≦θ＜π／２［ｒａｄ］が成立する場合、代表点Ａ４のｘ座標（ｘｐ）を、下記の式（２）によって算出してよい。
Figure 2024032396000002
ここで、上記の式（２）におけるＣは、下端中心点Ｐｔ４から代表点Ａ４までの移動量を調整するための補正係数であり、０以上の値を取り得る。
例えば、車両の移動方向がフレームにおける上下方向から遠ざかるほど、下端中心点Ｐｔ４が、車両の前面の下端中心点を基準として、大きくずれてしまうことが想定される。したがって、抽出部２３は、車両の移動方向がフレームにおける上下方向から遠ざかるほど（図９に示された例では、θが０に近づくほど）、下端中心点Ｐｔ４から代表点Ａ４までの移動量を大きくしてもよい（すなわち、補正係数Ｃを大きくしてもよい）。
（奥から手前への移動）
図１０は、車両が撮像装置１０から見て奥から手前に走行している場合における代表点の決定例を示す図である。図１０に示された例では、車両が撮像装置１０から見て奥から手前に走行しているため、最新の車両領域Ｓｔ４は、直前の車両領域Ｓｔ３を基準として、下方向に移動している。
図１０に示された例では、ｘ軸を基準とした車両の移動方向Ｍ１の時計回りの角度は、θ（ただし、θ＝π／２［ｒａｄ］）によって表現される。
図１０に示された例では、θ＝π／２［ｒａｄ］という条件が成立している。かかる条件が成立している場合、車両がフレームにおける下方向に移動していることが抽出部２３によって推定され得る。このとき、車両領域Ｓｔ４には、車両の前面が写っており、車両の側面は写っていないと考えられる。したがって、下端中心点Ｐｔ４の、車両の前面の下端中心点からのずれが小さいと考えられる。そのため、抽出部２３は、下端中心点Ｐｔ４の位置を、代表点Ａ４として決定してよい。
より詳細に、抽出部２３は、θ＝π／２［ｒａｄ］が成立する場合、０≦θ＜π／２［ｒａｄ］が成立する場合と同様に、代表点Ａ４のｘ座標（ｘｐ）を、上記の式（２）によって算出してよい。
（右奥から左手前への移動）
図１１は、車両が撮像装置１０から見て右奥から左手前に走行している場合における代表点の決定例を示す図である。図１１に示された例では、車両が撮像装置１０から見て右奥から左手前に走行しているため、最新の車両領域Ｓｔ４は、直前の車両領域Ｓｔ３を基準として、左下方向に移動している。
図１１に示された例では、ｘ軸を基準とした車両の移動方向Ｍ１の時計回りの角度は、θ（ただし、π／２≦θ＜π［ｒａｄ］）によって表現される。
図１１に示された例では、π／２≦θ＜π［ｒａｄ］という条件が成立している。かかる条件が成立している場合、車両がフレームにおける左下方向に移動していることが抽出部２３によって推定され得る。このとき、車両領域Ｓｔ４には、車両の前面および左側面が写っていると考えられる。したがって、下端中心点Ｐｔ４は、車両の前面の下端中心点を基準として、車両の移動方向に向かって左（すなわち、フレームにおける右方向）にずれてしまっていると考えられる。そのため、抽出部２３は、下端中心点Ｐｔ４を車両の移動方向に向かって右（すなわち、フレームにおける左方向）に移動させた位置を、代表点Ａ４として決定してよい。
より詳細に、抽出部２３は、π／２≦θ＜π［ｒａｄ］が成立する場合、０≦θ＜π／２［ｒａｄ］が成立する場合と同様に、代表点Ａ４のｘ座標（ｘｐ）を、上記の式（２）によって算出してよい。
（右手前から左奥への移動）
図１２は、車両が撮像装置１０から見て右手前から左奥に走行している場合における代表点の決定例を示す図である。図１２に示された例では、車両が撮像装置１０から見て右手前から左奥に走行しているため、最新の車両領域Ｓｔ４は、直前の車両領域Ｓｔ３を基準として、左上方向に移動している。
図１２に示された例では、ｘ軸を基準とした車両の移動方向Ｍ１の時計回りの角度は、θ（ただし、π≦θ＜３π／２［ｒａｄ］）によって表現される。
図１２に示された例では、π≦θ＜３π／２［ｒａｄ］という条件が成立している。かかる条件が成立している場合、車両がフレームにおける左上方向に移動していることが抽出部２３によって推定され得る。このとき、車両領域Ｓｔ４には、車両の後面および左側面が写っていると考えられる。したがって、下端中心点Ｐｔ４は、車両の後面の下端中心点を基準として、車両の移動方向に向かって右（すなわち、フレームにおける左方向）にずれてしまっていると考えられる。そのため、抽出部２３は、下端中心点Ｐｔ４を車両の移動方向に向かって右（すなわち、フレームにおける右方向）に移動させた位置を、代表点Ａ４として決定してよい。
より詳細に、抽出部２３は、π≦θ＜３π／２［ｒａｄ］が成立する場合、代表点Ａ４のｘ座標（ｘｐ）を、下記の式（３）によって算出してよい。
Figure 2024032396000003
（手前から奥への移動）
図１３は、車両が撮像装置１０から見て手前から奥に走行している場合における代表点の決定例を示す図である。図１３に示された例では、車両が撮像装置１０から見て手前から奥に走行しているため、最新の車両領域Ｓｔ４は、直前の車両領域Ｓｔ３を基準として、上方向に移動している。
図１３に示された例では、ｘ軸を基準とした車両の移動方向Ｍ１の時計回りの角度は、θ（ただし、θ＝３π／２［ｒａｄ］）によって表現される。
図１３に示された例では、θ＝３π／２［ｒａｄ］という条件が成立している。かかる条件が成立している場合、車両がフレームにおける上方向に移動していることが抽出部２３によって推定され得る。このとき、車両領域Ｓｔ４には、車両の後面が写っており、車両の側面は写っていないと考えられる。したがって、下端中心点Ｐｔ４の、車両の後面の下端中心点からのずれが小さいと考えられる。そのため、抽出部２３は、下端中心点Ｐｔ４の位置を、代表点Ａ４として決定してよい。
より詳細に、抽出部２３は、θ＝３π／２［ｒａｄ］が成立する場合、π≦θ＜３π／２［ｒａｄ］が成立する場合と同様に、代表点Ａ４のｘ座標（ｘｐ）を、上記の式（３）によって算出してよい。
（左手前から右奥への移動）
図１４は、車両が撮像装置１０から見て左手前から右奥に走行している場合における代表点の決定例を示す図である。図１４に示された例では、車両が撮像装置１０から見て左手前から右奥に走行しているため、最新の車両領域Ｓｔ４は、直前の車両領域Ｓｔ３を基準として、右上方向に移動している。
図１４に示された例では、ｘ軸を基準とした車両の移動方向Ｍ１の時計回りの角度は、θ（ただし、３π／２≦θ＜２π［ｒａｄ］）によって表現される。
図１４に示された例では、３π／２≦θ＜２π［ｒａｄ］という条件が成立している。かかる条件が成立している場合、車両がフレームにおける右上方向に移動していることが抽出部２３によって推定され得る。このとき、車両領域Ｓｔ４には、車両の後面および右側面が写っていると考えられる。したがって、下端中心点Ｐｔ４は、車両の後面の下端中心点を基準として、車両の移動方向に向かって右（すなわち、フレームにおける右方向）にずれてしまっていると考えられる。そのため、抽出部２３は、下端中心点Ｐｔ４を車両の移動方向に向かって左（すなわち、フレームにおける左方向）に移動させた位置を、代表点Ａ４として決定してよい。
より詳細に、抽出部２３は、３π／２≦θ＜２π［ｒａｄ］が成立する場合、π≦θ＜３π／２［ｒａｄ］が成立する場合と同様に、代表点Ａ４のｘ座標（ｘｐ）を、上記の式（３）によって算出してよい。
（線形補間）
以上、図９～図１４を参照しながら、車両の走行方向別に代表点の決定手法について説明した。ここで、フレームのｘ軸（右方向）を基準とした車両Ｃ１の移動方向の時計回りの角度θが境界値を超える場合（すなわち、θの値が、π未満からπ以上に変化する場合、または、π以上からπ未満に変化する場合）、代表点Ａ４のｘ座標の算出に用いられる式が、上記の式（２）と上記の式（３）との間において切り替わる。そのため、角度θが境界値を超える前後における代表点Ａ４が、車両領域Ｓｔ４の下端において急激に移動してしまうことが考えられる。
したがって、抽出部２３は、角度θが境界値を超える時刻を基準とした所定の時間範囲に属する複数の時刻それぞれにおける代表点に基づいて、線形補間により角度θが境界値を超える前後における代表点Ａ４を補正してもよい。これによって、角度θが境界値を超える場合に、角度θが境界値を超える前後における代表点Ａ４が、車両領域Ｓｔ４の下端において急激に移動してしまうことが防止され得る。
（下端中心点から代表点までの移動量）
また、上記では、抽出部２３が、車両の移動方向がフレームにおける上下方向から遠ざかるほど、下端中心点Ｐｔ４から代表点Ａ４までの移動量を大きくする場合について説明した。しかし、抽出部２３は、他のパラメータに基づいて、下端中心点Ｐｔ４から代表点Ａ４までの移動量を制御してもよい。
例えば、車種によって車長の大きさが異なることが考えられるため、抽出部２３によって決定される代表点と、車両が実際に通過する位置との間に生じるずれが車種に応じて変化することが考えられる。そこで、抽出部２３は、車両検出部２１によって検出された車種に基づいて、下端中心点Ｐｔ４から代表点Ａ４までの移動量を制御してもよい。
一例として、車種がトラック（例えば、大型トラックなど）である場合には、車種が自動二輪車である場合と比較して、車長が大きいために、抽出部２３によって決定される代表点と、車両が実際に通過する位置との間に生じるずれが大きくなることが考えられる。そこで、抽出部２３は、車種がトラックである場合には、車種が自動二輪車である場合と比較して、下端中心点Ｐｔ４から代表点Ａ４までの移動量を大きくしてもよい（すなわち、補正係数Ｃを大きくしてもよい）。
一例として、抽出部２３は、車種がトラックである場合には、下端中心点Ｐｔ４から代表点Ａ４までの移動量を正の値としてもよい（すなわち、補正係数Ｃを正の値としてもよい）一方、抽出部２３は、車種が自動二輪車である場合には、下端中心点Ｐｔ４から代表点Ａ４までの移動量を０（ゼロ）にしてもよい（すなわち、補正係数Ｃを０にしてもよい）。
あるいは、車両領域の大きさによって車長の大きさが異なることが考えられるため、抽出部２３によって決定される代表点と、車両が実際に通過する位置との間に生じるずれが、車両領域の大きさに応じて変化することが考えられる。そこで、抽出部２３は、車両領域を示す情報に基づいて、車両領域の大きさを算出し、車両領域の大きさに基づいて、下端中心点Ｐｔ４から代表点Ａ４までの移動量を制御してもよい。
車両領域の大きさは、車両領域の左右方向の長さであってもよいし、車両領域の面積であってもよい。一例として、車両領域が大きいほど、車長が大きいことが想定される。そこで、抽出部２３は、車両領域が大きいほど、下端中心点Ｐｔ４から代表点Ａ４までの移動量を大きくしてもよい（すなわち、補正係数Ｃを大きくしてもよい）。
あるいは、車両領域の縦横比によって車長の大きさが異なることが考えられるため、抽出部２３によって決定される代表点と、車両が実際に通過する位置との間に生じるずれが、車両領域の縦横比に応じて変化することが考えられる。そこで、抽出部２３は、車両領域を示す情報に基づいて、車両領域の縦横比を算出し、車両領域の縦横比に基づいて、下端中心点Ｐｔ４から代表点Ａ４までの移動量を制御してもよい。
一例として、車両領域の縦横比が大きいほど、車長が大きいことが想定される。そこで、抽出部２３は、車両領域が大きいほど、下端中心点Ｐｔ４から代表点Ａ４までの移動量を大きくしてもよい（すなわち、補正係数Ｃを大きくしてもよい）。
以上のようにして、抽出部２３によって車両領域Ｓｔ４の代表点Ａ４が決定され得る。同様にして、他の車両領域の代表点も決定されることにより、同一の車両に対応する複数の車両領域それぞれの代表点が決定される。ここでは、車両領域Ｓｔ１～Ｓｔ４の代表点Ａ１～Ａ４（図３）が決定された場合を主に想定する。
（軌跡抽出Ｓ４４）
抽出部２３は、車両領域Ｓｔ１～Ｓｔ４の代表点Ａ１～Ａ４に基づいて、車両Ｃ１の軌跡を抽出する（Ｓ４４）。そして、抽出部２３は、例えば、図３に示されるように、抽出部２３は、各フレームから決定された代表点Ａ１～Ａ４を、フレームの撮像順序が隣接する代表点同士を線（例えば、直線または曲線）で結ぶことにより、車両Ｃ１の軌跡Ｔｒ１を抽出してもよい。
あるいは、抽出部２３は、軌跡が小刻みに振動してしまうことを防止するため、代表点同士を直接結ぶフレームの間隔を、１フレーム以上空けてもよいし、フレームの撮像順序が隣接する代表点同士を線で結んだ結果に対して、平滑化などの補正を行ってもよい。
あるいは、抽出部２３は、フレームの撮像順序が隣接する代表点の組（始点および終点）のリストを車両Ｃ１の軌跡Ｔｒ１として抽出してもよい。あるいは、抽出部２３は、車両領域Ｓｔ１～Ｓｔ４の代表点Ａ１～Ａ４それ自体を、車両Ｃ１の軌跡として抽出してもよい。
抽出部２３は、３つ以下の代表点に基づいて、車両Ｃ１の軌跡を抽出してもよい。例えば、抽出部２３は、車両領域Ｓｔ３、Ｓｔ４の代表点Ａ３、Ａ４に基づいて、車両Ｃ１の軌跡を抽出してもよい。例えば、抽出部２３は、車両領域Ｓｔ３、Ｓｔ４の代表点Ａ３、Ａ４それ自体を、車両Ｃ１の軌跡として抽出してもよい。あるいは、抽出部２３は、車両領域Ｓｔ４の代表点Ａ４を、車両Ｃ１の軌跡として抽出してもよい。
このとき、車両領域Ｓｔ４は、第１の撮像画像から検出される第１の物体領域に該当し、第１の撮像画像における車両Ｃ１の移動方向が第１の移動方向に該当し、車両領域Ｓｔ４の代表点が、第１の代表点に該当する。
一方、車両領域Ｓｔ３は、第２の撮像画像から検出される第２の物体領域に該当し、第２の撮像画像における車両Ｃ１の移動方向が第２の移動方向に該当し、車両領域Ｓｔ３の代表点が、第２の代表点に該当する。
（交通量計測部２４の動作例）
図６に示されるように、交通量計測部２４は、計測部の例として機能し、抽出部２３によって抽出された軌跡と、計測線Ｌ１の位置とに基づいて、交通量を計測する（Ｓ５）。より詳細に、交通量計測部２４は、軌跡が計測線Ｌ１を跨いだか否かを判定し、計測線Ｌ１を跨いだ軌跡の数によって交通量を計測してもよい。
さらに、交通量計測部２４は、他の計測結果（例えば、車両ごとの速度または車両の平均速度など）を計測してもよい。ここで、車両の速度には、キャリブレーション情報が用いられてもよい。キャリブレーション情報は、動画像における２次元座標と、実空間における３次元座標との対応付けが自動または手動によって行われて得られた情報である。かかるキャリブレーション情報により、動画像における２次元座標が実空間における３次元座標に容易に変換され得る。
例えば、交通量計測部２４は、キャリブレーション情報と軌跡とに基づいて、車両の速度を計測してもよい。より詳細に、交通量計測部２４は、キャリブレーション情報に基づいて、単位時間あたりの動画像における２次元的な車両の移動距離を、実空間における３次元的な移動距離に変換し、３次元的な移動距離により、車両の速度を計測してもよい。例えば、交通量計測部２４は、３次元的な移動距離を、当該３次元的な移動距離を車両が移動するのに掛かった時間で除することにより、車両の速度を計測してもよい。
（出力装置４０の動作例）
図６に示されるように、出力装置４０は、交通量計測部２４によって得られた計測結果を出力する（Ｓ６）。例えば、出力装置４０は、交通量計測部２４によって計測された交通量（例えば、所定の時間あたりの交通量など）を出力する。さらに、出力装置４０は、交通量計測装置２０によって他の計測結果（例えば、車両ごとの速度、車両の平均速度など）が計測される場合には、当該他の計測結果を出力してもよい。また、出力装置４０は、車両ごとの軌跡を動画像上に描画してもよい。
以上、本発明の第１の実施形態に係る交通量計測システム１の構成例について説明した。
（１－２．効果）
本発明の第１の実施形態に係る交通量計測装置２０によれば、車両の移動方向に基づいて車両領域の代表点が決定され、代表点に基づいて車両の軌跡が抽出される。これにより、動画像から抽出された車両の軌跡の位置と、動画像において車両が実際に通過した位置との間に生じるずれを低減することが可能となる。したがって、車両の軌跡が高精度に抽出され得る。
このように得られた軌跡に基づいて、交通量が計測される場合には、交通量の計測精度が向上する。また、このようにして得られた軌跡に基づいて、他の計測（例えば、車両ごとの速度、車両の平均速度など）が行われる場合には、当該他の計測も高精度に行われ得る。このとき、車両の速度の計測に、キャリブレーション情報が用いられれば、車両の速度が高精度に計測され得る。
また、仮に画素情報の解析（ディープラーニングによる学習済みのニューラルネットワークモデルを用いた解析も含む）により代表点が決定される場合には、画素情報の解析による計算負荷が高くなりやすい。
一方、本発明の実施形態においては、既に検出済みの車両領域に基づいて、車両の移動方向の算出および車両領域の代表点が決定される。すなわち、車両の移動方向の算出および車両領域の代表点の決定のためには、画素情報が解析されなくてよい。これによって、画素情報の解析による計算負荷が掛からずに済む。
したがって、本発明の第１の実施形態に係る交通量計測装置２０によれば、エッジコンピュータなどの限られた計算資源を用いて、軽量かつ精度よく車両の軌跡を抽出することも可能となる。
以上、本発明の第１の実施形態について説明した。
（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。
（２－１．交通量計測システムの構成）
まず、本発明の第２の実施形態に係る交通量計測システムの構成例について説明する。本発明の第２の実施形態に係る交通量計測システムの構成は、本発明の第１の実施形態に係る交通量計測システム１の構成と同様である。ただし、本発明の第２の実施形態に係る抽出部２３の動作が、本発明の第１の実施形態に係る抽出部２３の動作と異なる。したがって、以下では、本発明の第２の実施形態に係る抽出部２３の動作について主に説明し、その他の構成についての詳細な説明は省略する。
（抽出部２３の動作例）
本発明の第２の実施形態に係る抽出部２３は、代表点決定Ｓ４３および軌跡抽出Ｓ４４の両方においてキャリブレーション情報を用いる場合について主に説明する。しかし、本発明の第２の実施形態に係る抽出部２３は、代表点決定Ｓ４３および軌跡抽出Ｓ４４のいずれか一方においてキャリブレーション情報を用いなくてもよい。
（代表点決定Ｓ４３）
例えば、車両領域Ｓｔ４に写る車両の車長が大きい場合、または、車両の移動方向Ｍ１がフレームの上下方向とは異なる場合などには、フレームから検出される車両領域Ｓｔ４の幅が、実空間における車線の幅よりも大きくなってしまう場合があり得る。このとき、フレームから検出される車両領域Ｓｔ４の幅は、実空間における車両の車幅よりも大きい可能性がある。
そこで、抽出部２３は、車両領域Ｓｔ４を示す情報に基づいて、車両領域Ｓｔ４の下端幅を算出し、車両領域Ｓｔ４の下端幅とキャリブレーション情報とに基づいて、車両領域Ｓｔ４の下端幅の実寸を推定する。そして、抽出部２３は、車両領域Ｓｔ４の下端幅の実寸が実空間における車線の幅を上回る場合には、下端中心点Ｐｔ４から代表点Ａ４までの移動量を大きくする（すなわち、補正係数Ｃを大きくする）。なお、車両領域Ｓｔ１～Ｓｔ３についても車両領域Ｓｔ４についての動作と同様の動作が実行されてよい。
（軌跡抽出Ｓ４４）
例えば、撮像装置１０から遠くに車両が存在する場合には、数フレームの間で車両領域Ｓｔ１～Ｓｔ４が大きく動かないと考えられる。このとき、車両検出部２１による車両領域Ｓｔ１～Ｓｔ４の検出精度が高くない場合などには、車両領域Ｓｔ１～Ｓｔ４の検出精度が高くないことなどに起因した車両領域Ｓｔ１～Ｓｔ４の代表点Ａ１～Ｓ４の振動が目立つようになってしまうことが考えられる。
そこで、抽出部２３は、車両領域Ｓｔ４の大きさが所定の大きさより小さい場合、車両領域Ｓｔ４の代表点Ａ４に基づく軌跡の平滑化などの補正を行う。あるいは、抽出部２３は、車両領域Ｓｔ４を示す情報とキャリブレーション情報とに基づいて、撮像装置１０から見た車両の奥行き方向の距離を算出し、算出した距離が所定の距離より大きい場合、車両領域Ｓｔ４の代表点Ａ４に基づく軌跡の平滑化などの補正を行う。
なお、車両領域Ｓｔ１～Ｓｔ３についても車両領域Ｓｔ４についての動作と同様の動作が実行されてよい。これによって、車両領域Ｓｔ１～Ｓｔ４の検出精度が高くないことなどに起因した車両領域Ｓｔ１～Ｓｔ４の代表点Ａ１～Ａ４の振動が目立たなくなる。
以上、本発明の第２の実施形態に係る交通量計測システムの構成例について説明した。
（２－２．効果）
本発明の第２の実施形態においては、車両領域の下端幅の実寸が実空間における車線の幅を上回る場合には、下端中心点から代表点までの移動量が大きくされる。また、車両が撮像装置１０から遠くに存在する場合に、車両領域の代表点に基づく軌跡の平滑化などの補正が行われる。これによって、車両の軌跡がより高精度に抽出され得る。
以上、本発明の第２の実施形態について説明した。
（３．ハードウェア構成例）
続いて、本発明の実施形態に係る交通量計測装置２０のハードウェア構成例について説明する。
以下では、本発明の実施形態に係る交通量計測装置２０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、交通量計測装置２０のハードウェア構成の一例に過ぎない。したがって、交通量計測装置２０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
図１５は、本発明の実施形態に係る交通量計測装置２０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。
ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。
ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。
以上、本発明の実施形態に係る交通量計測装置２０のハードウェア構成例について説明した。
（４．まとめ）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１ 交通量計測システム
１０ 撮像装置
２０ 交通量計測装置
２１ 車両検出部
２２ 車両追跡部
２３ 抽出部
２４ 交通量計測部
３０ 記憶装置
４０ 出力装置

Claims (20)

  1. 時系列に沿って連続的に撮像された複数の撮像画像を取得する画像取得部と、
    前記複数の撮像画像それぞれから移動物体が写る領域を含んだ物体領域を検出する検出部と、
    前記物体領域に基づいて、第１の撮像画像における前記移動物体の第１の移動方向を算出する方向算出部と、
    前記第１の移動方向と前記第１の撮像画像から検出された第１の物体領域とに基づいて、前記移動物体の軌跡を抽出する軌跡抽出部と、
    を備える、情報処理装置。
  2. 前記方向算出部は、前記複数の撮像画像から検出された前記物体領域それぞれに対応する所定位置に基づいて、前記第１の移動方向を算出する、
    請求項１に記載の情報処理装置。
  3. 前記軌跡抽出部は、前記第１の移動方向と、前記第１の物体領域と、第２の撮像画像における前記移動物体の第２の移動方向と、前記第２の撮像画像から検出された第２の物体領域とに基づいて、前記軌跡を抽出する、
    請求項１に記載の情報処理装置。
  4. 前記軌跡抽出部は、前記第１の移動方向と前記第１の物体領域とに基づいて、前記第１の物体領域の第１の代表点を決定し、前記第１の代表点を前記軌跡として抽出する、
    請求項３に記載の情報処理装置。
  5. 前記軌跡抽出部は、前記第１の物体領域に対応する所定位置から前記第１の物体領域における左方向または右方向に所定の移動量だけ移動した位置を前記第１の代表点として決定する、
    請求項４に記載の情報処理装置。
  6. 前記軌跡抽出部は、前記物体の移動方向が右下方向または左上方向である場合に、前記第１の物体領域に対応する所定位置から前記第１の撮像画像における右方向に移動した位置を前記第１の代表点として決定する、
    請求項５に記載の情報処理装置。
  7. 前記軌跡抽出部は、前記物体の移動方向が左下方向または右上方向である場合に、前記第１の物体領域に対応する所定位置から前記第１の撮像画像における左方向に移動した位置を前記第１の代表点として決定する、
    請求項５に記載の情報処理装置。
  8. 前記軌跡抽出部は、前記第１の移動方向が前記第１の撮像画像における上方向または下方向から遠ざかるほど、前記移動量を大きくする、
    請求項５に記載の情報処理装置。
  9. 前記検出部は、前記第１の撮像画像から前記移動物体の車種を検出し、
    前記軌跡抽出部は、前記車種に基づいて前記移動量を制御する、
    請求項５に記載の情報処理装置。
  10. 前記軌跡抽出部は、前記車種がトラックである場合には、前記車種が自動二輪車である場合と比較して、前記移動量を大きくする、
    請求項９に記載の情報処理装置。
  11. 前記軌跡抽出部は、前記第１の物体領域を示す情報に基づいて前記第１の物体領域の大きさを算出し、前記第１の物体領域の大きさに基づいて前記移動量を制御する、
    請求項５に記載の情報処理装置。
  12. 前記第１の物体領域の大きさは、前記第１の物体領域の左右方向の長さまたは前記第１の物体領域の面積である、
    請求項１１に記載の情報処理装置。
  13. 前記軌跡抽出部は、前記第１の物体領域を示す情報に基づいて前記第１の物体領域の縦横比を算出し、前記縦横比に基づいて前記移動量を制御する、
    請求項５に記載の情報処理装置。
  14. 前記軌跡抽出部は、前記第２の移動方向と前記第２の物体領域とに基づいて、前記第２の物体領域の第２の代表点を決定し、前記第１の代表点と前記第２の代表点とに基づいて前記軌跡を抽出する、
    請求項４に記載の情報処理装置。
  15. 前記情報処理装置は、前記複数の撮像画像における計測線を跨いだ軌跡の数によって、前記移動物体の数を計測する計測部を備える、
    請求項１に記載の情報処理装置。
  16. 前記移動物体は、車両である、
    請求項１に記載の情報処理装置。
  17. 前記第１の撮像画像は、前記複数の撮像画像に含まれる、
    請求項１に記載の情報処理装置。
  18. 前記第１の撮像画像は、前記複数の撮像画像に含まれない、
    請求項１に記載の情報処理装置。
  19. 時系列に沿って連続的に撮像された複数の撮像画像を取得することと、
    前記複数の撮像画像それぞれから移動物体が写る領域を含んだ物体領域を検出することと、
    前記物体領域に基づいて、第１の撮像画像における前記移動物体の第１の移動方向を算出することと、
    前記第１の移動方向と前記第１の撮像画像から検出された第１の物体領域とに基づいて、前記移動物体の軌跡を抽出することと、
    を備える、コンピュータにより実行される情報処理方法。
  20. コンピュータを、
    時系列に沿って連続的に撮像された複数の撮像画像を取得する画像取得部と、
    前記複数の撮像画像それぞれから移動物体が写る領域を含んだ物体領域を検出する検出部と、
    前記物体領域に基づいて、第１の撮像画像における前記移動物体の第１の移動方向を算出する方向算出部と、
    前記第１の移動方向と前記第１の撮像画像から検出された第１の物体領域とに基づいて、前記移動物体の軌跡を抽出する軌跡抽出部と、
    として機能させるプログラム。
JP2022136023A 2022-08-29 2022-08-29 情報処理装置、情報処理方法およびプログラム Pending JP2024032396A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022136023A JP2024032396A (ja) 2022-08-29 2022-08-29 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022136023A JP2024032396A (ja) 2022-08-29 2022-08-29 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2024032396A true JP2024032396A (ja) 2024-03-12

Family

ID=90193017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022136023A Pending JP2024032396A (ja) 2022-08-29 2022-08-29 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2024032396A (ja)

Similar Documents

Publication Publication Date Title
JP4919036B2 (ja) 移動物体認識装置
JP5293815B2 (ja) 画像処理装置、画像処理方法、及び画像処理用プログラム
JP5136504B2 (ja) 物体識別装置
US9454704B2 (en) Apparatus and method for determining monitoring object region in image
JP5075672B2 (ja) 対象物検出装置及び方法
JP6239186B2 (ja) 表示制御装置及び表示制御方法及び表示制御プログラム
JP4656456B2 (ja) 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
JP5834933B2 (ja) 車両位置算出装置
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP2017162116A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2011065338A (ja) 対象物追跡装置及びプログラム
KR101877001B1 (ko) 가상 라인 생성 방법, 역주행 검출 시스템 및 그 방법
JP2011022995A (ja) 消失点推定装置およびプログラム
US20180204333A1 (en) Object detection device and object detection method
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP2006350897A (ja) 運動計測装置
KR101723536B1 (ko) 도로에서의 차선 검출 방법 및 장치
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP5903901B2 (ja) 車両位置算出装置
JP5891802B2 (ja) 車両位置算出装置
JP2024032396A (ja) 情報処理装置、情報処理方法およびプログラム
JP5062316B2 (ja) 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
JP4462533B2 (ja) 路面走行レーン検出装置
JP5760523B2 (ja) 走路推定装置及びプログラム
JP5251460B2 (ja) 接近物体検出装置、接近物体検出プログラム、接近物体検出方法