JP7444272B2 - 画像処理システム、通信装置、方法、及びプログラム - Google Patents

Description

本開示は、画像処理システム、通信装置、画像処理方法、通信方法、及びコンピュータ可読媒体に関する。

一般に、バスなどの移動体では、乗客の安全を守ることが重要である。移動体において、運転手は、車内での転倒事故防止のため、乗客の状況を目視で確認している。しかしながら、目視による確認では限界がある。

関連技術として、特許文献１は車両に設けられる安全走行システムを開示する。特許文献１に記載の安全走行システムにおいて、カメラは自動車やバスの車室内の映像を撮影する。安全性判定部は、カメラが撮影した画像に基づいて乗員の状態を検出し、乗員の衝撃に対する安全性を判定する。安全性判定部は、例えば、乗員全員が着座しており、かつシートベルトをしていない場合は安全性をレベル１と判定する。安全性判定部は、乗員の中に立っている人がいており、かつ人が固定具をつかんでいる場合は安全性をレベル２と判定する。安全性判定部は、乗員の中に立っている人がおり、かつ人が無防備な場合は安全性をレベル３と判定する。

別の関連技術として、特許文献２は、エレベータの内部やバスの車室などの特定のエリアを監視する監視装置を開示する。特許文献２において、監視カメラは、特定のエリアを撮影する。映像送信装置は、監視カメラの映像を外部に送信する。監視装置は、監視カメラの映像に基づいて、特定エリア内に存在する人の数、及び人の位置の偏り度を算出する。監視装置は、算出した人数及び偏り度に基づいて、映像の記録密度、及び映像送信装置の通信頻度を調整する。

具体的に、監視装置は、乗客の数が乗客の数が３名以上で、かつ乗客が特定の位置に集中している場合、危険な事象が発生する可能性が高い、別の言い方をすると重要度が高いと判定する。監視装置は、乗客が特定の位置に集中していない場合、危険な事象が発生する可能性が低い、別の言い方をすると重要度が低いと判定する。監視装置は、重要度が高いと判定した場合、画質及び送信頻度を「高レベル」に決定する。監視装置は、重要度が低いと判定した場合は、画質及び送信頻度を「低レベル」に決定する。

更なる関連技術として、特許文献３は、車両用の画像処理装置を開示する。特許文献３に記載の画像処理装置は、複数のカメラに対応した複数のバッファを有する。複数のカメラは、例えば４台の近距離カメラと、２台の遠距離カメラとを含む。画像処理装置において、プロセッサは、単位時間当たりに所定数の画像データに対して画像処理を実行する。プロセッサは、車速が低速の場合、４台の近距離カメラに対応する４つのバッファを順次選択し、画像処理を行う。プロセッサは、速度がしきい値以上の場合、車両の前方を撮影する特定の近距離カメラに対応するバッファのみを選択し、画像処理を行う。

特開２０１８－０６２１９７号公報 国際公開第２０１７／２１２５６８号 特開２０２０－６４３４１号公報

特許文献１では、安全性判定部を構成する画像処理装置が各車両に搭載される。一般に、画像解析には高性能な画像処理装置が要求され、そのような画像処理装置は高価である。特許文献１は、各車両に高価な画像処理装置を搭載する必要があるため、コストが高いという問題がある。また、特許文献１において、車両は、複数台のカメラを有し得る。その場合において、複数台のカメラに対応して複数の画像処理装置が車両に搭載される場合、コストは更に増大する。

特許文献２に記載の監視装置は、重要度に応じて画質及び送信頻度を切り替えることで、外部に送信するデータの量を削減し、通信コストを下げることができる。しかしながら、監視装置がタクシーやバスなどの車両に用いられる場合、映像送信装置は、車両の走行中、映像データを常に外部装置に送信する。車両と外部装置との間の通信に無線通信網が用いられる場合、通信料は送信データ量の増加に伴って増加し、映像データが常に外部装置に送信される場合、コストが増大する。

特許文献３に記載の画像処理装置は、複数のバッファを切り替えることで、複数カメラの映像を１つのプロセッサで処理することができる。しかしながら、画像処理装置において、複数カメラの映像を常にプロセッサで解析する場合、プロセッサには高い処理能力が求められる。特許文献３は、複数カメラの映像を複数のプロセッサで処理する場合に比べてコストを低減できるものの、コスト低減の効果は限定的である。

本開示は、上記事情に鑑み、上記したコストの少なくとも一部を削減可能な画像処理システム、通信装置、画像処理方法、通信方法、及びコンピュータ可読媒体を提供することを目的とする。

上記目的を達成するために、本開示は、第１の態様として、画像処理システムを提供する。画像処理システムは、映像に対して画像処理を行う１以上の画像処理装置と、前記画像処理装置と通信を行う１以上の通信装置とを備える。通信装置は、移動体が所定の運行状況にあることを判定する運行状況判定手段と、前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を、前記画像処理装置に送信する映像送信手段とを備える。

本開示は、第２の態様として、通信装置を提供する。通信装置は、移動体が所定の運行状況にあることを判定する運行状況判定手段と、前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を、映像に対して画像処理を行う画像処理装置に送信する映像送信手段とを備える。

本開示は、第３の態様として、画像処理方法を提供する。画像処理方法は、移動体が所定の運行状況にあることを判定し、前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を画像処理装置に送信し、前記画像処理装置において前記１以上のカメラの映像に対して画像処理を行うことを含む。

本開示は、第４の態様として、通信方法を提供する。通信方法は、移動体が所定の運行状況にあることを判定し、前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を、映像に対して画像処理を行う１以上の画像処理装置に送信することを含む。

本開示は、第５の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、移動体が所定の運行状況にあることを判定し、前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を、映像に対して画像処理を行う１以上の画像処理装置に送信する処理をプロセッサに実行させるためのプログラムを格納する。

本開示に係る画像処理システム、通信装置、画像処理方法、通信方法、及びコンピュータ可読媒体は、画像処理に要するコストを削減することができる。

本開示に係る画像処理システムを概略的に示すブロック図。 本開示の第１実施形態に係る画像解析システムを示すブロック図。 移動体の構成例を示すブロック図。 画像解析装置の構成例を示すブロック図。 移動体から取得される複数の映像と解析処理との関係を示す図。 遠隔監視装置の構成例を示すブロック図。 画像解析システムの動作手順を示すフローチャート。 本開示の第２実施形態に係る画像解析システムを示すブロック図。 移動体から取得される複数の映像と解析処理との関係を示す図。 移動体から取得される複数の映像と解析処理との関係を示す図。 マイクロコンピュータの構成例を示すブロック図。 コンピュータ装置の構成例を示すブロック図。

本開示の実施の形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係る画像処理システムを概略的に示す。画像処理システム１０は、通信装置２０と画像処理装置３０とを有する。画像処理装置３０は、映像に対して画像処理を行う。通信装置２０は、画像処理装置３０と通信を行う。なお、図１には、通信装置２０と画像処理装置３０とが１つずつ図示されているが、画像処理システム１０は、複数の通信装置２０と、複数の画像処理装置３０とを含み得る。

通信装置２０は、運行状況判定手段２１と、映像送信手段２２とを有する。運行状況判定手段２１は、移動体の状況が所定の運行状況にあることを判定する。カメラ４０は、移動体に搭載される。移動体には、複数のカメラ４０が搭載され得る。映像送信手段２２は、移動体の状況が所定の運行状況にあると判定された場合、カメラ４０の映像を、画像処理装置３０に送信する。画像処理装置３０は、送信された映像に対して画像処理を行う。

本開示では、映像送信手段２２は、移動体の状況が所定の運行状況にあると判定された場合に、カメラ４０の映像を画像処理装置３０に送信する。本開示では、画像処理装置３０は、所定の運行状況にある移動体から送信された、カメラ４０の映像に対して、画像処理を行う。本開示では、常に画像処理装置３０を使用せずに、特定の運行状況において、画像処理装置３０を使用することができる。このようにすることで、画像処理装置３０を効率的に使用することができ、常に画像処理装置３０でカメラ４０の映像を画像処理する場合に比べて、画像処理装置３０の使用に関するコストを低減できる。

以下、本開示の実施の形態を詳細に説明する。図２は、本開示の第１実施形態に係る画像解析システムを示す。画像解析システム１００は、画像解析装置１１０、遠隔監視装置１２０、及び監視対象の１以上の移動体１５０を有する。移動体１５０は、ネットワーク１３０を介して、画像解析装置１１０、及び遠隔監視装置１２０に接続される。ネットワークは、例えば、ＬＴＥ（Long Term Evolution）などの通信回線規格を用いたネットワークを含む。ネットワーク１３０は、ＷｉＦｉ（登録商標）又は第５世代移動通信システムなどの無線通信網を含んでいてもよい。画像解析システム１００は、図１に示される画像処理システム１０に対応する。

移動体１５０は、例えばバス、又は列車などの乗客を乗せて走行する車両として構成される。移動体１５０は、移動体に搭載されるセンサの情報に基づいて自動運転（自律運転）が可能に構成されていてもよい。以下の説明では、主に移動体１５０が道路上の走行するバスである例が説明される。

図３は、移動体１５０の構成を示す。移動体１５０は、通信装置２００、及び、カメラ３０１－１から３０１－３を有する。カメラ３０１－１から３０１－３は、移動体１５０の内部を撮影するカメラである。カメラ３０１－１から３０１－３は、特に乗客が乗車するエリアを撮影する。カメラ３０１－１から３０１－３は、例えば車室内の相互に異なる部分を撮影する。例えば、カメラ（第１のカメラ）３０１－１は、車室内全体を撮影する。カメラ（第２のカメラ）３０１－２及びカメラ３０１－２は、車室内の特定の部分を撮影する。カメラ３０１-２及び３０１－３の撮影範囲は、カメラ３０１－１の撮影範囲より狭いものとする。

なお、図３では、移動体１５０がカメラを３台有する例が示されているが、カメラの台数は特に３台には限定されない。以下の説明において、カメラ３０１－１から３０１－３は、特にそれらを区別する必要がない場合は、カメラ３０１とも呼ばれる。カメラ３０１は、図１に示されるカメラ４０に対応する。

通信装置２００は、移動体１５０とネットワーク１３０（図２を参照）との間で無線通信を行う装置として構成される。通信装置２００は、ネットワーク１３０を介して、画像解析装置１１０と通信する。通信装置２００は、遠隔監視装置１２０を更に介して、画像解析装置１１０と通信してもよい。

通信装置２００は、運行状況判定部２０１、乗車率取得部２０２、及び映像送信部２０３を有する。なお、図３では省略されているが、通信装置２００は、無線通信用アンテナ、送信機、及び受信機なども含む。運行状況判定部２０１、乗車率取得部２０２、及び映像送信部２０３の機能は、例えば、メモリに記憶された制御プログラムをプロセッサで実行することにより実現される。通信装置２００は、図１に示される通信装置２０に対応する。

運行状況判定部２０１は、移動体１５０の特定の運行状況を判定する。運行状況判定部２０１は、例えば、着席していない乗客に転倒などの危険が生じ得る状況を、特定の運行状況として判定する。運行状況判定部２０１は、例えば、移動体１５０が停留所に停車する状況、及び移動体１５０が停留所から発車する状況を、特定の運行状況と判定する。また、運行状況判定部２０１は、加速度センサなどを用いて計測された移動体１５０の前後左右方向の加速度が所定の値以上である状況を、特定の運行状況として判定する。

運行状況判定部２０１は、移動体１５０において、停留所の案内などを行う自動車内放送装置から運行状況を示す情報を取得し、特定の運行状況を判定してもよい。運行状況判定部２０１は、例えば停留所への到着を知らせるためのアナウンスがされた後、乗降口の扉が開くまでの間の期間を、停留所に到着する状況と判定してもよい。運行状況判定部２０１は、上記アナウンスがされた場合でも、降車ボタンが扱われておれず、次の停留所で降車する人がいない場合、運行状況は、移動体１５０が停留所に停車する状況ではないと判定してもよい。

また、運行状況判定部２０１は、停留所への停車後、ドアの開閉を示す情報と、ブレーキペダルの操作情報とを用いて、移動体１５０が停留所から発車する状況を判定してもよい。運行状況判定部２０１は、乗降口の扉が閉まってから、又は停車してから、ブレーキが解除されるまでの期間を、移動体１５０が停留所から発車する状況と判定してもよい。運行状況判定部２０１が特定の運行状況を判定する手法は任意であり、上記したものには限定されない。運行状況判定部２０１は、図１に示される運行状況判定手段２１に対応する。

乗車率取得部（乗車率取得手段）２０２は、移動体１５０の乗車率を取得する。乗車率取得部２０２は、例えば非接触ＩＣ（Integrated Circuit）カードや乗車券（整理券）などを用いて客の乗車や降車を検知する既存の乗降者検知システムを利用して、乗車率を取得してもよい。

映像送信部２０３は、運行状況判定部２０１が移動体１５０の運行状況が特定の運行状況であると判定した場合、カメラ３０１が撮影した映像を、ネットワーク１３０（図２を参照）を介して画像解析装置１１０に送信する。映像送信部２０３は、例えばカメラ３０１－１から３０１－３が撮影した３つの車内映像を画像解析装置１１０に送信する。映像送信部２０３は、カメラ３０１の映像を常に遠隔監視装置１２０に送信してもよい。映像送信部２０３は、運行状況が特定の運行状況の場合は、カメラ３０１－１の映像を画像解析装置１１０と遠隔監視装置１２０とに送信してもよい。映像送信部２０３は、図１に示される映像送信手段２２に対応する。

映像送信部２０３は、乗車率取得部２０２から乗車率を取得する。映像送信部２０３は、移動体１５０の運行状況が特定の運行状況であると判定され、かつ乗車率が第１のしきい値以上の場合、カメラ３０１の映像を送信する。映像送信部２０３は、乗車率が第１のしきい値より低い場合は、移動体１５０の運行状況が特定の運行状況であると判定された場合でも、カメラ３０１の映像を送信しない。

さらに、映像送信部２０３は、乗車率に応じて送信対象のカメラ３０１の映像を決定してもよい。映像送信部２０３は、例えば乗車率が、第１のしきい値より大きい第２のしきい値以上の場合、３つのカメラ３０１の映像の全てを送信対象の映像として決定してもよい。映像送信部２０３は、乗車率が、第１のしきい値以上で、かつ第２のしきい値より低い場合、３つのカメラのうち、車室内全体を撮影するカメラ３０１－１の映像を送信対象の映像として決定してもよい。

なお、移動体１５０は、図３には図示されてない、移動体１５０の周辺状況を監視する周辺監視センサを有していてもよい。周辺監視センサは、例えばカメラ、レーダ、及びＬｉＤＡＲ（Light Detection and Ranging）などを含む。周辺監視センサは、例えば車両の前方、後方、右側方、及び左側方を撮影する複数のカメラを含んでいてもよい。通信装置２００は、遠隔監視装置１２０に、周辺監視センサが取得したセンサ情報を送信してもよい。

画像解析装置１１０は、移動体１５０から受信した映像に対して画像処理を実施する。画像処理は、例えば、画像を解析し、バスの車内において不安定な体勢の乗客を検出する処理を含む。画像処理（画像解析処理）では、例えば座席に座っていない乗客、及び手すりなどにつかまっていない乗客などが検出される。画像解析装置１１０において実施される画像解析処理は特に上記したものには限定されない。画像解析装置１１０は、例えばクラウドサーバ（クラウドＧＰＵ（Graphics Processing Unit））して構成される。例えば、画像解析装置１１０は、１時間などの単位時間あたりの使用料が設定され、画像解析装置１１０の使用料は、使用時間に応じて決定される。画像解析装置１１０は、遠隔監視装置１２０が設置される遠隔監視センタに設置されるサーバであってもよい。画像解析装置１１０は、図１に示される画像処理装置３０に対応する。

図４は、画像解析装置１１０の構成例を示す。画像解析装置１１０は、複数のバッファ１１１と、処理実行部１１２とを有する。画像解析装置１１０は、１つ又は複数の移動体１５０から、複数の映像を受信する。複数のバッファ１１１は、受信される複数の映像に対応して配置される。各バッファ１１１は、受信された、対応する映像を一時的に記憶する。例えば、画像解析装置１１０は、１秒間などの所定期間に、所定数Ｎ（Ｎは２以上の整数）の映像に対して画像解析が可能に構成される。その場合、画像解析装置１１０は、Ｎ個のバッファ１１１を有する。

処理実行部１１２は、映像に対して画像解析処理を実行する。処理実行部１１２は、例えばプロセッサを含む。処理実行部１１２は、複数の映像に対して、画像解析処理を時分割で逐次的に実行する。処理実行部１１２は、処理対象の映像を記憶するバッファ１１１を選択し、選択したバッファ１１１から映像を取得し、取得した映像に対して画像解析処理を実行する。

画像解析装置１１０は、画像解析処理の結果を遠隔監視装置１２０に送信する。画像解析装置１１０は、例えば、検出された、不安定な体勢の乗客の位置などを示す情報を、画像解析処理の結果として遠隔監視装置１２０に送信する。画像解析装置１１０は、画像解析処理の結果を移動体１５０に送信してもよい。移動体１５０において、画像解析処理の結果は、運転手などの移動体１５０の乗員に通知されてもよい。

図５は、移動体から取得される複数の映像と解析処理との関係を示す。図５において、バス（バスＡ）１５０Ａ、バス（バスＢ）１５０Ｂ、及びバス（バスＣ）１５０Ｃは、それぞれ複数のカメラを有する。バス１５０ＡはカメラＡ－Ｃを有し、バス１５０ＢはカメラＤ－Ｆを有し、バス１５０ＣはカメラＧ－Ｉを有する。バス１５０Ａ－１５０Ｃは、図２に示される移動体１５０に対応する。カメラＡ－Ｉは、図３に示されるカメラ３０１に対応する。

画像解析装置１１０は、所定の処理期間、例えば１秒間に最大で９つの映像を解析可能であるとする。その場合、画像解析装置１１０は、９つのバッファ１１１（図４を参照）を有する。画像解析装置１１０の処理実行部１１２は、例えば１秒間を９つの単位期間に分割し、各単位期間において映像を画像解析する。

図５の例では、画像解析装置１１０は、バス１５０Ａから受信するカメラＡ－Ｃの各フレーム画像に対して画像解析処理を行い、その後、バス１５０Ｂから受信するカメラＤ－Ｆの各フレーム画像に対して画像解析処理を行う。さらに、画像解析装置１１０は、バス１５０Ｃから受信するカメラＧ－Ｉの各フレーム画像に対して画像解析処理を行う。画像解析装置１１０は、このような時分割逐次処理を繰り返し実施する。このようにすることで、１つの画像解析装置１１０を用いて、複数の映像を画像解析することができる。

図２に戻り、遠隔監視装置１２０は、移動体１５０を監視するために使用される装置である。遠隔監視装置１２０は、例えば移動体１５０を遠隔で監視する監視センタに配置される。本実施形態において、移動体１５０は、自律走行する車両、又は運転手が運転する車両として構成される。監視員は、遠隔監視装置１２０を用いて、移動体１５０の運行を監視する。遠隔監視装置１２０は、移動体１５０を遠隔で制御可能に構成されていてもよい。

図６は、遠隔監視装置１２０の構成例を示す。遠隔監視装置１２０は、映像受信部１２１、及び監視画面表示部１２２を有する。映像受信部１２１は、移動体１５０から送信された映像を、ネットワークを介して受信する。映像受信部１２１は、移動体１５０から、カメラ３０１（図３を参照）を用いて撮影された車室内の映像を受信する。映像受信部１２１は、画像解析装置１１０を介して車室内の映像を受信してもよい。映像受信部１２１は、移動体１５０から、移動体の外部を撮影することで得られた映像を更に受信してもよい。

監視画面表示部１２２は、映像受信部１２１が受信した映像を表示画面上に表示する。また、監視画面表示部１２２は、画像解析装置１１０から画像解析処理の結果を受信した場合、画像解析処理の結果を表示画面上に表示する。監視者は、表示画面を見ることで、移動体１５０の車室内の状況を監視することができる。

なお、遠隔監視装置１２０は、例えば、移動体の車速、方向指示器の作動状態、ドアの開閉状態、信号機の灯火状態、位置情報、及び他の車両との距離などの情報を移動体１５０から受信してもよい。監視画面表示部１２２は、映像受信部１２１が受信した映像に加えて、移動体１５０から受信した各種情報の少なくとも一部を表示画面上に表示してもよい。

続いて動作手順を説明する。図７は、画像解析システム１００の動作手順（画像処理方法）を示す。移動体１５０に搭載される通信装置２００（図３を参照）において、運行状況判定部２０１は、移動体１５０の運行状況が特定の運行状況であるか否かを判定する（ステップＳ１）。運行状況判定部２０１は、運行状況が特定の運行状況であると判定した場合、その旨を映像送信部２０３に通知する。

乗車率取得部２０２は、移動体１５０の乗車率を取得する。映像送信部２０３は、運行状況が特定の運行状況であると判定された場合、乗車率取得部２０２が取得した乗車率が第１のしきい値より低いか否かを判断する（ステップＳ２）。映像送信部２０３は、乗車率が第１のしきい値より低くないと判断した場合、移動体１５０のカメラ３０１のうち、送信対象のカメラを決定する（ステップＳ３）。映像送信部２０３は、ステップＳ３では、例えば乗車率に基づいて解析対象のカメラを決定する。映像送信部２０３は、送信対象のカメラの映像を画像解析装置１１０に送信する（ステップＳ４）。ステップＳ１からステップＳ４は、通信装置２００で実施される通信方法に対応する。

画像解析装置１１０は、複数の移動体１５０のうち、運行状況が特定の運行状況と判定された移動体１５０から解析対象のカメラの映像を受信する。画像解析装置１１０は、受信した映像に対して画像解析処理を実施する（ステップＳ５）。画像解析装置１１０は、ステップＳ５では、例えば複数の移動体１５０から受信した複数の映像に対し、画像解析処理を時分割で逐次的に実施する。画像解析装置１１０は、画像解析処理を実施することで、例えば移動体１５０の車内において不安定な体勢の乗客を検出する。画像解析装置１１０は、画像解析の結果を遠隔監視装置１２０に送信する。

遠隔監視装置１２０は、画像解析装置１１０から画像解析処理の結果を受信した場合、画像解析処理の結果を表示画面上に表示する（ステップＳ６）。画像解析装置１１０は、ステップＳ６では、例えば移動体１５０の車室内の映像において不安定な体勢の乗客の部分を赤枠で囲むなどして、不安定な体勢の乗客の部分を強調して表示する。監視者は、表示画面を見ることで、移動体１５０の車室内の状況を監視する。

本実施形態では、通信装置２００の映像送信部２０３は、運行状況判定部２０１で移動体１５０の運行状況が特定の運行状況であると判定された場合、カメラ３０１の映像を画像解析装置１１０に送信する。このようにすることで、画像解析装置１１０において、特定の運行状況と判定された移動体１５０について、画像解析処理を実施できる。また、本実施形態は、移動体１５０から常に映像が送信され、画像解析装置１１０において常に画像解析処理が実施される場合に比べて、画像解析装置１１０の使用時間を短縮することができる。本実施形態において、画像解析システム１００は、例えば画像解析装置１１０の使用料が使用時間に応じて変わる場合に、画像解析装置１１０の使用料を抑えることができる。

本実施形態では、上記したように、映像送信部２０３は、特定の運行状況であると判定された場合、カメラ３０１の映像を画像解析装置１１０に送信する。このようにすることで、ネットワーク１３０を介して移動体１５０から画像解析装置１１０へ送信される映像データの通信量を削減できる。ネットワーク１３０において、通信料がデータ量に応じて決定される場合、常に映像が送信される場合に比べて、通信料を削減できる効果もある。

さらに、本実施形態では、映像送信部２０３は、乗車率が低い場合は、カメラ３０１の映像を送信しない。このようにすることで、例えばほとんど乗客が乗っていない場合に、映像送信及び画像解析処理を省略できる。画像解析処理が省略される場合、遠隔監視装置１２０にカメラ３０１の映像を表示し、監視者が目視で車室内を監視してもよい。

また、本実施形態では、映像送信部２０３は、乗車率に応じて、複数のカメラ３０１の映像のうち、送信対象のカメラの映像を決定する。映像送信部２０３は、例えば、乗車率が高く、車室内が混んでいる場合は、３つのカメラ３０１の映像を画像解析装置１１０で画像解析する。このようにすることで、車室内が混んでいる場合に、多くの映像を用いて、乗客の安全性を詳細に解析できる。一方、乗車率がそこまで高くない場合は、一部の映像の画像解析処理を省略することで、ネットワーク１３０における通信量などを削減できる。

続いて、本開示の第２実施形態を説明する。図８は、本開示の第２実施形態に係る画像解析システムを示す。本実施形態に係る画像解析システム１００ａは、割当装置１４０を更に有する点で、図２に示される第１実施形態に係る画像解析システム１００と相違する。割当装置１４０は、遠隔監視装置１２０が設置される遠隔監視センタに設置されていてもよい。割当装置１４０は、遠隔監視装置１２０の一部であってもよい。

また、本実施形態において、画像解析システム１００ａは、画像解析装置（第１の画像解析装置）１１０－１及び画像解析装置（第２の画像解析装置）１１０－２を含む。画像解析装置１１０の数は２つには限定されず、画像解析システム１００ａは３つ以上の画像解析装置１１０を含んでいてもよい。他の構成は、第１実施形態において説明された構成と同様でよい。

本実施形態において、割当装置１４０は、移動体１５０から送信された映像を、画像解析装置１１０－１又は１１０－２に割り当てる。割当装置１４０は、各画像解析装置１１０の処理能力を監視する。割当装置１４０は、新たに運行状況が特定の運行状況と判定された移動体１５０から映像を受信した場合、その映像を画像解析装置１１０－１で処理可能か否かを判断する。割当装置１４０は、受信した映像を画像解析装置１１０－１で処理可能と判断した場合、受信した映像を画像解析装置１１０－１に割り当てる。割当装置１４０は、受信した映像を画像解析装置１１０－１で処理できないと判断した場合、受信した映像を画像解析装置１１０－２に割り当てる。割当装置１４０は、受信した映像を割り当てた画像解析装置１１０に送信する。

例えば、何れの移動体１５０も映像を送信していない場合、画像解析装置１１０－１及び１１０－２は休止している。割当装置１４０は、移動体（第１の移動体）１５０から映像を受信した場合、画像解析装置１１０－１を稼働させ、画像解析装置１１０－１に映像を送信する。割当装置１４０は、別の移動体（第２の移動体）１５０から映像を更に受信した場合、画像解析装置１１０－１の処理能力の余力を判断する。例えば、画像解析装置１１０－１は、所定数Ｎの映像に対して画像解析が可能に構成されている。割当装置１４０は、画像解析装置１１０－１が第２の移動体１５０から受信した映像を解析した場合に、画像解析装置１１０－１が解析する映像の数がＮを超えるか否かを判断する。割当装置１４０は、画像解析装置１１０－１が解析する映像の数がＮを超えない場合、画像解析装置１１０－１に余力があると判断する。割当装置１４０は、画像解析装置１１０－１に余力がある場合と判断した場合、第２の移動体１５０から受信した映像を画像解析装置１１０－１に割り当てる。その場合、割当装置１４０は、第２の移動体１５０から受信した映像を画像解析装置１１０－１に送信する。

割当装置１４０は、更に別の移動体（第３の移動体）１５０から映像を受信した場合、画像解析装置１１０－１の余力を判断する。割当装置１４０は、画像解析装置１１０－１が第３の移動体１５０から受信した映像を解析した場合に、画像解析装置１１０－１が解析する映像の数がＮを超えるか否かを判断する。割当装置１４０は、画像解析装置１１０－１が解析する映像の数がＮを超える場合、画像解析装置１１０－１に余力がないと判断する。割当装置１４０は、画像解析装置１１０－１に余力がないと判断した場合、画像解析装置１１０－２を稼働させ、第３の移動体１５０から受信した映像を画像解析装置１１０－２に割り当てる。その場合、割当装置１４０は、第３の移動体１５０から受信した映像を画像解析装置１１０－２に送信する。

例えば、ある時点において、割当装置１４０は、図５に示されるように、バス１５０Ａ－１５０Ｃから受信した映像を、画像解析装置１１０－１に割り当てたとする。画像解析装置１１０－１は、単位時間（例えば１秒）あたり、９つの映像を解析可能であるとする。つまり、画像解析装置１１０－１が解析可能な映像の上限は９であるとする。図５の例において、画像解析装置１１０－１は１秒間に９つの映像に対して解析処理を実施しており、画像解析装置１１０－１は、更に別の映像を処理することができない状態である。割当装置１４０は、他の移動体１５０から新たに映像を受信した場合、画像解析装置１１０－１に余力はないと判断し、画像解析装置１１０－２を稼働させて、他の移動体１５０から受信した映像を画像解析装置１１０－２に送信する。

図９は、別の時点における移動体から取得される複数の映像と解析処理との関係を示す。図９の例において、バス１５０Ｃは、例えばバス停から発車し、カメラＧ－Ｉの映像の送信を停止する。その場合、画像解析装置１１０－１が解析する映像の数は９から６に減る。バス１５０Ｃが映像の送信を停止した後、画像解析装置１１０－１には、映像３つ分の余力が生じる。

図１０は、更に別の時点における移動体から取得される複数の映像と解析処理との関係を示す。割当装置１４０は、バス１５０Ｃが映像の送信を停止した後、別のバス（バスＤ）１５０ＤからカメラＪ－Ｌの映像を受信したとする。その場合、割当装置１４０は、画像解析装置１１０－１がバス１５０Ｄから受信した映像を解析可能であることから、バス１５０Ｄから受信した映像を、画像解析装置１１０－１に割り当てる。この場合、画像解析装置１１０－２を稼働させる必要がない。

本実施形態では、割当装置１４０は、移動体１５０から映像を受信した場合、稼働中の画像解析装置１１０において受信した映像の解析が可能であるか否かを判断する。割当装置１４０は、稼働中の画像解析装置１１０において受信した映像の解析が可能であると判断した場合、受信した映像を、稼働中の画像解析装置１１０に割り当てる。例えば、移動体１５０と画像解析装置１１０との対応関係が固定的に決定される場合を考える。その場合、ある画像解析装置１１０において１台の移動体１５０から受信した映像に対する画像解析処理が実施され、別の画像解析装置１１０において他の１台の移動体１５０から受信した映像に対する画像解析処理が実施される場合がある。その場合、画像解析装置１１０を２つ使用する必要がある。本実施形態では、移動体１５０と画像解析装置１１０との関係を固定せず、移動体１５０から受信した映像の画像解析処理に、余力がある画像解析装置１１０が使用される。このようにすることで、画像解析装置１１０を効率的に使用することができる。また、使用される画像解析装置１１０の数を削減することで、画像解析装置１１０の使用料を低減することができる。

なお、上記実施形態において、画像解析装置１１０は、移動体１５０の車室内を撮影するカメラ３０１の映像に対して画像解析処理を実施する例を説明したが、本開示はこれには限定されない。画像解析装置１１０は、移動体１５０から送信される映像に対して画像解析処理を行えばよく、画像解析処理の対象の映像は、必ずしも車室内の映像である必要はない。

上記実施形態において、通信装置２００の機能は、マイクロコンピュータを使用して実現され得る。図１１は、通信装置２００に用いられ得るマイクロコンピュータの構成例を示す。マイクロコンピュータ５００は、プロセッサ５１０、及びメモリ５２０を有する。マイクロコンピュータ５００において、プロセッサ５１０とメモリ５２０とは、バスを介して相互に接続される。マイクロコンピュータ５００は、図示は省略するが、周辺回路、及びインタフェース回路などの他の回路を含み得る。

メモリ５２０は、不揮発性の記憶装置、及び／又は、揮発性の記憶装置を含む。メモリ５２０は、プロセッサ５１０が実行するプログラムを格納する。プロセッサ５１０は、メモリ５２０に格納されたプログラムを読み出し、読み出したプログラムを実行する。プロセッサ５１０がプログラムを実行することで、通信装置２００内の各部の機能が実現され得る。

また、本開示において、画像解析装置１１０、遠隔監視装置１２０、及び割当装置１４０は、コンピュータ装置（サーバ装置）として構成され得る。図１２は、画像解析装置１１０などとして用いられ得るコンピュータ装置の構成例を示す。コンピュータ装置６００は、制御部（ＣＰＵ：Central Processing Unit）６１０、記憶部６２０、ＲＯＭ（Read Only Memory）６３０、ＲＡＭ（Random Access Memory）６４０、通信インタフェース（ＩＦ：Interface）６５０、及びユーザインタフェース６６０を有する。

通信インタフェース６５０は、有線通信手段又は無線通信手段などを介して、コンピュータ装置６００と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース６６０は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース６６０は、キーボード、マウス、及びタッチパネルなどの入力部を含む。

記憶部６２０は、各種のデータを保持できる補助記憶装置である。記憶部６２０は、必ずしもコンピュータ装置６００の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ装置６００に接続されたクラウドストレージであってもよい。

ＲＯＭ６３０は、不揮発性の記憶装置である。ＲＯＭ６３０には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ＣＰＵ６１０が実行するプログラムは、記憶部６２０又はＲＯＭ６３０に格納され得る。記憶部６２０又はＲＯＭ６３０は、例えば画像解析装置１１０、遠隔監視装置１２０、又は割当装置１４０内の各部の機能を実現するための各種プログラムを記憶する。

ＲＡＭ６４０は、揮発性の記憶装置である。ＲＡＭ６４０には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ６４０は、データなどを一時的に格納する内部バッファとして用いられ得る。ＣＰＵ６１０は、記憶部６２０又はＲＯＭ６３０に格納されたプログラムをＲＡＭ６４０に展開し、実行する。ＣＰＵ６１０がプログラムを実行することで、画像解析装置１１０、遠隔監視装置１２０、又は割当装置１４０内の各部の機能が実現され得る。ＣＰＵ６１０は、データなどを一時的に格納できる内部バッファを有してもよい。

上述プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、マイクロコンピュータ５００及びコンピュータ装置６００に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。

例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
映像に対して画像処理を行う１以上の画像処理装置と、
前記画像処理装置と通信を行う１以上の通信装置とを備え、
前記通信装置は、
移動体が所定の運行状況にあることを判定する運行状況判定手段と、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を、前記画像処理装置に送信する映像送信手段とを備える、画像処理システム。

［付記２］
前記通信装置が、前記移動体の乗車率を取得する乗車率取得手段を更に有し、
前記映像送信手段は、前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第１のしきい値以上の場合、前記１以上のカメラの映像を前記画像処理装置に送信する付記１に記載の画像処理システム。

［付記３］
前記移動体には複数のカメラが搭載されており、
前記映像送信手段は、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、前記画像処理装置に送信する映像を決定する付記２に記載の画像処理システム。

［付記４］
前記複数のカメラは、前記移動体の車室内を撮影する第１のカメラと、前記移動体の車室内を前記第１のカメラの撮影範囲より狭い範囲で撮影する第２のカメラとを含み、
前記映像送信手段は、前記乗車率が、前記第１のしきい値より大きい第２のしきい値以上の場合、前記第１のカメラ及び第２のカメラの映像を前記画像処理装置に送信する映像として決定し、前記乗車率が、前記第１のしきい値以上で、かつ第２のしきい値より低い場合、前記第１のカメラの映像を前記画像処理装置に送信する映像として決定する付記３に記載の画像処理システム。

［付記５］
前記画像処理装置は、複数のカメラで撮影された複数の映像を時分割で逐次的に解析するように構成される付記１から４何れか１つに記載の画像処理システム。

［付記６］
複数の前記通信装置を有し、
前記複数の通信装置は、複数の前記移動体のそれぞれに搭載される付記１から５何れか１つに記載の画像処理システム。

［付記７］
前記複数の通信装置から送信された映像を、前記１以上の画像処理装置の何れかに割り当てる割当装置を更に有する付記６に記載の画像処理システム。

［付記８］
前記１以上の画像処理装置は第１の画像処理装置及び第２の画像処理装置を含み、かつ、前記第１の画像処理装置は、単位時間あたり所定数の映像に対して画像処理を実施可能であり、
前記割当装置は、前記通信装置から前記１以上のカメラの映像を受信し、該受信した前記１以上のカメラの映像が前記第１の画像処理装置で画像処理された場合、前記第１の画像処理装置が単位時間あたりに画像処理する映像の数が前記所定数を超えるか否かを判断し、前記画像処理する映像の数が前記所定数を超えないと判断した場合、前記受信した前記１以上のカメラの映像を、前記第１の画像処理装置に割り当てる付記７に記載の画像処理システム。

［付記９］
前記割当装置は、前記画像処理する映像の数が前記所定数を超えると判断した場合、前記受信した前記１以上のカメラの映像を、前記第２の画像処理装置に割り当てる付記８に記載の画像処理システム。

［付記１０］
前記運行状況判定手段は、前記移動体に乗車している乗客に危険が生じ得る状況を、特定の運行状況として判定する付記１から９何れか１つに記載の画像処理システム。

［付記１１］
前記乗客に危険が生じ得る状況は、前記移動体が停留所に停車する状況、前記移動体が停留所から発車する状況、及び前記移動体の前後左右方向の加速度が所定の値以上である状況の少なくとも１つを含む付記１０に記載の画像処理システム。

［付記１２］
移動体が所定の運行状況にあることを判定する運行状況判定手段と、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を、映像に対して画像処理を行う画像処理装置に送信する映像送信手段とを備える通信装置。

［付記１３］
前記移動体の乗車率を取得する乗車率取得手段を更に有し、
前記映像送信手段は、前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第１のしきい値以上の場合、前記カメラの映像を前記画像処理装置に送信する付記１２に記載の通信装置。

［付記１４］
前記移動体には複数のカメラが搭載されており、
前記映像送信手段は、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、前記画像処理装置に送信する映像を決定する付記１３に記載の通信装置。

［付記１５］
前記前記移動体に搭載される付記１２から１４何れか１つに記載の通信装置。

［付記１６］
前記運行状況判定手段は、前記移動体に乗車している乗客に危険が生じ得る状況を、特定の運行状況として判定する付記１２から１５何れか１つに記載の通信装置。

［付記１７］
移動体が所定の運行状況にあることを判定し、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を画像処理装置に送信し、
前記画像処理装置において前記１以上のカメラの映像に対して画像処理を行う画像処理方法。

［付記１８］
移動体が所定の運行状況にあることを判定し、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を、映像に対して画像処理を行う１以上の画像処理装置に送信する通信方法。

［付記１９］
移動体が所定の運行状況にあることを判定し、
前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を、映像に対して画像処理を行う１以上の画像処理装置に送信する処理をプロセッサに実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。

１０：画像処理システム
２０：通信装置
２１：運行状況判定手段
２２：映像送信手段
３０：画像処理装置
４０：カメラ
１００：画像解析システム
１１０：画像解析装置
１１１：バッファ
１１２：処理実行部
１２０：遠隔監視装置
１２１：映像受信部
１２２：監視画面表示部
１３０：ネットワーク
１４０：割当装置
２００：通信装置
２０１：運行状況判定部
２０２：乗車率取得部
２０３：映像送信部
３０１：カメラ

Claims (8)

1. 映像に対して画像処理を行う１以上の画像処理装置と、
   前記画像処理装置と通信を行う１以上の通信装置とを備え、
   前記通信装置は、
   移動体が所定の運行状況にあることを判定する運行状況判定手段と、
   前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を、前記画像処理装置に送信する映像送信手段と、
   前記移動体の乗車率を取得する乗車率取得手段とを備え、
   前記映像送信手段は、前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第１のしきい値以上の場合、前記１以上のカメラの映像を前記画像処理装置に送信し、
   前記移動体には複数のカメラが搭載されており、
   前記映像送信手段は、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、前記画像処理装置に送信する映像を決定する、画像処理システム。
2. 前記複数のカメラは、前記移動体の車室内を撮影する第１のカメラと、前記移動体の車室内を前記第１のカメラの撮影範囲より狭い範囲で撮影する第２のカメラとを含み、
   前記映像送信手段は、前記乗車率が、前記第１のしきい値より大きい第２のしきい値以上の場合、前記第１のカメラ及び第２のカメラの映像を前記画像処理装置に送信する映像として決定し、前記乗車率が、前記第１のしきい値以上で、かつ第２のしきい値より低い場合、前記第１のカメラの映像を前記画像処理装置に送信する映像として決定する、請求項１に記載の画像処理システム。
3. 複数の前記通信装置を有し、
   前記複数の通信装置は、複数の前記移動体のそれぞれに搭載され、
   前記複数の通信装置から送信された映像を、前記１以上の画像処理装置の何れかに割り当てる割当装置を更に有する、請求項１又は２に記載の画像処理システム。
4. 前記運行状況判定手段は、前記移動体に乗車している乗客に危険が生じ得る状況を、特定の運行状況として判定する請求項１から３何れか１項に記載の画像処理システム。
5. 移動体が所定の運行状況にあることを判定する運行状況判定手段と、
   前記移動体が前記所定の運行状況にあると判定された場合、前記移動体に搭載された１以上のカメラの映像を、映像に対して画像処理を行う画像処理装置に送信する映像送信手段と、
   前記移動体の乗車率を取得する乗車率取得手段とを備え、
   前記映像送信手段は、前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第１のしきい値以上の場合、前記１以上のカメラの映像を前記画像処理装置に送信し、
   前記移動体には複数のカメラが搭載されており、
   前記映像送信手段は、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、前記画像処理装置に送信する映像を決定する、通信装置。
6. 複数のカメラが搭載される移動体が所定の運行状況にあることを判定し、
   前記移動体の乗車率を取得し、
   前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第１のしきい値以上の場合、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、画像処理装置に送信する映像を決定し、該決定された映像を前記画像処理装置に送信し、
   前記画像処理装置において前記カメラの映像に対して画像処理を行う画像処理方法。
7. 複数のカメラが搭載される移動体が所定の運行状況にあることを判定し、
   前記移動体の乗車率を取得し、
   前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第１のしきい値以上の場合、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、映像に対して画像処理を行う１以上の画像処理装置に送信する映像を決定し、該決定された映像を前記画像処理装置に送信する通信方法。
8. 複数のカメラが搭載される移動体が所定の運行状況にあることを判定し、
   前記移動体の乗車率を取得し、
   前記移動体が前記所定の運行状況にあると判定され、かつ前記乗車率が第１のしきい値以上の場合、前記乗車率に応じて、前記複数のカメラで撮影された映像のうち、映像に対して画像処理を行う１以上の画像処理装置に送信する映像を決定し、該決定された映像を前記画像処理装置に送信する処理をプロセッサに実行させるためのプログラム。

Images