JP2018125777A

JP2018125777A - 撮像装置、学習サーバ、撮像システム

Info

Publication number: JP2018125777A
Application number: JP2017017950A
Authority: JP
Inventors: 裕司川合; Yuji Kawai
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-02-02
Filing date: 2017-02-02
Publication date: 2018-08-09

Abstract

【課題】通信量の増加を抑制しながら、必要な情報を送信する技術を提供する。【解決手段】撮像部５０は、画像を撮像する。受信部５６は、処理対象が含まれた画像によって学習させたニューラルネットワークの学習結果を学習サーバ４０から受信する。判定部６０は、受信部５６において受信した学習結果を反映させたニューラルネットワークに、撮像部５０において撮像した画像を入力し、当該ニューラルネットワークからの出力をもとに、撮像部５０において撮像した画像に処理対象が含まれているか否かを判定する。送信部５８は、判定部６０において、画像に処理対象が含まれていることを判定した場合、撮像部５０において撮像した画像を送信する。受信部５６は、送信部５８が送信した画像によって学習させたニューラルネットワークの学習結果を学習サーバ４０から受信する。【選択図】図１

Description

本発明は、撮像技術に関し、特に撮像した映像を送信する撮像装置、学習サーバ、撮像システムに関する。

ドライブレコーダは、通常、動画撮影部と加速度センサとＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）とメモリ部と通信モジュール等を備える。このドライブレコーダは、事故発生時の前後における一定時間内の画像や事故の危険があった状況等を自動的に記録する。一方、自動車の走行に伴って自動的および任意に道路情報等を容易に送信し、その豊富な道路情報等をユーザ同士が的確に利用することが求められる。そのため、通信ネットワークを介してデータセンタと各ユーザのドライブレコーダが接続され、ドライブレコーダからの道路撮影画像や走行速度、走行経路等がデータセンタに蓄積されて、利用される（例えば、特許文献１参照）。

特開２０１５−２１０７１３号公報

ドライブレコーダからデータセンタにデータ、特に映像を送信し続ける場合、通信量が大きくなる。一方、映像を送信するタイミングを制限した場合、通信量は減少するが、必要な映像を送信できない場合がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、通信量の増加を抑制しながら、必要な情報を送信する技術を提供することにある。

上記課題を解決するために、本発明のある態様の撮像装置は、画像を撮像する撮像部と、処理対象が含まれた画像によって学習させたニューラルネットワークの学習結果を学習サーバから受信する受信部と、受信部において受信した学習結果を反映させたニューラルネットワークに、撮像部において撮像した画像を入力し、当該ニューラルネットワークからの出力をもとに、撮像部において撮像した画像に処理対象が含まれているか否かを判定する判定部と、判定部において、画像に処理対象が含まれていることを判定した場合、撮像部において撮像した画像を送信する送信部とを備える。受信部は、送信部が送信した画像によって学習させたニューラルネットワークの学習結果を学習サーバから受信する。

本発明の別の態様は、学習サーバである。この学習サーバは、画像を撮像する撮像装置と通信可能な学習サーバであって、処理対象が含まれた画像によってニューラルネットワークを学習させる学習部と、学習部における学習結果を撮像装置に送信する送信部と、撮像装置において、送信部が送信した学習結果を反映させたニューラルネットワークに、撮像した画像が入力され、当該ニューラルネットワークからの出力をもとに、当該画像に処理対象が含まれていると判定された場合に、撮像装置が撮像した画像を受信する受信部とを備える。学習部は、受信部が受信した画像によってニューラルネットワークを学習させる。

本発明のさらに別の態様は、撮像システムである。この撮像システムは、処理対象が含まれた画像によってニューラルネットワークを学習させ、学習結果を送信する学習サーバと、画像を撮像するとともに、学習サーバからの学習結果を受信する撮像装置とを備える。撮像装置は、受信した学習結果を反映させたニューラルネットワークに、撮像した画像を入力し、当該ニューラルネットワークからの出力をもとに、撮像した画像に処理対象が含まれているか否かを判定する判定部と、判定部において、画像に処理対象が含まれていることを判定した場合、撮像した画像を送信する送信部とを備える。学習サーバは、送信部が送信した画像によってニューラルネットワークを学習させる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、通信量の増加を抑制しながら、必要な情報を送信できる。

実施例に係る撮像システムの構成を示す図である。図１の学習サーバから送信される学習結果のデータ構造を示す図である。図１の撮像システムによる送信手順を示すシーケンス図である。図１の撮像装置による送信手順を示すフローチャートである。

本発明の実施例を具体的に説明する前に、概要を述べる。本発明の実施例は、車両に搭載されたドライブレコーダ等の撮像装置と、撮像装置にネットワークを介して接続された蓄積サーバとを含む撮像システムに関する。撮像システムにおいて、撮像装置は映像を蓄積サーバに送信し、蓄積サーバは映像を蓄積する。撮像装置が映像を連続的に送信した場合、ネットワークの通信量が増加して、ネットワークへの負荷、蓄積サーバへの負荷も増加する。また、通信料金も増加する。このような状況の発生を防止するために、撮像装置から映像を送信するタイミングを制限した場合、必要な映像を送信できないおそれがある。本実施例では、通信量を削減しながら、必要な映像を送信することを目的とする。

本実施例に係る映像システムには、学習サーバがさらに含まれており、学習サーバは、処理対象が含まれた画像によってニューラルネットワークを学習させる。ここで、処理対象とは、車両、歩行者、自転車、二輪車のような対象物、出会い頭、追突、飛び出しのようなシーンが含まれる。そのため、学習サーバでの学習結果は、これらの処理対象が含まれた画像を検知可能なように設定される。学習サーバは、学習結果を撮像装置に送信する。撮像装置は、受信した学習結果を反映させるようにニューラルネットワークを更新させ、撮像した映像に含まれる各画像をニューラルネットワークに入力することによって、処理対象が含まれた画像を検知する。撮像装置は、処理対象が含まれた画像を検知した場合、当該画像が含まれた一定期間の映像をネットワーク経由で蓄積サーバに送信する。さらに、学習サーバは、蓄積サーバに蓄積された映像をもとに前述の学習を繰り返し実行し、学習結果を撮像装置に順次送信する。撮像装置は、受信した学習結果を反映させるようにニューラルネットワークをさらに更新させ、前述の処理を繰り返す。

図１は、実施例に係る撮像システム１００の構成を示す。撮像システム１００は、車両１０、撮像装置２０、蓄積サーバ３０、学習サーバ４０を含む。また、撮像装置２０は、撮像部５０、処理部５２、記憶部５４、受信部５６、送信部５８を含み、処理部５２は、判定部６０を含む。学習サーバ４０は、受信部７０、学習部７２、送信部７４を含む。ここで、撮像装置２０は、車両１０に搭載されるドライブレコーダである。

学習サーバ４０は、画像の組合せで構成される映像を撮像する撮像装置２０と通信可能である。学習サーバ４０の学習部７２は、処理対象が含まれた画像によってニューラルネットワークを学習させる。処理対象は、対象となるシーン（以下、単に「シーン」ということもある）と、対象となる物（以下、「対象物」ということもある）に分類される。前述のごとく、シーンには、出会い頭、追突、飛び出し等が含まれ、対象物には、車両、歩行者、自転車、二輪車等が含まれる。つまり、撮像装置２０がドライブレコーダである場合を想定しているので、交通事故が発生した、あるいは発生の可能性が高いシーンと対象物が処理対象とされる。

ニューラルネットワークの学習は、機械学習の手法の１つであるディープラーニングによってなされており、人間の脳の神経回路をもとにした手法がベースになっている。ニューラルネットワークでは、脳の神経細胞を模したパーセプトロンが三層以上重なって組み合わさっており、データの特徴をさまざまな方面や段階から学ぶことによって、自動的に深く理解する。そのため、ニューラルネットワークは、複雑な特徴を理解しないとできない画像の判別処理に適する。ニューラルネットワークおよびニューラルネットワークの学習については公知の技術を使用すればよいので、ここでは説明を省略する。

学習部７２は、出会い頭、追突、飛び出し等のシーンごとの映像をフレームごとの画像に分解し、それを時系列の順番に、予め構築したニューラルネットワークに入力する。これによって、ニューラルネットワークは各シーンの特徴を時系列で学習する。また、学習部７２は、このような学習を数万件〜数十万件繰り返すことによって学習精度を向上させる。さらに、学習部７２は、車両、歩行者、自転車、二輪車等の対象物ごとの映像をフレームごとの画像に分解し、前述の処理と同様の処理を実行する。その結果、学習部７２は、シーンおよび対象物に対するニューラルネットワークの学習結果を取得する。

送信部７４は、学習部７２における学習結果をネットワーク経由で撮像装置２０に送信する。図２は、学習サーバ４０から送信される学習結果のデータ構造を示す。これは、学習結果に含まれるパラメータを示す。最適化関数は、Ａｄａｍ等の関数名とそのパラメータを含む。ネットワークモデルは、ＶＧＧ等のベース、畳み込み、ｍａｘプーリング数、全結合等の層、ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ(あり、なし)を含む。活性化関数は、ｒｅｌｕ等の関数を含む。ドロップアウトは、ｄｒｏｐｏｕｔ(あり、なし）、ｒａｔｉｏ等のパラメータを含み、ｌｏｓｓ計算は、ｓｏｆｔｍａｘ＿ｃｒｏｓｓ＿ｅｎｔｒｏｐｙ等を含む。図１に戻る。

撮像装置２０の受信部５６は、学習結果を学習サーバ４０から受信する。受信部５６は、学習結果を処理部５２に出力する。撮像部５０は、映像を撮像する。撮像された映像は、複数の画像が時系列に並べられることによって構成される。そのため、撮像部５０は、画像を撮像するともいえる。撮像部５０は、撮像した映像、画像をデジタルデータに変換する。なお、以下では、デジタルデータに変換された映像、画像も、映像、画像という。撮像部５０は、映像を処理部５２に出力する。

記憶部５４は、処理部５２からの指示によって、撮像部５０において撮像された映像を記憶する。なお、映像に含まれた複数の画像の少なくとも一部には、タイムスタンプ等の時間を特定するための情報（以下、「時間情報」という）が含まれており、記憶部５４は、時間情報も記憶する。

判定部６０は、受信部５６において受信した学習結果を反映させるようにニューラルネットワークを更新させる。また、判定部６０は、記憶部５４に記憶した各画像、つまり撮像部５０において撮像した各画像をニューラルネットワークに入力する。判定部６０は、ニューラルネットワークからの出力をもとに、各画像に処理対象が含まれているか否かを判定する。これは、学習済みのニューラルネットワークが各画像を判定して、シーン、対象物の検知がなされることに相当する。つまり、判定部６０は、各画像に、前述のシーン、対象物が含まれているか否かを判定する。

判定部６０は、シーンと対象物とが含まれた画像を検知した場合、当該画像を含む一定期間の映像を記憶部５４から取得する。一定期間は、例えば、当該画像よりも前のタイミングから後のタイミングまでになるように規定される。なお、このような一定期間の映像の取得には、前述の時間情報が使用される。ここでは、シーンと対象物とが含まれた画像を検知した場合に一定期間の映像が取得されているが、シーンと対象物のいずれか一方の画像を検知した場合に一定期間の映像が取得されてもよい。

送信部５８は、判定部６０において、画像に処理対象が含まれていることを判定した場合、一定期間の映像をネットワーク経由で蓄積サーバ３０に送信する。これは、撮像部５０において撮像した画像を送信することに相当する。蓄積サーバ３０は、撮像装置２０からの映像を受信して、それを蓄積する。蓄積サーバ３０には、ネットワークを介して学習サーバ４０が接続される。なお、蓄積サーバ３０と学習サーバ４０は一体的に構成されてもよい。

学習サーバ４０の受信部７０は、蓄積サーバ３０からの映像を受信する。これは、撮像装置２０が撮像した映像であって、かつ撮像装置２０において処理対象が含まれていると判定された画像を含む映像を受信することに相当する。受信部７０は、映像を学習部７２に出力する。学習部７２は、受信部７０が受信した映像によって、前述のニューラルネットワークの学習を実行する。つまり、学習部７２は、受信した映像をフレームごとの画像に分解し、それを時系列の順番に、予め構築したニューラルネットワークに入力する。これに続く処理はこれまでと同様であるので、ここでは説明を省略する。このような処理による学習結果も送信部７４から撮像装置２０に送信される。

撮像装置２０の受信部５６は、送信部５８が送信した映像によって学習させたニューラルネットワークの学習結果を学習サーバ４０から新たに受信する。判定部６０は、受信部５６において新たに受信した学習結果を反映させるようにニューラルネットワークを更新させる。これに続く処理はこれまでと同様であるので、ここでは処理を説明する。そのため、学習サーバ４０におけるニューラルネットワークの学習と、撮像装置２０におけるニューラルネットワークによる判定が、ループ状に繰り返し実行される。

ここでは、１台の車両１０に搭載された１つの撮像装置２０だけを示している。しかしながら、撮像システム１００には、撮像装置２０を搭載した車両１０が複数含まれてもよい。このような構成において、学習サーバ４０は、複数の撮像装置２０のそれぞれが撮像した映像を受信する。その際、学習部７２は、複数の撮像装置２０のそれぞれが撮像した映像によってニューラルネットワークを学習させる。このような処理によって、ニューラルネットワークを学習させる際に使用する画像の数が増加される。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

以上の構成による撮像システム１００の動作を説明する。図３は、撮像システム１００による送信手順を示すシーケンス図である。学習サーバ４０は、ニューラルネットワークを学習させる（Ｓ１０）。学習サーバ４０は、学習結果を送信する（Ｓ１２）。撮像装置２０は、ニューラルネットワークを更新させる（Ｓ１４）。撮像装置２０は映像を撮像する（Ｓ１６）。撮像装置２０は、映像に含まれる画像に処理対象を検出する（Ｓ１８）。撮像装置２０は、一定期間の映像を送信する（Ｓ２０）。学習サーバ４０は、映像に含まれた映像によってニューラルネットワークを学習させる（Ｓ２２）。学習サーバ４０は、学習結果を送信する（Ｓ２４）。撮像装置２０は、ニューラルネットワークを更新させる（Ｓ２６）。

図４は、撮像装置２０による送信手順を示すフローチャートである。受信部５６は、学習結果を受信する（Ｓ５０）。判定部６０は、ニューラルネットワークを更新させる（Ｓ５２）。判定部６０が対象となるシーンを検知し（Ｓ５４のＹ）、対象となる物を検知した場合（Ｓ５６のＹ）、送信部５８は、検知時刻前後の映像を送信する（Ｓ５８）。判定部６０が対象となるシーンを検知しない場合（Ｓ５４のＮ）、あるいは対象となる物を検知しない場合（Ｓ５６のＮ）、処理は終了される。

本実施例によれば、処理対象が含まれた画像によって学習させたニューラルネットワークによって、処理対象が含まれた画像を検出した場合に画像を送信するので、必要な映像を一時期だけ送信できる。また、必要な映像が一時期だけ送信されるので、通信量の増加を抑制しながら必要な情報を送信できる。また、対象となるシーンが含まれた画像によって学習させたニューラルネットワークを使用するので、対象となるシーンが含まれた画像を検出できる。また、対象物が含まれた画像によって学習させたニューラルネットワークを使用するので、対象物が含まれた画像を検出できる。

また、処理対象が含まれた画像によって学習させたニューラルネットワークを使用させて、処理対象が含まれた画像を検出した場合に画像を送信させるので、通信量の増加を抑制しながら必要な情報を受信できる。また、受信した画像をもとにニューラルネットワークを学習させるので、学習の精度を向上できる。また、複数の撮像装置のそれぞれが撮像した画像によってニューラルネットワークを学習させるので、学習に使用する画像の数を増加できる。また、学習に使用する画像の数が増加されるので、学習の精度を向上できる。

本発明の一態様の概要は、次の通りである。本発明のある態様の撮像装置は、画像を撮像する撮像部と、処理対象が含まれた画像によって学習させたニューラルネットワークの学習結果を学習サーバから受信する受信部と、受信部において受信した学習結果を反映させたニューラルネットワークに、撮像部において撮像した画像を入力し、当該ニューラルネットワークからの出力をもとに、撮像部において撮像した画像に処理対象が含まれているか否かを判定する判定部と、判定部において、画像に処理対象が含まれていることを判定した場合、撮像部において撮像した画像を送信する送信部とを備える。受信部は、送信部が送信した画像によって学習させたニューラルネットワークの学習結果を学習サーバから受信する。

この態様によると、処理対象が含まれた画像によって学習させたニューラルネットワークによって、処理対象が含まれた画像を検出した場合に画像を送信するので、通信量の増加を抑制しながら必要な情報を送信できる。

受信部は、対象となるシーンが含まれた画像によって学習させたニューラルネットワークの学習結果を学習サーバから受信し、判定部は、撮像部において撮像した画像に対象となるシーンが含まれているか否かを判定してもよい。この場合、対象となるシーンが含まれた画像によって学習させたニューラルネットワークを使用するので、対象となるシーンが含まれた画像を検出できる。

受信部は、対象となる物が含まれた画像によって学習させたニューラルネットワークの学習結果を学習サーバから受信し、判定部は、撮像部において撮像した画像に対象となる物が含まれているか否かを判定してもよい。この場合、対象となる物が含まれた画像によって学習させたニューラルネットワークを使用するので、対象となる物が含まれた画像を検出できる。

この態様によると、処理対象が含まれた画像によって学習させたニューラルネットワークを使用させて、処理対象が含まれた画像を検出した場合に画像を送信させるので、通信量の増加を抑制しながら必要な情報を受信できる。

受信部は、複数の撮像装置のそれぞれが撮像した画像を受信し、学習部は、受信部が受信した画像であって、かつ複数の撮像装置のそれぞれが撮像した画像によってニューラルネットワークを学習させてもよい。この場合、複数の撮像装置のそれぞれが撮像した画像によってニューラルネットワークを学習させるので、学習の精度を向上できる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本実施例において、撮像装置２０は車両１０に搭載される。しかしながらこれに限らず例えば、撮像装置２０は車両１０以外に設置されてもよく、監視カメラのように使用されてもよい。本変形例によれば、適用範囲を拡大できる。

１０車両、２０撮像装置、３０蓄積サーバ、４０学習サーバ、５０撮像部、５２処理部、５４記憶部、５６受信部、５８送信部、６０判定部、７０受信部、７２学習部、７４送信部、１００撮像システム。

Claims

画像を撮像する撮像部と、
処理対象が含まれた画像によって学習させたニューラルネットワークの学習結果を学習サーバから受信する受信部と、
前記受信部において受信した学習結果を反映させたニューラルネットワークに、前記撮像部において撮像した画像を入力し、当該ニューラルネットワークからの出力をもとに、前記撮像部において撮像した画像に処理対象が含まれているか否かを判定する判定部と、
前記判定部において、画像に処理対象が含まれていることを判定した場合、前記撮像部において撮像した画像を送信する送信部とを備え、
前記受信部は、前記送信部が送信した画像によって学習させたニューラルネットワークの学習結果を前記学習サーバから受信することを特徴とする撮像装置。
前記受信部は、対象となるシーンが含まれた画像によって学習させたニューラルネットワークの学習結果を学習サーバから受信し、
前記判定部は、前記撮像部において撮像した画像に対象となるシーンが含まれているか否かを判定することを特徴とする請求項１に記載の撮像装置。
前記受信部は、対象となる物が含まれた画像によって学習させたニューラルネットワークの学習結果を学習サーバから受信し、
前記判定部は、前記撮像部において撮像した画像に対象となる物が含まれているか否かを判定することを特徴とする請求項１に記載の撮像装置。
画像を撮像する撮像装置と通信可能な学習サーバであって、
処理対象が含まれた画像によってニューラルネットワークを学習させる学習部と、
前記学習部における学習結果を前記撮像装置に送信する送信部と、
前記撮像装置において、前記送信部が送信した学習結果を反映させたニューラルネットワークに、撮像した画像が入力され、当該ニューラルネットワークからの出力をもとに、当該画像に処理対象が含まれていると判定された場合に、前記撮像装置が撮像した画像を受信する受信部とを備え、
前記学習部は、前記受信部が受信した画像によってニューラルネットワークを学習させることを特徴とする学習サーバ。
前記受信部は、複数の撮像装置のそれぞれが撮像した画像を受信し、
前記学習部は、前記受信部が受信した画像であって、かつ前記複数の撮像装置のそれぞれが撮像した画像によってニューラルネットワークを学習させることを特徴とする請求項４に記載の学習サーバ。
処理対象が含まれた画像によってニューラルネットワークを学習させ、学習結果を送信する学習サーバと、
画像を撮像するとともに、前記学習サーバからの学習結果を受信する撮像装置とを備え、
前記撮像装置は、
受信した学習結果を反映させたニューラルネットワークに、撮像した画像を入力し、当該ニューラルネットワークからの出力をもとに、撮像した画像に処理対象が含まれているか否かを判定する判定部と、
前記判定部において、画像に処理対象が含まれていることを判定した場合、撮像した画像を送信する送信部とを備え、
前記学習サーバは、前記送信部が送信した画像によってニューラルネットワークを学習させることを特徴とする撮像システム。