JP7482011B2

JP7482011B2 - 情報処理システム

Info

Publication number: JP7482011B2
Application number: JP2020201848A
Authority: JP
Inventors: 瑞城小野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2020-12-04
Filing date: 2020-12-04
Publication date: 2024-05-13
Anticipated expiration: 2040-12-04
Also published as: US11765223B2; JP2024036491A; US20220182438A1; JP2022089447A

Description

本発明の実施形態は、情報処理システムに関する。

例えば、監視カメラにより撮像された画像データから、ニューラルネットワークを用いて監視対象エリア内に人物が存在しているか否かを判断する監視システムが知られている。このような監視システムは、カメラと送信機とを含むエッジ装置から、データセンタへと定期的に画像データが送信される。そして、データセンタは、エッジ装置から受信した画像データに対して、ニューラルネットワークを用いた演算処理を実行し、画像データに人物が含まれているか否かを判断する。

このような監視システムは、人物が存在していない画像データもデータセンタに送信される。監視システムが多数のエッジ装置を備える場合、このような画像データが大量にデータセンタに送信されてしまう。従って、このような監視システムは、通信負荷を増大させないように、例えば画像データの送信間隔を長くする等の措置を取らなければならなかった。また、データセンタは、対象物が存在していない画像データに対してもニューラルネットワークを用いた演算処理を実行しなければならない。従って、このような監視システムは、データセンタの演算処理の負荷が大きかった。

特開平７－１２８２００号公報特開平１１－３２３０号公報特開２００６－２６１９４９号公報

S. Teerapittayanon, B. McDanel, H. T. Kung (2016). "BranchyNet: Fast Inference via Early Exiting from Deep Neural Networks,"in Proc. of the 23rd International Conference on Pattern Recognition, pp. 2464-2469. P. Panda, A. Sengupta, K. Roy (2016). "Conditional Deep Learning for Energy-Efficient and Enhanced Pattern Recognition,"in Proc. of 2016 Design Automation and Test in European Conference and Exhibition, pp. 475-480. K. He, X. Zhang, S. Ren, J. Sun (2016). "Deep Residual Learning for Image Recognition," in Proc. of the IEEE Computer Society Conf. on Computer Vision and Pattern Recognition, pp.770-778.

本発明が解決しようとする課題は、通信負荷の軽減および演算負荷の分散を実現することができる情報処理システムを提供することにある。

実施形態に係る情報処理システムは、少なくとも１つの副情報処理装置と、主情報処理装置と、を備える。前記主情報処理装置は、前記少なくとも１つの副情報処理装置のそれぞれと通信ネットワークを介して接続される。前記少なくとも１つの副情報処理装置のそれぞれは、入力部と、第１演算処理部と、送信部と、を有する。前記入力部は、入力情報を取得する。前記第１演算処理部は、前記入力情報に対して、第１ニューラルネットワークにおける入力層から予め定められた位置の境界層までの前段ネットワークを用いた演算処理を実行する。前記送信部は、前記前段ネットワークを用いた演算処理の演算結果を表す中間情報を前記主情報処理装置に送信する。前記主情報処理装置は、受信部と、第２演算処理部と、出力部とを有する。前記受信部は、前記少なくとも１つの副情報処理装置のそれぞれから前記中間情報を受信する。前記第２演算処理部は、前記中間情報に対して、前記第１ニューラルネットワークにおける前記境界層の次の層から出力層までの後段ネットワークを用いた演算処理を実行する。前記出力部は、前記後段ネットワークを用いた演算処理の演算結果を表す出力情報を出力する。前記少なくとも１つの副情報処理装置のそれぞれは、前記中間情報に対して、判定用ニューラルネットワークを用いた演算処理を実行する第３演算処理部と、前記判定用ニューラルネットワークを用いた演算処理の演算結果に応じて、前記中間情報を前記主情報処理装置に送信するか否かを判断する判断部と、をさらに有する。前記送信部は、前記中間情報を前記主情報処理装置に送信すると判断された場合、前記中間情報を前記主情報処理装置に送信する。

情報処理システムを示す図。第１実施形態に係る副情報処理装置および主情報処理装置の構成図。第１ニューラルネットワークの構成例を示す図。層毎の演算結果の個数を示す図。層毎の乗算の累積回数を示す図。第２実施形態に係る副情報処理装置および主情報処理装置の構成図。第２実施形態に係るニューラルネットワークの構成例を示す図。第３実施形態に係る副情報処理装置および主情報処理装置の構成図。第３実施形態に係るニューラルネットワークの構成例を示す図。副情報処理装置および主情報処理装置のハードウェア構成を示す図。

以下、図面を参照しながら実施形態に係る情報処理システム１０について説明する。

（第１実施形態）
図１は、情報処理システム１０を示す図である。第１実施形態に係る情報処理システム１０は、エッジコンピューティングシステムである。本実施形態において、情報処理システム１０は、広域の監視対象エリアを複数の撮像カメラを用いて撮像して、監視対象エリアに不審人物等が存在するか否かを監視する。

情報処理システム１０は、少なくとも１つのエッジ装置１２と、データセンタ１４とを備える。本実施形態においては、情報処理システム１０は、複数のエッジ装置１２を備える。

複数のエッジ装置１２は、分散して配置される。複数のエッジ装置１２のそれぞれは、情報取得デバイスと、コンピュータである副情報処理装置１８とを有する。情報取得デバイスは、センサ等を用いて入力情報を取得する。本実施形態においては、複数のエッジ装置１２のそれぞれは、情報取得デバイスとしてカメラ１６を有する。複数のエッジ装置１２のそれぞれのカメラ１６は、監視対象エリアの一部分を、定期的に撮像する。複数のエッジ装置１２のそれぞれのカメラ１６は、撮像した画像データを定期的に副情報処理装置１８に供給する。

副情報処理装置１８は、情報取得デバイスから入力情報を取得し、取得した入力情報に対して所定の情報処理を実行する。そして、副情報処理装置１８は、所定の情報処理を実行した後の情報を通信ネットワークを介してデータセンタ１４に送信する。本実施形態においては、複数のエッジ装置１２のそれぞれの副情報処理装置１８は、対応するカメラ１６により撮像された画像データを、入力情報として定期的に取得し、取得した画像データに対して所定の情報処理を実行する。そして、副情報処理装置１８は、画像データに対して所定の情報処理を実行した後の情報を、通信ネットワークを介してデータセンタ１４に送信する。

データセンタ１４は、複数のエッジ装置１２のそれぞれから通信ネットワークを介して情報を受信する。そして、データセンタ１４は、複数のエッジ装置１２のそれぞれから情報を受信する毎に、受信した情報に対して所定の情報処理を実行する。本実施形態においては、データセンタ１４は、主情報処理装置２０を有する。主情報処理装置２０は、単体のコンピュータであってもよい、複数のコンピュータが連携して動作するクラウド等であってもよい。

本実施形態において、主情報処理装置２０は、エッジ装置１２により撮像された複数の画像データに対して所定の情報処理がされた後の情報を受信する。そして、主情報処理装置２０は、エッジ装置１２から受信した情報に対してさらに所定の情報処理を実行することにより監視対象エリアに存在する不審人物等を検出し、検出結果を出力する。

なお、情報処理システム１０は、監視対象エリアに不審人物等が存在するか否かを監視するシステム以外のシステムに適用されてもよい。例えば、情報処理システム１０は、畜産における家畜の状況を観察するシステム、または、栽培における植物の状況を観察するシステムであってもよい。また、例えば、情報処理システム１０は、駅、地下街、商店街またはイベント会場等における人の流れを観察するシステム、または、道路における車両の混雑の状況または渋滞の状況を観察するシステムに適用されてもよい。また、情報処理システム１０は、カメラ１６により撮像された画像データを処理するシステムに限らず、音声データを処理するシステムであってもよい。例えば、情報処理システム１０は、工場等における異音を検知するシステム、または、幹線道路、鉄道線路またはこれらの周辺等における騒音を検知するシステムに適用されてもよい。また、情報処理システム１０は、気圧、温度、風速または風向等を表す観測データを処理する気象観察システムに適用されてもよい。

図２は、第１実施形態に係る副情報処理装置１８および主情報処理装置２０の構成を示す図である。

複数の副情報処理装置１８のそれぞれは、所定のプログラムを実行することにより、入力部２２、第１演算処理部２４および送信部２６として機能する。すなわち、副情報処理装置１８は、入力部２２と、第１演算処理部２４と、送信部２６とを有する。

主情報処理装置２０は、所定のプログラムを実行することにより、受信部３２、第２演算処理部３４および出力部３６として機能する。すなわち、主情報処理装置２０は、受信部３２と、第２演算処理部３４と、出力部３６とを有する。

入力部２２は、情報取得デバイスから出力された入力情報を取得する。本実施形態においては、入力部２２は、カメラ１６により撮像された画像データを定期的に取得する。

第１演算処理部２４は、入力部２２により取得された入力情報に対して、前段ネットワークを用いた演算処理を実行する。前段ネットワークは、第１ニューラルネットワークにおける入力層から予め定められた位置の境界層までの部分である。なお、第１ニューラルネットワークおよび前段ネットワークについては詳細を後述する。

送信部２６は、第１演算処理部２４による前段ネットワークを用いた演算処理の演算結果を表す中間情報を第１演算処理部２４から取得する。そして、送信部２６は、中間情報を通信ネットワークを介して主情報処理装置２０に送信する。

受信部３２は、複数の副情報処理装置１８のそれぞれから、通信ネットワークを介して中間情報を受信する。

第２演算処理部３４は、受信部３２が中間情報を受信する毎に、受信した中間情報に対して、後段ネットワークを用いた演算処理を実行する。後段ネットワークは、第１ニューラルネットワークにおける境界層の次の層から出力層までの部分である。後段ネットワークについては、詳細を後述する。

出力部３６は、第２演算処理部３４から、後段ネットワークを用いた演算処理の演算結果を取得する。そして、出力部３６は、後段ネットワークを用いた演算処理の演算結果を表す出力情報を外部装置に出力する。例えば、出力部３６は、出力情報をユーザ端末装置に送信したり、表示装置に表示させたりする。本実施形態においては、出力部３６は、監視対象エリアに不審人物等が存在するか否かおよび不審人物等が存在する部分領域を表す出力情報を出力する。

このような情報処理システム１０は、副情報処理装置１８および主情報処理装置２０の２つの装置により、第１ニューラルネットワークを用いた演算処理をする。これにより、情報処理システム１０は、第１ニューラルネットワークを用いた演算処理を２つの装置に分散して実行させることができる。

なお、図２には、２つの副情報処理装置１８を示しているが、情報処理システム１０は、少なくとも１つの副情報処理装置１８を備えればよい。すなわち、情報処理システム１０は、１個の副情報処理装置１８を備えてもよいし、３個以上の副情報処理装置１８を備えてもよい。

図３は、第１ニューラルネットワークの構成の一例を示す図である。第１ニューラルネットワークは、後段ネットワークの何れかの層から前段ネットワークの何れかの層へと情報がフィードバックされない構成であれば、どのようなネットワークであってもよい。

例えば、本実施形態のように、カメラ１６により撮像された画像データを入力情報とし、監視対象エリアに不審人物等が存在するか否かを監視するシステムである場合、第１ニューラルネットワークは、非特許文献３に記載されたＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋであってもよい。図３は、Ｒｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋにおける畳み込み層の数が３４個の構成例を示す。

前段ネットワークは、第１ニューラルネットワークにおける前段の部分ネットワークである。また、後段ネットワークは、第１ニューラルネットワークにおける、前段ネットワークの部分を除いた後段の部分ネットワークである。すなわち、第１ニューラルネットワークは、前段ネットワークに、後段ネットワークを接続したネットワークである。

ここで、前段ネットワークの最終段である境界層は、出力する値の情報量が、入力情報（例えば、カメラ１６により撮像された画像データ）の情報量よりも少ない位置に設定される。すなわち、前段ネットワークを用いた演算処理の演算結果を表す中間情報は、入力情報より情報量が少ない。例えば、中間情報に含まれる数値の個数は、入力情報に含まれる数値の個数より少ない。

これにより、情報処理システム１０は、入力情報を副情報処理装置１８から主情報処理装置２０へとそのまま送信して、主情報処理装置２０において第１ニューラルネットワークを用いた演算処理を実行する場合よりも、通信ネットワークの通信負荷を軽減することができる。また、主情報処理装置２０は、入力情報に対して第１ニューラルネットワークを用いた演算処理を実行した場合の処理量よりも、少ない処理量で演算処理を実行することができる。

なお、複数の副情報処理装置１８のそれぞれが用いる前段ネットワークは、ネットワーク構成が同一であれば、パラメータ（重みおよびバイアス）が共通であっても、異なっていてもよい。例えば、前段ネットワークは、学習装置により予め訓練された第１ニューラルネットワークに設定されているパラメータが設定されてもよい。また、前段ネットワークは、共通のパラメータが設定された後に、複数の副情報処理装置１８のそれぞれ毎にパラメータが適応化されてもよい。

図４は、３４層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋにおける層毎の演算結果の個数を示す図である。

非特許文献３には、１８層、３４層、５０層、１０１層および１５２層の畳み込み層を含む５種類のＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋが記述されている。何れのニューラルネットワークも、画素数が２２４×２２４であり、各々が赤青緑の三色よりなる画像を表す入力画像データを入力する。従って、何れのニューラルネットワークも、合計で２２４×２２４×３＝１５０５２８個の数値を含む入力画像データを入力する。

これらの５種類のニューラルネットワークにおいて畳み込み層の出力の数値の個数は、次のようになる。

１８層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、入力層から７層目の畳み込み層が、２８×２８×１２８＝１００３５２個の数値を出力する。３４層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、入力層から９層目の畳み込み層が、２８×２８×１２８＝１００３５２個の数値を出力する。５０層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、入力層から１２層目の畳み込み層が、２８×２８×１２８＝１００３５２個の数値を出力する。１０１層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、入力層から１２層目の畳み込み層が、２８×２８×１２８＝１００３５２個の数値を出力する。１５２層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、入力層から１２層目の畳み込み層が、２８×２８×１２８＝１００３５２個の数値を出力する。

上述した畳み込み層は、何れも、入力画像データに含まれる数値の個数よりも少ない。従って、情報処理システム１０は、例えば上述した各畳み込み層を境界層として設定することにより、入力画像データをそのまま主情報処理装置２０に送信するよりも、通信量を削減することができる。

また、Ｒｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、全体的な傾向として、畳み込み層が深くなるに従って、各層から出力される複数の数値に含まれる、画像の大きさ（すなわち、２２４×２２４）に相当する数値の個数が減少し、赤青緑（すなわち、３）に相当する数値の個数が増大する。

また、Ｒｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、畳み込み層から出力される複数の数値の個数が変化する場合、全体的な傾向として、画像の大きさに相当する数値の個数が縦および横ともに１／２倍となり、赤青緑に相当する数値の個数が２倍となる。つまり、Ｒｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、畳み込み層から出力される複数の数値の個数が変化する場合、畳み込み層から出力される複数の数値の個数が１／２倍となる。

従って、情報処理システム１０は、上述した畳み込み層に限らず、上述した畳み込み層より後段の層を境界層と設定することにより、入力画像データをそのまま主情報処理装置２０に送信するよりも、通信量を削減することができる場合がある。つまり、境界層として設定する層は、上述した畳み込み層に限られない。

より具体的には、１８層または３４層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、畳み込み層が深くなるに従って、各層から出力される複数の数値の個数が少なくなる、または、同一である。従って、１８層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋの７層目以降の各畳み込み層から出力される数値の個数は、入力画像データに含まれる数値の個数である１５０５２８個よりも少ない。例えば、１８層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、１１層目の畳み込み層が１４×１４×２５６＝５０１７６個の数値を出力し、１５層目の畳み込み層が７×７×５１２＝２５０８８個の数値を出力する。また、３４層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋの９層目以降の各畳み込み層から出力される数値の個数も、入力画像データの数値の個数である１５０５２８個よりも少ない。例えば、３４層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、１７層目の畳み込み層が１４×１４×２５６＝５０１７６個の数値を出力し、２９層目の畳み込み層が７×７×５１２＝２５０８８個の数値を出力する。

５０層、１０１層または１５２層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、畳み込み層が深くなるに従って、層から出力される複数の数値の個数が増加する場合もあるが、全体的な傾向としては層から出力される複数の数値の個数が少なくなる。例えば、５０層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、２４層目の畳み込み層が１４×１４×２５６＝５０１７６個の数値を出力し、４２層目の畳み込み層が７×７×５１２＝２５０８８個の数値を出力する。また、例えば、１０１層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、２４層目の畳み込み層が１４×１４×２５６＝５０１７６個の数値を出力し、９３層目の畳み込み層が７×７×５１２＝２５０８８個の数値を出力する。また、例えば、１５２層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋは、３６層目の畳み込み層が１４×１４×２５６＝５０１７６個の数値を出力し、１４４層目の畳み込み層が７×７×５１２＝２５０８８個の数値を出力する。

以上のように、１８層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋの７層目、３４層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋの９層目、５０層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋの１２層目、１０１層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋの１２層目、および、１５２層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋの１２層目のそれぞれよりも後段の各畳み込み層は、入力画像データの数値の個数よりも少ない。従って、情報処理システム１０は、例えば上述した各畳み込み層以降の何れかの層を境界層として設定することにより、入力画像をそのまま主情報処理装置２０に送信するよりも、通信量を削減することができる。

なお、畳み込み層が深くなるに従い、層から出力される数値の個数が減少するという傾向は、Ｒｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋに限るものではなく、ニューラルネットワークの全般に対して見られる傾向である。つまり、第１ニューラルネットワークとしてＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋ以外のニューラルネットワークを用いた場合であっても、入力情報の情報量よりも少ない情報量を出力する層が存在する。従って、情報処理システム１０は、第１ニューラルネットワークにおける、入力情報の情報量よりも少ない情報量を出力する層が境界層として設定されることにより、入力情報をそのまま主情報処理装置２０に送信するよりも、通信量を削減することができる。

図５は、３４層の畳み込み層を含むＲｅｓｉｄｕａｌ－ｎｅｔｗｏｒｋにおける層毎の乗算の累積回数を示す図である。

ニューラルネットワークを用いた演算処理は、多数の乗算処理および多数の加算処理を含む。このため、ニューラルネットワークを用いた演算処理を実行するコンピュータは、高い演算能力を有しなければならない。一般に、エッジコンピューティングシステムは、エッジ装置１２（副情報処理装置１８）の演算能力が、データセンタ１４（主情報処理装置２０）の演算能力と比較して小さい。従って、境界層は、前段ネットワークを用いた演算処理の処理量が、後段ネットワークを用いた演算処理の処理量よりも小さくなるように、設定されることが好ましい。例えば、境界層は、入力層からの累積の乗算回数が、エッジ装置１２の演算能力に応じて予め設定された回数以下となる層に設定されることが好ましい。これにより、エッジ装置１２（副情報処理装置１８）は、小さい演算能力により、前段ネットワークを用いた演算処理を一定の処理時間内に実行することができる。換言すると、情報処理システム１０は、主情報処理装置２０にのみ高い演算能力を持たせれば、副情報処理装置１８には高い演算能力を持たせなくても、大量の入力情報を高速に処理することができる。

また、情報処理システム１０は、第１ニューラルネットワークを用いた演算処理を、エッジ装置１２（副情報処理装置１８）とデータセンタ１４（主情報処理装置２０）とで分散して実行する。従って、情報処理システム１０は、第１ニューラルネットワークを用いた演算処理をデータセンタ１４（主情報処理装置２０）が単独で実行する場合よりも、データセンタ１４（主情報処理装置２０）の演算能力を低くすることができる。

（第２実施形態）
つぎに、第２実施形態に係る情報処理システム１０について説明する。第２実施形態に係る情報処理システム１０は、第１実施形態とほぼ同一の機能および構成を有する。第２実施形態に係る情報処理システム１０の説明をするにあたり、第１実施形態とほぼ同一の機能および構成を有する装置およびユニットについては、同一の符号を付けて、相違点を除き詳細な説明を省略する。

図６は、第２実施形態に係る副情報処理装置１８および主情報処理装置２０の構成を示す図である。

第２実施形態において、受信部３２は、複数の副情報処理装置１８のそれぞれから、通信ネットワークを介して入力情報を受信する。第２実施形態において、第２演算処理部３４は、受信部３２が入力情報を受信する毎に、受信した入力情報に対して、第１ニューラルネットワークを用いた演算処理を実行する。第２実施形態において、出力部３６は、第２演算処理部３４から、第１ニューラルネットワークを用いた演算処理の演算結果を取得する。そして、出力部３６は、第１ニューラルネットワークを用いた演算処理の演算結果を表す出力情報を外部装置に出力する。

第２実施形態に係る複数の副情報処理装置１８のそれぞれは、判断部４２をさらに有する。第２実施形態において、第１演算処理部２４は、入力部２２により取得された入力情報に対して、判定用ニューラルネットワークを用いた演算処理を実行する。

判定用ニューラルネットワークは、第１ニューラルネットワークと比較して工程数が少ない。従って、判定用ニューラルネットワークを用いた演算処理の処理量は、第１ニューラルネットワークを用いた演算処理の処理量より少ない。さらに、判定用ニューラルネットワークは、第１ニューラルネットワークと同一の入力情報を受け取り、同一の演算結果が出力されるように学習がされる。しかし、判定用ニューラルネットワークの工程数が第１ニューラルネットワークよりも工程数が少ないので、判定用ニューラルネットワークを用いた演算処理の演算結果は、第１ニューラルネットワークを用いた演算処理の演算結果と類似しているが、精度が悪い。ただし、判定用ニューラルネットワークの工程数が少ないので、副情報処理装置１８は、少ない演算能力であっても、判定用ニューラルネットワークを用いた演算処理を高速に実行することができる。

判断部４２は、第１演算処理部２４による判定用ニューラルネットワークを用いた演算処理の演算結果に応じて、入力情報を主情報処理装置２０に送信するか否かを判断する。本実施形態において、判断部４２は、入力情報である画像データに不審人物が存在するとの演算結果が出力された場合、“入力情報を主情報処理装置２０に送信する”と判断する。

第２実施形態に係る送信部２６は、入力部２２から入力情報を取得する。送信部２６は、判断部４２により“入力情報を主情報処理装置２０に送信する”と判断された場合、入力部２２から取得した入力情報を主情報処理装置２０に通信ネットワークを介して送信する。反対に、送信部２６は、判断部４２により“入力情報を主情報処理装置２０に送信しない”と判断された場合に、情報を主情報処理装置２０に送信しない。

なお、送信部２６は、異なる時刻に生成された複数の入力情報に対応して判断部４２により判断された複数の判断結果に応じて、入力情報を主情報処理装置２０に送信してもよい。例えば、送信部２６は、判断部４２によりＮ回（Ｎは、２以上の整数）以上連続して“入力情報を主情報処理装置２０に送信する”と判断された場合、入力情報を主情報処理装置２０に送信する。また、例えば、送信部２６は、判断部４２によりＮ回（Ｎは、２以上の整数）以上連続して“入力情報を主情報処理装置２０に送信しない”と判断される以外の場合、入力情報を主情報処理装置２０に送信するようにしてもよい。これにより、副情報処理装置１８は、第１ニューラルネットワークを用いた演算処理の演算結果に基づき入力情報を主情報処理装置２０に送信するか否かを判断した場合に近い精度で、入力情報を主情報処理装置２０に送信するかどうかを制御することができる。

このように、第２実施形態に係る情報処理システム１０は、“入力情報を主情報処理装置２０に送信する”と判断した場合に、入力情報を副情報処理装置１８から主情報処理装置２０へと送信する。反対に、第２実施形態に係る情報処理システム１０は、“入力情報を主情報処理装置２０に送信しない”と判断した場合、副情報処理装置１８が入力情報を主情報処理装置２０に送信しない。これにより、第２実施形態に係る情報処理システム１０は、受け取った全ての入力情報を副情報処理装置１８から主情報処理装置２０へと送信する場合よりも、通信ネットワークの通信負荷を軽減することができる。

図７は、第２実施形態に係る第１ニューラルネットワークおよび判定用ニューラルネットワークの構成の一例を示す図である。

第２実施形態に係る情報処理システム１０において、主情報処理装置２０は、第１ニューラルネットワークを用いた演算処理を実行する。第２実施形態において、副情報処理装置１８は、第１ニューラルネットワークよりも工程数の少ない判定用ニューラルネットワークを用いた演算処理を実行する。

一般に、副情報処理装置１８の演算処理能力は、主情報処理装置２０の演算処理能力に比べると低い。それ故、副情報処理装置１８は、主情報処理装置２０と同一の第１ニューラルネットワークを用いた演算処理を実行することは現実的ではない。しかし、副情報処理装置１８は、主情報処理装置２０の第１ニューラルネットワークよりも工程数が少なく、主情報処理装置２０と同一または類似した演算結果を得ることができる判定用ニューラルネットワークを用いた演算処理を実行することは可能である。

一般に、ニューラルネットワークの工程数とその演算処理の結果の精度とは、二律背反の関係にある。従って、第１ニューラルネットワークよりも工程数の少ない判定用ニューラルネットワークを用いた演算処理を実行した場合に、得られる結果の精度は、第１ニューラルネットワークを用いた演算処理の結果の精度に比べると低い。しかし、副情報処理装置１８は、判定用ニューラルネットワークを用いた演算処理を実行することにより、主情報処理装置２０が第１ニューラルネットワークを用いて演算処理を実行した場合に得られる結果と、類似の結果を得ることができる。それ故、副情報処理装置１８は、例えば、カメラ１６から出力された画像データに対して判定用ニューラルネットワークを用いた演算処理を実行し、その得られた結果に基づいて監視対象を検知したと判断された場合にのみ、主情報処理装置２０に画像データを送信するということが可能である。これにより、第２実施形態に係る情報処理システム１０は、カメラ１６から出力された画像データの全てを副情報処理装置１８から主情報処理装置２０へと送信する場合と比べて、画像データの送信の回数ないし頻度を低減することができる。従って、第２実施形態に係る情報処理システム１０は、主情報処理装置２０と副情報処理装置１８との間における通信量を削減することができる。また、第２実施形態に係る情報処理システム１０は、例えば主情報処理装置２０が処理する画像データの数を低減するので、主情報処理装置２０における演算処理の量も削減することができる。

なお、副情報処理装置１８は、送信が必要と判断する毎に、画像データを送信しなくてもよい。副情報処理装置１８は、主情報処理装置２０に送信するか否かの判断の結果が、例えばＮ回連続して“入力情報を主情報処理装置２０に送信する”となった場合にのみ、主情報処理装置２０に画像データを送信してもよい。また、副情報処理装置１８は、主情報処理装置２０に送信するか否かの判断の結果が、例えばＮ回連続して“入力情報を主情報処理装置２０に送信しない”となった以外の場合、主情報処理装置２０に画像データを送信してもよい。これにより、第２実施形態に係る情報処理システム１０は、判定用ニューラルネットワークを用いて演算処理を実行した結果の精度が低いという欠点の影響を小さくすることができる。

（第３実施形態）
つぎに、第３実施形態に係る情報処理システム１０について説明する。第３実施形態に係る情報処理システム１０は、第１実施形態とほぼ同一の機能および構成を有する。第３実施形態に係る情報処理システム１０の説明をするにあたり、第１実施形態とほぼ同一の機能および構成を有する装置およびユニットについては、同一の符号を付けて、相違点を除き詳細な説明を省略する。

図８は、第３実施形態に係る副情報処理装置１８および主情報処理装置２０の構成を示す図である。

第３実施形態において、主情報処理装置２０は、第１実施形態と同一の構成および機能を有する。第３実施形態において、入力部２２および第１演算処理部２４は、第１実施形態と同一の構成および機能を有する。

第３実施形態に係る複数の副情報処理装置１８のそれぞれは、第３演算処理部４４と、判断部４２とをさらに有する。

第３演算処理部４４は、第１演算処理部２４から出力された中間情報に対して、予め学習された判定用ニューラルネットワークを用いた演算処理を実行する。

判定用ニューラルネットワークは、後段ネットワークと比較して工程数が少ない。従って、判定用ニューラルネットワークを用いた演算処理の処理量は、後段ネットワークを用いた演算処理の処理量より少ない。さらに、判定用ニューラルネットワークは、後段ネットワークと同一の情報（中間情報）を受け取り、同一の演算結果が出力されるように学習がされる。しかし、判定用ニューラルネットワークの工程数が後段ネットワークよりも工程数が少ないので、判定用ニューラルネットワークを用いた演算処理の結果は、後段ネットワークを用いた演算処理の結果と類似しているが、精度が悪い。ただし、判定用ニューラルネットワークは工程数が少ないので、副情報処理装置１８は、少ない演算能力であっても、判定用ニューラルネットワークを実行することができる。

判断部４２は、第３演算処理部４４による判定用ニューラルネットワークを用いた演算処理の演算結果に応じて、中間情報を主情報処理装置２０に送信するか否かを判断する。本実施形態において、判断部４２は、入力情報である画像データに不審人物等が存在するとの演算結果が出力された場合、中間情報を主情報処理装置２０に送信すると判断する。

第３実施形態に係る送信部２６は、第１演算処理部２４から中間情報を取得する。送信部２６は、判断部４２により“中間情報を主情報処理装置２０に送信する”と判断された場合、第１演算処理部２４から取得した中間情報を主情報処理装置２０に送信する。反対に、送信部２６は、判断部４２により“中間情報を主情報処理装置２０に送信しない”と判断された場合に、なんら情報を主情報処理装置２０に送信しない。

なお、送信部２６は、異なる時刻に生成された複数の入力情報に対応して判断部４２により判断された、中間情報を主情報処理装置２０に送信するか否かの複数の判断結果に応じて、中間情報を主情報処理装置２０に送信してもよい。例えば、送信部２６は、判断部４２によりＮ回（Ｎは、２以上の整数）以上連続して“中間情報を主情報処理装置２０に送信する”と判断された場合、中間情報を主情報処理装置２０に送信する。また、例えば、送信部２６は、判断部４２によりＮ回（Ｎは、２以上の整数）以上連続して“中間情報を主情報処理装置２０に送信しない”と判断される以外の場合は、中間情報を主情報処理装置２０に送信するようにしてもよい。これにより、副情報処理装置１８は、後段ネットワークを用いた演算処理の演算結果に基づき中間情報を主情報処理装置２０に送信するか否かを判断した場合に近い精度で、中間情報を主情報処理装置２０に送信するかどうかを制御することができる。

このように、第３実施形態に係る情報処理システム１０は、“中間情報を主情報処理装置２０に送信する”と判断した場合に、中間情報を副情報処理装置１８から主情報処理装置２０に送信する。反対に、第３実施形態に係る情報処理システム１０は、“中間情報を主情報処理装置２０に送信しない”と判断した場合、中間情報を副情報処理装置１８から主情報処理装置２０に送信しない。これにより、第３実施形態に係る情報処理システム１０は、生成した全ての中間情報を副情報処理装置１８から主情報処理装置２０へと送信する場合よりも、通信ネットワークの通信負荷を軽減することができる。

図９は、第３実施形態に係る第１ニューラルネットワークおよび判定用ニューラルネットワークの構成の一例を示す図である。

第３実施形態に係る情報処理システム１０において、主情報処理装置２０は、第１ニューラルネットワークにおける境界層の次の層から出力層までの後段ネットワークを用いた演算処理を実行する。第３実施形態において、副情報処理装置１８は、第１ニューラルネットワークにおける入力層から予め定められた位置の境界層までの前段ネットワークを用いた演算処理、および、後段ネットワークよりも工程数の少ない判定用ニューラルネットワークを用いた演算処理を実行する。

第１実施形態において説明したように、ニューラルネットワークを用いた演算処理において、中間層から出力される演算結果に含まれる数値の個数は、そのニューラルネットワークに入力される入力情報に含まれる数値の個数よりも少ない傾向にある。第３実施形態に係る副情報処理装置１８は、出力される数値の個数がニューラルネットワークに入力される入力情報に含まれる数値の個数よりも少ない層までの演算処理を行って、その結果を主情報処理装置２０に送信する。これにより、第３実施形態に係る情報処理システム１０は、入力情報を副情報処理装置１８から主情報処理装置２０へと送信する場合よりも、通信ネットワークの通信負荷を軽減することができる。

また、第３実施形態に係る副情報処理装置１８は、前段ネットワークから出力される演算結果に対して引き続いて判定用ニューラルネットワークを用いた演算処理を施す。続いて、副情報処理装置１８は、判定用ニューラルネットワークを用いた演算処理の演算結果に基づき、中間情報を主情報処理装置２０に送信するか否かを判断する。そして、副情報処理装置１８は、“中間情報を主情報処理装置２０に送信する”と判断した場合に、中間情報を主情報処理装置２０に送信する。

これにより、第３実施形態に係る情報処理システム１０は、取得した入力情報の全てを副情報処理装置１８から主情報処理装置２０へと送信する場合と比べて、中間情報の送信の回数ないし頻度を低減することができる。従って、第３実施形態に係る情報処理システム１０は、主情報処理装置２０と副情報処理装置１８との間における通信量を、さらに、削減することができる。また、第３実施形態に係る情報処理システム１０は、例えば主情報処理装置２０が処理する情報の数を低減するので、主情報処理装置２０における演算処理の量も削減することができる。

なお、副情報処理装置１８は、送信が必要と判断する毎に、中間情報を送信しなくてもよい。副情報処理装置１８は、主情報処理装置２０に送信するか否かの判断の結果が、例えばＮ回（Ｎは、２以上の整数）連続して“中間情報を主情報処理装置２０に送信する”となった場合にのみ、主情報処理装置２０に中間情報を送信してもよい。また、副情報処理装置１８は、主情報処理装置２０に送信するか否かの判断の結果が、例えばＮ回（Ｎは、２以上の整数）連続して“中間情報を主情報処理装置２０に送信しない”となった以外の場合、主情報処理装置２０に中間情報を送信してもよい。これにより、第３実施形態に係る情報処理システム１０は、判定用ニューラルネットワークを用いて演算処理を実行した結果の精度が低いという欠点の影響を小さくすることができる。

（ハードウェア構成）
図１０は、実施形態に係る副情報処理装置１８および主情報処理装置２０のハードウェア構成の一例を示す図である。本実施形態に係る副情報処理装置１８および主情報処理装置２０は、例えば図１０に示すようなハードウェア構成の情報処理装置により実現される。副情報処理装置１８および主情報処理装置２０は、ＣＰＵ（Central Processing Unit）２０１と、ＲＡＭ（Random Access Memory）２０２と、ＲＯＭ（Read Only Memory）２０３と、操作入力装置２０４と、通信装置２０５と、記憶装置２０６とを備える。そして、これらの各部は、バスにより接続される。

ＣＰＵ２０１は、プログラムに従って演算処理および制御処理等を実行するプロセッサである。ＣＰＵ２０１は、ＲＡＭ２０２の所定領域を作業領域として、ＲＯＭ２０３および記憶装置２０６等に記憶されたプログラムとの協働により各種処理を実行する。

ＲＡＭ２０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリである。ＲＡＭ２０２は、ＣＰＵ２０１の作業領域として機能する。ＲＯＭ２０３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。

操作入力装置２０４は、マウスおよびキーボード等の入力デバイスである。操作入力装置２０４は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ２０１に出力する。

記憶装置２０６は、フラッシュメモリ等の半導体による記憶媒体、または、磁気的若しくは光学的に記録可能な記憶媒体等にデータを書き込みおよび読み出しをする装置である。記憶装置２０６は、ＣＰＵ２０１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。通信装置２０５は、ＣＰＵ２０１からの制御に応じて外部の機器と通信ネットワークを介して通信する。

副情報処理装置１８で実行されるプログラムは、入力モジュールと、第１演算処理モジュールと、送信モジュールとを含む。副情報処理装置１８で実行されるプログラムは、判断モジュールおよび第３演算処理モジュールをさらに含んでもよい。このプログラムは、ＣＰＵ２０１（プロセッサ）によりＲＡＭ２０２上に展開して実行されることにより、情報処理装置を入力部２２、第１演算処理部２４、および、送信部２６として機能させる。さらに、このプログラムは、情報処理装置を、判断部４２および第３演算処理部４４として機能させてもよい。

主情報処理装置２０で実行されるプログラムは、受信モジュールと、第２演算処理モジュールと、出力モジュールとを含む。このプログラムは、ＣＰＵ２０１（プロセッサ）によりＲＡＭ２０２上に展開して実行されることにより、情報処理装置を受信部３２、第２演算処理部３４、および、出力部３６として機能させる。

また、本実施形態の副情報処理装置１８で実行されるプログラムは、コンピュータにインストール可能な形式または実行可能な形式のファイルで、ＣＤ－ＲＯＭ、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の副情報処理装置１８で実行されるプログラムを、インターネット等の通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の副情報処理装置１８で実行されるプログラムをインターネット等の通信ネットワーク経由で提供または配布するように構成してもよい。また、副情報処理装置１８で実行されるプログラムを、ＲＯＭ２０３等に予め組み込んで提供するように構成してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０情報処理システム
１２エッジ装置
１４データセンタ
１６カメラ
１８副情報処理装置
２０主情報処理装置
２２入力部
２４第１演算処理部
２６送信部
３２受信部
３４第２演算処理部
３６出力部
４２判断部
４４第３演算処理部
２０１ＣＰＵ
２０２ＲＡＭ
２０３ＲＯＭ
２０４操作入力装置
２０５通信装置
２０６記憶装置

Claims

少なくとも１つの副情報処理装置と、
前記少なくとも１つの副情報処理装置のそれぞれと通信ネットワークを介して接続される主情報処理装置と、
を備え、
前記少なくとも１つの副情報処理装置のそれぞれは、
入力情報を取得する入力部と、
前記入力情報に対して、第１ニューラルネットワークにおける入力層から予め定められた位置の境界層までの前段ネットワークを用いた演算処理を実行する第１演算処理部と、
前記前段ネットワークを用いた演算処理の演算結果を表す中間情報を前記主情報処理装置に送信する送信部と、
を有し、
前記主情報処理装置は、
前記少なくとも１つの副情報処理装置のそれぞれから前記中間情報を受信する受信部と、
前記中間情報に対して、前記第１ニューラルネットワークにおける前記境界層の次の層から出力層までの後段ネットワークを用いた演算処理を実行する第２演算処理部と、
前記後段ネットワークを用いた演算処理の演算結果を表す出力情報を出力する出力部と、
を有し、
前記少なくとも１つの副情報処理装置のそれぞれは、
前記中間情報に対して、判定用ニューラルネットワークを用いた演算処理を実行する第３演算処理部と、
前記判定用ニューラルネットワークを用いた演算処理の演算結果に応じて、前記中間情報を前記主情報処理装置に送信するか否かを判断する判断部と、
をさらに有し、
前記送信部は、前記中間情報を前記主情報処理装置に送信すると判断された場合、前記中間情報を前記主情報処理装置に送信する
情報処理システム。
前記中間情報は、前記入力情報より情報量が少ない
請求項１に記載の情報処理システム。
前記少なくとも１つの副情報処理装置として、複数の副情報処理装置を備える
請求項１または２に記載の情報処理システム。
前記判定用ニューラルネットワークを用いた演算処理の処理量は、前記後段ネットワークを用いた演算処理の処理量より少ない
請求項１から３の何れか１項に記載の情報処理システム。
前記送信部は、異なる時刻に生成された複数の前記入力情報に対応して判断された、前記中間情報を前記主情報処理装置に送信するか否かの複数の判断結果に応じて、前記中間情報を前記主情報処理装置に送信する
請求項１から４の何れか１項に記載の情報処理システム。