JP2022075565A - 協調演算装置および協調演算方法 - Google Patents

Abstract

【課題】協調演算装置および協調演算方法を提供する。
【解決手段】協調演算装置は指令配付モジュール、第一計算モジュール、第二計算モジュールおよび画像配列モジュールを備える。指令配付モジュールは複数のオリジナル画像フレームをキャッチし、負荷結果に基づいて複数のオリジナル画像フレームを第一数量のオリジナル画像フレームおよび第二数量のオリジナル画像フレームに機動的に分ける。第一計算モジュールおよび第二計算モジュールは異なる形態の計算モジュールである。第一計算モジュールは第一数量のオリジナル画像フレームをキャッチし、第一数量の処理済み画像フレームを生成する。第二計算モジュールは第二数量のオリジナル画像フレームをキャッチし、第二数量の処理済み画像フレームを生成する。画像配列モジュールは第一数量の処理済み画像フレームおよび第二数量の処理済み画像フレームをキャッチし、第一タイミングの時点の順に基づいて複数の処理済み画像フレームの配列を復元し、負荷結果を出す。協調演算方法は協調演算装置に応用される。
【選択図】 図１

Description

本発明は、協調演算装置および協調演算方法に関し、詳しくは二つの異なる形態のプロセッサーの間の協調演算装置およびその方法に関するものである。

様々な技術分野に人工知能（ＡＩ）を大幅に応用する現今において、顔認証システムは人工知能を採用することがよく知られる。顔認証システムの人工知能が演算を行う際、ＣＰＵ（中央処理装置）とＧＰＵ（グラフィックス プロセッシング ユニット）によって大量計算を処理すると同時にシステムの時間遅延が発生するため、グラフィックスの計算およびグラフィックスの表示をリアルタイム（real-time）で行うことができる。

ＣＰＵおよびＧＰＵに効率よく演算を進めさせるために、従来の技術は下記の二つの方式を掲示した。一つは異なる形態の演算を行うＣＰＵおよびＧＰＵを採用することである。例えば、ＣＰＵは論理（logic）演算を行うのに対し、ＧＰＵはレンダリング（render）操作を行う。一つはＣＰＵおよびＧＰＵを統合し、リソースプールのストリーミング処理をまとめた（unified streaming processing resource pool）うえでレンダリングによって生成したオリジナルフレームを分割し、ＣＰＵおよびＧＰＵに配付することによってビデオ通信のストリーミング処理を行って整合し、それらを動画ストリームに変換することである。

上述した方式において、ＣＰＵおよびＧＰＵは計算力および負荷状況がことなるため、ＣＰＵおよびＧＰＵのいずれか一つが過度稼働であるのに対し、別の一つがあまり稼働しなくてもよいという現象が発生し、ＣＰＵまたはＧＰＵの計算資源を無駄にする。つまり、ＣＰＵまたはＧＰＵのハードウェアパフォーマンスを最大限に利用することはできない。

従って、上述した従来の技術の問題点を解決できる協調演算装置および協調演算方法を探ることは最も重要な課題である。言い換えれば、二つの異なる形態の計算モジュール（例えばＣＰＵ計算モジュールおよびＧＰＵ計算モジュール）に計算作業を良好な配付構造によって分担させれば、二つの異なる形態の計算モジュールの計算能力を同時に考慮し、それらのハードウェアパフォーマンスを無駄にせず十分に発揮することができる。

本発明は上述した技術的問題に鑑み、二つの計算モジュール（例えばＣＰＵ計算モジュールおよびＧＰＵ計算モジュール）のハードウェアパフォーマンスを良好な配付構造によって効果的に利用することができる協調演算装置および協調演算方法を提供することを主な目的とする。

上述した課題を解決するため、協調演算装置は指令配付モジュール、第一計算モジュール、第二計算モジュールおよび画像配列モジュールを備える。指令配付モジュールは複数の第一タイミングに対応するオリジナル画像フレームおよび負荷結果を別々にキャッチし、負荷結果に基づいて複数のオリジナル画像フレームを複数の第一数量のオリジナル画像フレームおよび複数の第二数量のオリジナル画像フレームに機動的に分ける。第一計算モジュールは指令配付モジュールに電気的に接続され、複数の第一数量のオリジナル画像フレームをキャッチし、複数の第一数量の処理済み画像フレームを生成する。第二計算モジュールは指令配付モジュールに電気的に接続されて複数の第二数量のオリジナル画像フレームをキャッチし、複数の第二数量の処理済み画像フレームを生成する。画像配列モジュールは指令配付モジュール、第一計算モジュールおよび第二計算モジュールに別々に電気的に接続されて複数の第一数量の処理済み画像フレームおよび複数の第二数量の処理済み画像フレームをキャッチし、第一タイミングに基づいて複数の処理済み画像フレームの配列を復元し、負荷結果を出す。第一計算モジュールおよび第二計算モジュールは異なる形態の計算モジュールである。画像配列モジュールは第一計算モジュールおよび第二計算モジュールの各自の計算能力および負荷状態に基づいて負荷結果を機動的に判断する。

一実施形態において、第一計算モジュールはＣＰＵ（中央処理装置）計算モジュールである。第二計算モジュールはＧＰＵ（グラフィックス プロセッシング ユニット）計算モジュールである。

一実施形態において、一枚ごとの画像フレーム処理に対する第一計算モジュールおよび第二計算モジュールのそれぞれの所要時間に基づいて画像配列モジュールは第一計算モジュールおよび第二計算モジュールの各自の計算能力または負荷状態を判断し、負荷結果を表示する。

一実施形態において、第二数量および第一数量の比は一枚ごとの画像フレーム処理に対する第一計算モジュールおよび第二計算モジュールの所要時間の比に関連がある。

一実施形態において、協調演算装置はさらに画像取り込みモジュールおよび画像出力モジュールを備える。画像取り込みモジュールは指令配付モジュールに電気的に接続され、一つ以上の対象物の画像を取り込んでオリジナル画像フレームを生成する。画像出力モジュールは画像配列モジュールに電気的に接続され、配列が復元された処理済み画像フレームをキャッチする。

一実施形態において、第一計算モジュールまたは第二計算モジュールは対象物の一つ以上の特徴部位の座標位置を算出し、算出した特徴部位の座標位置を画像配列モジュールによって指令配付モジュールへ伝送する。

上述した課題を解決するため、協調演算方法は下記のステップを含む。ステップ１は複数の第一タイミングに対応するオリジナル画像フレームをキャッチすることである。ステップ２は第一計算モジュールおよび第二計算モジュールの各自の計算能力または負荷状況を表示する負荷結果を読み取ることである。第一計算モジュールおよび第二計算モジュールは異なる形態の計算モジュールである。ステップ３は負荷結果に基づいて複数のオリジナル画像フレームを第一数量のオリジナル画像フレームおよび第二数量のオリジナル画像フレームに機動的に分けることである。ステップ４は複数の第一数量のオリジナル画像フレームを第一計算モジュールに配付し、複数の第二数量のオリジナル画像フレームを第二計算モジュールに配付することである。ステップ５は第一計算モジュールによって複数の第一数量のオリジナル画像フレームを処理し、第一数量の処理済み画像フレームを生成することである。ステップ６は第二計算モジュールによって複数の第二数量のオリジナル画像フレームを処理し、第二数量の処理済み画像フレームを生成することである。ステップ７は第一タイミングに基づいて複数の第一数量の処理済み画像フレームおよび複数の第二数量の処理済み画像フレームの配列を復元することである。

一実施形態において、負荷結果は一枚ごとの画像フレーム処理に対する第一計算モジュールおよび第二計算モジュールのそれぞれの所要時間に基づいて判断される。

一実施形態において、第二数量および第一数量の比は一枚ごとの画像フレーム処理に対する第一計算モジュールおよび第二計算モジュールの所要時間の比に関連がある。

一実施形態において、協調演算方法はさらに下記のステップを含む。一つは複数のオリジナル画像フレームをキャッチする前に一つ以上の対象物の画像を取り込んで対象物の一つ以上の特徴部位の座標位置を計算し、伝送することである。一つは複数の第一数量の処理済み画像フレームおよび複数の第二数量の処理済み画像フレームの配列を復元した後、複数の配列が復元された処理済み画像フレームを別のモジュールまたはユニットに出力することである。

一実施形態において、対象物の一つ以上の特徴部位の座標位置は第一計算モジュールおよび第二計算モジュールまたはいずれか一つに伝送される。

上述した技術特徴および実施形態により、本発明による協調演算装置および協調演算方法は前回の計算作業においての第一計算モジュール（ＣＰＵ計算モジュール）および第二計算モジュール（ＧＰＵ計算モジュール）の各自の負荷状態を参考に、次回の計算作業を行う際、第一計算モジュールおよび第二計算モジュールに配付する画像フレームの比を機動的に調整して第一計算モジュールおよび第二計算モジュールの負荷を平衡させるため、第一計算モジュールおよび第二計算モジュールのハードウェアパフォーマンスを無駄にせず十分に発揮することができる。

本発明の第１実施形態による協調演算装置の構築を示す模式図である。 本発明の第１実施形態による協調演算装置において画像配列モジュールが画像フレームの配列を復元するステップを示す模式図である。 本発明の第２実施形態による協調演算方法のステップを示す模式図である。

以下、本発明による協調演算装置および協調演算方法を図面に基づいて説明する。

（第１実施形態）
図１に示すように、本発明の第１実施形態による協調演算装置２は画像取り込みモジュール２１、指令配付モジュール２２、第一計算モジュール２３、第二計算モジュール２４、画像配列モジュール２５および画像出力モジュール２６を備える。本実施形態において、第一計算モジュール２３はＣＰＵ計算モジュールである。第二計算モジュール２４はＧＰＵ計算モジュールである。

画像取り込みモジュール２１はウェブカメラ（Web CAM）または画像キャプチャカードから構成され、対象物の画像を取り込んで処理前のオリジナル画像フレーム（Frame）Ｆｏ１からＦｏ７を出力する。オリジナル画像フレームＦｏ１からＦｏ７の配列の順は第一タイミング（時点Ｔ１からＴ７）に対応する。画像取り込みモジュール２１は指令配付モジュール２２に電気的に接続され、オリジナル画像フレームＦｏ１からＦｏ７を指令配付モジュール２２に伝送する。

指令配付モジュール２２は画像取り込みモジュール２１、ＣＰＵ計算モジュール２３、ＧＰＵ計算モジュール２４および画像配列モジュール２５に別々に電気的に接続される。指令配付モジュール２２は画像配列モジュール２５から前回の計算作業の負荷結果Ｒ１をキャッチする。負荷結果Ｒ１は前回の計算作業でのＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４の各自の負荷状況を表示する。指令配付モジュール２２は負荷結果Ｒ１に基づいて次回オリジナル画像フレームＦｏ１からＦｏ７をＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４に配付し、処理させる方式を決める。

本実施形態において、オリジナル画像フレームＦｏ１からＦｏ７は計算時間が異なって連続した複数の同じオリジナル画像フレームであり、数が増減してもよい。

前回の計算作業の負荷結果Ｒ１は一枚ごとの画像フレーム処理に対するＣＰＵ計算モジュール２３の所要時間ＴｃおよびＧＰＵ計算モジュール２４の所要時間Ｔｇを表示する。ＣＰＵ計算モジュール２３の所要時間ＴｃがＧＰＵ計算モジュール２４の所要時間Ｔｇより長ければ（即ちＴｃ＞Ｔｇの場合）、前回の計算作業において、ＣＰＵ計算モジュール２３の計算処理効率が比較的低いか、ＣＰＵ計算モジュール２３の計算処理の負荷が比較的大きいため、画像演算時間が長くなることを表示する。言い換えれば、次回の計算作業を行う際、指令配付モジュール２２が前回の計算作業の負荷結果Ｒ１を参考に、ＧＰＵ計算モジュール２４に配付するオリジナル画像フレームの数を増やすことによってＣＰＵ計算モジュール２３の負荷を減らし、ＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４の負荷を平衡させれば、ＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４の協調演算のパフォーマンスを最適化することができる。

ＣＰＵ計算モジュール２３の所要時間ＴｃがＧＰＵ計算モジュール２４の所要時間Ｔｇより短ければ（即ちＴｃ＜Ｔｇの場合）、前回の計算作業において、ＣＰＵ計算モジュール２３の計算処理効率が比較高いか、ＣＰＵ計算モジュール２３の計算処理の負荷が比較的小さいため、画像演算時間が短くなることを表示する。上述した技術特徴により、次回の計算作業を行う際、指令配付モジュール２２は前回の計算作業の負荷結果Ｒ１を参考に、ＣＰＵ計算モジュール２３に配付するオリジナル画像フレームの数を増やす。

第１実施形態において、指令配付モジュール２２は前回の計算作業において一枚ごとに画像フレームを処理するＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４の所要時間の比を参考に、次回の計算作業を行う際にＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４に別々に配付する画像フレームの数を決める。

表１は前回の計算作業の負荷結果Ｒ１である。表１に示すように、ＣＰＵ計算モジュール２３は３枚の画像フレームを処理する時間が12ms（即ち4ms／１枚）ある。ＧＰＵ計算モジュール２４は５枚の画像フレームを処理する時間が15ms（即ち3ms／１枚）である。つまり、一枚ごとの画像フレームに対するＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４の処理時間の比は４：３であるため、次回の計算作業を行う際に、指令配付モジュール２２はＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４に別々に配付する画像フレームの数の比を３：４に調整する。

ＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４に別々に配付する画像フレームの数の比が３：４であれば、指令配付モジュール２２は画像取り込みモジュール２１からオリジナル画像フレームＦｏ１からＦｏ７をキャッチし、そのうちの３枚（即ち第一数量）のオリジナル画像フレームをＣＰＵ計算モジュール２３、別の４枚（即ち第二数量）のオリジナル画像フレームをＧＰＵ計算モジュール２４に配付する。第1実施形態において、指令配付モジュール２２は３枚のオリジナル画像フレームＦｏ１、Ｆｏ３、Ｆｏ６をＣＰＵ計算モジュール２３、別の４枚のオリジナル画像フレームＦｏ２、Ｆｏ４、Ｆｏ５、Ｆｏ７をＧＰＵ計算モジュール２４に配付する。指令配付モジュール２２は非連続のオリジナル画像フレームを配布するが、これに限定されない。別の一実施形態において、指令配付モジュール２２は３枚の連続したオリジナル画像フレームＦｏ１、Ｆｏ２、Ｆｏ３をＣＰＵ計算モジュール２３、別の連続した４枚のオリジナル画像フレームＦｏ４、Ｆｏ５、Ｆｏ６、Ｆｏ７をＧＰＵ計算モジュール２４に配付する。また別の一実施形態において、指令配付モジュール２２は任意の３枚のオリジナル画像フレームＦｏ１、Ｆｏ５、Ｆｏ６をＣＰＵ計算モジュール２３、別の４枚のオリジナル画像フレームＦｏ２、Ｆｏ３、Ｆｏ４、Ｆｏ７をＧＰＵ計算モジュール２４に配付する。つまり、指令配付モジュール２２が画像フレームの選択方法に限定されず、画像フレームの数の比に基づいて画像フレームを配付すればよい。

続いて、ＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４はそれぞれキャッチしたした画像フレームを処理する。第１実施形態において、ＣＰＵ計算モジュール２３はオリジナル画像フレームＦｏ１、Ｆｏ３、Ｆｏ６を処理し、処理済み画像フレームＦｃ１、Ｆｃ２、Ｆｃ３を生成すると同時にそれらを画像配列モジュール２５に伝送する。ＧＰＵ計算モジュール２４はオリジナル画像フレームＦｏ２、Ｆｏ４、Ｆｏ５、Ｆｏ７を処理し、処理済み画像フレームＦｇ１、Ｆｇ２、Ｆｇ３、Ｆｇ４を生成すると同時にそれらを画像配列モジュール２５に伝送する。

本発明と従来の技術の違いは下記の通りである。従来の技術はＣＰＵ計算モジュールによって論理（logic）演算を行い、ＧＰＵ計算モジュールによってレンダリング（render）を行う。それに対し、本発明において、ＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４はそれぞれ画像フレームに一枚ずつ論理演算およびレンダリングを行うことができる。つまり、ＣＰＵ計算モジュール２３はオリジナル画像フレームＦｏ１、Ｆｏ３、Ｆｏ６に一枚ずつ論理演算およびレンダリングを行うことができる。ＧＰＵ計算モジュール２４はオリジナル画像フレームＦｏ２、Ｆｏ４、Ｆｏ５、Ｆｏ７に一枚ずつ論理演算およびレンダリングを行うことができる。

別の一実施形態において、本発明により掲示されたＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４は人工知能（ＡＩ）として画像フレーム中の顔認証を行い、顔の位置座標を算出することができる。ＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４によって算出された顔の位置座標は指令配付モジュール２２に伝送され、次回の顔認証を行う際の参考になる。つまり、次回の顔認証を行う際、前回確認された顔の位置座標およびそのあたりをスキャンすれば計算時間を節約することができる。

画像配列モジュール２５はＣＰＵ計算モジュール２３、ＧＰＵ計算モジュール２４、指令配付モジュール２２および画像出力モジュール２６に別々に電気的に接続される。画像配列モジュール２５はＣＰＵ計算モジュール２３からの処理済み画像フレームＦｃ１、Ｆｃ２、Ｆｃ３およびＧＰＵ計算モジュール２４からの処理済み画像フレームＦｇ１、Ｆｇ２、Ｆｇ３、Ｆｇ４をキャッチする。続いて、画像配列モジュール２５はオリジナル画像フレームＦｏ１からＦｏ７の順序に基づいて処理済み画像フレームＦｃ１、Ｆｃ２、Ｆｃ３の配列および処理済み画像フレームＦｇ１、Ｆｇ２、Ｆｇ３、Ｆｇ４の配列を復元する。

本発明の第１実施形態において、画像配列モジュール２５は図２に示すように処理済み画像の配列を復元する。図２に示すように、ＣＰＵ計算モジュール２３において、処理済み画像フレームＦｃ１、Ｆｃ２、Ｆｃ３は処理前のオリジナル画像フレームＦｏ１、Ｆｏ３、Ｆｏ６に対応するため、時点Ｔ１、Ｔ３、Ｔ６の順によって配列が復元される。

ＧＰＵ計算モジュール２４において、処理済み画像フレームＦｇ１、Ｆｇ２、Ｆｇ３、Ｆｇ４は処理前のオリジナル画像フレームＦｏ２、Ｆｏ４、Ｆｏ５、Ｆｏ７に対応するため、時点Ｔ２、Ｔ４、Ｔ５、Ｔ７の順によって配列が復元される。

まとめてみると、オリジナル画像フレームの配列の順（時点Ｔ１からＴ７を含む第一タイミング）に基づいて画像配列モジュール２５は処理済み画像フレームＦｃ１、Ｆｃ２、Ｆｃ３および処理済み画像フレームＦｇ１、Ｆｇ２、Ｆｇ３、Ｆｇ４の配列を、処理済み画像フレームＦｃ１、Ｆｇ１、Ｆｃ２、Ｆｇ２、Ｆｇ３、Ｆｃ３、Ｆｇ４の順に復元する。図１に示すように、画像配列モジュール２５は配列を順に復元した処理済み画像フレームＦｃ１、Ｆｇ１、Ｆｃ２、Ｆｇ２、Ｆｇ３、Ｆｃ３、Ｆｇ４を画像出力モジュール２６に伝送する。

今回の計算作業において一枚ごとに画像ファイルを処理するＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４のそれぞれの所要時間に基づいて、画像配列モジュール２５は今回の計算作業に対するＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４の各自の計算能力、処理速度または負荷状態を判断し、負荷結果Ｒ２を表示する。続いて、画像配列モジュール２５は負荷結果Ｒ２を指令配付モジュール２２に伝達する。次回の計算作業を行う際、指令配付モジュール２２は負荷結果Ｒ２に基づいてＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４に配付する画像フレームの数を調整する。

今回の計算作業において画像フレーム中の人物の顔位置はＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４によって計算され、それに対応するデータが画像配列モジュール２５によって記録される。画像配列モジュール２５は人物の顔位置に対応するデータを指令配付モジュール２２に伝達する。次回の計算作業を行う際、指令配付モジュール２２は人物の顔位置に対応するデータを参考としてＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４に伝送する。ＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４が次回のＡＩ顔認証を行う際、前回の人物の顔位置座標およびそのあたりのエリアを予めスキャンすることができる。

（第２実施形態）
図３に示すように、本発明の第２実施形態による協調演算方法はステップ３０１から３０７を含む。

図１から図３に示すように、ステップ３０１において、第1実施形態により掲示された画像取り込みモジュール２１は一つ以上の対象物（例えば顔などの特徴部位を有する人）の画像を取り込み、第一タイミング（例えば時点Ｔ１からＴ７の順序）によってそれぞれの時点に対応するオリジナル画像フレームＦｏ１からＦｏ７を出力する。

ステップ３０２は前回の計算作業の負荷結果Ｒ１をキャッチし、続いて第一計算モジュール（ＣＰＵ計算モジュール２３）または第二計算モジュール（ＧＰＵ計算モジュール２４）にオリジナル画像フレームＦｏ１からＦｏ７を負荷結果Ｒ１に基づいて配付する。表１に示すように、前回の負荷結果Ｒ１において、ＣＰＵ計算モジュール２３は３枚の画像フレームを処理する時間が12ms（即ち4ms／１枚）ある。ＧＰＵ計算モジュール２４は５枚の画像フレームを処理する時間が15ms（即ち3ms／１枚）である。一枚ごとの画像フレームに対するＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４の処理時間の比は４：３であるため、次回の計算作業を行う際に、指令配付モジュール２２はＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４に別々に配付する画像フレームの数の比を３：４に調整する。つまり、第一数量（３枚）のオリジナル画像フレームＦｏ１、Ｆｏ３、Ｆｏ６はＣＰＵ計算モジュール２３に配付される。第二数量（４枚）のオリジナル画像フレームＦｏ２、Ｆｏ４、Ｆｏ５、Ｆｏ７はＧＰＵ計算モジュール２４に配付される。

ステップ３０３において、ＣＰＵ計算モジュール２３は第一数量のオリジナル画像フレームＦｏ１、Ｆｏ３、Ｆｏ６に論理演算およびレンダリングなどの処理を行い、処理済み画像フレームＦｃ１、Ｆｃ２、Ｆｃ３を生成すると同時にそれらを画像配列モジュール２５に伝送する。

（ステップ３０３と同時に進行してもよい）ステップ３０４において、ＧＰＵ計算モジュール２４は第二数量のオリジナル画像フレームＦｏ２、Ｆｏ４、Ｆｏ５、Ｆｏ７に論理演算およびレンダリングなどの処理を行い、処理済み画像フレームＦｇ１、Ｆｇ２、Ｆｇ３、Ｆｇ４を生成すると同時にそれらを画像配列モジュール２５に伝送する。

ステップ３０５において、第1実施形態により掲示された画像配列モジュール２５は処理済み画像フレームＦｃ１、Ｆｃ２、Ｆｃ３の配列および処理済み画像フレームＦｇ１、Ｆｇ２、Ｆｇ３、Ｆｇ４の配列を復元する。図２に示すように、ステップ３０１において出力されたオリジナル画像フレームＦｏ１からＦｏ７はそれぞれ第一タイミングの時点Ｔ１からＴ７に対応する。従って、処理済み画像フレームＦｃ１、Ｆｃ２、Ｆｃ３および処理済み画像フレームＦｇ１、Ｆｇ２、Ｆｇ３、Ｆｇ４の配列は第一タイミングの時点Ｔ１からＴ７によって処理済み画像フレームＦｃ１、Ｆｇ１、Ｆｃ２、Ｆｇ２、Ｆｇ３、Ｆｃ３、Ｆｇ４の順に復元される。

（ステップ３０５と同時に進行してもよい）ステップ３０６において、今回の計算作業を進めたＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４の各自の計算能力または負荷状況は、処理済み画像フレームＦｃ１、Ｆｃ２、Ｆｃ３および処理済み画像フレームＦｇ１、Ｆｇ２、Ｆｇ３、Ｆｇ４の枚数の比およびタイミングの分布状況に基づいて判断され、判断結果即ち負荷結果Ｒ２によって表示される。続いて、負荷結果Ｒ２を指令配付モジュール２２に伝送する。次回の計算作業を行う際、指令配付モジュール２２は負荷結果Ｒ２に基づいてＣＰＵ計算モジュール２３およびＧＰＵ計算モジュール２４に配付する画像フレームの枚数の比を機動的に調整する。

ステップ３０７において、配列が復元された処理済み画像フレームＦｃ１、Ｆｇ１、Ｆｃ２、Ｆｇ２、Ｆｇ３、Ｆｃ３、Ｆｇ４を出力し、後続の画像処理を行う。例えば、処理済み画像フレームＦｃ１、Ｆｇ１、Ｆｃ２、Ｆｇ２、Ｆｇ３、Ｆｃ３、Ｆｇ４を第1実施形態により掲示された画像出力モジュール２６に出力する。

上述をまとめてみると、第1実施形態により掲示された協調演算装置２および第２実施形態により掲示された協調演算方法は、前回の計算作業においての第一計算モジュール（ＣＰＵ計算モジュール２３）および第二計算モジュール（ＧＰＵ計算モジュール２４）の各自の計算能力または負荷状態に基づいて、第一計算モジュールおよび第二計算モジュールに配付する画像フレームの枚数の比を機動的に調整し、第一計算モジュールおよび第二計算モジュールの計算負荷を平衡させるため、第一計算モジュールおよび第二計算モジュールのいずれか一つが過度稼働であるのに対し、別の一つがあまり稼働しなくてもよいという現象を抑制し、協調演算のパフォーマンスを最適化することができる。

以上、本発明は、上記実施形態になんら限定されるものではなく、発明の趣旨を逸脱しない範囲において種々の形態で実施可能である。

２：協調演算装置、
２１：画像取り込みモジュール、
２２：指令配付モジュール、
２３：第一計算モジュール、ＣＰＵ計算モジュール
２４：第二計算モジュール、ＧＰＵ計算モジュール
２５：画像配列モジュール、
２６：画像出力モジュール、
３０１から３０７：ステップ、
Ｆｃ１からＦｃ３：処理済み画像フレーム、
Ｆｏ１からＦｏ７：オリジナル画像フレーム、
Ｆｇ１からＦｇ４：処理済み画像フレーム、
Ｒ１、Ｒ２：負荷結果、
Ｔ１からＴ７：時点、
Ｔｃ、Ｔｇ：所要時間

Claims (12)

1. 指令配付モジュール、第一計算モジュール、第二計算モジュールおよび画像配列モジュールを備え、
   前記指令配付モジュールは、複数の第一タイミングに対応するオリジナル画像フレームおよび負荷結果を別々にキャッチし、前記負荷結果に基づいて複数の前記オリジナル画像フレームを第一数量の前記オリジナル画像フレームおよび第二数量の前記オリジナル画像フレームに機動的に分け、
   前記第一計算モジュールは、前記指令配付モジュールに電気的に接続されて前記第一数量の前記オリジナル画像フレームをキャッチし、前記第一数量の処理済み画像フレームを生成し、
   前記第二計算モジュールは、前記指令配付モジュールに電気的に接続されて前記第二数量の前記オリジナル画像フレームをキャッチし、前記第二数量の処理済み画像フレームを生成し、
   前記画像配列モジュールは、前記指令配付モジュール、前記第一計算モジュールおよび前記第二計算モジュールに別々に電気的に接続され、前記第一数量の前記処理済み画像フレームおよび前記第二数量の前記処理済み画像フレームをキャッチし、前記第一タイミングに基づいて複数の前記処理済み画像フレームの配列を復元し、前記負荷結果を出し、
   前記第一計算モジュールおよび前記第二計算モジュールは異なる形態の計算モジュールであり、
   前記画像配列モジュールは、前記第一計算モジュールおよび前記第二計算モジュールの各自の計算能力または負荷状態に基づいて前記負荷結果を機動的に判断することを特徴とする協調演算装置。
2. 前記第一計算モジュールはＣＰＵ計算モジュールであり、
   前記第二計算モジュールはＧＰＵ計算モジュールであることを特徴とする請求項１に記載の協調演算装置。
3. 前記画像配列モジュールは、一枚ごとの画像フレーム処理に対する前記第一計算モジュールおよび前記第二計算モジュールのそれぞれの所要時間に基づいて前記第一計算モジュールおよび前記第二計算モジュールの各自の計算能力または負荷状態を判断し、前記負荷結果を表示することを特徴とする請求項１に記載の協調演算装置。
4. 前記第二数量および前記第一数量の比は、一枚ごとの画像フレーム処理に対する前記第一計算モジュールおよび前記第二計算モジュールのそれぞれの前記所要時間の比に関連があることを特徴とする請求項３に記載の協調演算装置。
5. さらに画像取り込みモジュールおよび画像出力モジュールを備え、
   前記画像取り込みモジュールは、前記指令配付モジュールに電気的に接続され、一つ以上の対象物の画像を取り込んで複数の前記オリジナル画像フレームを生成し、
   前記画像出力モジュールは、前記画像配列モジュールに電気的に接続され、配列が復元された前記処理済み画像フレームをキャッチすることを特徴とする請求項１に記載の協調演算装置。
6. 前記第一計算モジュールおよび前記第二計算モジュールまたはいずれか一つは対象物の一つ以上の特徴部位の座標位置を算出し、算出した前記特徴部位の前記座標位置は前記画像配列モジュールによって前記指令配付モジュールへ伝送されることを特徴とする請求項１に記載の協調演算装置。
7. 複数の第一タイミングに対応するオリジナル画像フレームをキャッチするステップと、
   異なる形態の第一計算モジュールおよび第二計算モジュールの各自の計算能力または負荷状況を表示する負荷結果を読み取るステップと、
   前記負荷結果に基づいて複数の前記オリジナル画像フレームを第一数量の前記オリジナル画像フレームおよび第二数量の前記オリジナル画像フレームに機動的に分けるステップと、
   前記第一数量の前記オリジナル画像フレームを前記第一計算モジュールに配付し、前記第二数量の前記オリジナル画像フレームを前記第二計算モジュールに配付するステップと、
   前記第一計算モジュールによって前記第一数量の前記オリジナル画像フレームを処理し、前記第一数量の処理済み画像フレームを生成するステップと、
   前記第二計算モジュールによって前記第二数量の前記オリジナル画像フレームを処理し、前記第二数量の処理済み画像フレームを生成するステップと、
   前記第一タイミングに基づいて前記第一数量の前記処理済み画像フレームおよび前記第二数量の前記処理済み画像フレームの配列を復元するステップと、を含むことを特徴とする協調演算方法。
8. 前記第一計算モジュールはＣＰＵ計算モジュールであり、前記第二計算モジュールはＧＰＵ計算モジュールであることを特徴とする請求項７に記載の協調演算方法。
9. 前記負荷結果は、一枚ごとの画像フレーム処理に対する前記第一計算モジュールおよび前記第二計算モジュールのそれぞれの所要時間に基づいて判断されることを特徴とする請求項７に記載の協調演算方法。
10. 前記第二数量および前記第一数量の比は一枚ごとの画像フレーム処理に対する前記第一計算モジュールおよび前記第二計算モジュールの前記所要時間の比に関連があることを特徴とする請求項９に記載の協調演算方法。
11. さらに、複数の前記オリジナル画像フレームをキャッチする前に一つ以上の対象物の画像を取り込んで前記対象物の一つ以上の特徴部位の座標位置を計算し、伝送するステップと、
    前記第一数量の前記処理済み画像フレームおよび前記第二数量の前記処理済み画像フレームの配列を復元した後、複数の配列が復元された前記処理済み画像フレームを別のモジュールまたはユニットに出力するステップと、を含むことを特徴とする請求項７に記載の協調演算方法。
12. 前記対象物の一つ以上の前記特徴部位の前記座標位置は前記第一計算モジュールおよび前記第二計算モジュールまたはいずれか一つへ伝送されることを特徴とする請求項１１に記載の協調演算方法。
    

Images