JP2017158169A - 画像表示システム、表示装置、プログラム - Google Patents

Abstract

【課題】動体の進行動作を評価しやすい画像表示システムを提供すること。【解決手段】１つ以上の情報処理装置、及び、表示装置を有する画像表示システムであって、水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを取得する取得手段と、前記画像データに映っている動体を前記表示装置に表示させる表示制御手段と、を有する。【選択図】図１

Description

本発明は、画像表示システム、表示装置及びプログラムに関する。

人などが歩行することは健康促進に役立つことが知られている。また、歩行の際には正しい姿勢で歩行することが健康上好ましく、また、転倒しにくいとされている。歩行時の姿勢を本人が評価することは困難なので、歩行に関する指導者等が歩行動作を客観的に解析したり、解析結果を歩行者に指導する試みが行われる場合がある。

人などの姿勢や動作を測定するシステムとしてはモーションキャプチャシステムが知られている。モーションキャプチャシステムでは、マーカなどが体の関節位置などに装着された人などをカメラが撮像して、トラッカーによりマーカの動きを追跡することで、コンピュータが人などの歩行動作を解析することができる。

しかしながら、モーションキャプチャシステムは、様々な角度から人などの動きを捉えるためにマーカが多数必要であり、歩行動作の撮像までの準備や撮像後の解析に時間やコストがかかる傾向がある。また、実験室のような特別な環境でしか歩行動作を測定できないという不都合があった。

このような不都合に対して、身体の所定の部位に複数のマークが装着された歩行者の撮像画像を用い比較的簡単な構成で歩行動作を解析できる技術が考案されている（例えば、特許文献１参照。）。

しかしながら、特許文献１に開示された技術では、撮像可能な歩行動作が限られてしまうという問題がある。これは、歩行することで人などは徐々に移動するのに対しカメラの位置や向きは固定されているためである。カメラが固定されていると、例えば、直線的に歩行する歩行者の歩行動作しか撮像できず、直線的な歩行以外の歩行者の歩行動作を撮像することが困難である。

人の歩行に合わせてカメラの向きや位置を変更するシステムがあれば撮像可能な歩行動作を広げることができるが、そのためのコストやスペースを考慮すると広く一般に使用されるシステムとして実現することは容易でない。

本発明は、上記課題に鑑み、動体の進行動作を評価できる画像表示システムを提供することを目的する。

本発明は、上記課題に鑑み、１つ以上の情報処理装置、及び、表示装置を有する画像表示システムであって、水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを取得する取得手段と、前記画像データに映っている動体を前記表示装置に表示させる表示制御手段と、を有する。

動体の進行動作を評価しやすい画像表示システムを提供できる。

画像表示システムの概略的な動作を説明する図の一例である。 画像表示システムの概略構成図の一例である。 サーバのハードウェア構成図の一例である。 加速度測定装置のハードウェア構成図の一例である。 全天球画像撮像装置のハードウェア構成図の一例である。 サーバ、表示装置、全天球画像撮像装置、及び、加速度測定装置の機能ブロック図の一例である。 全天球画像撮像装置の周囲を歩行者がどのように歩行するかを説明する図の一例である。 画像表示システムの全体的な動作を説明するシーケンス図の一例である。 画像表示システムの全体的な動作の変形例を説明するシーケンス図の一例である。 画像表示システムの全体的な動作の変形例を説明するシーケンス図の一例である。 画像表示システムの全体的な動作の変形例を説明するシーケンス図の一例である。 画像表示システムの全体的な動作の変形例を説明するシーケンス図の一例である。 表示装置がディスプレイに表示した画像データと測定データの一例を示す図である。 歩行者が写っている範囲を画像回転部が特定して画像データ欄に表示する手順を示すフローチャート図の一例である。 全天球画像の上面図における歩行者の足の位置を模式的に示す図である。 歩行者が写っている範囲を画像回転部が特定して画像データ欄に表示する手順を示すフローチャート図の一例である。 顔の認識を模式的に説明する図の一例である。 動体の検出を模式的に説明する図の一例である。 全天球画像からトリミングされる表示範囲を説明する図の一例である。 ２つの全天球画像を用いて外接矩形の中心Ｏを決定する方法を説明する図の一例である。 表示装置が常に２つの全天球画像を監視して表示範囲をトリミングする手順のフローチャート図の一例である。 歩行者が端部に近寄った場合に全天球画像を切り替える方法を説明する図の一例である。 歩行者が端部に近寄った場合に全天球画像を切り替えて表示装置が表示範囲をトリミングする手順のフローチャート図の一例である。 二人の歩行者が撮像される場合の外接矩形の中心Ｏを説明する図の一例である。 歩行者が重複した場合の外接矩形の中心を説明する図の一例である。 表示装置が複数の歩行者の位置を特定し表示範囲をトリミングする手順のフローチャート図の一例である。 表示装置の機能ブロック図の一例である（実施例２）。 旋回する歩行者を説明する図の一例である。 表示装置がディスプレイに表示したデータ表示画面の一例を示す図である。 画像データの反転を説明する図の一例である。 表示装置が歩行者が写っている範囲を左右反転して画像データ欄に表示する手順を示すフローチャート図の一例である。 歩行者の位置を説明する図の一例である。 歩行者の位置が表示されたデータ表示画面を説明する図である。 反転される位置アイコンの位置の決定方法を説明する図の一例である。 位置アイコンが反転されたデータ表示画面の一例を示す図である。 表示制御部がデータ表示画面を表示する手順を説明するフローチャート図の一例である。 直線部分と旋回部分を含むラインを示す図の一例である。 直線部分と旋回部分を含むラインを歩行中の画像データが表示されたデータ表示画面を説明する図の一例である。 表示制御部が画像データを表示する手順を示すフローチャート図の一例である。 画像表示システムの概略構成図の別の一例である。 図４０（ｂ）のような構成において、加速度測定装置が測定データと画像データを表示するシーケンス図である。 サーバ、表示装置、全天球画像撮像装置、及び、加速度測定装置の機能ブロック図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

＜画像処理システムの概略＞
図１は、本実施形態における画像表示システム１００の概略的な動作を説明する図の一例である。全天球画像撮像装置６０が設置されており、その周囲を歩行する歩行者を全天球画像撮像装置６０が撮像する。歩行者は加速度測定装置５０を身体に装着しており、加速度測定装置５０は撮像中の歩行者に生じる加速度を測定している。

（１）全天球画像撮像装置６０は画像データをサーバ１０に送信し、加速度測定装置５０は加速度の測定データをサーバ１０に送信する。

（２）画像データの撮像開始時刻と測定データの測定開始時刻は同期しており、画像データの撮像終了時刻と測定データの測定終了時刻は同期している。このため、サーバ１０は画像データと測定データの時間軸を同期させることができる。

（３）サーバ１０は、時間軸を同期させた画像データと測定データを表示装置３０に送信する。これにより表示装置３０は画像データと測定データを同じ時間軸で表示することができる。

（４）表示装置３０は全天球画像から歩行者を検出して歩行者を含む表示範囲をトリミングしてディスプレイに表示する。全天球画像は周囲の３６０°を撮像可能であるため歩行者が全天球画像撮像装置６０のどの方位にいても同じ大きさで撮像できる。しかし、表示装置３０が全天球画像をメルカトル図法などで長方形に変換すると、画像が歪むために指導者等が見にくいおそれがある。また、歩行者の画像も小さくなってしまう。そこで、表示装置３０は上記のようにトリミングすることで歪みの少ない歩行者を大きくディスプレイに表示することを可能とする。

このような構成によれば、まず、全天球画像撮像装置６０が用いられ、その周囲を歩行する歩行者が撮像されるので、直線的に移動する歩行者だけでなく旋回したり右左折したり歩行者を撮像可能になる。歩行者は旋回したり右左折する際に重心を崩しやすいことが知られており、旋回したり右左折する歩行者を撮像できることが歩行動作の解析に有効になる。また、全天球画像撮像装置６０はカメラを移動させたりすることなく歩行者の側面を常に撮像できるので歩行者の身体の前後方向の揺れ方などを撮像できる。また、歪みの少ない画像で常に歩行者が大きく表示されるので指導者にとっても見やすい映像となる。歩き方の指導者等は、歩行者の歩行動作を映像で確認して歩行動作を評価し改善点を指導できる。

また、歩行者の加速度などが測定された測定データが画像データと同じ時間軸で表示されるので、指導者等が改善すべき歩行動作を発見した場合に、歩行動作が良好でないことを測定データで裏付けることができる。また逆に、予め用意されている良好とされる測定データと歩行者（被験者）の測定データを比較することで、指導者等は好ましくない測定データを発見できる。好ましくない測定データは画像データと対応付けられているので、指導者等は改善すべき歩行動作を画像データから特定することができる。従って、測定データと画像データを相補的に利用して歩行動作を評価できる。

＜用語について＞
動体とは、前方、後方、横方向などに進行する対象をいう。あるいは、重心移動を伴って進行する対象である。具体的には、人、動物又はロボット等が挙げられるが、以下では説明のため人（歩行者）を例にして説明する。歩行には走ることが含まれる。また、後ろ向きに歩行してもよい。また、人などが乗車した車椅子、義足を装着した人、自転車、竹馬、三輪車なども動体である。

動体は方向を変えながら又は方向を変えて歩行する。「方向を変えながら」とは、少なくとも歩行したラインが直線でないことをいう。また、「方向を変えて」とは歩行したラインから２つ以上の直線が見いだせることをいう。具体的には動体は旋回したり右左折したりする。ラインとは動体が移動する経路、道筋、軌跡をいう。

また、加速度は進行する対象の進行動作を評価できる情報の一例である。進行する対象の進行動作を評価できる情報は、進行する対象の進行に伴って変動する情報をいう。あるいは、進行する対象に装着された場合に進行に伴って変動する情報でもよい。あるいは、進行動作を良否などを評価可能な情報といってもよい。具体的には、加速度、角速度、位置又は方位等である。

画像データと測定データが対応づけられるとは、いくつかある画像データのうち１つ以上の画像データが決まると、いくつかある測定データのうち１つ以上の測定データが決まることをいう。あるいは、ほぼ同じ時刻に測定された画像データと測定データが特定され、時刻、画像データ又は測定データの１つが決まると残りが決まることをいう。

指導者とは、歩行者の歩行動作を映像で確認して歩行動作を評価し改善点等を立案できる者をいう。具体的には保健師、臨床検査技師、義肢装具士などの資格の保有者が挙げられるが、資格はなくてもよい。また、歩行動作を評価し改善点等を立案できる者でなくても画像表示システム１００の操作は可能であり、指導者は操作者、ユーザ、又は利用者等と呼ばれてもよい。

＜システム構成例＞
図２は、本実施形態の画像表示システム１００の概略構成図の一例を示す。画像表示システム１００は、ネットワークＮを介して相互に通信可能なサーバ１０、加速度測定装置５０、全天球画像撮像装置６０、及び、表示装置３０を有する。

ネットワークＮは、画像表示システム１００が配置されている施設などに構築されているＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークＮはＷＡＮやインターネットと呼ばれる。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、表示装置３０が直接、回線電話網や携帯電話網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。

全天球画像撮像装置６０は全天球画像又は全方位画像（以下、単に全天球画像又は全方位画像という）と呼ばれる周囲３６０°の風景を撮像する撮像装置（カメラ）である。後述する光学系を備えることで全天球画像撮像装置６０は一回の撮像動作で全天球画像を得ることができる。全天球画像にはほぼ死角なく周囲３６０°の画像が撮像されているため、指導者等は任意の領域を選択的にディスプレイ等に表示させ閲覧することができる。なお、本実施形態では、緯度方向（画像の上下方向）で３６０°度の撮像範囲を有していなくてもよい。天井部や床の領域は歩行者が映らないためである。また、経度方向（画像の水平方向）で３６０°度の全範囲で撮像できなくてもよい。これは、歩行者の歩行動作を指導者等が解析するために全天球画像撮像装置６０の全周の旋回までは必要でない場合があるためである。また、全天球画像撮像装置６０として、ある画角の矩形範囲を撮像する撮像装置が撮像した複数の画像をつなぎ合わせることで全天球画像を得る撮像装置が用いられてもよい。

加速度測定装置５０は、歩行者の加速度を測定する装置である。加速度は鉛直方向加速度、進行方向加速度、左右方向加速度の３軸それぞれで測定されることが好適であるが、いずれか一方向の加速度でもよい。加速度測定装置５０として加速度を測定する専用のセンサも存在するが、加速度測定装置５０は加速度センサを有している装置であればよい。具体的には、スマートフォン、携帯電話、タブレット端末、ノートＰＣ、ウェアラブルＰＣ（ヘッドマウントディスプレイ、サングラスや腕時計などとして装着される）、歩度計などであるが、これらには限られない。

また、加速度測定装置５０は、加速度の他、角速度、位置、方位などを測定する機能を有してよい。角速度を測定するセンサはジャイロセンサと呼ばれ、位置はＧＰＳ衛星、ＩＭＥＳ、又は、ビーコンなどにより加速度測定装置５０に提供される。東西南北の方位を例えば北を基準に検出するセンサは方位センサと呼ばれる。これらはいずれも加速度と同様に歩行動作の評価に用いられることができる。本実施形態では、説明を簡便にするため加速度測定装置５０が加速度を測定するものとして説明するが、加速度測定装置５０はこれら歩行動作の評価に用いられる測定データをサーバ１０に送信できる。

サーバ１０は、全天球画像撮像装置６０からの画像データを受信して加工したり、測定データを受信して画像データと時間軸を同期させたりする情報処理装置である。このサーバ１０の機能を加速度測定装置５０や表示装置３０が兼用することができる。

表示装置３０は、指導者等が画像データと測定データを表示させる端末装置として使用される情報処理装置である。具体的には、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット装置、携帯電話機、カーナビゲーション端末、ウェアラブルコンピュータ（ヘッドマウントディスプレイ、サングラス、腕時計など）、カメラ、電子黒板、プロジェクタ、ゲーム機、又は、ＭＦＰ（Multifunction Peripheral/Printer/Product）などが挙げられる。

＜ハードウェア構成例＞
図３は、サーバ１０のハードウェア構成図の一例である。なお、図示するサーバ１０のハードウェア構成は、１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、サーバ１０が備えていることが好ましいハード的な要素を示す。サーバ１０の構成は負荷などに応じて適宜リソースが配分されるクラウドコンピューティングにより決定されてもよい。

サーバ１０は、バス１１０に接続されたＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０５、メディアドライブ１０７、ディスプレイ１０８、ネットワークＩ／Ｆ１０９、キーボード１１１、マウス１１２、及び、光学ドライブ１１４を有する。ＣＰＵ１０１は、ＨＤ１０４に記憶されている画像処理プログラムを実行して、サーバ１０の全体の動作を制御する。ＲＯＭ１０２はＩＰＬ（Initial Program Reader）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶している。ＲＡＭ１０３はＣＰＵ１０１のワークエリアとして使用される主記憶装置である。ＨＤ１０４は不揮発性メモリを搭載した記憶装置である。

ＨＤＤ(Hard Disk Drive)１０５はＣＰＵ１０１の制御に従ってＨＤ１０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ（表示装置３０）１０８はカーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ１０９はネットワークＮとのインタフェースである。

キーボード１１１及びマウス１１２は入出力装置であり、キーボード１１１は文字、数値、各種指示などの入力のための複数のキーを備えこれらからの入力を受け付ける。マウス１１２はマウスポインターの移動及び各種指示の選択や実行、処理対象の選択などを受け付ける。

メディアドライブ１０７はフラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御する。光学ドライブ１１４は着脱可能な記録媒体の一例としてのＣＤ(Compact Disc)１１３等に対する各種データの読み出し又は書き込みを制御する。

なお、上記画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア１０６やＣＤ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。あるいは、画像処理プログラムは、任意のサーバ１０型の情報処理装置からダウンロードされる形態で配布されてもよい。

なお、表示装置３０のハードウェア構成は図３と同様であるか、又は、異なっているとしても本実施形態の説明の上で支障はないものとする。

図４は、加速度測定装置５０のハードウェア構成図の一例を示す。なお、図４は加速度測定装置５０としてスマートフォンやタブレット装置が想定された構成になっているが、加速度測定装置５０のハードウェア構成としてはこれに限られない。

加速度測定装置５０は、互いにバス２１０に接続された、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、フラッシュメモリ２０４、ＣＭＯＳセンサ２０５、加速度・方位センサ２０６、ジャイロセンサ２０７、メディアドライブ２０８、音声入力部２１１、音声出力部２１２、通信装置２１３、ＧＰＳ受信部、ディスプレイ２１５、及び、タッチパネル２１６を有する。バス２１０は、これら各部を電気的に接続するためのアドレスバスやデータバス等である。

ＣＰＵ２０１はフラッシュメモリ２０４に記憶されているプログラムを実行することで表示装置３０全体の動作を制御する。ＲＯＭ２０２はＩＰＬや基本入出力プログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際にワークエリアとして使用される主記憶装置である。フラッシュメモリ２０４は表示装置３０が実行するプログラムや各種のデータを記憶する不揮発性の記憶装置である。プログラムは、例えば、オペレーティングシステム、全天球画像撮像装置６０が実行する装置プログラムである。

ＣＭＯＳセンサ２０５は、ＣＰＵ２０１の制御に従って被写体を撮像し画像データを得る撮像素子である。ＣＭＯＳセンサ２０５の代わりにＣＣＤセンサを用いてもよい。加速度・方位センサ２０６は、地磁気を検知する電子磁気コンパスとしての機能や３軸方向の加速度を測定する機能等を備えている。ジャイロセンサ２０７は、ｘ軸、ｙ軸又はz軸に対し加速度測定装置５０が回転する際の角速度を検出する。それぞれの軸の回転角度はヨー角、ピッチ角、ロール角と呼ばれる。

メディアドライブ２０８は、フラッシュメモリ等の記録メディア２０９に対するデータの読み出し又は書き込み（記憶）を制御する。メディアドライブ２０８の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア２０９が着脱自在な構成となっている。

音声入力部２１１は音声を音声信号に変換するマイクである。音声出力部２１２は、音声信号を音声に変換するスピーカである。通信装置２１３は、アンテナ２１３ａを利用して無線通信信号により、最寄りの無線局装置９と通信を行う。あるいは、通信装置２１３はＬＡＮに接続するＬＡＮカードの場合がある。ＧＰＳ受信部２１４は、ＧＰＳ衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって表示装置３０の位置情報（緯度、経度、及び高度）を検出する。

ディスプレイ２１５はＣＰＵ２０１の制御により全天球画像を表示したり、ユーザが表示装置３０を操作するための各種のメニュー、アイコンなどを表示する。タッチパネル２１６は、ディスプレイ２１５上に一体に重畳され指やタッチペン等によるタッチに対しディスプレイ２１５上におけるタッチ位置（座標）を検出する。

なお、装置プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア２０９等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。あるいは、装置プログラムは、任意のサーバ１０型の情報処理装置からダウンロードされる形態で配布されてもよい。

図５は、全天球画像撮像装置６０のハードウェア構成図の一例である。以下では、全天球画像撮像装置６０は、２つの撮像素子を使用した全方位撮像装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に全天球画像撮像装置６０と同じ機能を有するようにしてもよい。

図５に示されているように、全天球画像撮像装置６０は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、音声出力部３１９、ＣＰＵ３１１、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信装置３１７、及び、アンテナ３１７ａを有している。

このうち、撮像ユニット３０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）３０２ａ，３０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子３０３ａ，３０３ｂを備えている。撮像素子３０３ａ，３０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、各々、画像処理ユニット３０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、撮像制御ユニット３０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続される。さらに、バス３１０には、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信装置３１７、及び電子コンパス３１８なども接続される。

画像処理ユニット３０４は、撮像素子３０３ａ，３０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒図法の画像のデータを作成する。

撮像制御ユニット３０５は、一般に撮像制御ユニット３０５をマスタデバイス、撮像素子３０３ａ，３０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ３１１から受け取る。また、該撮像制御ユニット３０５は、同じくＩ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ３１１に送る。

また、撮像制御ユニット３０５は、操作部３１５のシャッターボタンが押下されたタイミングで、撮像素子３０３ａ，３０３ｂに画像データの出力を指示する。全天球画像撮像装置６０によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子３０３ａ，３０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット３０５は、後述するように、ＣＰＵ３１１と協働して撮像素子３０３ａ，３０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球画像撮像装置６０には表示部が設けられていないが、表示部を設けてもよい。

マイク３０８は、音を音（信号）データに変換する。音処理ユニット３０９は、マイク３０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。音声出力部３１９は、音声信号を音声に変換するスピーカである。

ＣＰＵ３１１は、全天球画像撮像装置６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ３１２は、ＣＰＵ３１１のための種々のプログラムを記憶している。ＳＲＡＭ３１３及びＤＲＡＭ３１４はワークメモリであり、ＣＰＵ３１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ３１４は、画像処理ユニット３０４での処理途中の画像データや処理済みの正距円筒図法により作成された画像のデータを記憶する。

操作部３１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ３１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ３１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ３１４に記憶された正距円筒図法により作成された画像のデータは、このネットワークＩ／Ｆ３１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ３１６を介して外部装置に送信されたりする。

通信装置３１７は、全天球画像撮像装置６０に設けられたアンテナ３１７ａを介して、WiFi(wireless fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の離無線技術によって外部装置と通信を行う。この通信装置３１７によっても、正距円筒図法により作成された画像のデータを外部装置に送信することができる。

電子コンパス３１８は、地球の磁気から全天球画像撮像装置６０の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

＜機能構成＞
次に、図６を用いて、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の機能構成について説明する。図６は、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の機能ブロック図の一例である。

<<サーバ１０の各機能構成>>
サーバ１０は、通信部１１、画像調整部１２、加速度データ加工部１３、操作入力受付部１４、同期指示部１５、及び、記憶・読出部１９を有している。サーバ１０が有するこれらの各部は、図３に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開された画像処理プログラム１０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能される手段である。

また、サーバ１０は、図３に示されているＨＤ１０４、ＲＯＭ１０２及びＲＡＭ１０３のいずれか１つ以上によって構築される記憶部１０００を有している。記憶部１０００には、画像処理プログラム１０１０、測定データＤＢ１００１、及び、画像データＤＢ１００２が記憶されている。測定データＤＢ１００１は、加速度測定装置５０から送信された測定データが記憶される記憶手段である。画像データＤＢ１００２は、全天球画像撮像装置６０から送信された画像データが記憶される記憶手段である。

サーバ１０の通信部１１は、図３に示されているＣＰＵ１０１からの命令、及びネットワークＩ／Ｆ１０９等によって実現され、ネットワークＮを介して、加速度測定装置５０、全天球画像撮像装置６０、及び、表示装置３０と各種データの送受信を行う。なお、以下ではサーバ１０が通信部１１の機能で通信する場合でも「通信部１１を介して通信する」という記載を省略する場合がある。表示装置３０，全天球画像撮像装置６０及び加速度測定装置５０についても同様である。

画像調整部１２は、図３に示されているＣＰＵ１０１からの命令等により実現され、全天球画像撮像装置６０から取得した画像データと加速度測定装置５０から取得した測定データの時間軸を同期させる。

加速度データ加工部１３は、図３に示されているＣＰＵ１０１からの命令等により実現され、離散的な測定データを滑らかに結合したりして時間軸に対するグラフに変換する。

操作入力受付部１４は、図３に示されているＣＰＵ１０１からの命令、キーボード１１１、及びマウス１１２等によって実現され、指導者等による表示装置３０への各種の操作や入力を受け付ける。

同期指示部１５は、図３に示されているＣＰＵ１０１からの命令等により実現され、測定データと画像データの同期に関する処理を行う。具体的には同時期に測定開始と撮像開始を全天球画像撮像装置６０と加速度測定装置５０に要求したり、同時期に測定終了と撮像終了を全天球画像撮像装置６０と加速度測定装置５０に要求したりする。また、絶対時刻を全天球画像撮像装置６０と加速度測定装置５０に提供したりする。

記憶・読出部１９は、図３に示されているＣＰＵ１０１からの命令及びＨＤＤ１０５等により実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする処理を行う。なお、以下ではサーバ１０が記憶部１０００にアクセスする場合でも「記憶・読出部１９を介して読み書きする」という記載を省略する場合がある。表示装置３０，全天球画像撮像装置６０及び加速度測定装置５０についても同様である。

<<表示装置３０の各機能構成>>
表示装置３０は、通信部３１、表示制御部３２、操作入力受付部３３、画像回転部３４、動体検出部３５、及び、記憶・読出部３９を有している。

表示装置３０が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ１０４からＲＡＭ１０３上に展開された端末プログラム３０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能される手段である。なお、端末プログラム３０１０に限られずサーバ１０が送信するＷｅｂページ（ＨＴＭＬデータ、ＸＭＬデータ、及び、JavaScript（登録商標）などで記述されたプログラム）によって実現される機能、又は機能される手段も含まれる。

また、表示装置３０は、図３に示されているＨＤ１０４、ＲＯＭ１０２及びＲＡＭ１０３のいずれか１つ以上によって構築される記憶部３０００を有している。記憶部３０００には、端末プログラム３０１０が記憶されている。また、記憶部３０００にはサーバ１０から送信された測定データと画像データが記憶される。

（表示装置３０の機能）
表示装置３０の通信部３１は、図３に示されているＣＰＵ１０１からの命令、及びネットワークＩ/Ｆ１０９等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。

表示制御部３２は、図３に示されているＣＰＵ１０１からの命令等によって実現され、サーバ１０から送信された画像データと測定データをディスプレイ１０８に表示する。

操作入力受付部３３は、図３に示されているＣＰＵ１０１からの命令、キーボード１１１、及びマウス１１２等によって実現され、指導者等による表示装置３０への各種の操作や入力を受け付ける。

動体検出部３５は、図３に示されているＣＰＵ１０１からの命令等によって実現され、全天球画像から動体を検出する。この動体は主に歩行者である。歩行者が検出されるので、画像回転部３４が歩行者を含む画像をトリミングすることができる。

画像回転部３４は、図３に示されているＣＰＵ１０１からの命令等によって実現され、歩行者が写っている領域がディスプレイ１０８に表示されるように全天球画像である画像データから表示範囲をトリミングする。

記憶・読出部３９は、図３に示されているＣＰＵ１０１からの命令及びＨＤＤ１０５等により実現され、記憶部３０００に各種データを記憶したり、記憶部３０００に記憶された各種データを読み出したりする処理を行う。

<<加速度測定装置５０の各機能構成>>
加速度測定装置５０は、通信部５１、加速度検出部５２、及び、記憶・読出部５９を有している。加速度測定装置５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、フラッシュメモリ２０４からＲＡＭ２０３上に展開された装置プログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能、又は機能される手段である。

また、加速度測定装置５０は、図４に示されているフラッシュメモリ２０４、ＲＯＭ２０２及びＲＡＭ２０３のいずれか１つ以上によって構築される記憶部５０００を有している。記憶部５０００には、装置プログラム５０１０が記憶されている。記憶部５０００には加速度測定装置５０が測定した加速度などの測定データが記憶される。

（加速度測定装置５０の機能）
加速度測定装置５０の通信部５１は、図４に示されているＣＰＵ２０１からの命令、及び通信装置２１３等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。

加速度検出部５２は、図４に示されているＣＰＵ２０１からの命令、及び加速度・方位センサ２０６等によって実現され、加速度測定装置５０に生じる加速度を測定する。加速度は一定間隔又は不定期に測定され、時間と共に変化する加速度が得られる。時系列の加速度が含まれる測定データは記憶部５０００に記憶される。

記憶・読出部５９は、図４に示されているＣＰＵ２０１からの命令、フラッシュメモリ２０４、ＲＯＭ２０２、及びＲＡＭ２０３等により実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出したりする処理を行う。

<<全天球画像撮像装置６０の各機能構成>>
全天球画像撮像装置６０は、通信部６１、撮像部６２、及び、記憶・読出部６９を有している。全天球画像撮像装置６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ３１２からＳＲＡＭ３１３又はＤＲＡＭ３１４に展開された撮像プログラムに従ったＣＰＵ３１１からの命令によって動作することで実現される機能、又は機能される手段である。

また、全天球画像撮像装置６０は、図５に示されているＲＯＭ３１２、ＳＲＡＭ３１３及びＤＲＡＭ３１４のいずれか１つ以上によって構築される記憶部６０００を有している。記憶部６０００には、全天球画像の画像データや撮像プログラム６０１０が記憶されている。

（全天球画像撮像装置６０の機能）
全天球画像撮像装置６０の通信部６１は、図５に示されているＣＰＵ１０１からの命令、及びネットワークＩ/Ｆ３１６等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。

撮像部６２は、図５に示されているＣＰＵ１０１からの命令、撮像ユニット３０１及び画像処理ユニット３０４等によって実現され、全天球画像を撮像し画像データを生成する。全天球画像は静止画でも動画でもよい。いずれの場合も、撮像部６２は歩行している歩行者を時間の経過に従って撮像する。動画の場合、全天球画像は一定間隔又は不定期に撮像される。静止画の場合は、歩行者が歩行している間に時間の間隔を置いて複数の全天球画像が撮像される。時系列の全天球画像が含まれる画像データは記憶部６０００に記憶される。

記憶・読出部６９は、図５に示されているＣＰＵ２０１からの命令、ＲＯＭ３１２、ＳＲＡＭ３１３及びＤＲＡＭ３１４のいずれか１つ以上によって実現され、記憶部６０００に各種データを記憶したり、記憶部６０００に記憶された各種データを読み出したりする処理を行う。

＜歩行者の歩行について＞
図７（ａ）を用いて、全天球画像撮像装置６０の周囲を歩行者がどのように歩行するかを説明する。図７（ａ）は、全天球画像撮像装置６０の周囲を歩行する歩行者２００を模式的に説明する図の一例である。歩行者２００は加速度測定装置５０を腰などに装着している。加速度測定装置５０が装着される場所は歩行者２００の重心に近い場所であることが好ましい。腰の他、胸、背中、胴部などに装着されてもよい。また、加速度測定装置５０は複数台、装着されていてもよい。

歩行者２００は全天球画像撮像装置６０の周囲を方向を変えながら旋回するようにして歩行する。複数の歩行者間の歩行動作の比較を容易にするため、又は、歩行者２００が歩行する経路を認識できるように、歩行面に円形状のラインＬが形成されていてもよい。また、ラインＬには等間隔に連続する番号などが付されたマーカが配置されていてもよい。指導者等が画像データを確認する際に、全天球画像撮像装置６０に対する歩行者２００の位置を容易に把握できる。

歩行者２００はラインＬで示される円の接線方向に正面（胸）を向けて前方に移動する。これにより、全天球画像撮像装置６０の周囲を旋回するように歩行する。歩行者２００が歩行している間、加速度測定装置５０は加速度を測定している。歩行者２００と加速度測定装置５０の相対位置は固定されているものとし、歩行者２００の進行方向（前方）をｘ方向、左右方向をｙ方向、垂直方向をｚ方向とする。

なお、歩行者２００は円形状のラインＬの全体を歩行しなければならないわけではなく歩行動作の評価に適切な距離以上、歩行すればよい。また、歩行者２００は円形状のラインＬを１周より多く歩行してもよい。

図７（ｂ）は、四角形に沿って全天球画像撮像装置６０の周囲を歩行する歩行者２００を模式的に説明する図の一例である。図７（ｂ）では例えば四角形の形状のラインＬが歩行面に形成されている。歩行者２００がラインＬに沿って（又はライン上を）歩行すると、歩行者２００は方向を変えるため（右折するため）、全天球画像撮像装置６０は右折する際の歩行者２００を撮像できる。また、歩行者２００が逆方向に歩行すれば、全天球画像撮像装置６０は左折する際の歩行者２００を撮像できる。

また、このラインＬは直線部分Ｓを有している。歩行者２００はこの直線部分Ｓに沿って（又は直線部分の上を）往復するので、全天球画像撮像装置６０は背後から歩行する歩行者２００、１８０度の方向転換を行う歩行者２００、及び、全天球画像撮像装置６０に正面から接近する歩行者２００を撮像できる。

また、歩行者２００が歩行するラインＬは８の字（8-shaped loop、又は、無限大（インフィニティの形状）などでもよく、図７に示したものには限られない。ラインＬは歩行動作を評価するために好ましい形状であればよい。

＜動作手順＞
続いて、図８〜１２を用いて、画像表示システム１００の動作手順について説明する。図８は画像表示システム１００の全体的な動作を説明するシーケンス図の一例である。図８では、サーバ１０が加速度測定装置５０と全天球画像撮像装置６０に対してそれぞれ測定開始、撮像開始の指示を行う場合のシーケンス図である。

S1：歩行動作の測定を始める際、指導者等は歩行動作の測定を開始する操作をサーバ１０に入力する。サーバ１０の操作入力受付部１４は指導者等の操作を受け付ける。

S2：サーバ１０の通信部１１は測定開始要求を加速度測定装置５０に送信する。

S3：加速度測定装置５０の通信部５１は測定開始要求を受信する。測定開始要求を取得することで、加速度測定装置５０は音声出力部２１２からブザー音などを出力する。これにより、歩行者は歩行を開始してよいことを把握できる。なお、「歩行を開始してください」などの音声メッセージ、バイブレーション機能による振動、ディスプレイ２１５へのメッセージの表示、ディスプレイ２１５の明滅などにより、歩行者に歩行開始を報知してもよい。

S4：サーバ１０の通信部１１は撮像開始要求を全天球画像撮像装置６０に送信する。

S5：全天球画像撮像装置６０の通信部６１は撮像開始要求を受信する。撮像開始要求の取得により、全天球画像撮像装置６０は音声出力部３１９からブザー音などを出力する。これにより、歩行者は歩行を開始してよいことを把握できる。この他の通知態様はステップＳ３と同様である。また、全天球画像撮像装置６０は歩行者の視野に入る場合があるので、全天球画像撮像装置６０がパトランプなどを点灯させてもよい。これにより、歩行者だけでなく周囲の指導者等も歩行者が歩行を開始してよいことを把握できる。なお、ステップＳ３とＳ５のブザーによる通知はどちらか一方があればよい。

S6、S7：測定開始要求により加速度測定装置５０の加速度検出部５２は加速度の測定を開始する。撮像開始要求により全天球画像撮像装置６０の撮像部６２は撮像を開始する。加速度測定装置５０の加速度検出部５２は歩行者が歩行している間に生じる加速度を測定し、全天球画像撮像装置６０の撮像部６２は、歩行する歩行者を撮像する。このようにサーバ１０からの指示により、測定データの測定開始と画像データの撮像開始をほぼ同時に同期させることができる。なお、ステップＳ２〜Ｓ７の順序は順不同である。サーバ１０は、同時期に測定データの測定開始と画像データの撮像開始を加速度測定装置５０と全天球画像撮像装置６０に送信すればよい。

S8：歩行者が十分に歩行したと指導者等が判断すると、指導者等は歩行動作の測定を終了する操作をサーバ１０に入力する。サーバ１０の操作入力受付部１４は指導者等の操作を受け付ける。

S9：サーバ１０の通信部１１は測定終了要求を加速度測定装置５０に送信する。加速度測定装置５０の通信部１１は測定終了要求を受信し、加速度検出部５２は加速度の測定を終了する。なお、ステップS3のように終了の旨を歩行者などに通知してもよい。

S10：サーバ１０の通信部１１は撮像終了要求を全天球画像撮像装置６０に送信する。全天球画像撮像装置６０の通信部６１は撮像終了要求を受信し、撮像部６２が全天球画像の撮像を終了する。なお、ステップS5のように終了の旨を歩行者などに通知してもよい。ステップＳ９、Ｓ１０の順序は順不同である。サーバ１０は、同時期に測定データの測定終了と画像データの撮像終了を加速度測定装置５０と全天球画像撮像装置６０に送信すればよい。

このようにサーバ１０からの指示により、測定データの測定終了と画像データの撮像終了をほぼ同時に同期させることができる。

S11：加速度測定装置５０の通信部５１は記憶部５０００に記憶しておいた測定データをサーバ１０に送信する。

S12：全天球画像撮像装置６０の通信部６１は記憶部６０００に記憶しておいた画像データをサーバ１０に送信する。

S13：サーバ１０の通信部１１は測定データと画像データを受信して、測定データＤＢ１００１と画像データＤＢ１００２にそれぞれ記憶させる。そして、サーバ１０の加速度データ加工部１３は離散データである加速度データを折線グラフなどに加工する。なお、このような加工は表示装置３０が行ってもよい。

S14：次に、サーバ１０の画像調整部１２は、測定データと画像データの時間軸を同期させる処理を行う。測定データと画像データはほぼ同じ時間で取得されているが、測定データのデータ数と画像データのデータ数（フレーム数）は異なっている場合が多い。このため、画像調整部１２は測定データと画像データを対応付けることで時間軸を同期させる。測定開始時刻と撮像開始時刻がほぼ同じで測定終了時刻と撮像終了時刻がほぼ同じなので、測定データと画像データのデータ数の比率で時間軸を同期させることができる。例えば、測定データのデータ数が４００、画像データのデータ数が２００であれば、画像データの２フレームを測定データの１つの加速度に対応付ける。あるいは、測定時間に対する各測定データ（加速度）の測定時刻の比を算出し、撮像時間に対する各画像データ（フレーム）の撮像時刻の比を算出し、比が最も近いフレームと加速度を対応付けてもよい。あるいは、測定開始からの経過時間と撮像開始からの経過時間がほぼ同じ測定データと画像データを対応付けてもよい。

さらに、後述するように測定開始時刻、測定終了時刻、撮像開始時刻及び撮像終了時刻の絶対時刻が得られる場合は、測定開始時刻から測定終了時刻と、撮像開始時刻から撮像終了時刻の重複部分を取り出し、重複部分の測定データと画像データを同様の比率計算などにより対応付ける。

S15,S16：サーバ１０は測定データと画像データを表示装置３０に送信する。具体的には、指導者等は表示装置３０などを介してサーバ１０に対し測定データと画像データを要求する。あるいは、指導者等はサーバ１０に対し測定データと画像データを要求する操作を行い、サーバ１０の操作入力受付部１４がこの操作を受け付けてもよい。あるいは、表示装置３０がポーリングなどにより測定データと画像データの有無を問い合わせ、サーバ１０に測定データと画像データが送信されると、サーバ１０が問い合わせに対し測定データと画像データを表示装置３０に送信してもよい。

S17：表示装置３０の通信部３１は測定データと画像データを受信し、表示制御部３２がディスプレイ１０８に測定データと画像データを同じ時間軸で表示する。表示のための処理を図１４以下で説明する。

<<動作の変形例>>
図９は画像表示システム１００の全体的な動作の変形例を説明するシーケンス図の一例である。図９では、図８との差異を説明する。図９では、測定開始の契機が図８と異なっている。

S1：歩行動作の測定を始める際、指導者等は歩行動作の測定を開始する操作を表示装置３０に入力する。表示装置３０の操作入力受付部３３は指導者等の操作を受け付ける。

S1-1：表示装置３０の通信部３１は測定開始要求をサーバ１０に送信する。表示装置３０とサーバ１０はＨＴＴＰなどで通信できる。測定開始要求は、加速度の測定開始と歩行者の撮像開始の少なくとも一方を要求するものである。

S8：歩行者が十分に歩行したと指導者等が判断すると、指導者等は歩行動作の測定を終了する操作を表示装置３０に入力する。表示装置３０の操作入力受付部３３は指導者等の操作を受け付ける。

S8-1：表示装置３０の通信部３１は測定終了要求をサーバ１０に送信する。以降の処理は図８と同様である。測定終了要求は、加速度の測定終了と歩行者の撮像終了の少なくとも一方を要求するものである。

従って、指導者はサーバ１０を操作しなくても表示装置３０から測定開始と測定終了をサーバ１０に要求できる。指導者等が表示装置３０を操作している場合はサーバ１０まで移動する必要をなくすことができる。

<<動作の変形例>>
図１０は画像表示システム１００の全体的な動作の変形例を説明するシーケンス図の一例である。図１０では、図８との差異を説明する。図１０では、歩行者が歩行を開始したことを測定開始の契機とする。歩行者は例えば指導者等の指導で歩行を開始し、また終了する。あるいは、ライン上のスタート位置からラインを一周してスタート位置などで停止する。

S1：加速度測定装置５０の加速度検出部５２は、加速度に基づいて歩行者が歩行を開始したことを検知する。例えば、ｘ方向、ｙ方向及びｚ方向の１つ以上で閾値以上の加速度が検出されたこと、又は、加速度を２回積分して得られる単位時間当たりの位置の変化が閾値以上になったこと、などにより歩行の開始を判断できる。ジャイロセンサ２０７が検出する角速度や、ＧＰＳ受信部２１４が検出する位置、加速度・方位センサ２０６が検出する方位に基づいて判断してもよい。歩行開始を検知したことで、加速度検出部５２は加速度の測定を開始する（Ｓ６）。

S2：加速度測定装置５０の通信部５１は歩行開始通知をサーバ１０に送信する。これにより、サーバ１０は全天球画像撮像装置６０に撮像開始要求を送信できる。なお、サーバ１０を介することなく、加速度測定装置５０の通信部５１は全天球画像撮像装置６０に歩行開始通知を送信してもよい。

S8：加速度測定装置５０の加速度検出部５２は、加速度に基づいて歩行者が歩行を停止したことを検知する。例えば、ｘ方向、ｙ方向及びｚ方向の１つ以上で閾値以上の加速度が検出されなくなった、又は、加速度を２回積分して得られる単位時間の位置の変化が閾値未満になったこと、などにより歩行の終了（停止）を判断できる。ジャイロセンサ２０７が検出する角速度や、ＧＰＳ受信部２１４が検出する位置、加速度・方位センサ２０６が検出する方位に基づいて判断してもよい。歩行停止を検知したことで、加速度検出部５２は加速度の測定を終了する。

S9：加速度測定装置５０の通信部５１は歩行終了通知をサーバ１０に送信する。これにより、サーバ１０は全天球画像撮像装置６０に撮像終了要求を送信できる。なお、サーバ１０を介することなく、加速度測定装置５０の通信部５１は全天球画像撮像装置６０に歩行終了通知を送信してもよい。以降の処理は図８と同様でよい。

図１０の処理によれば、指導者等が測定開始や測定終了等の操作を行わなくても、歩行動作の測定を開始しまた終了できる。

<<動作の変形例>>
図１１は画像表示システム１００の全体的な動作の変形例を説明するシーケンス図の一例である。図１１では、図８との差異を説明する。本実施形態では、測定データと画像データの時間軸を同期させることが有効なので図８では測定開始と撮像開始、及び、測定終了と撮像終了をそれぞれ同期させた。従って、絶対時刻は不要であるが、図１１のようにサーバ１０は絶対時刻を用いて測定データと画像データを同期させてもよい。

S3-1：ステップＳ２で測定開始要求を加速度測定装置５０の通信部５１が受信すると、加速度測定装置５０の加速度検出部５２は開始時刻をサーバ１０に要求する。

S3-2：これにより、加速度測定装置５０の加速度検出部５２はサーバ１０から測定を開始した絶対時刻（測定開始時刻）を取得できる。

S5-1：ステップＳ４で撮像開始要求を全天球画像撮像装置６０の通信部６１が受信すると、全天球画像撮像装置６０の撮像部６２は開始時刻をサーバ１０に要求する。
S5-2：これにより、全天球画像撮像装置６０の撮像部６２はサーバ１０から撮像を開始した絶対時刻（撮像開始時刻）を取得できる。

S9-1：ステップＳ９で測定終了要求を加速度測定装置５０の通信部５１が受信すると、加速度測定装置５０の加速度検出部５２は終了時刻をサーバ１０に要求する。
S9-2：これにより、加速度測定装置５０の加速度検出部５２はサーバ１０から測定を終了した絶対時刻（測定終了時刻）を取得できる。

S10-1：ステップＳ１０で撮像終了要求を全天球画像撮像装置６０の通信部６１が受信すると、全天球画像撮像装置６０の撮像部６２は終了時刻をサーバ１０に要求する。

S10-2：これにより、全天球画像撮像装置６０の撮像部６２はサーバ１０から撮像を終了した絶対時刻（撮像終了時刻）を取得できる。

サーバ１０は、加速度の測定開始時刻と測定終了時刻、及び、歩行者の撮像開始時刻と撮像終了時刻を測定データ及び画像データと共に取得する。何らかの理由で加速度の測定開始と撮像開始にタイムラグが発生したり、加速度の測定終了と撮像終了にタイムラグが発生したりしても、サーバ１０は測定データと画像データの時間軸を同期させることができる。

<<動作の変形例>>
図１２は画像表示システム１００の全体的な動作の変形例を説明するシーケンス図の一例である。図１２では、図１１との差異を説明する。図１１では、サーバ１０が加速度測定装置５０と全天球画像撮像装置６０にそれぞれ測定開始要求、撮像開始要求、測定終了要求、撮像終了要求を送信した。図１２では、サーバ１０は加速度測定装置５０と通信して、測定開始要求と測定終了要求を送信する。

S2-1：加速度測定装置５０の通信部５１は測定開始要求を受信すると、全天球画像撮像装置６０に撮像開始要求を送信する。

S2-2：全天球画像撮像装置６０の通信部６１は撮像開始要求を受信し、全天球画像撮像装置６０の撮像部６２は開始時刻を加速度測定装置５０に要求する。

S2-3：加速度測定装置５０の通信部５１は開始時刻を要求されると、サーバ１０に対し開始時刻を要求する。

S2-4：これに対し、サーバ１０は測定開始時刻を加速度測定装置５０に送信する。

S2-5：加速度測定装置５０は全天球画像撮像装置６０に撮像開始時刻を送信する。従って、加速度測定装置５０と全天球画像撮像装置６０は同じ開始時刻をそれぞれ測定開始時刻と撮像開始時刻として扱うことができる。

なお、ステップS2-2の時点で、加速度測定装置５０が保持している時刻（現在の時刻）を全天球画像撮像装置６０に送信してもよい。加速度測定装置５０はこの時刻から加速度の測定を開始し、全天球画像撮像装置６０はこの時刻から撮像を開始するので、測定開始時刻と撮像開始時刻を同期させることができる。

測定と撮像の終了時の処理も同様である。

S9-1：加速度測定装置５０の通信部５１は測定終了要求を受信すると、全天球画像撮像装置６０に撮像終了要求を送信する。

S9-2：全天球画像撮像装置６０の通信部６１は撮像終了要求を受信して、全天球画像撮像装置６０の撮像部６２は終了時刻を加速度測定装置５０に要求する。

S9-3：加速度測定装置５０の通信部５１は終了時刻を要求されると、サーバ１０に対し終了時刻を要求する。
S9-4：これに対し、サーバ１０は測定終了時刻を加速度測定装置５０に送信する。
S9-5：加速度測定装置５０は全天球画像撮像装置６０に撮像終了時刻を送信する。従って、加速度測定装置５０と全天球画像撮像装置６０は同じ終了時刻をそれぞれ測定終了時刻と撮像終了時刻として扱うことができる。

なお、ステップS9-2の時点で、加速度測定装置５０が保持している時刻（現在の時刻）を全天球画像撮像装置６０に送信してもよい。加速度測定装置５０はこの時刻に加速度の測定を終了し、全天球画像撮像装置６０はこの時刻に撮像を終了するので、測定終了時刻と撮像終了時刻を同期させることができる。

＜画像データと測定データの表示例＞
図１３を用いて、画像データと測定データの表示例について説明する。図１３は表示装置３０がディスプレイ１０８に表示した画像データと測定データの一例を示す。図１３のような画面をデータ表示画面５０１という。データ表示画面５０１は、主に画像データ欄５０２と測定データ欄５０３を有する。表示制御部３２は、画像データ欄５０２に画像データを表示し、測定データ欄５０３に測定データを表示する。表示制御部３２は、全天球画像の画像データから歩行者の撮像範囲を取り出して、画像データ欄５０２に表示する。この処理については後述する。

画像データ欄５０２について説明する。図１３ではｘ方向、ｙ方向及びｚ方向それぞれの加速度が時系列に表示されている。ｘ方向、ｙ方向又はｚ方向のうち任意の１つ以上の方向の加速度を指導者等が表示させることができる。画像データが静止画の場合、指導者等がボタン５０４を押下すると操作入力受付部３３が操作を受け付け、表示制御部３２は時間的に次の画像データを画像データ欄５０２に表示する。同様にボタン操作により表示制御部３２は時間的に前の画像データを画像データ欄５０２に表示することができる。また、表示制御部３２は静止画である画像データを一定の時間間隔で次々に画像データ欄５０２に表示してもよい。

画像データが動画の場合、指導者等がボタン５０４を押下すると操作入力受付部３３が操作を受け付け、表示制御部３２は撮像速度（フレーム数／ｓｅｃ）と同じ再生速度で画像データを動画として再生する。高速再生及び低速再生止なども可能である。指導者等が再度ボタン５０４を押下すると操作入力受付部３３が操作を受け付け、表示制御部３２は再生を停止させる。よって、指導者等は任意のタイミングの画像データを表示することができる。なお、画像データだけでなく、画像データと共に集音された音声を出力してもよい。

測定データ欄５０３について説明する。画像データが静止画又は動画のどちらの場合でも、測定データは連続的に測定されている。あるいは、静止画の場合は、加速度測定装置５０と全天球画像撮像装置６０が同期を取って、静止画の全天球画像が撮像されるタイミングで加速度測定装置５０が加速度を取得してもよい。

表示制御部３２は測定データの全てが測定データ欄５０３に表示しきれるように測定データを変倍して測定データ欄５０３に表示する。あるいは、ある程度の時間分の測定データを測定データ欄５０３に表示し、一定時間ごとに切り替えてもよい。図１３（ａ）のようにある程度の長さの測定データが測定データ欄５０３に表示されている場合、表示制御部３２は画像データ欄５０２に表示されている画像データに対応付けられている測定データを指し示すバー５０５を測定データ欄５０３に表示させる。例えば、測定データ欄５０３に全体又はある時間分の測定データが表示されており、動画の画像データが再生されている場合、表示制御部３２は表示中の画像データのフレームに対応付けられている測定データにバー５０５を重畳させる。従って、時間と共に又は動画の再生が進むにつれて、バー５０５が測定データ欄５０３を右に移動する。逆に、指導者等がバー５０５を移動させると操作入力受付部３３が操作を受け付けて、移動後のバー５０５が指し示す測定データに対応付けられている画像データのフレームを表示制御部３２が画像データ欄５０２に表示させる。

また、図１３（ｂ）のように測定データを表示してもよい。図１３（ｂ）では、画像データ欄５０２に表示されている画像データに対応付けられている測定データとその前後の測定データだけが測定データ欄５０３に表示される。測定データ欄５０３には例えば１秒〜数秒程度の測定データだけが同時に表示される。なお、点線の測定データは測定データが連続していることを示すもので画面には表示されない。

図１３（ｂ）の場合、動画や静止画の進行に応じて表示制御部３２が画像データ欄５０２に表示されている全天球画像と対応付けられている測定データを測定データ欄５０３の中央に表示する。サーバ１０により画像データと測定データとは対応付けられているので、画像データ欄５０２に表示されている画像データのフレームに対応付けられている測定データを少なくとも測定データ欄５０３に表示することができる。画像データ欄５０２の動画や静止画が停止されると、測定データも停止する。

<<測定データの評価>>
測定データが加速度の場合、一般的な歩き方ではピークが周期的に現れまたピークの高さもあまり変動しない。これに対し、年齢やケガなどで歩行機能が衰えたりすると、加速度のピークが周期的に現れなくなったり、ピークの高さも変動しやすくなる。指導者等は、画像データを見るだけでも歩行動作を評価できる場合があるが、さらに歩行動作が適切でないことを測定データにより裏付けることができる。また、測定データに乱れがある場所を指導者等が特定して、画像データで確認したりすることができる。測定データには一覧性があるが、画像データはある瞬間のフレームしか表示されないので、指導者等は適切でない歩行動作を短時間で画像データから探すことができる。

また、本実施形態では加速度を例にして説明しているが、ジャイロセンサ２０７による角速度、ＧＰＳ受信部等が検出した位置、加速度・方位センサが検出する方位などによっても、歩行動作が適切かどうかの裏付け等が可能である。例えば、ジャイロセンサ２０７が測定する角速度により歩行者が歩行する際のヨー角、ピッチ角、ロール角の変化の速さが分かる。この場合も加速度と同様に一般的な歩き方ではピークが周期的に現れまたピークの高さもあまり変動しないことが知られている。また、位置を２回微分すれば加速度が得られるため、位置も加速度と同等の情報を与える。また、旋回歩行の場合、方位は定常的に変化するが、方位を２回微分することで方位の変化の加速度が得られる。この場合も、ピークの周期と高さが評価の目安となる。また、これらの測定データでは、ピークが周期的で高さの変動が少ない場合でもピークが極端に大きいような場合には、歩行動作に改善点がある可能性があるとして指導者が画像データを確認することができる。

また、表示装置３０の画像回転部３４は加速度と加速度＝０の軸との面積を算出してもよい。例えば、円形状に旋回歩行している場合、ｙ方向は歩行者の左右方向（円の半径方向）の加速度なので、加速度が正側の面積と負側の面積は、ラインに対する半径方向の加速度のぶれを示す。ラインの上を歩行者が歩行すれば、正側の面積と負側の面積はほぼ等しくなる。従って、正側の面積と負側の面積が大きく異なるような場合、左脚と右脚のバランスが悪いことが分かる。

このように、指導者などは時間軸が同期された測定データと画像データを見ることで多くの情報を得ることができる。

＜全天球画像から歩行者のトリミング＞
画像データには、周囲３６０°の映像が映っているため、全体を表示すると画像が歪んでしまい歩行動作がわかりにくい。このため、表示制御部３２は歩行者が写っている範囲だけを画像データ欄５０２に表示することが好ましい。このような処理を全天球画像のトリミング、歩行者の抽出、全天球画像の回転、又は、取り出しなどと表現する。全天球画像の回転とは、全天球画像を水平方向に（経度方向に）回転させ画像データ欄５０２に表示される範囲を決定することをいう。

図１４は、歩行者が写っている範囲を動体検出部３５が特定して画像データ欄５０２に表示する手順を示すフローチャート図の一例である。図１４の処理は、例えば表示装置３０が画像データを受信し、動画又は静止画の再生が行われるとスタートする。

まず、動体検出部３５は歩行者の足の位置を特定する（Ｓ１０）。足とは履き物の部分をいう、履き物を履いていない場合はかかとからつま先までである。ただし、腰より下や膝より下を足として検出してもよい。動画の場合、歩行者が何回か足踏みするような動作を行えば、動体検出部３５は動体を検出することで歩行者を検出できる。あるいは顔を認識しても歩行者を検出できる。全天球画像撮像装置６０の周囲に歩行者以外の人が存在する可能性があるが、最も大きな画素範囲を占める移動体を歩行者として検出する。移動体のうち緯度が最も低い画素が足の位置である。この他、動体検出部３５が機械学習により足の画像を学習しておき、全天球画像から足を認識してもよい。

また、歩行者が決まった位置から歩行を開始することを想定すると、歩行者の初期位置は全天球画像の水平方向の決まった位置である。従って、この場合、動体検出部３５は測定対象の歩行者を容易に特定できる。

一度、全天球画像から歩行者を特定できれば、以降の全天球画像の歩行者の位置は、特定された歩行者の近くから検出できるはずなので、比較的、短時間で容易に検出できる。

また、静止画の場合、初期の全天球画像の歩行者の位置は決まっているか又は指導者等が入力する。あるいは顔を認識しても歩行者を検出できる。初期の全天球画像の歩行者の外接矩形を用いて以降の全天球画像に対しパターンマッチングすることなどで、各静止画から歩行者を検出できる。

歩行者が歩行を開始すると動体検出部３５は足の位置の変化から単位時間ごとの歩行者の角速度を算出する（Ｓ２０）。図１５を用いて角速度について説明する。図１５は全天球画像の上面図における歩行者の足５１１の位置を模式的に示す図である。例えば、北向きが基準であるとする。足５１１は経度方向に３６０°の範囲で位置（北向きをゼロ度とする角度）θを取り得る。１つのフレームで２つの足５１１が検出されるのでその平均を足５１１の位置とする。例えば過去の数秒間の足５１１の変化量の平均を所定時間ごと（例えばフレームを更新するごと）に算出する。これにより変動が少ない歩行者の角速度を算出できる。角速度は全天球画像撮像装置６０から見た歩行速度（移動速度）ということができる。なお、実空間におけるｘ方向の歩行速度はｘ方向の加速度を積分して得られる。

画像回転部３４は、ステップＳ２０で算出した角速度で画像を回転させる（Ｓ３０）。すなわち、動画の再生のためフレームが切り替わると、画像回転部３４は角速度で歩行者が移動した位置を中心に画像データ欄５０２の表示範囲（所定範囲）の画像をトリミングする。これにより、画像回転部３４が取り出す画像にはほぼ中央に歩行者が映っている。

表示制御部３２は、画像回転部３４がトリミングした表示範囲の画像を画像データ欄５０２に表示する。従って、指導者等は全天球画像から歩行者を探す必要なく、歩行者の歩行動作を評価できる。

なお、通常の画角のカメラでは歩行者が映るように撮像されているので、回転やトリミングなどの処理は必要ない。また、動体検出部３５と画像回転部３４の機能をサーバ１０又は全天球画像撮像装置６０が有していてもよい。この場合、サーバ１０又は全天球画像撮像装置６０から表示装置３０へ画像データが送信される際の通信負荷や通信時間を低減できる。

<<顔認識による全天球画像の回転>>
足の位置に着目する他、画像回転部３４は全天球画像から顔を認識することで歩行者を認識し、全天球画像を回転させてもよい。

図１６は、歩行者が写っている範囲を動体検出部３５が特定して画像データ欄５０２に表示する手順を示すフローチャート図の一例である。図１６の処理は、例えば表示装置３０が画像データを受信し、動画又は静止画の再生が行われるとスタートする。

まず、動体検出部３５は全天球画像ごとに顔を認識する（Ｓ１０）。図１７は顔５１２の認識を模式的に説明する図の一例である。顔５１２の認識は適切な特徴量の設定と、学習識別装置の学習により行われる。例えば、特徴量としては、Haar-like特徴、LBP(Local Binary Patterns)特徴、HOG(Histogram of Oriented Gradients)特徴などが知られている。また、学習識別装置の学習方法としては、ＳＶＭ(Support Vector Machines)、AdaBoostなどが知られている。ただし、これらに限られるものではなく顔５１２を認識できればよい。

画像回転部３４は、全天球画像から顔５１２を中心に画像データ欄５０２の表示範囲５１３（所定範囲）の画像をトリミングする。これにより、画像回転部３４が取り出す画像にはほぼ中央に歩行者が映っている。

表示制御部３２は、画像回転部３４がトリミングした表示範囲５１３の画像を画像データ欄５０２に表示する。従って、指導者等は全天球画像から歩行者を探す必要なく、歩行者の歩行動作を評価できる。

なお、全天球画像ごとに顔５１２の位置を決定してトリミングするのではなく、画像回転部３４は、過去のいくつかの全天球画像の顔５１２の位置から経度方向の移動速度を算出することで、次に表示する全天球画像から表示範囲を決定してもよい。顔５１２の位置が変動しにくくなるので、滑らかな動画を表示できる。

＜複数の全天球画像を使用した動体の検出＞
動画又は動画と見なせる程度の時間間隔で撮像される連続した静止画の全天球画像では、時間的に連続した複数の全天球画像を使用して動体を検出できる。

まず、図１８を用いて動体の検出の概略を説明する。図１８は、動体の検出を模式的に説明する図の一例である。

図１８（ａ）では、着目フレーム画像１８１とその直前のフレーム画像１８２が表示されている。フレーム速度が例えば３０ｆｐｓであれば、着目フレーム画像１８１と直前のフレーム画像１８２には、約３３〔ミリ秒〕の間隔がある。着目フレーム画像１８１と直前のフレーム画像１８２でなく、着目フレーム画像１８１に対し数フレーム前のフレーム画像を採用してもよい。動体検出部３５は着目フレーム画像とその直前のフレーム画像の差分を算出する。差分とは、同じ位置の画素の画素値を引き算することをいう。全く同じ被写体が映っていても（動体がなくても）蛍光灯の点滅、遠方の人の動き、影の変化などにより差分がゼロにならない場合があるので、差分が閾値未満の場合はゼロと見なす。

図１８（ｂ）は、差分画像の一例を示す。図１８（ｂ）では、差分が閾値以上の画素が白画素に置き換えられている。従って、着目フレーム画像と直前のフレーム画像を比較すると、白画素に重なるように歩行者が存在する可能性が高い。

次に、図１８（ｃ）に示すように、動体検出部３５は、白画素に画素膨張処理を複数回実行する。画素膨張処理とは、白画素に接した８画素（又は上下左右に隣接した４画素）を画素を白画素に置き換えることをいう。複数回の処理により白画素に接した画素が辿られるため、回数が増えるごとに白画素が膨張するように見える。複数回とは例えば８回や１０回など決まった数であり、実験的に好適値が定められている。あるいは、白画素の面積が一定以上になった場合に画素膨張処理を止めてもよい。差分の算出直後では点在していた白画素が、大きさを持った塊になる。歩行者の場合は差分画像が縦長なので、画素膨張処理により白画素は縦方向に大きくなり、動体よりもやや大きな（歩行者よりやや大きい範囲）を特定できる。

次に、図１８（ｄ）に示すように、白画素が連続する領域の外接矩形６０１などを特定する。以上の処理で検出された外接矩形６０１の座標（中心や重心など）が中央に来るよう、画像回転部３４は全天球画像から表示範囲をトリミングする。なお、全天球画像撮像装置６０の周囲には歩行者以外の動体が存在する可能性があるため、複数の外接矩形６０１が検出された場合は外接矩形６０１の面積が最も大きい外接矩形６０１を採用する。

<<全天球画像からのトリミングについて>>
図１９（ａ）は全天球画像からトリミングされる表示範囲を説明する図の一例である。全天球画像は球体であるが、メルカトル図法などにより図１９に示すように長方形に変形することができる。従って、経度方向（水平方向、Ｘ方向）に３６０°、緯度方向（上下方向、Ｙ方向）に１８０°の広さを有する。Ｘ方向の座標がゼロとなる経度は決まっているものとする。

図１９（ａ）に示すように外接矩形６０１が求められた場合、外接矩形６０１の４つのコーナーの座標も明らかなので、画像回転部３４は外接矩形６０１の中心Ｏ（ｘ_０，ｙ_０）を決定できる。画像回転部３４は中心Ｏを中心に経度方向に所定の範囲をトリミングし、中心Ｏを中心に緯度方向に所定の範囲をトリミングする。この範囲が画像データ欄５０２に表示される表示範囲である。図１９では点線の範囲がトリミングされる表示範囲５１３である。なお、歩行者の高さはあまり変動しないので、緯度方向の表示範囲は固定値でもよい。この場合、表示装置３０が表示した際に歩行者の上下が変動しにくくなる利点が生じうる。

歩行者が全天球画像撮像装置６０から離れるようなラインＬで歩行した場合、外接矩形６０１は小さくなる。逆に全天球画像撮像装置６０に接近した場合、外接矩形６０１は大きくなる。そこで、外接矩形６０１のサイズに応じて表示倍率の調整（ズームイン／ズームアウト）を行うことが好適である。例えば、一定の外接矩形６０１のサイズを予め決定しておき、検出した外接矩形６０１のサイズとの比率に応じて表示倍率を決定する。例えば、外接矩形６０１の面積や高さ、横幅の比率を算出する。この比率を表示倍率として全天球画像を変倍することで、表示される歩行者の大きさをほぼ一定にでき、閲覧しやすくなる。

ところで、歩行者が移動すると経度方向の端部（０°又は３６０°）に到達し、他方の端部（３６０°又は０°）から進入して再度、撮像される。この場合、２つの端部の両方で１つの動体が検出される過渡的な状態が生じうる。

図１９（ｂ）は２つの端部の両方で動体が検出される場合を説明する図の一例である。歩行者は経度が小さくなる方向に移動しているものとする。歩行者が端部にさしかかると０°側の端部と３６０°側の端部の２箇所で動体が検出されてしまう。歩行者がどちらにいるかを決定するために、外接矩形６０１のサイズが大きい方を優先することが考えられる。例えば、図１９（ｂ）で外接矩形６０１ａの面積の方が外接矩形６０１ｂの面積よりも大きい場合、動体検出部３５は外接矩形６０１ｂの中心Ｏａを歩行者の中心と判断する。

歩行者がさらに移動すると、外接矩形６０１ｂの面積の方が外接矩形６０１ａの面積よりも大きくなる。動体検出部３５は外接矩形６０１ｂの中心Ｏｂを歩行者の中心と判断する。従って、歩行者が端部を跨いで歩行しても外接矩形６０１の中心Ｏを決定できるが、外接矩形６０１ａの面積よりも外接矩形６０１ｂの面積の方が大きいと判断された瞬間は表示範囲５１３が大きく移動してしまう。これは、外接矩形６０１の中心Ｏは必ず端部よりも内側にあるためである。また、端部の２つの外接矩形６０１ａ、６０１ｂの面積の大小関係が一様に変化しない場合、表示範囲５１３の位置が安定しない（あるフレームでは外接矩形６０１ａの面積よりも外接矩形６０１ｂの面積の方が大きいと判断され、次のふれーむでは外接矩形６０１ｂの面積よりも外接矩形６０１ａの面積の方が大きいと判断される）ことになる。表示範囲５１３の位置が安定しないと、フレームごとに表示範囲５１３の位置が経度方向にぶれるおそれがある。

そこで、本実施形態では以下の２つの方法で外接矩形６０１の中心Ｏを決定する。
Ｉ．常に２つの全天球画像を監視する方法
図２０は、２つの全天球画像を用いて外接矩形６０１の中心Ｏを決定する方法を説明する図の一例である。全天球画像Ａ（第１の画像データ）は０°を端部として３６０°までが映っている。この０°は全天球画像撮像装置６０が撮像する全天球画像の予め定められた基準の位置として定められている。これに対し、全天球画像Ｂ（第２の画像データ）は１８０°を端部として１８０°までが映っている。すなわち、全天球画像ＡとＢでは、経度方向に切り取りの開始位置が１８０°ずれている。なお、切り取りの終了位置は開始位置と同じか直前までである。

動体検出部３５は、従来から全天球画像Ａを用いて画像処理を行っているが、本実施形態では全天球画像Ｂを作成する。動体検出部３５は全天球画像Ａから外接矩形６０１ａ、６０１ｂを、全天球画像Ｂから外接矩形６０１ｃをそれぞれ検出することができる。そして、面積が最も大きい外接矩形６０１ｃを特定し、この外接矩形６０１ｃの中心Ｏｃを表示範囲５１３のために使用する。経度方向の中心Ｏが定まれば表示範囲５１３は全天球画像ＡとＢのどちらからトリミングしてもよい。これにより、端部に歩行者がさしかかっても表示範囲５１３のブレを抑制し安定した表示範囲５１３が得られる。

なお、歩行者が端部にさしかかっていない場合、全天球画像ＡとＢは同じものなので、外接矩形６０１の面積は同じになる。外接矩形６０１の面積が同じ場合は、全天球画像ＡとＢのどちらで外接矩形６０１の中心Ｏを決定してもよい。

図２１は、表示装置３０が常に２つの全天球画像を監視して表示範囲５１３をトリミングする手順のフローチャート図の一例である。図２１の処理はフレームごとに繰り返し実行される。

表示制御部３２は全天球画像をメルカトル図法などで変換して全天球画像Ａを作成する。動体検出部３５はこの全天球画像Ａを利用して動体を検出するため全天球画像Ａを縮小する（Ｓ１０）。縮小は必須の処理ではないが、縮小することでサイズが小さくなるのでメモリの消費量を抑制でき、画像処理の時間を短縮できる。特に、全天球画像はサイズが大きいため縮小することが有効である。また、動体の検出にはある程度の画素数の画像で十分である。

動体検出部３５は全天球画像Ａとは切り取りの開始位置が１８０°異なる全天球画像Ｂを生成し、同様に縮小する（Ｓ２０）。

動体検出部３５は全天球画像Ａ、Ｂそれぞれで動体を検出し、外接矩形６０１の面積を算出する（Ｓ３０）。全天球画像Ａ、Ｂのそれぞれで複数の外接矩形６０１が検出される場合は、全天球画像Ａ、Ｂのそれぞれから最も大きい外接矩形６０１を決定する。

動体検出部３５は全天球画像Ａ，Ｂで外接矩形６０１の面積が同じか否かを判断する（Ｓ４０）。

ステップＳ４０の判断がＹｅｓの場合、歩行者は端部にさしかかっていないので、動体検出部３５は全天球画像Ａの外接矩形６０１ａの中心Ｏを決定する（Ｓ５０）。なお、全天球画像Ｂの外接矩形６０１ｂの中心Ｏを決定してもよい。

ステップＳ４０の判断がＮｏの場合、歩行者が端部にさしかかっている可能性があるため、動体検出部３５は面積が最も大きい外接矩形６０１の中心を決定する（Ｓ６０）。これにより、全天球画像Ａ、Ｂのうち端部でない方の外接矩形６０１が選択されるので、外接矩形６０１の中心Ｏを安定して算出できる。

ステップＳ５０又はＳ６０に続いて、画像回転部３４は外接矩形６０１の中心Ｏに基づいて表示範囲５１３をトリミングする（Ｓ７０）。

以上のような処理により、表示装置３０は歩行者が中央に映っているブレの少ない表示範囲５１３を表示できる。

II．歩行者が端部に近寄った場合に全天球画像を切り替える方法
図２２は、歩行者が端部に近寄った場合に全天球画像を切り替える方法を説明する図の一例である。全天球画像Ａ、Ｂは図２０と同様である。

まず、図２２（ａ）に示すように、歩行者が全天球画像Ａの中央付近を歩行しているものとする。動体検出部３５は全天球画像Ａから歩行者を検出できる。次に、図２２（ｂ）に示すように、歩行者が全天球画像Ａの端部に接近した場合、図２２（ｃ）に示すように動体検出部３５は全天球画像Ａから全天球画像Ｂを生成する。なお、接近したか否かは端部から外接矩形６０１の中心Ｏまでの距離が閾値Ｋ未満となったか否かにより判断できる。あるいは、外接矩形６０１の左端や右端と端部との距離を閾値Ｋと比較してもよい。

図２２（ｃ）に示すように、全天球画像Ｂは切り取りの開始位置が１８０°異なっているので全天球画像Ｂの歩行者は中央付近に映る。従って、動体検出部３５が全天球画像Ｂから歩行者を検出することで、ブレの少ない外接矩形６０１の中心Ｏを決定できる。この後、歩行者が歩行して１８０°の端部に接近し距離が閾値Ｋ未満となると、動体検出部３５は全天球画像Ａに切り替える。

全天球画像Ｂの切り取りの開始位置は一例であって例えば９０°〜９０°で切り取られてもよい。この場合、進行方向のスペースが１８０°〜１８０°で切り取るよりも長くなるため、切り取りの開始位置の切り替え頻度を低減できる。また、切り取りの開始位置が閾値Ｋに応じて決定されてもよい。例えば、閾値Ｋよりもやや大きい経度をずらして切り取りの開始位置を決定する。この場合、閾値Ｋに対して切り取りの開始位置を最適に決定できる。

図２３は、歩行者が端部に近寄った場合に全天球画像を切り替えて表示装置３０が表示範囲５１３をトリミングする手順のフローチャート図の一例である。図２３の処理はフレームごとに繰り返し実行される。

まず、動体検出部３５は、前回の外接矩形６０１の中心Ｏが端部から閾値未満（閾値Ｋ未満）か否かを判断する（Ｓ１０）。中心Ｏの位置は全天球画像Ａ又はＢのどちらからも取得される場合もある。前回とは１フレーム前のフレーム画像で検出された外接矩形６０１の中心Ｏをいう。なお、歩行者の進行方向が一定方向に決まっている場合は、０°又は３６０°のいずれかの端部とだけ距離と閾値を比較すればよい。歩行者の進行方向が一定方向に決まっていない場合、端部からの中心Ｏの距離は歩行者の進行方向が考慮される。歩行者の進行方向は過去の２フレーム以上の中心Ｏ（経度方向）の差の正負により判断できる。例えば、０°の端部に接近する進行方向の場合、０°の端部とだけ中心Ｏの距離と閾値を比較すればよい。

ステップＳ１０の判断がＹｅｓの場合、動体検出部３５は全天球画像の切り取りの開始位置を変更する（Ｓ２０）。従って、前回、全天球画像Ａが使用されていれば全天球画像Ｂに切り替え、前回、全天球画像Ｂが使用されていれば全天球画像Ａに切り替える。表示装置３０が全天球画像Ａを自動的に生成する場合で、全天球画像Ａが切り取り範囲の場合は全天球画像Ａを生成する必要はない。表示装置３０が全天球画像Ａを自動的に生成しない場合で、全天球画像Ａが切り取り範囲の場合は全天球画像Ａを生成する。全天球画像Ｂが切り取り範囲の場合は全天球画像Ｂを生成する。

ステップＳ１０の判断がＮｏの場合、処理はステップＳ３０に進むので、全天球画像の切り取り範囲は変更されない。

次に、動体検出部３５は切り取られている全天球画像を縮小する（Ｓ３０）。縮小の効果は図２１で説明した。

次に、動体検出部３５は全天球画像Ａ又はＢの外接矩形６０１の中心Ｏを決定する（Ｓ４０）。そして、画像回転部３４が表示範囲５１３をトリミングする（Ｓ５０）。

このような処理によれば、表示範囲５１３のブレを抑制でき、全天球画像Ａ又はＢのいずれかから外接矩形６０１の中心Ｏを決定すればよいので、処理負荷を低減できる。

＜複数の歩行者がいる場合＞
全天球画像撮像装置６０の周囲を複数の歩行者が歩行している場合を説明する。複数の歩行者のうち指導者等が監視する歩行者が決まっている場合、表示装置３０は指導者等が指定した歩行者のみを検出すればよい。例えば、指導者が指定した歩行者の位置を表示装置３０が受け付けて、撮像時刻が異なる全天球画像から位置が最も近い外接矩形６０１に目的の歩行者が映っていると判断する。

しかし、複数の歩行者が撮像されていると、歩行者の歩行速度の違いや歩行方向の違いによって二人の歩行者の外接矩形６０１が重畳するおそれがある。このため、以下のように歩行者の歩行速度を推定することが有効になる。

図２４は、二人の歩行者が撮像される場合の外接矩形６０１Ａ、６０１Ｂの中心Ｏを説明する図の一例である。図２４（ａ）は時刻ｔ-２の全天球画像（フレーム画像）を、図２４（ｂ）は時刻ｔ-１の全天球画像を、図２４（ｃ）は時刻ｔ-０の全天球画像を、それぞれ示す。それぞれの全天球画像で二人の歩行者が撮像されている。この場合、動体検出部３５は最も面積が大きい外接矩形６０１だけでなく、面積が閾値以上の外接矩形６０１を決定する。これにより、複数の歩行者を検出できる。

時刻ｔ-0〜ｔ-２の全天球画像は撮像された時刻が異なるが、時刻の違いはわずかなのである時刻の全天球画像の歩行者は、次の時刻の全天球画像において位置が最も近い歩行者であると判断できる。従って、動体検出部３５は面積が閾値以上の外接矩形６０１に歩行者Ａ、Ｂのラベリングが可能である。また、過去の少なくとも２つ以上のフレーム画像の外接矩形６０１の中心Ｏの差分から、動体検出部３５は歩行者Ａ，Ｂの歩行速度（方向を含む）を算出できる。従って、時刻ｔ+１の全天球画像において歩行者Ａ，Ｂの経度方向の位置を予測できる。これにより、歩行者Ａ，Ｂが重なった場合でもそれぞれの外接矩形６０１Ａ，６０１Ｂの中心Ｏを精度よく決定しやすくなる。

図２５は歩行者が重複した場合の外接矩形の中心Ｏを説明する図の一例である。図２５（ａ）では歩行者ＡとＢの外接矩形６０１Ａ、６０１Ｂは別々に検出されている。また、過去の全天球画像により歩行者Ａ、Ｂの歩行速度Ｖ_Ａ、Ｖ_Ｂが算出されている。

図２５（ｂ）では歩行者ＡとＢの外接矩形が重複して１つの外接矩形６０１が検出された。この場合、動体検出部３５は、歩行者Ａ、Ｂの歩行速度Ｖ_Ａ、Ｖ_Ｂを用いて、歩行者Ａ，Ｂそれぞれの外接矩形６０１Ａ、６０１Ｂの中心Ｏ_Ａ、Ｏ_Ｂを算出する。例えば、外接矩形６０１Ａの中心Ｏ_ＡはＯ_Ａ＋Ｖ_Ａ・Δｔ、外接矩形６０１Ｂの中心Ｏ_ＢはＯ_Ｂ＋Ｖ_Ｂ・Δｔである。Δｔは全天球画像の撮像間隔である。こうすることで、歩行者ＡとＢの外接矩形６０１Ａ、６０１Ｂが重複してもそれぞれの歩行者の位置（中心Ｏ）を比較的精度よく検出できる。

図２６は、表示装置３０が複数の歩行者の位置を特定し表示範囲５１３をトリミングする手順のフローチャート図の一例である。図２６の処理はフレームごとに繰り返し実行される。

まず、動体検出部３５は外接矩形６０１と中心Ｏを算出する（Ｓ１０）。この時点では、外接矩形６０１の数などは検討しない。複数の外接矩形６０１が検出された場合はそれぞれの中心Ｏを算出する。

次に、動体検出部３５は過去のフレームで歩行者が複数検出されたか否かを判断する（Ｓ２０）。

ステップＳ２０の判断がＮｏの場合、処理はステップＳ６０に進む。すなわち、歩行者は常に一人なので上記のように表示範囲５１３がトリミングされる。

ステップＳ２０の判断がＹｅｓの場合、動体検出部３５は歩行者の数が減少したか否かを判断する（Ｓ３０）。歩行者の数が減少した場合、外接矩形６０１が重複したおそれがある。

このため、ステップＳ３０の判断がＹｅｓの場合、動体検出部３５は複数の歩行者のそれぞれの歩行速度で中心Ｏを算出する（Ｓ４０）。すなわち、ステップＳ１０の中心Ｏでなく歩行速度で中心Ｏが推定される。

ステップＳ３０の判断がＮｏの場合、複数の歩行者の外接矩形６０１が別々に特定されているので、動体検出部３５はそれぞれの歩行速度を算出しておく（Ｓ５０）。

ステップＳ２０、Ｓ４０又はＳ５０に続いて、画像回転部３４は表示範囲５１３をトリミングする（Ｓ６０）。従ってステップＳ４０を通過した場合はステップＳ４０で推定された中心Ｏに基づいて表示範囲５１３をトリミングできる。ステップＳ５０を通過した場合はステップＳ１０で算出された中心Ｏに基づいて表示範囲５１３をトリミングできる。

このような処理により、全天球画像撮像装置６０の周囲を複数の歩行者が歩行していても、それぞれの歩行者の表示範囲５１３をトリミングできる。

実施例１では旋回方向について詳細に説明されていないが、指導者等が歩き方を分析する場合、左右どちらか一方向の旋回だけでなく、右旋回（第一の旋回方向）と左旋回（第二の旋回方向）の画像を比較することが有効な場合がある。これは、脚部（片方又は両方）の機能が低下している場合、どちらの脚が旋回方向の内側かによって歩き方に影響が出る場合があるためである。しかし、歩行者が右旋回した場合と左旋回した場合では、画像における歩行者の移動方向が逆になり、身体の向きも逆になってしまい、比較しづらいという不都合があった。

本実施例では、指導者等が右旋回と左旋回の画像を容易に比較できる画像表示システム１００について説明する。

図２７は、表示装置３０の機能ブロック図の一例である。なお、図２７ではサーバ１０，全天球画像撮像装置６０、及び、加速度測定装置５０については省略した。また、本実施例において、図６において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

本実施例の表示装置３０は左右反転部３６を有している。左右反転部３６は図３に示されているＣＰＵ１０１からの命令等によって実現され、左右反転部３６は、画像回転部３４がトリミングした表示範囲５１３に左右反転処理を施す。

＜右旋回、左旋回＞
図２８は旋回する歩行者を説明する図の一例である。図２８（ａ）は右旋回する歩行者を示し、図２８（ｂ）は左旋回する歩行者を示す。図２８（ａ）では右方向に移動する歩行者が画像データに撮像されるので、右肩が手前に写る。図２８（ｂ）では左方向に移動する歩行者が画像データに撮像されるので、左肩が手前に写る。なお、画像データと測定データが表示装置３０に送信されるまでの手順は図８等にて説明されている。右旋回の画像データ及び測定データと、左旋回の画像データ及び測定データは同時に送信されても別々に送信されてもよい。しかしながら、両者は同一の歩行者であることを示す情報（例えば、歩行者ＩＤなど）に紐付けられていることが好ましい。また、右旋回と左旋回が区別されるように画像データのファイル名や属性情報が設定されている。

右旋回と左旋回で、歩行者は同じ位置から歩行を開始しても別の位置から歩行を開始してもよい。移動する距離はほぼ同じラインＬの１周分などであるが、画像データの撮像時間は歩行者の歩行速度によって変わってよい。右旋回と左旋回で歩行速度が異なる歩行者も少なくないためである。あるいは、サーバ１０等が、右旋回と左旋回で同じ時間だけ歩行者が歩行したら画像データの撮像と測定データの測定を打ち切ってもよい。

＜画像の反転＞
図２９は、表示装置３０がディスプレイ１０８に表示したデータ表示画面５０１の一例を示す。図２９では測定データが非表示であるが、ユーザが所定の操作を行うと測定データも表示できる。図２９（ａ）は左右反転前の画像データを示し、図２９（ｂ）は左旋回の画像データが左右反転された画像データを示す。図２９（ａ）では右旋回と左旋回で歩行者の身体の向きが逆になっている。これに対し、図２９（ｂ）では左旋回の画像データが左右反転されているため、右旋回と左旋回で歩行者の身体の向きが同じになっている。したがって、指導者等が比較しやすい。なお、右旋回の画像データを左右反転してもよい。すなわち、右旋回の画像データと左旋回の画像データはどちらか一方のみが左右反転されればよい。

ボタン５０４については図１３と同様である。ユーザは右旋回又は左旋回それぞれの画像データを、ボタン５０４を押下することで再生したり停止させたりすることができる。なお、ボタン５０４を１つにして右旋回又は左旋回それぞれの画像データを１回の操作で再生、停止できるようにしてもよい。あるいは、右旋回又は左旋回のボタン５０４のいずれかを押下すると、右旋回及び左旋回それぞれの画像データを再生、停止してもよい。

また、画像データを反転するか否か、及び、反転する方の画像データをユーザが選択可能であってもよい。

図３０は、画像データの反転を説明する図の一例である。画像データの反転は公知の技術を使用すればよい。例えば、左右反転部３６は画像データの左右の画素列を交換する。すなわち、中央から同じ距離の画素列Ｃi（ｉは中央からの画素番号）を交換する。距離Ｃｉの左側の画素列を、右側の距離Ｃｉに移動し、距離Ｃｉの右側の画素列を、左側の距離Ｃｉに移動する。これを中央から左端及び右端まで繰り返すことで左右反転部３６は画像データを左右反転させることができる。なお、図示した左右反転の方法は一例に過ぎず、どのように左右反転されてもよい。

図３１は、表示装置３０が歩行者が写っている範囲を左右反転して画像データ欄５０２に表示する手順を示すフローチャート図の一例である。なお、図３１では主に図１４との相違を説明する。ステップＳ１０〜Ｓ３０の処理は図１４と同様でよい。ただし、左旋回と右旋回の両方で行われる。

ステップＳ３０で画像が回転させられると、左右反転部３６は左旋回か右旋回のどちらかの画像データの左右を反転させる（Ｓ３５）。具体的には、表示範囲５１３だけを左右反転すればよい。

これにより、表示制御部３２は人物が常に画角の中央に表示される画像データをディスプレイ１０８に表示できる（Ｓ４０）。

＜歩行位置の表示＞
本実施例では画像データから表示範囲５１３がトリミングされているため、歩行者の位置を指導者等が特定しにくい。一方、歩行速度が右旋回と左旋回でどのくらい違うかを指導者等が把握したい場合があるし、歩行のラインＬに障害物がある場合には障害物に対する歩行者の位置を把握したい場合などもある。そこで、画像データと共に歩行者の位置情報を表示することが有効である。

図３２は、歩行者の位置を説明する図の一例である。説明のため、全天球画像撮像装置６０を中心とする円の所定位置を基準とする角度θで歩行者の位置を特定するものとする。この所定位置を基準位置Ｆとする。歩行者はこの基準位置Ｆから歩き始める。したがって、歩行開始からの経過時間が同じでも歩行速度によって歩行者の位置θが異なる。なお、基準位置Ｆに対する位置θが分かればよいので、歩行者は基準位置Ｆから歩行を開始しなくてもよい。なお、位置θは基準位置Ｆから右回り（時計回り）に測定される。

画像回転部３４は実施例１で説明したように歩行者の足の位置や顔を画像データから検出している。したがって、水平方向に３６０°撮像されている画像データから検出した足や顔の重心を歩行者の位置θとして検出できる。あるいは、外接矩形６０１の重心などを用いてもよい。画像回転部３４は画像データの各フレームから検出された位置θを表示制御部３２に通知するので、表示制御部３２は画像データと共に位置θを表示することができる。

図３３は、歩行者の位置が表示されたデータ表示画面５０１を説明する図である。図３３のデータ表示画面５０１はそれぞれの旋回方向に位置表示欄５０６を有する。位置表示欄５０６にはラインＬを表す経路形状アイコン５０８と位置アイコン５０７が表示される。表示制御部３２は経路形状アイコン５０８上の画像回転部３４が検出した位置θに位置アイコン５０７を表示する。これにより、画像データの再生に伴い位置アイコン５０７が経路形状アイコン５０８を移動する。指導者等はユーザがラインＬ上のどこを歩行しているかを把握できる。例えば、右旋回では位置アイコン５０７が右回りに回転し、左旋回では位置アイコン５０７が左回りに回転する。したがって、画像データが反転されていても指導者等は旋回方向を判断できる。

一方、画像データが反転された場合、位置表示欄５０６も反転してよい。この場合、実際のラインＬにおける歩行者の位置と、経路形状アイコン５０８上の位置アイコン５０７の位置が異なってしまうが、画像データ欄５０２において歩行者が移動する向きと位置アイコン５０７の移動方向（回転方向）を一致させることができる。

図３４は、反転される位置アイコン５０７の位置の決定方法を説明する図の一例である。歩行者は左旋回しているものとする。歩行者の実際の位置（画像回転部３４が検出した位置θ）は基準位置Ｆから右回りにθである。したがって、θからθ'を算出できる。

θ'＝３６０−θ
基準位置Ｆから左回りの位置θ'が位置θと一致するので、位置アイコン５０７を反転させるためには基準位置Ｆから右回りにθ'だけ位置アイコン５０７を移動させればよい。表示制御部３２はこのθ'に位置アイコン５０７を表示する。

図３５は、位置アイコン５０７が反転されたデータ表示画面の一例を示す。図３５では右旋回と左旋回で位置アイコン５０７がほぼ同じ位置にあるため、この歩行者は右旋回でも左旋回でもほぼ同じ歩行速度であると指導者等が判断できる。換言すると、右旋回と左旋回で歩行速度が異なる歩行者を指導者等が発見しやすくなる。

図３６は、表示制御部３２がデータ表示画面５０１を表示する手順を説明するフローチャート図の一例である。図３６の処理は画像データの１フレームごとに繰り返し実行される。

まず、表示制御部３２は図１４，１６等の処理を利用して人物を中央に表示する（Ｓ１０）。

次に、画像回転部３４は右旋回と左旋回のそれぞれで歩行者の位置θを検出する（Ｓ２０）。

次に、表示制御部３２は、左右反転した画像データにおいて歩行者の位置θをθ'に変換する（Ｓ３０）。

表示制御部３２は右旋回と左旋回のそれぞれの画像データの位置表示欄５０６に位置アイコン５０７を表示する（Ｓ４０）。すなわち、左右反転していない画像データの位置表示欄５０６には位置θに位置アイコン５０７を表示する。左右反転した画像データの位置表示欄５０６には位置θ'に位置アイコン５０７を表示する。

＜経路に直線部が含まれる場合＞
ラインＬが曲線であることで旋回する際に重心を崩しやすい歩行者を指導者等が発見しやすいと期待される。しかし、歩行者によっては直線歩行と旋回歩行とを比較することが有効な場合がある。例えば、直線歩行では支障なく歩行する歩行者が、旋回歩行では歩行に支障がある場合、指導者等は例えば重心を崩しやすいと判断できる。これに対し、直線歩行と旋回歩行の両方で歩行に支障がある歩行者の場合、指導者等は身体的な特徴によるものである可能性が高いと判断できる。

したがって、ラインＬには直線部分と旋回部分が含まれていることが有効な場合がある。また、このようなラインＬでも指導者等が右旋回と左旋回を比較することが有効であるが、右旋回と左旋回の直線部分同士を比較し、右旋回と左旋回の旋回部分同士を比較することが好ましい。しかし、歩行者の歩行速度が右旋回と左旋回で異なると、指導者等が旋回歩行の画像データと直線歩行の画像データを比較してしまうおそれがある。

そこで、表示装置３０は、右旋回と左旋回の画像データを直線部分、旋回部分同士で同期させて表示させる。

図３７は、直線部分と旋回部分で区分された形状を含むラインＬを示す図の一例である。図３７のポイントＰ１からＰ２、Ｐ３からＰ４が直線部分、ポイントＰ２からＰ３，Ｐ４からＰ１が旋回部分である。このようにポイントＰ１〜Ｐ４でラインＬが区分されている。例えば、ポイントＰ１を基準位置Ｆとすると、右旋回する歩行者はポイントＰ１、Ｐ２、Ｐ３，Ｐ４の順に歩行する。また、左旋回する場合はポイントＰ４を基準位置Ｆとすると、左旋回する歩行者はポイントＰ４、Ｐ３、Ｐ２，Ｐ１の順に歩行する。右旋回と左旋回で基準位置Ｆが異なるのは、右旋回と左旋回で直線部分同士及び旋回部分同士を比較するためである。

ポイントＰ１〜Ｐ４は固定なので、それぞれの位置θ１、θ２、θ３、θ４は既知である。表示制御部３２は例えば右旋回の歩行者が先にＰ２に到達すると、左旋回の歩行者がＰ３に到達するまで右旋回の歩行者の画像データの再生を停止する。右旋回の他のポイントＰ３〜Ｐ１、左旋回の他のポイントＰ２，Ｐ１、Ｐ４についても同様である。

逆に、表示制御部３２は、左旋回の歩行者が先にＰ３に到達すると、右旋回の歩行者がＰ２に到達するまで、左旋回の歩行者の画像データの再生を停止する。右旋回の他のポイントＰ３〜Ｐ１、左旋回の他のポイントＰ２，Ｐ１、Ｐ４についても同様である。こうすることで、表示装置３０は、右旋回と左旋回の画像データを直線部分、旋回部分同士で同期させて表示させる。

なお、図３７では、基準位置Ｆが異なるので、位置アイコン５０７を反転させる場合の位置θ'の算出方法が異なる。すなわち、左旋回する場合の位置θ４が右旋回する場合の位置θ１（０°）であるので、反転された位置アイコン５０７の位置θ'は以下で算出される。

θ'＝２７０−θ
図３８は、直線部分と旋回部分を含むラインＬを歩行中の画像データが表示されたデータ表示画面５０１を説明する図の一例である。なお、図３８では左旋回の画像データが左右反転され、さらに、左旋回の位置アイコン５０７も反転して表示されている。

図３８（ａ）の上側の画像データはポイントＰ１からＰ２の直線部分の画像データであり、図３８（ａ）の下側の画像データはポイントＰ４からＰ３の直線部分の画像データである。どちらも直線歩行なので位置アイコン５０７の位置から分かるように、この歩行者の歩行速度は右旋回でも左旋回でも同様である。したがって、この歩行者は歩行開始からほぼ同じ時間でポイントＰ２（右旋回の場合）とポイントＰ３（左旋回の場合）に到達する。

なお、位置表示欄５０６ではポイントＰ１〜Ｐ４も反転表示されるので、指導者等が実際の歩行者の位置を把握しやすい。

図３８（ｂ）の上側の画像データはポイントＰ２からＰ３の旋回部分の画像データであり、図３８（ｂ）の下側の画像データはポイントＰ３からＰ２の旋回部分の画像データである。位置アイコン５０７の位置から、この歩行者の歩行速度は左旋回の方が右旋回よりも速いことが分かる。したがって、この歩行者はポイントＰ２からポイントＰ３に到達するまでの時間（右旋回の場合）の方が、ポイントＰ３からポイントＰ２に到達するまでの時間（左旋回の場合）よりも長い。このような場合、表示制御部３２は左旋回の歩行者がポイントＰ２に到達したら左旋回の画像データを停止し、右旋回の歩行者がポイントＰ３に到達したら左旋回の画像データの再生を再開する。こうすることで、指導者等は右旋回と左旋回の直線部分同士を比較し、右旋回と左旋回の旋回部分同士を比較することができる。

図３９は、表示制御部３２が画像データを表示する手順を示すフローチャート図の一例である。図３９の処理は画像データの再生によりスタートする。

表示制御部３２は、右旋回の画像データで歩行者がポイントＰ２に到達したか否かを判定する（Ｓ１０）。

ステップＳ１０の判定がＮｏの場合、表示制御部３２は、左旋回の画像データで歩行者がポイントＰ３に到達したか否かを判定する（Ｓ２０）。ステップＳ２０の判定がＮｏの場合、処理はステップＳ１０に戻る。なお、ステップＳ１０，Ｓ２０の判定は順不同である。

ステップＳ１０の判定がＹｅｓの場合、表示制御部３２は、左旋回の画像データで歩行者がポイントＰ３に到達するまで右旋回の画像データを停止する（Ｓ３０）。すなわち、左旋回の歩行者の位置θ'がＰ３に到達するまでは右旋回の画像データを停止し、位置θ'がＰ３に到達すると右旋回の画像データを再開する。左旋回の画像データは停止することなく表示される。

ステップＳ２０の判定がＹｅｓの場合、表示制御部３２は、右旋回の画像データで歩行者がポイントＰ２に到達するまで左旋回の画像データを停止する（Ｓ４０）。すなわち、右旋回の歩行者の位置θがＰ２に到達するまでは左旋回の画像データを停止し、位置θがＰ２に到達すると左旋回の画像データを再開する。右旋回の画像データは停止することなく表示される。

表示制御部３２がこの処理をポイント毎に行うことで、指導者等は右旋回と左旋回の直線部分同士を比較し、右旋回と左旋回の旋回部分同士を比較することができる。

なお、図３９のように画像データの再生を停止するのでなく、再生時間の短縮又は再生時間の延長を表示制御部３２が行ってもよい。画像回転部３４により、右旋回と左旋回で歩行者が各ポイントを通過するまでの経過時間が分かる。例えば、右旋回の場合、Ｐ１〜Ｐ２の経過時間をＴｒ、左旋回の場合、Ｐ４〜Ｐ３の経過時間をＴｌ、とする。Ｔｒ＞Ｔｌである場合、表示制御部３２は右旋回の画像データの再生時間を短縮する。
短縮された再生時間＝元の再生時間×（Ｔl/Ｔｒ）
表示制御部３２は右旋回の画像データの撮像時のフレームレートをＴl/Ｔｒの逆数だけ大きくしたり、右旋回の画像データのフレーム数がＴl/Ｔｒになるように間引くなどにより、再生時間を短縮する。

逆に、表示制御部３２は左旋回の画像データの再生時間を延長してもよい。
延長された再生時間＝元の再生時間×（Ｔｒ/Ｔｌ）
表示制御部３２は画像データの撮像時のフレームレートをＴｒ/Ｔｌの逆数だけ小さくしたり、画像データのフレーム数がＴｒ/Ｔｌを乗じた数になるように補間するなどにより、再生時間を延長する。

このような処理により、指導者等は右旋回と左旋回の直線部分同士を比較し、右旋回と左旋回の旋回部分同士を比較することができる。

＜まとめ＞
以上説明したように、本実施形態の画像表示システム１００では、全天球画像撮像装置６０の周囲を旋回したり右左折する歩行者が撮像されるので、歩行者の様々な歩行動作を撮像可能になる。カメラを移動させたりモーションキャプチャを用いたりする必要がない。ただし、マーカを装着した歩行者が撮像されることを否定する趣旨ではない。また、歩行者の加速度などが画像データと同じ時間軸で表示されるので、指導者等は画像データと測定データを相補的に利用して歩行動作を評価できる。また、右旋回と左旋回の画像データの一方を左右反転するので指導者等が比較しやすくなる。

＜その他の構成例＞
図２の構成例は一例に過ぎず、画像表示システム１００は以下のような構成でもよい。図４０（ａ）は、画像表示システム１００の概略構成図の別の一例を示す。図４０（ａ）ではサーバ１０がディスプレイ１０８を有している。この構成では、サーバ１０が図５の表示装置３０の機能を有しており、サーバ１０が時間軸の同期だけでなく全天球画像の回転等を行い測定データと画像データを表示する。

図４０（ｂ）では、サーバ１０と表示装置３０がなくなっている。この構成では、加速度測定装置５０が、図５のサーバ１０と表示装置３０の機能を有している。

図４１は、図４０（ｂ）のような構成において、加速度測定装置５０が測定データと画像データを表示するシーケンス図である。

S1：歩行動作の測定を始める際、指導者又は歩行者は歩行動作の測定を開始する操作を加速度測定装置５０に入力する。加速度測定装置５０は指導者又は歩行者の操作を受け付ける。

S2：加速度測定装置５０は撮像開始要求を全天球画像撮像装置６０に送信する。

S3,S4：加速度測定装置５０は加速度の測定を開始し、全天球画像撮像装置６０は歩行者の撮像を開始する。

S5：歩行が終了すると、指導者又は歩行者は歩行動作の測定を終了する操作を加速度測定装置５０に入力する。加速度測定装置５０は指導者又は歩行者の操作を受け付ける。

S6：加速度測定装置５０は撮像終了要求を全天球画像撮像装置６０に送信する。

S7：全天球画像撮像装置６０は撮像を終了し画像データを加速度測定装置５０に送信する。

S8：加速度測定装置５０はサーバ１０で説明したように測定データを加工する。

S9：また、加速度測定装置５０はサーバ１０が行ったように測定データと画像データの時間軸を同期させる。

S10：加速度測定装置５０は自機のディスプレイ２１５に測定データと画像データを表示する。

S11：あるいは、加速度測定装置５０は指導者などの端末（サーバ１０など）に測定データと画像データを送信してもよい。

S12：これにより、指導者などの端末は測定データと画像データを表示する。

従って、図４０（ｂ）のような構成によれば、システム構成を簡易化できる。歩行者は加速度測定装置５０を装着して歩行し、歩行の終了後は加速度測定装置５０を指導者などに渡せば指導者から指導を受けることができる。

なお、歩行者が複数の場合でも、歩行者が端部にさしかかった場合の処理は歩行者が一人の場合の処理を適用できる。

＜サーバ１０が表示範囲を決定する場合＞
図２の構成においてサーバ１０が表示範囲を決定してもよい。この場合の機能構成図を図４２に示す。なお、図４２の説明では図２との相違を主に説明する。図４２ではサーバ１０が動体検出部３５を有している。サーバ１０が動体の検出を行い外接矩形６０１の中心Ｏ又は表示範囲５１３（位置情報）を各フレームに対応付けて表示装置３０に送信する。従って、表示装置３０は動体の検出等が不要であり、表示装置３０の負荷を低減できる。

また、サーバ１０がさらに画像回転部３４を有してもよい。従って、サーバ１０は全天球画像から表示範囲５１３をトリミングして表示装置３０に送信できる。この場合、サーバ１０と表示装置３０の間の通信時間を短縮でき、表示装置３０のメモリを圧迫しにくい。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、測定データの測定終了後及び画像データの撮像終了後に、測定データ及び画像データが表示されているが、リアルタイムに測定データ及び画像データが表示されてもよい。この場合、表示される測定データ及び画像データはほぼ同時期に撮像されたものである。

また、以上の実施例で示した図５などの構成例は、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の処理の理解を容易にするために、主な機能に応じて分割したものである。例えば、サーバ１０が複数、存在し、複数のサーバ１０が協働して本実施形態の処理を行ってもよい。また、サーバ１０の記憶部１０００はサーバ１０が有している必要がなく、記憶部１０００はサーバ１０が記憶部１０００のデータを読み書き可能な場所にあればよい。

また、図６ではサーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の機能をいくつかの処理単位に分割して説明した。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。サーバ１０、表示装置３０、全天球画像撮像装置６０、及び、加速度測定装置５０の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。

なお、全天球画像撮像装置６０は広角撮像装置の一例であり、通信部１１は取得手段及び送信手段の一例であり、表示制御部３２は表示制御手段の一例であり、動体検出部３５は動体検出手段の一例であり、画像回転部３４は画像切出手段の一例である。左右反転部３６は左右反転手段の一例である。

１０ サーバ１０
１２ 画像調整部
３０ 表示装置３０
３２ 表示制御部
３３ 操作入力受付部
３４ 画像回転部
３５ 動体検出部
５０ 加速度測定装置
６０ 全天球画像撮像装置
１００ 画像表示システム

特開２０１０‐１７２３９４号公報

Claims (18)

1. １つ以上の情報処理装置、及び、表示装置を有する画像表示システムであって、
   水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを取得する取得手段と、
   前記画像データに映っている動体を前記表示装置に表示させる表示制御手段と、
   を有する画像表示システム。
2. 前記広角撮像装置は、方向を変えながら又は方向を変えて前記広角撮像装置の周囲を進行する前記動体を撮像し、
   前記表示制御手段は、前記動体を前記表示装置に表示させる請求項１に記載の画像表示システム。
3. 前記画像データから前記動体を検出する動体検出手段と、
   前記動体検出手段が検出した前記動体を水平方向の中心として前記画像データから所定範囲の画像を切り出す画像切出手段と、を有し、
   前記表示制御手段は、前記所定範囲の画像を前記表示装置に表示させることで、前記動体を前記表示装置のほぼ中央に表示させる請求項１又は２に記載の画像表示システム。
4. 前記動体検出手段は、撮像された時刻が異なる複数の前記画像データの差分を算出し、前記差分が検出された画素に前記動体が存在すると判断する請求項３に記載の画像表示システム。
5. 前記動体検出手段は、前記差分が検出された画素に接した画素を辿ることで画素範囲を作成する処理を行い、
   前記画像データに複数の前記画素範囲がある場合、最も大きい前記画素範囲に動体が存在すると判断する請求項４に記載の画像表示システム。
6. 前記画像データには水平方向の周囲３６０°が撮像されており、
   前記動体検出手段は、１つの前記画像データから水平方向の切り取り開始位置が異なる第１の画像データと第２の画像データを生成し、
   前記第１の画像データと前記第２の画像データのそれぞれから前記画素範囲を作成し、面積が最も大きい前記画素範囲に基づいて前記動体を検出する請求項５に記載の画像表示システム。
7. 前記画像データは水平方向の周囲３６０°が撮像され、水平方向の所定の切り取り開始位置で切り取られており、
   前記動体検出手段は、画像データの端部から閾値未満で前記動体が検出された場合、水平方向の前記切り取り開始位置を変更して前記画像データを生成し、
   前記切り取り開始位置が変更された前記画像データから前記画素範囲を作成し、前記画素範囲に基づいて前記動体を検出する請求項５に記載の画像表示システム。
8. 前記動体検出手段は、過去の前記画像データで検出された前記動体の位置に基づき前記動体の移動速度を算出し、前記移動速度に基づいて前記画像データにおける前記動体の位置を推定する請求項５に記載の画像表示システム。
9. 前記画素範囲が重複することで前記画像データから検出される前記動体の数が、過去の前記画像データで検出された前記動体の数よりも減少した場合、
   前記動体検出手段は、前記移動速度に基づいて前記画像データにおける前記動体の位置を推定する請求項８に記載の画像表示システム。
10. 前記動体検出手段は、前記画像データを縮小してから前記動体を検出する請求項３〜９のいずれか１項に記載の画像表示システム。
11. 前記広角撮像装置は、前記広角撮像装置の周囲を第一の旋回方向で進行する前記動体と第二の旋回方向で進行する前記動体を撮像し、
    前記第一の旋回方向の前記動体が撮像された画像データ又は前記第二の旋回方向の前記動体が撮像された画像データのどちらかに左右反転の処理を施す左右反転手段、を有し、
    前記表示制御手段は、左右反転された画像データと左右反転されていない画像データを前記表示装置に表示させる請求項１〜１０のいずれか１項に記載の画像表示システム。
12. 前記表示制御手段は、さらに、前記動体が進行した経路における前記動体の位置を前記画像データと共に表示する請求項１１に記載の画像表示システム。
13. 前記表示制御手段は、前記左右反転手段が画像データに左右反転の処理を施した旋回方向で進行した前記動体の前記経路における前記位置を、左右反転の処理が施されていない旋回方向における前記位置に変換して前記画像データと共に表示する請求項１２に記載の画像表示システム。
14. 前記経路は経路の部分の形状によって予め区分されており、
    前記表示制御手段は、前記部分を前記第一の旋回方向で移動する画像データと、
    前記第一の旋回方向で前記動体が移動する前記部分と同じ形状の前記部分を、前記第二の旋回方向で前記動体が移動する画像データと、を同期させて表示する請求項１２又は１３に記載の画像表示システム。
15. １つ以上の情報処理装置を有する画像表示システムであって、
    水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを取得する取得手段と、
    前記画像データに映っている動体を検出する動体検出手段と、
    前記動体の位置情報と共に前記画像データを表示装置に送信する送信手段と、
    を有する画像表示システム。
16. 水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを表示する表示装置であって、
    前記画像データを取得する取得手段と、
    前記画像データに映っている動体を表示する表示制御手段と、
    を有する表示装置。
17. 情報処理装置を、
    水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを取得する取得手段と、
    前記画像データに映っている動体を検出する動体検出手段と、
    前記動体の位置情報と共に前記画像データを表示装置に送信する送信手段、として機能させるためのプログラム。
18. 水平方向の周囲を撮像できる広角撮像装置が撮像した画像データを表示する表示装置を、
    前記画像データを取得する取得手段と、
    前記画像データに映っている動体を表示する表示制御手段、として機能させるためのプログラム。