JP6435595B2 - トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム - Google Patents

トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム Download PDF

Info

Publication number
JP6435595B2
JP6435595B2 JP2013162486A JP2013162486A JP6435595B2 JP 6435595 B2 JP6435595 B2 JP 6435595B2 JP 2013162486 A JP2013162486 A JP 2013162486A JP 2013162486 A JP2013162486 A JP 2013162486A JP 6435595 B2 JP6435595 B2 JP 6435595B2
Authority
JP
Japan
Prior art keywords
image
information
timing
terminal
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013162486A
Other languages
English (en)
Other versions
JP2015033052A (ja
JP2015033052A5 (ja
Inventor
加寿子 林
加寿子 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013162486A priority Critical patent/JP6435595B2/ja
Publication of JP2015033052A publication Critical patent/JP2015033052A/ja
Publication of JP2015033052A5 publication Critical patent/JP2015033052A5/ja
Application granted granted Critical
Publication of JP6435595B2 publication Critical patent/JP6435595B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Details Of Cameras Including Film Mechanisms (AREA)
  • Studio Devices (AREA)

Description

この発明は、例えばウエアブルカメラを装着してトレーニングしながら撮影するためのトレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラムに関する。
近年、ランニングや、ジョギング等のトレーニング人口が増加している。最近では、トレーニングをサポートするSNS(ソーシャル・ネットワーク・サービスシステム)も存在し、友人と情報を共有しながらトレーニングを楽しむことも一般的となってきている。このようなSNSサイトでは、GPSを備えた腕時計型のリスト端末を腕に装着してトレーニングし、タイムやコースをウエブサイトに登録することができる。更にウエアブルカメラも装着して景色等を撮影することもできる。
従来から、トレーニング用の腕時計型端末を開示しているものがある(例えば、特許文献1参照)。
また、複数のユーザーの端末をネットワークに接続し、複数のユーザーの参加者情報、運動データ、コースや距離、地理的位置、成績等を見ることができるウエブサイトを開示しているものがある(例えば、特許文献2参照)。
更に、トレーニングSNSにおいてアバターを表示するものがある(例えば、特許文献3参照)。
更にまた、トレーニング中の生体情報や感情情報をトリガにしてカメラで撮影を行う技術を開示しているものがある(例えば、特許文献4参照)。
特表2012−524640号公報 特表2011−516210号公報 特表2011−518360号公報 特開2006−080644号公報
しかしながら、先行文献記載の技術では、トレーニング中のユーザーの感情に応じた写真を適切に撮影しにくいという課題があった。
この発明は、上記課題を解決するためになされたもので、トレーニング中のユーザーの感情に応じた写真を適切に撮影しやすいトレーニング支援システム、サーバー、カメラ、端末、方法並びにプログラムを提供することを目的とする。
請求項1記載の発明は、端末と、該端末と無線接続されるカメラと、サーバーとを含むトレーニング支援システムにおいて、前記端末は、感情情報を取得する感情情報取得手段と、第1の無線通信手段と、前記感情情報を取得した時のタイミング情報を前記無線通信手段により前記カメラに通知する通知手段と、前記感情情報と前記タイミング情報を前記サーバーへ送信する送信手段と、を備え、前記カメラは、前記第1の無線通信手段と対応している第2の無線通信手段と、前記第2の無線通信手段により前記タイミング情報を受信する受信手段と、前記受信したタイミング情報に応じて撮影処理を行う撮影手段と、前記撮影手段により撮影した画像又は画像を保存するための保存手段に保存した画像を前記サーバーへ送信する画像送信手段を備え、前記サーバーは、受信した前記感情情報に基づいて感情を示す画像を、前記タイミング情報に基づくタイミングで、前記撮影された画像と共にタイムラインに表示させるタイムライン表示制御手段を備えることを特徴とするトレーニング支援システムを提供するものである。
この発明によれば、トレーニング中のユーザーの感情に応じた写真を適切に撮影することができる。
本発明の一実施の形態に係るSNSシステムの全体構成を示すブロック図である。 同実施の形態に係るSNSシステムのイメージを説明する図である。 同実施の形態に係るサーバーの構成を示す概略ブロック図である。 同実施の形態に係るリスト端末の構成を示す概略ブロック図である。 同実施の形態に係るスマホ端末の構成を示す概略ブロック図である。 同実施の形態に係るウエアブルカメラの構成を示す概略ブロック図である。 ユーザーの操作に沿ったリスト端末の動作を示すフローチャートである。 同実施の形態に係るリスト端末、ウエアブルカメラの外観イメージ図である。 図7の計測処理ステップの詳細を示すフローチャートである。 図9の感情情報取得ステップの詳細を示すフローチャートである。 同実施の形態に係る気持ちスタンプの例である。 同実施の形態に係るウエアブルカメラの動作を示すフローチャートである。 同実施の形態に係るスマホ端末又はPCの表示形態を説明するための図である。 同実施の形態に係るタイムラインを作成動作を説明するためのフローチャートである。 同実施の形態に係るタイムライン表示例を示すものである。 同実施の形態に係るタイムライン表示例を示すものである。 同実施の形態に係るタイムライン表示例を示すものである。
以下、図面を参照しながら本発明の実施の形態について説明する。明細書において、スマートフォンをスマホ、パーソナルコンピュータをPC、ソーシャル・ネットワーク・サービスシステムをSNSと略称する。また、タイムラインとは、SNS等において、自分や友人が投稿した内容や各投稿への返信、その他の情報等が時系列に並んで一覧表示されるものをいう。ソーシャルタイムラインとは、自分一人でなく他人と共有できるタイムラインのことをいう。一覧表示される情報のうち、絵や画像、図形等、視覚に訴えるものを総称してオブジェクトという。イベントとは、ユーザーまたはコンピュータが何らかの起動を行うことをいう。スタート、ゴール、撮影、等はイベントの一種である。
従来からトレーニング中に撮影するものはあったが、ユーザーが感動した場面や記録に残したい場面で立ち止まって撮影し、それをSNSやブログにアップすることが多かった。しかし、ウエアブルカメラによってトレーニングを中断することなく撮影するとなると、画角やピント、ボケなどが気になるという課題があった。
そこで本実施の形態では、まず撮影するタイミングを適切にすること、撮影は撮影指示が来る前から始めて(過去撮影という)、撮影指示が来た時に、タイミング的にも撮影品質的にも適切なものにすること、を目的としている。
図1は、本発明の一実施の形態に係るトレーニング支援システムの全体構成を示すブロック図である。
サーバー11を含むSNSサイト10は、インターネット500を介して会員のスマホ端末1−1、1−2、1−3、・・・、リスト端末2−1、2−2、2−3・・・及びPC3−1と接続される。また、リスト端末2−1、2−2、2−3、・・・は腕に装着可能な腕時計型のリスト端末であり、スマホ端末1−1、1−2、1−3と無線で接続可能である。
更に、リスト端末2−1、2−2、2−3、・・・は帽子型(頭部装着型)のウエアブルカメラ4−1、4−2、4−3、・・・と無線で接続される。以降、スマホ端末1−1、1−2、1−3、・・・、を代表してスマホ端末1、リスト端末2−1、2−2、2−3・・・を代表してリスト端末2、PC3−1、3−2、・・・を代表してPC3、ウエアブルカメラ4−1、4−2、4−3、・・・を代表してウエアブルカメラ4という。
スマホ端末1は、通信端末として機能するもので、アプリケーションプログラムをインストールして、SNSサイト10との連携を図る動作をする。また、リスト端末2にも比較的軽いアプリケーションプログラムをインストールしてスマホ端末1との連携を図るように動作する。すなわちスマホ端末1はリスト端末2とSNSサイト10を仲介するもので、小型PCやタブレット、無線ルーター等で代用することもできる。リスト端末2とサーバー11を直接接続して、スマホ端末1を経由しなくてもWi−Fiや電話回線により情報交換ができるルートも用意されている。ウエアブルカメラ4もリスト端末2だけでなくスマホ端末1やサーバー11と接続するよう構成しても構わない。
図2は、本実施の形態に係るSNSシステムの使用イメージを説明する図である。SNSサイト10を介して、直接又は間接的にトレーニングする会員が装着するリスト端末2、ウエアブルカメラ4、スマホ端末1、PC3が接続される。これにより、例えばSNSサイト10で作成したコース形状を、リスト端末2とウエアブルカメラ4を装着してトレーニングしている会員、あるいはリスト端末2とウエアブルカメラ4を装着してトレーニングしている他の会員に送ったり、会員のスマホ端末1やPC3に送ったりすることができる。なお、SNSサイト10としてクラウドサービスを用いることができる。
スマホ1には表示部340が、リスト端末2には表示部206が、PC3には表示部400がそれぞれ備えられており、ウエラブルカメラ4にはレンズ404が備えられている。このイメージを図面化したものが図8である。
図3は、サーバー11の概略構成を示すブロック図である。
同図において、102はCPUであり、システム全体を制御する。110はプログラムメモリであり、各種制御プログラムが記憶されている。CPU102はプログラムメモリ110のプログラムを実行することにより各種処理を行う。プログラムメモリ110には、全体を制御するOS(制御プログラム)111をはじめ、コース形状生成プログラム112、音声−文字変換プログラム113、生体情報分析プログラム114、顔認識プログラム115、タイムライン作成プログラム116、写真選択プログラム117等を記憶している。106は会員管理部であり、SNSシステムとして会員を管理する。友人関係やコミュニティ、掲示板等もここで管理しており、いわゆるSNS機能全般を司るものである。108は、ユーザーが複数回のトレーニングを行って、その結果を後で比較できるように、トレーニングの履歴を保存しておく履歴メモリである。
120は、リスト端末2で収集された各種情報を記憶する収集情報メモリで、位置情報記憶エリア121、時刻情報記憶エリア122、時間情報記憶エリア123、感情情報記憶エリア124、地点情報記憶エリア125、生体情報記憶エリア126を含む。論理的には各会員に対応して記憶エリアが存在している。物理的には属性コードによって会員別に管理できる。130は、前記リスト端末2で収集された各種情報、特に位置情報を用いてユーザーが走った(移動した)コース形状を図形的に作成し、記憶するコース形状メモリである。コース形状は、プログラムメモリ110内のコース形状作成プログラム112により作成される。既にサーバー11内あるいはリスト端末2内に用意されているコースをユーザーが走っても、ユーザーが走った軌跡からコース形状を作成しても、どちらでも対応できるようになっている。
140は、多数の気持ちスタンプを記憶してある感情画像メモリである。気持ちスタンプはイラスト画像であり、「元気」「快調」「楽しい」「順調」「疲れた」「苦しい」等の様々な感情を表す画像が用意されている。
150は、ユーザーがリスト端末2のマイクに向かって話した音声データを記憶する音声メモリであり、この音声データをプログラムメモリ110に記憶されている音声−文字変換プログラム113によって文字データに変換したものがコメントメモリ160に記憶される。コメントメモリ160には、このように音声入力したコメントが記憶されるが、SNS機能において、ユーザー(自分)がSNSサイト10へ投稿したコメント、友人(他のユーザー)がSNSサイト10へ投稿したコメントも記憶される。入力手段は音声、キーを問わない。また、リスト端末2だけでなくスマホ端末1、PC3からコメントを入力することができる。入力されたコメントは後述するようにタイムラインとして表示されるが、これはCPU102がタイムライン作成プログラム116を実行することによってなされる。タイムラインTLは、会員に対して閲覧可能に表示制御するが、表示を作成してスマホ1やPC3で閲覧可能にするように、このタイムライン作成プログラム116が実行する。
170は、ウエアブルカメラ4で撮影された画像データ(写真)を記憶する画像メモリである。タイムライン作成プログラム116がタイムラインに写真をアップする際は、この画像メモリ170に記憶された画像を用いる。
図4は、リスト端末2の構成を示す概略ブロック図である。
同図において、202はCPUであり、リスト端末2全体を制御する。210はプログラムメモリであり、制御プログラム211及びアプリケーションプログラム212、同期プログラム213等が予め記憶されている。制御プログラム211はリスト端末全体を制御する基本的な制御プログラムであり、アプリケーションプログラム212は、スマホ端末1やサーバー11と協働するためのプログラムである。
また同期プログラム213は、タイミング制御回路208と協働してリスト端末2とウエアブルカメラ4の同期を取るためのプログラムである。
206は表示部でありLCDとこれを駆動する駆動回路等から構成されている。204は、表示部206の表示を制御する表示制御部である。220は入力制御部であり、各種キーやスイッチからの入力信号を制御する。表示部206にはタッチパネル222が設けられており、基本的にリスト端末2の表示部206の表示画面上をタッチすることにより、操作を行う。タッチパネル222の入力制御も入力制御部22が行う。230はマイクであり、音声入力することができる。入力した音声データは音声メモリ240に記憶される。音声メモリ240には音声データのまま記憶されるが、この音声データはサーバー11へ送られて、音声メモリ150に記憶された後、音声−文字変換プログラム113によって文字データに変換され、文字データとしてコメントメモリ160に記憶される。
250は、GPS部であり、公知のGPS(Global Positioning System)を利用して現在位置を計測する。すなわちGPS部250は、複数の測位衛星(GPS衛星)から送られてくる電波をアンテナにより受信することによって、現在位置を示す緯度、経度からなる位置データを取得し、取得した位置データを、使用者の行動場所を示す位置情報としてCPU202に供給する。いわゆる絶対位置を測定する。
252は、加速度、方位、高度等を検出するセンサーであり、3軸地磁気センサー、1軸加速度センサー及び1軸ジャイロ等で構成されている。したがって、GPS部250に加えて3軸地磁気センサー、1軸加速度センサー及び1軸ジャイロ等を用いてリスト端末2の進行方向を計測することをも可能で、これにより一層精度を上げることができる。前記GPS250とセンサー252を組み合わせることにより、リスト端末2の移動軌跡や時間を正確にトレースすることができる。センサー252からの各種収集情報は、バッファメモリ280に一旦蓄えられた後、サーバー11の収集情報メモリ120に記憶される。
254は生体センサーであり、脈拍(心拍)、血圧、体温等を計測するためのものである。計測された生体情報はバッファメモリ280に一旦蓄えられた語、サーバー11の収集情報メモリ120内の生体情報記憶エリア126に記憶される。
256は環境センサーであり、気温、気圧、湿度、紫外線量、騒音等を計測するためのものである。計測された環境情報はバッファメモリ280に一旦蓄えられた後、サーバー11の収集情報メモリ120内の環境情報記憶エリア127に記憶される。
258はスマホ端末1との間で、近接無線通信、例えばブルートゥース(登録商標)のリンクを行う無線I/F(インターフェース)であり、260はWi−Fi等でサーバー11とのリンクを行う通信I/Fである。
290はウエアブルカメラ4と無線で接続され、ウエアブルカメラ4を制御するカメラ制御部である。ウエアブルカメラ4は前面にレンズ404を備える。カメラ制御部290の制御により周囲を撮影する。撮影された画像データは画像メモリ272に記憶される。後述する気持ちスタンプの選択時に連動して静止画を撮影するものであるが、音声コマンドによるリモコン操作等も可能であり、ドライブレコーダーのようにトレーニング中、ずっと動画を撮影し続けることも可能である。
図5は、スマホ端末1の構成を示す概略ブロック図である。
同図において、340は表示部でありLCDとこれを駆動する駆動回路等から構成されている。354は表示部340の表示状態を制御する表示制御部である。356は入力制御部であり、各種キーやスイッチ、タッチパネル350を制御する。302はCPUであり、スマホ端末1全体を制御する。310はプログラムメモリであり、制御プログラム311及びアプリケーションプログラム312等が予め記憶されている。制御プログラム311はスマホ端末1全体を制御する基本的な制御プログラムであり、アプリケーションプログラム312は、リスト端末2や協働やサーバー11と協働するためのプログラムである。アプリケーションプログラム312は後からダウンロードすることが可能である。358はリスト端末2との間で、例えばブルートゥース(登録商標)等の近接無線でのリンクを行う無線I/Fであり、360はWi−Fi等でサーバー11とのリンクを行う通信I/Fである。
図6は、ウエアブルカメラ4の構成を示す概略ブロック図である。ウエアブルカメラ4は、図2又は図8に示されるように帽子形状をしている。410はCCDやCMOSを有する撮像素子で、レンズ404から入射する被写体像を撮影する。412は撮像素子410のタイミングや露出、シャッター速度、フォーカス等を制御する撮像制御部である。420はウエアブルカメラ4全体を制御するCPUであり、プログラムメモリ430に記憶されたプログラムにより制御動作を行う。
プログラムメモリ430には、全体を制御する制御プログラム432と、特に撮影について制御する撮影制御プログラム434、リスト端末2との同期を制御する同期プログラム435、複数の写真の中から写真を選択する写真選択プログラム436が記憶されている。
撮影制御プログラム434は、サーバー11の撮影制御に関する機能の一部をウエアブルカメラ4側にも備えているものである。すなわち、サーバー11又はリスト端末2が指示する撮影タイミングを、ウエアブルカメラ4が各種生体情報や感情情報を受け取って、その情報をもとにウエアブルカメラ4自身で判別し決定することもできる。つまり、感情情報や生体情報はリスト端末2で取得して単純にウエアブルカメラ4へ流すだけで、感情情報や生体情報の判別機能をリスト端末2ではなくウエアブルカメラ6に設けることができる。
タイミング制御回路452は、同期プログラム435と協働してリスト端末2とウエアブルカメラ4の同期を取る。
440は撮像素子410で撮像した画像データを蓄積する画像メモリである。442はSDカードであり、ウエアブルカメラ4で撮影した写真を独自に保存し、他の再生装置で写真を再生することができる。
<リスト端末2とウエアブルカメラ4の無線同期>
450は無線I/Fで、例えばブルートゥース(登録商標)でリスト端末2と近接無性通信を行う。この無線I/F450を介してウエアブルカメラ4はリスト端末2、又はスマホ端末1、又はサーバー11から遠隔操作される。
トレーニング中、リスト端末2とウエアブルカメラ4は同期してお互いに無線で情報交換しているが、リスト端末2とウエアブルカメラ4は電力を最小限に抑え、且つ両者のタイミングがずれないようにしている。そのためにウエアブルカメラ4側のタイミング制御回路452と同期プログラム435、リスト端末2側のタイミング制御回路208と同期制プログラム213が互いに連携を取って、CPU420に対してインタラプトをかけて間欠的に同期をとりながら無線通信を行っている。
すなわち、リスト端末2とウエアブルカメラ4は常時接続している訳ではなく、互いに内部で計時している(相対時刻という)。リスト端末2ではタイミング制御回路208が、ウエアブルカメラ4ではタイミング制御回路452がそれぞれ相対時刻を計時している。
リスト端末2のタイミング制御回路208は無線I/F258を介して同時信号をウエアブルカメラ4の無線I/F450を介してタイミング制御回路452へ送信してウエアブルカメラ4との無線同期を確立する。その同期タイミングで、CPU202にインタラプト要求し、タイミング制御回路208は前記相対時刻のカウントを開始する。そして同期が確立している状態で、感情情報や気持ちスタンプの発生等のイベントが発生すると、ウエアブルカメラ4側でもCPU420にインタラプト要求し、タイミング制御回路452の相対時刻のカウントを開始し、リスト端末2からの撮影指示や気持ちスタンプの発生通知等のイベントを受信する。
従って、リスト端末2から気持ちスタンプの発生の通知を受けた時には、リスト端末2とウエアブルカメラ4は完全に同期しており時間のずれは無い。これらの同期制御は同期プログラム213並びに436に基づいて実行される。
図8(a)はリスト端末2の正面図、同図(b)は斜視図を示し、表示部206時刻表示をしている例を示し、MENUアイコンが表示されている。このMENUアイコンを選択することにより、図7のメニュー画面表示ステップS10がスタートする。
図8(c)はウエアブルカメラ4の斜視図を示す。レンズ404は帽子形状の前面に付いているが、例えば帽子のつば(ブリム)の下部にユーザーに向くように取り付ければ、ユーザーの顔を常時撮影することができ、その時々のユーザーの感情の分析に使用することができる。
次に、図面を参照しながら、本実施の形態の使用方法並びに動作について説明する。
<トレーニングモード>
<リスト端末2の動作>
ユーザーは、リスト端末2を腕に装着し、ウエアブルカメラ4を頭に装着し、トレーニングを開始する。予めコース、距離、目標タイム等を設定してもよいし、任意に走ってもよい。
図7は、ユーザーの操作に沿ったリスト端末2の動作を示すフローチャートである。
まず、図7のフローチャートにおいて、ステップS10は、リスト端末2の表示部206にメニュー画面を表示している状態である。ここで、トレーニングモード、リプレイモードのいずれかを選択できる(ステップS12)。
リプレイモードを選択するとステップS24へ進み、リプレイ処理を実行する。リプレイ処理はトレーニング状況を再生するものであり、本実施の形態では詳述しない。もちろん、これ以外の選択肢を用意してもよい。この状態でトレーニングモードを選択すると、スタート画面表示へ進む(ステップS14)。
スタートする時は、メニュー表示の中からSTARTメニューを選択する(ステップS16)。すると、ステップS18へ進み、計測処理を開始する。
トレーニング中、すなわち計測中にSTOPメニューが選択されると(ステップS20)、トレーニング終了と判断して、ステップS22へ進み、トレーニングの結果表示を行う。
図9は、図7におけるステップS18の計測処理の詳細を説明するためのフローチャートである。
トレーニング中、センサー252、生体センサー254、環境センサー256は適宜測定を行い、情報を収集している(ステップS100)。すなわち、GPS250により現在時刻と現在位置を取得する。現在時刻は、内蔵クロックから取得してもよい。
また、センサー252により、進行方向や加速度を得て前記現在位置を補正する。
生体センサー254により、体温、脈拍等の生体情報を取得する。
環境センサー256により、リスト端末2の周囲の気温、湿度等の環境情報を取得する。
それと共に、スタートしてからの走行時間(時間情報)を計算し記録している。
これらの収集情報は、バッファメモリ280を介して逐次、あるいは後で一括してサーバー11へ送られ、それぞれ、位置情報記憶エリア121、時刻情報記憶エリア122、時間情報記憶エリア123、生体情報記憶エリア126、環境情報記憶エリア127にそれぞれ記憶される。
ステップS106は感情情報の入力があったかどうかを判断する。NOであればステップS110へ進む。
YESであればステップS108で感情情報を取得する。感情情報の取得処理については後述する。感情情報はサーバー11の感情情報エリア124に記憶される。感情情報は、サーバーの感情情報記憶エリア124に記憶される。
ステップS114では、リスト端末2のカメラ制御部290の制御によりウエアブルカメラ4により撮影を行う。具体的には気持ちスタンプが選択された時に、気持ちスタンプとセットでその場の撮影を行って写真を記録する。撮影された画像データは画像メモリ272にバッファとして記録された後、サーバー11の画像メモリ170に記憶される。
なお、動画を常時撮影している場合は、ステップS100の計測動作と並行して逐次撮影を継続している。
図10は、図9におけるステップS108の感情情報取得処理の詳細を示すフローチャートである。以下に説明するように、ユーザーの感情情報は、生体センサー252の収集情報、ウエアブルカメラ4による撮影データ、気持ちスタンプの選択のいずれかにより得られる。
ステップS204では、生体センサー254が収集した生体情報から、ユーザーの感情を判別する。脈拍等の生体情報からユーザーのストレス度合等を判別する方法は各種提案されており(例えば、特許第4641811号、特許5046286号参照)、ここでは詳述しない。
生体情報分析プログラム114は、この判別結果から、それに相応しい気持ちスタンプを後述する図11の中から選択する(ステップS208)。選択された気持ちスタンプはユーザーの感情画像となり、感情画像メモリ140に記憶される。
ステップS206では、ステップS114でウエアブルカメラ4によるユーザーの顔を被写体とする撮影があった時、撮影された画像データを、画像メモリ272をバッファとしてサーバー11の画像メモリ170に記憶し、顔認識プログラム115により感情を判別する。顔認識技術に人物の感情を判別する技術は各種提案されており、ここでは詳述しない。顔認識プログラム115は、この判別結果から、それに相応しい気持ちスタンプを後述する図11の中から選択する(ステップS208)。選択された気持ちスタンプはユーザーの感情画像となり、感情画像メモリ140に記憶される。
ステップS208では、前述した生体情報分析プログラム114がユーザーの感情を判別した結果、又は顔認識プログラム115がユーザーの感情を判別した結果によって気持ちスタンプを選択する。図11に気持ちスタンプの例を示す。ユーザー自身がトレーニング中に任意の気持ちスタンプを選択してもよい。気持ちスタンプは例えば同図に示すように複数用意されており、A1〜A9はそれぞれ異なる感情を表現している気持ちスタンプである。これ以外にも多くの気持ちスタンプが用意されており、ユーザー自身が選択する際は表示部206のスクロール操作により気持ちスタンプ画面を表示させ、自分の感情に最も合っている気持ちスタンプを選択する。又は、前述したように、音声コマンドで「キリカエ」と発生して気持ちスタンプ画面に切り替え、「元気」「快調」「楽しい」「順調」「疲れた」「苦しい」等と発声すると、該当する気持ちスタンプが選択される。
生体情報分析プログラム114又は顔認識プログラム115がユーザーの感情を判別した結果によって気持ちスタンプを選択する場合は、ユーザーの感情の判別結果が予め設定されている感情状態となったと判別されたタイミングで選択される。
選択された気持ちスタンプは前述したようにユーザーの感情画像となるもので、感情画像メモリ140に記録される。
<ウエアブルカメラ4の動作>
図12はウエアブルカメラ4の動作を説明するためのフローチャートである。まず、トレーニングを開始する前に、ウエアブルカメラ4をスタンバイモードにする(ステップS400)。これは、リスト端末2においてスタートメニューの選択(図6、ステップS12)がされるのと連動してスタンバイモードとなるが、ウエアブルカメラ4本体の操作スイッチ(図示せず)によって設定してもよいし、リスト端末2からリモコンのように遠隔操作で設定してもよい。
まず、リスト端末2から同期信号が送られてきたかどうかを検出する(ステップS402)。この同期信号は、無線通信における同期を取るための同期信号であって、ブルートゥース等の規格によって定められている。同期信号の受信を待って、リスト端末2とウエアブルカメラ6の同期が確立しているか否かを検出する(ステップS404)。同期が確立したことを検出すると、タイミング制御回路452は相対時刻のカウントを開始する(ステップS406)。この段階で、リスト端末2とウエアブルカメラ4の相対時刻は一致する。従って、汎用無線通信方式の同期信号を利用して、リスト端末2とウエアブルカメラ4内部のアプリケーション層の同期処理を実現することができる。
そして、ステップS408で撮影制御プログラム436の制御により撮影を開始する。
例えば連写のように1秒間に複数枚撮影してもよいし、1分に1枚程度の撮影でも良い(ステップS402)。撮影した写真は画像メモリ440にFIFO(First In First Out)方式で一定期間保持される。
トレーニング中の自動撮影なので、ピントのボケやブレが発生する可能性が高い。そこで、複数枚の写真を撮影しておき、その中から最適な写真を選択できるようにしている。写真の選択は、写真選択プログラム436又はサーバー11の写真選択プログラム117の制御で行う。なお明細書中ではウエアブルカメラ4により撮影された画像(画像データ)を写真と称呼している。
ボケやブレの少ない写真を選択する技術はいくつか知られているので詳述はしない。
なお、言うまでもないが図面に使用した写真はあくまで本実施の形態を説明するための例であって、実在の場所、コース等とは何の関係もないものであり、例示した写真のコンテンツ自体に意味は無い。
また、前述したようにサーバー11又はリスト端末2が指示する撮影タイミングを、ウエアブルカメラ4自身が各種生体情報や感情情報を受け取って、その情報をもとに自分自身で決定することもできる。
更に、図8で説明したようにレンズ404をユーザー自身の顔を撮影するように設置した場合は、ユーザーの顔の撮影情報を感情情報に使用することもできる。
次に、リスト端末2で、前述したいくつかの手法のいずれかにより気持ちスタンプが選択されると、感情情報として受信し(ステップS410)、ステップS408で撮影していた写真のうち、例えば受信したジャストタイミングの写真及びその前後の写真各5枚の計11枚を画像メモリ440に保存する(ステップS414)。このタイミングは、同期が確立しているので、タイミング制御回路452により管理されており、例えば気持ちスタンプが選択されたまさにその瞬間でも、1秒後でも、0.5秒前でも、正確に設定することが可能である。
なお、感情情報の受信以外にリスト端末2から撮影指示を受信した場合は(ステップS412)、ステップS414へ進んで写真の保存を行う。
また、保存した写真若しくは任意の写真はSDカード442に保存でき、他の再生装置で見ることができる。
保存した写真はリスト端末2に送信し(ステップS408)、リスト端末2の画像メモリ272に一旦記憶され、更にサーバー11に送られて画像メモリ170に記憶される。
ウエアブルカメラ4のスタンバイモードが終了すると(ステップS416)、撮影フローは終了する(ステップS418)。これは、開始と同様、ウエアブルカメラ4本体の操作スイッチ(図示せず)によって設定してもよいし、リスト端末2からリモコンのように遠隔操作で設定してもよい。
<タイムライン表示>
続いて、タイムラインの表示について説明する。
図14は、ユーザーの行動に沿ったタイムライン作成のためのサーバー11のフローチャートであり、図13は、PC3やスマホ端末1−2のタイムラインの表示例を示すものである。
図13(a)はスマホ端末1の表示部340の表示イメージを示すもので、上半分にコースCとトレーニング中のユーザーの現在位置Nを表示している。また、下半分には、タイムラインTLを表示する。図13(b)は、スマホ1を横長にして表示させた例で、左半分にコースCと現在位置Nを、右半分にタイムラインTLを表示している。
図13(b)では、ユーザーの現在位置Nの他に、同じコースを走っている友人Aの位置NAをアイコンで示している。すなわちユーザーが友人Aと出会った以降の表示例である。友人Aも同様のリスト端末2を装着してトレーニングしているという前提なので、SNSサイト10を介してお互いの位置を知ることができる。従って、競争したり、タイムを競ったり、一方がペースメーカーになったりすることもできる。タイムを比較表示することは勿論できるが、アイコンの表示形態を変えたり、相手(友人A)が近づいてくるとアイコンを点滅表示させたりして追い上げられていることを知らせることができる。
更に、サーバー11に履歴データ記憶部108には、過去のトレーニングデータが記憶されているので、自分の過去のトレーニング結果や友人Aのトレーニング結果を読み出して、バーチャルな相手と一緒にトレーニングしたり競争したりすることも可能である。
しかして、タイムラインの一例は図15A、15B、15Cに示している。
以下、図14のサーバー11のCPU102が実行するフローチャートと図15A、15B、15Cのタイムラインの表示例を参照しながら、タイムライン表示について説明する。
まず、ステップS502で、ユーザー自身からのコメント投稿がないかどうかを待機する。ここでNOであれば、ステップS504に進み、友人からのコメント投稿がないかを待機する。友人とはSNSシステム10内で特定のフレンド関係となった他のユーザーである。ここでNOであれば、ステップS506に進み、リスト端末2で気持ちスタンプが発生するかどうかを待機する。気持ちスタンプは前述したように、トレーニング中のユーザーの感情情報を基に、その感情を表現している図11に示した気持ちスタンプのいずれかを選択して送信するものである。
ここでもNOであれば、ステップS508でSTOPメニューが選択されたか、すなわちトレーニング終了か否かを判断する。ここでもNOであれば、ステップS502に戻ってループを継続する。
ステップS502で自分からのコメントを検出すると、コメントメモリ160に一旦記憶されて、ステップS510に進み、自分が投稿したタイムラインを図15A(1)のように流す。この処理はタイムライン作成プログラム116が行う。タイムスタンプは自動的に付与される。この表示は会員のスマホ端末1やPC3で閲覧可能とされる。
図15A(1)は、ユーザー自身(自分)が「明日、皇居にジョギングに行くよ」というコメントを投稿したものである。これを受けて友人Aの任意の端末から「気を付けてね」というコメントが投稿されると、ステップS504で友人のコメント有りを検出して図15A(2)のようにタイムライン表示する。同様に友人Bの「がんばって!」というコメントも図15A(3)のように表示される。自分が「コースはここだよ」というコメントを流し、地図をアップした状態が図15A(4)(5)である。コメントの文章と共に写真も投稿可能である。図15A(6)の「ぼくも行くかも」は友人Aのコメント、図15A(7)の「会えたらいいね」は自分のコメントを示す。任意の写真をタイムラインにアップできること、友人が任意のアイコンを作成できることは公知であるので詳述はしない。
さて、リスト端末2とウエアブルカメラ4を装着してトレーニングするユーザー(自分)がリスト端末2のメニュー画面からSTARTメニューを選択してトレーニングをスタートすると、図15B(8)のようにタイムラインに「START」コメントがサーバー11から自動送信される。同図において、コメントの吹き出しを二重線で表現しているものはユーザーの投稿ではなくサーバー11の自動送信であることを示している。
そして、その時のユーザーの感情情報に合った気持ちスタンプA9が感情画像メモリ120から選択され、その時にウエアブルカメラ4で撮影し画像メモリ170に記憶された写真と共にタイムラインにアップされる(図14ステップS506、図15B(9))。
気持ちスタンプは、生体情報分析プログラム114の結果により自動判別されるか、ユーザー自身が選択することは前述のとおりである。
すなわち、トレーニングを開始すると、自動的にその時々のユーザーの感情に合わせて気持ちスタンプが自動的にタイムラインにアップされていくと共に、ウエアブルカメラ4で撮影した写真も一緒にアップされていく。従って、気持ちスタンプの発生タイミングとウエアブルカメラ4で撮影するタイミングは同期している。写真は一例として気持ちスタンプ発生タイミングの前後11枚を撮影しているが、写真選択プログラム117により、最もボケやブレの少ない写真が自動選択されてアップされる。ウエアブルカメラ4では、複数枚の写真を撮影し保存することができるので、ジャストタイミングの写真をアップするか、時間のずれを考慮して0.5秒くらい前に撮影した写真をアップしてもよい。
図15B(10)で友人Cの「いいコースですね」というコメントがアップされ、図15B(11)では快調にトレーニングしている気持ちスタンプA1と写真P2がアップされる。
図15B(12)では、上り坂に差し掛かってきつくなってきた時の感情から自動又は手動で選択された気持ちスタンプA2と写真P3がアップされる。
図15B(13)では、友人Cのコメント「がんばってください」が表示される。
図15C(14)では、坂を上り終わってほっとしている気持ちスタンプA3と写真P4がアップされる。
図15C(15)では、友人Bのコメント「よくがんばったね」が表示され、更に図15C(16)で友人Aがユーザー(自分)と出会って「合流したよ」というコメントを表示している。この時、図15C(17)のように、あいさつの感情を示す気持ちスタンプA6をアップすると共に、その時撮影した友人Aが写っている写真P5がアップされる。
図15C(16)では、満開の桜を見て感動している気持ちスタンプA7と、桜の写っている写真P6がアップされる。
しかして、トレーニングを終了するとメニュー表示からSTOPメニューを選択し、図14のステップS508でYESとなりトレーニングモードを終了する。
その際、図15C(19)に示すように、「GOAL」がサーバー11から自動送信される。
図25(20)ではゴールに到達した時の喜びの気持ちスタンプA4とその時撮影されたゴールの写真P7がアップされる。
変形例として、苦しくなった時に「友だちに応援を頼む」を要求できる。そのために、例えばリスト端末2の「Cheer Me」(図示せず、音声入力でも良い)ボタンを押すと、スマホ端末1、サーバー11を経由して友人のスマホ端末1にメッセージが送られる。メッセージを受けた側(友人)は、アプリケーションプログラム上で「Cheer」コマンドを操作すると応援メッセージ(又は応援スタンプ)を返すことができる。従ってトレーニング中のユーザーはリアルタイムに応援を受け取ることができる。図15A、B、Cにおいて、応援メッセージがタイムライン中にインタラプト的にアップされてもよい。苦しくなったかどうかは、自己申告だけでなく、速度が落ちた、心拍数が上がった等の生体センサー254で収集される生体情報から自動判別して、走っているユーザー本人(自分)に通知してもよい。一定値に達した時に「応援をたのむ?」と端末2の表示部202上に通知する。
トレーニングが終了した時には、メニュー画面から「STOP」メニューを選択する。
リスト端末2が収集した各種情報は、電話回線経由で、又はスマホを一緒に持っている時はスマホ経由で、リアルタイムでサーバー11に送ってもよいし、10分に1回、1時間に1回等、定期的に送ってもよい。またトレーニング終了後に無線又は有線でサーバー11と接続して、一括して送ってもよい。基本的に、トレーニング中はSNSサイト10と接続している必要はなく、トレーニングが終わってから、例えばPC3と接続して、リスト端末2によりトレーニング中に収集した情報をサーバー11にアップロードすればよい。サーバー11は集まった情報を基にリプレイ処理(図7のステップS24)を実行することができる。
なお、本発明は、上記実施の形態に限定されるものではなく、トレーニングとは広義の意味に解するものとする。すなわち、散策、観光、散歩、ウオーキング、ジョギング、マラソン、サイクリング、登山、マリンスポーツ等に適用することができ、また、ペットの散歩や、高齢者・徘徊老人にも応用することができる。トレーニングとワークアウトは同義である。
また、腕に装着してトレーニングする腕時計型のリスト端末を例にとって説明したが、これに限ることなく、頭に装着したり、腰に取り付けたり、あるいは手で持ってトレーニングしても構わない。ウエアブルカメラについても同様で、腰につけたり、メガネ型にしたり、手で持ってトレーニングすることも可能である。
<実施の形態並びに推考しうる変形例とその作用効果>
生体センサーの収集情報から、ユーザーの感情や体調を判別して、写真の撮影タイミング、写真の選択等、撮影制御に反映させることができる。
撮影された写真を画像処理するだけで、ユーザーの感情や体調を判別して、撮影制御に反映させることができる。
生体センサーの収集情報やその判別結果、写真を日々の生活行動履歴(ライフログ)として記録したり、SNSに投稿して共有したりすることができる。
ユーザーが、メール送信やコメントの書込み等の所定のイベントを発生した時に、その時点のユーザーの感情や体調を判別して、撮影制御に反映させることができる。
イベントが発生した時のユーザーの生体情報に基づいて、撮影制御に反映させることができる。
イベントが発生した前後における生体情報の変化に基づいて、ユーザーの感情や体調の時間的変化を判別して、撮影制御に反映させることができる。
ウエアブルカメラの再生画像に感情を示すオブジェクトを合成することができる。
撮影された写真を一見するだけで、相手の感情や状態を、分かりやすく且つ興趣性を持って伝達できる。
ウエアブルカメラの撮像シーン毎に、そのシーンにおけるそのときのユーザーの各種生体情報を記録してもよい。これにより撮影された動画データやシーンと対応付けて、シーンごとの撮影制御に反映させることができる。また撮像シーン毎に、その時のユーザーの感情や体調を判別して、撮影制御に反映させることができる。
撮影した動画やそのシーンと対応付けてユーザーの生体情報を記録し、再生画像(リプレイ画像)に合成してグラフやオブジェクトを表示してもよい。
どのようなトレーニングシーンであったのか、その各シーンや記録を達成した時に、どのように感動したのか、どのような感情や精神状態であったのか、撮影された写真を見ることによってユーザーの感動や状態データを確認したり、仲間や他人と伝達共有したりできる。
レンズを帽子形状外側に向ける例と、つばの下側に設ける例を説明したが、撮像部を複数設ければ外部の景色などを間欠的又は連続的に記録すると共に、景色と同時にユーザーの顔画像も撮像し、顔画像からユーザーの生体情報を抽出・判別することができる。
撮影した動画とユーザーの顔画像や生体情報とを対応付けてSDカードやサーバーにログ情報として蓄積することができる。
顔画像の動画からユーザーの生体情報を検出したり、生体情報の時系列データから、ログ情報に、その時のユーザーの感情や精神状態などの情報を合成したり、感情を示すオブジェクトを表示してもよい。
顔画像や生体センサーから抽出する生体情報は、呼吸の拍数、または呼吸間隔等の時系列変化データとしてもよい。
トレーニングや移動中、運転中など、集中力を要し、他の動作に気をとられたくないような時、手をふさがずに、カメラの撮影動作や機器の所定の機能動作などができるので、運動やスポーツなどに集中でき、撮影の失敗や事故なども抑制できる。
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願時の特許請求の範囲を付記する。
<付記>
[請求項1]
端末と、該端末と無線接続されるカメラと、を含むトレーニング支援システムにおいて、
前記端末は、
感情情報を取得する感情情報取得手段と、
第1の無線通信手段と、
前記感情情報を取得した時のタイミング情報を前記無線通信手段により前記カメラに通知する通知手段と、
を備え、
前記カメラは、
前記前記第1の無線通信手段と対応している第2の無線通信手段と、
前記第2の無線通信手段により前記タイミング情報を受信する受信手段と、
前記受信したタイミング情報に応じて撮影処理を行う撮影手段と、
を備えることを特徴とするトレーニング支援システム。
[請求項2]
前記カメラの撮影手段は、撮影指示前から撮影を行う過去撮影手段と、前記タイミング情報を受信した時、撮影した複数の画像の中から該タイミング情報に応じて1枚又は複数枚の画像を保存する保存手段とを含むことを特徴とする請求項1記載のトレーニング支援システム。
[請求項3]
前記端末はCPUを備え、
前記第1の無線通信手段は前記カメラに対し無線通信の同期を確立するための同期信号を送信すると共に、
前記無線通信の同期のタイミングで前記CPUにインタラプトをかけて前記CPUに前記通知手段を起動させる第1のタイミング制御手段を更に備え、
前記カメラは、
前記第2の無線通信手段により前記同期信号を受信して無線同期を確立し、
前記無線同期の確立に基づいてタイミング制御を行う第2のタイミング制御手段を更に備え、
前記撮影手段は前記第2のタイミング制御手段にタイミング制御されて撮影処理を行うことを特徴とする請求項1又は2記載のトレーニング支援システム。
[請求項4]
前記カメラは、前記無線通信の同期のタイミングで前記第2のタイミング制御手段が相対時刻の計時を開始し、
前記保存手段は、前記相対時刻を前記タイミング情報として前記1枚又は複数枚の画像を保存することを特徴とする請求項3記載のトレーニング支援システム。
[請求項5]
該システムはサーバーを含み、
前記カメラは、
前記撮影手段により撮影した画像又は保存手段に保存した画像を前記サーバーへ送信する画像送信手段を備えることを特徴とする請求項1乃至4いずれか記載のトレーニング支援システム。
[請求項6]
前記カメラ又はサーバーは、
前記撮影手段により撮影された画像又は保存手段に保存された画像のうち、ボケ又はブレの少ない画像を選択する画像選択手段を備えることを特徴とする請求項5記載のトレーニング支援システム。
[請求項7]
前記端末は、
前記感情情報と前記タイミング情報を前記サーバーへ送信する送信手段を備え、
前記サーバーは、
受信した前記感情情報に基づいて感情を示す画像を、前記タイミング情報に基づくタイミングで、前記撮影された画像と共にタイムラインに表示させるタイムライン表示制御手段を備えることを特徴とする請求項5又は6記載のトレーニング支援システム。
[請求項8]
端末と、該端末と無線接続されるカメラと、を含むトレーニング支援システムにおけるサーバーにおいて、
前記端末から感情情報と、前記感情情報を取得した時のタイミング情報を受信する感情情報受信手段と、
前記カメラから撮影画像を受信する画像受信手段と、
を備え、
受信した前記感情情報に基づいて感情を示す画像を、前記タイミング情報に基づくタイミングで、前記撮影画像と共にタイムラインに表示させるタイムライン表示制御手段を備えることを特徴とするサーバー。
[請求項9]
前記画像受信手段は複数の撮影画像を受信し、
前記複数の撮影画像の中からボケ又はブレの少ない画像を選択する画像選択手段を更に備え、
前記表示制御手段は前記画像選択手段が選択した画像をタイムラインに表示させることを特徴とする請求項8記載のサーバー。
[請求項10]
端末と、該端末と無線接続されるカメラと、前記端末とカメラの間で無線通信を行う無線通信部手段とを含むトレーニング支援システムにおける端末のコンピュータが、
感情情報を取得する感情情報取得処理と、
前記無線通信手段による無線同期確立後に前記感情情報を取得した時のタイミング情報を前記カメラに通知する通知処理を実行し、
前記カメラのコンピュータが、
前記無線通信手段による無線同期確立後に前記前記タイミング情報を受信する受信処理と、
前記受信したタイミング情報に応じて撮影を行う撮影処理と、
を実行することを特徴とするトレーニング支援方法。
[請求項11]
端末と、該端末と無線接続されるカメラと、を含むトレーニング支援システムにおけるサーバーのコンピュータを、
前記端末から感情情報と、前記感情情報を取得した時のタイミング情報を受信する感情情報受信手段、
前記カメラから撮影画像を受信する画像受信手段、
受信した前記感情情報に基づいて感情を示す画像を、前記タイミング情報に基づくタイミングで、前記撮影された画像と共にタイムラインに表示させるタイムライン表示制御手段
として機能させることを特徴とするプログラム。
[請求項12]
感情情報を取得する手段を備えた端末と、該端末と無線接続されるカメラと、を含むトレーニング支援システムにおけるカメラであって、
該カメラは、
撮影手段と、
前記端末が取得した感情情報を無線で受信する受信手段と、
前記受信手段により受信した感情情報を判別する感情情報判別手段と、
前記感情情報判別手段の判別結果に応じて前記撮影手段の撮影タイミングを制御するタイミング制御手段と、
を備えることを特徴とするカメラ。
[請求項13]
請求項1記載のトレーニング支援システムにおけるカメラ。
[請求項14]
請求項1記載のトレーニング支援システムにおける端末。
1−1、1−2 スマホ端末
2−1、2−2、2−3 リスト端末
3−1 PC
4−1、4−2、4−3 ウエアブルカメラ
10 SNSサイト
11 サーバー
102 CPU
106 会員管理部
108 履歴データメモリ
110 プログラムメモリ
111 OS(制御プログラム)
112 コース形状作成プログラム
113 音声−文字変換プログラム
114 生体情報分析プログラム
115 顔認識プログラム
116 タイムライン作成プログラム
120 収集情報メモリ
121 位置情報エリア
122 時刻情報エリア
123 時間情報エリア
124 感情情報エリア
125 地点情報エリア
126 生体情報記憶エリア
127 環境情報記憶エリア
130 コース形状メモリ
120 感情画像メモリ
150 音声メモリ
160 コメントメモリ
170 画像メモリ
202 CPU
204 表示制御部
206 表示部
208 タイミング制御回路
210 プログラムメモリ
211 制御プログラム
212 アプリケーションプログラム
213 同期プログラム
220 入力制御部
222 タッチパネル
230 音声メモリ
240 コメントメモリ
250 GPS
252 センサー
254 生体センサー
256 環境センサー
258 無線I/F
260 通信I/F
272 画像メモリ
280 バッファメモリ
290 カメラ制御部
300 表示画面
302 CPU
310 プログラムメモリ
311 制御プログラム
312 アプリケーションプログラム
340 表示部
354 表示制御部
356 入力部
358 無線I/F
360 通信I/F
404 レンズ
410 撮像素子
412 撮像制御部
420 CPU
430 プログラムメモリ
435 同期プログラム
436 写真選択プログラム
440 画像メモリ
450 無線I/F
452 タイミング制御回路
A1〜A9 気持ちスタンプ
C コース形状
N 現在位置
NA 友人の現在位置
TL タイムライン

Claims (13)

  1. 端末と、該端末と無線接続されるカメラと、サーバーとを含むトレーニング支援システムにおいて、
    前記端末は、
    感情情報を取得する感情情報取得手段と、
    第1の無線通信手段と、
    前記感情情報を取得した時のタイミング情報を前記無線通信手段により前記カメラに通知する通知手段と、
    前記感情情報と前記タイミング情報を前記サーバーへ送信する送信手段と、
    を備え、
    前記カメラは、
    前記第1の無線通信手段と対応している第2の無線通信手段と、
    前記第2の無線通信手段により前記タイミング情報を受信する受信手段と、
    前記受信したタイミング情報に応じて撮影処理を行う撮影手段と、
    前記撮影手段により撮影した画像又は画像を保存するための保存手段に保存した画像を前記サーバーへ送信する画像送信手段を備え、
    前記サーバーは、
    受信した前記感情情報に基づいて感情を示す画像を、前記タイミング情報に基づくタイミングで、前記撮影された画像と共にタイムラインに表示させるタイムライン表示制御手段を備えることを特徴とするトレーニング支援システム。
  2. 前記カメラの撮影手段は、撮影指示前から撮影を行う過去撮影手段と、前記タイミング情報を受信した時、撮影した複数の画像の中から該タイミング情報に応じて1枚又は複数枚の画像を前記保存手段に保存することを特徴とする請求項1記載のトレーニング支援システム。
  3. 前記端末はCPUを備え、
    前記第1の無線通信手段は前記カメラに対し無線通信の同期を確立するための同期信号を送信すると共に、
    前記無線通信の同期のタイミングで前記CPUにインタラプトをかけて前記CPUに前記通知手段を起動させる第1のタイミング制御手段を更に備え、
    前記カメラは、
    前記第2の無線通信手段により前記同期信号を受信して無線同期を確立し、
    前記無線同期の確立に基づいてタイミング制御を行う第2のタイミング制御手段を更に備え、
    前記撮影手段は前記第2のタイミング制御手段にタイミング制御されて撮影処理を行うことを特徴とする請求項1又は2記載のトレーニング支援システム。
  4. 前記カメラは、前記無線通信の同期のタイミングで前記第2のタイミング制御手段が相対時刻の計時を開始し、
    前記保存手段は、前記相対時刻を前記タイミング情報として前記1枚又は複数枚の画像を保存することを特徴とする請求項2を引用する請求項3記載のトレーニング支援システム。
  5. 前記カメラ又はサーバーは、
    前記撮影手段により撮影された画像又は前記保存手段に保存された画像のうち、ボケ又はブレの少ない画像を選択する画像選択手段を備えることを特徴とする請求項1記載のトレーニング支援システム。
  6. 端末と、該端末と無線接続されるカメラと、を含むトレーニング支援システムにおけるサーバーにおいて、
    前記端末から感情情報と、前記感情情報を取得した時のタイミング情報を受信する感情情報受信手段と、
    前記カメラから撮影画像を受信する画像受信手段と、
    を備え、
    受信した前記感情情報に基づいて感情を示す画像を、前記タイミング情報に基づくタイミングで、前記撮影画像と共にタイムラインに表示させるタイムライン表示制御手段を備えることを特徴とするサーバー。
  7. 前記画像受信手段は複数の撮影画像を受信し、
    前記複数の撮影画像の中からボケ又はブレの少ない画像を選択する画像選択手段を更に備え、
    前記表示制御手段は前記画像選択手段が選択した画像をタイムラインに表示させることを特徴とする請求項6記載のサーバー。
  8. 外部の端末から感情情報と、前記感情情報を取得した時のタイミング情報を受信する感情情報受信手段と、
    外部のカメラから撮影画像を受信する画像受信手段と、を備え、
    受信した前記感情情報に基づいて感情を示す画像を、前記タイミング情報に基づくタイミングで、前記撮影画像と共にタイムラインに表示させるタイムライン表示制御手段を備えることを特徴とするサーバー。
  9. 端末と、該端末と無線接続されるカメラと、前記端末とカメラの間で無線通信を行う無線通信部を含むサーバーとを含むトレーニング支援システムにおける端末のコンピュータが、
    感情情報を取得する感情情報取得処理と、
    前記無線通信部による無線同期確立後に前記感情情報を取得した時のタイミング情報を
    前記カメラに通知する通知処理を実行し、
    前記カメラのコンピュータが、
    前記無線通信部による無線同期確立後に前記タイミング情報を受信する受信処理と、
    前記受信したタイミング情報に応じて撮影を行う撮影処理と、
    前記撮影処理により撮影した画像又は保存されている画像を前記サーバーへ送信する画像送信処理を実行し、
    前記サーバーは、
    受信した前記感情情報に基づいて感情を示す画像を、前記タイミング情報に基づくタイミングで、前記撮影された画像と共にタイムラインに表示させるタイムライン表示制御処理を実行することを特徴とする方法。
  10. コンピュータが、
    感情情報と、前記感情情報を取得した時のタイミング情報を受信する感情情報受信処理と、
    撮影画像を受信する画像受信処理と、
    受信した前記感情情報に基づいて感情を示す画像を、受信した前記タイミング情報に基づくタイミングで、受信した前記撮影画像と共にタイムラインに表示させるタイムライン表示制御処理と、実行することを特徴とする方法。
  11. 端末と、該端末と無線接続されるカメラと、を含むトレーニング支援システムにおけるサーバーのコンピュータを、
    前記端末から感情情報と、前記感情情報を取得した時のタイミング情報を受信する感情情報受信手段、
    前記カメラから撮影画像を受信する画像受信手段、
    受信した前記感情情報に基づいて感情を示す画像を、前記タイミング情報に基づくタイミングで、前記撮影画像と共にタイムラインに表示させるタイムライン表示制御手段
    として機能させることを特徴とするプログラム。
  12. 請求項1記載のトレーニング支援システムにおけるカメラ。
  13. 請求項1記載のトレーニング支援システムにおける端末。
JP2013162486A 2013-08-05 2013-08-05 トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム Active JP6435595B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013162486A JP6435595B2 (ja) 2013-08-05 2013-08-05 トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013162486A JP6435595B2 (ja) 2013-08-05 2013-08-05 トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム

Publications (3)

Publication Number Publication Date
JP2015033052A JP2015033052A (ja) 2015-02-16
JP2015033052A5 JP2015033052A5 (ja) 2016-09-23
JP6435595B2 true JP6435595B2 (ja) 2018-12-12

Family

ID=52518018

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013162486A Active JP6435595B2 (ja) 2013-08-05 2013-08-05 トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム

Country Status (1)

Country Link
JP (1) JP6435595B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3941032A4 (en) * 2019-05-07 2022-12-14 Inhandplus Inc. TECHNO PORTABLE DEVICE FOR PERFORMING EVENT DETECTION USING A CAMERA MODULE AND A WIRELESS COMMUNICATION DEVICE

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6467706B2 (ja) * 2015-02-20 2019-02-13 シャープ株式会社 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム
US10834357B2 (en) * 2018-03-05 2020-11-10 Hindsight Technologies, Llc Continuous video capture glasses

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4123586B2 (ja) * 1997-08-26 2008-07-23 株式会社ニコン 電子カメラ
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
JP2005018262A (ja) * 2003-06-24 2005-01-20 Canon Inc 情報配信制御方法およびその処理を実行するためのプログラムおよびそのプログラムを記憶する記憶媒体
JP2005191960A (ja) * 2003-12-25 2005-07-14 Casio Comput Co Ltd 撮像装置、同期撮影支援装置、および、プログラム
JP4421929B2 (ja) * 2004-04-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ サーバシステム
JP2006080644A (ja) * 2004-09-07 2006-03-23 Toshiba Tec Corp カメラ
JP4867310B2 (ja) * 2004-11-25 2012-02-01 カシオ計算機株式会社 カメラ、撮像画像の記録・表示方法、及びプログラム
JP2008079917A (ja) * 2006-09-28 2008-04-10 Osaka Seikei Gakuen トレーニングシステム
JP2009049951A (ja) * 2007-08-23 2009-03-05 Sony Corp 撮像装置、撮像方法
JP2009302693A (ja) * 2008-06-11 2009-12-24 Olympus Imaging Corp 撮像装置及び撮像方法
CN102449560B (zh) * 2009-04-26 2016-12-21 耐克创新有限合伙公司 运动手表
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP5849413B2 (ja) * 2011-03-18 2016-01-27 セイコーエプソン株式会社 情報通信端末、生体情報測定機器及び情報通信システム
JP5257525B2 (ja) * 2012-01-12 2013-08-07 ソニー株式会社 情報処理装置、撮像制御方法、プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3941032A4 (en) * 2019-05-07 2022-12-14 Inhandplus Inc. TECHNO PORTABLE DEVICE FOR PERFORMING EVENT DETECTION USING A CAMERA MODULE AND A WIRELESS COMMUNICATION DEVICE
US11647167B2 (en) 2019-05-07 2023-05-09 Inhandplus Inc. Wearable device for performing detection of events by using camera module and wireless communication device

Also Published As

Publication number Publication date
JP2015033052A (ja) 2015-02-16

Similar Documents

Publication Publication Date Title
JP2015028686A (ja) ソーシャルタイムラインを作成する方法、ソーシャル・ネットワーク・サービスシステム、サーバー、端末並びにプログラム
US9639940B2 (en) Imaging apparatus and methods for generating a guide display showing a photographing technique for approximating a composition of a subject image to that of a sample image
US11779807B2 (en) Information processing system
JP6574937B2 (ja) 通信システム、制御方法、および記憶媒体
US20190138696A1 (en) Systems and methods for sharing health and fitness stories
US10321091B2 (en) Information processing device and method of information processing
KR20130088059A (ko) 오브젝트의 정보를 표시하는 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP6379424B2 (ja) 画像記録装置
JP6241495B2 (ja) トレーニング支援装置、トレーニング支援方法、及びプログラム
JP6435595B2 (ja) トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム
JP6638772B2 (ja) 撮像装置、画像記録方法及びプログラム
JP6375597B2 (ja) ネットワークシステム、サーバー、プログラム、並びにトレーニング支援方法
JP2022140458A (ja) 情報処理装置、情報処理方法、及びプログラム
CN114079730B (zh) 一种拍摄方法和拍摄***
JP6914480B2 (ja) 指標表示装置、指標表示方法、プログラム、及び指標表示システム
JP2018536212A (ja) 情報捕捉および提示のための方法および装置
JP2009211341A (ja) 画像の表示方法およびその表示装置
JP7199808B2 (ja) 撮像装置およびその制御方法
JP6787072B2 (ja) 画像処理装置、解析システム、画像処理方法及びプログラム
CN107872637B (zh) 图像重放装置、图像重放方法以及记录介质
JP6598732B2 (ja) 電子機器、制御装置、制御プログラム及び動画表示方法
US10904420B2 (en) Control device and control method for managing a captured image
US20170374310A1 (en) Display apparatus, display method, storage medium and display system
JP2024050863A (ja) 画像提供システム
JP2020205608A (ja) 画像処理装置、解析システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R150 Certificate of patent or registration of utility model

Ref document number: 6435595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150