JP6451110B2 - 撮影装置、画像生成方法及びプログラム - Google Patents

Description

本発明は、撮影装置、画像生成方法及びプログラムに関する。

ユーザの身体、ヘルメット等に装着し、活動中のダイナミックな動画をユーザの視点から撮影できる小型の撮影装置が、撮影した動画をライフログとして保存する、ＳＮＳ等により友人間で共有する等の目的で、広く利用されている。
動画をライフログとして保存する目的であれば、長時間撮影した高画質な動画であって周りの風景も含む広画角の動画が望まれる。一方、友人等に公開する目的であれば、撮影時間が長いと見る者を飽きさせやすく、感動も伝わりにくいため、数分程度の短い動画が好まれる。また、画角が広いと、個々の被写体が小さく、周縁の像がひずむ等、不自然な動画になりやすく、鑑賞に不向きであるため、広画角よりは通常の画角が好まれる。

このように、目的によって求められる撮影条件が異なるが、撮影する段階で目的に応じて撮影条件を切り替える操作をその都度行うことは、ユーザにとって非常に煩雑である。
ユーザの操作を容易にするため、心拍が変化すると撮影条件を自動で設定する撮像装置がある（例えば、特許文献１参照）。また、撮影装置の加速度が一定値以上になると、フレームレートを低下させる撮影装置もある（例えば、特許文献２参照）。

特開２００９−４９９５１号公報 特開２０１４−４５４３８号公報

しかしながら、撮影条件を自動的に設定できても、長時間撮影された動画のなかから、活動中の動画を探したり、切り出したりする編集作業が必要であり、この編集作業もユーザにとっては煩雑な作業であった。

本発明の課題は、ユーザの状態に応じて撮影し、編集した画像を提供することである。

本発明の一態様の撮影装置は、
撮影手段と、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段と、
前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を、第１撮影条件と前記第１撮影条件と異なる第２撮影条件との間で切り替える撮影制御手段と、
前記撮影手段により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段と、を備え、
前記編集手段は、前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を抽出した画像に合成することにより、前記新たな画像を生成する、
ことを特徴とする。

本発明の一態様の画像生成方法は、
撮影手段を備えた撮影装置の画像生成方法であって、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出工程と、
前記状態検出工程において検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を、第１撮影条件と前記第１撮影条件と異なる第２撮影条件との間で切り替える撮影制御工程と、
前記撮影手段により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集工程と、を含み、
前記編集工程は、前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を抽出した画像に合成することにより、前記新たな画像を生成する、
ことを特徴とする。

本発明の一態様のプログラムは、
撮影手段を備えた撮影装置に用いられるコンピュータを、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段、
前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を、第１撮影条件と前記第１撮影条件と異なる第２撮影条件との間で切り替える撮影制御手段、
前記撮影手段により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段、として機能させ、
前記編集手段は、前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を抽出した画像に合成することにより、前記新たな画像を生成する、
ことを特徴とする。

本発明によれば、ユーザの状態に応じて撮影し、編集した画像を提供することができる。

本実施の形態に係る撮影装置と、ネットワーク上のサーバとを示す図である。 撮影装置の構成を機能ごとに表すブロック図である。 撮影時の撮影装置の処理手順を示すフローチャートである。 編集時の撮影装置の処理手順を示すフローチャートである。 付加画像が合成された画像の一例を示す図である。

以下、本発明の撮影装置、画像生成方法及びプログラムの実施の形態について、図面を参照して説明する。

図１は、本実施の形態に係る撮影装置１Ａ及び１Ｂを示している。
撮影装置１Ａ及び１Ｂは、図１に示すようにインターネット等のネットワーク４経由でサーバ３と通信し、撮影した画像をサーバ３に送信することができる。
撮影装置１Ａはサーバ３と直接通信でき、撮影装置１Ｂは通信端末２を介してサーバ３と通信できる。

撮影装置１Ａ及び１Ｂは、形態が装着型であり、ユーザの身体に装着されて撮影を行う。装着型の撮影装置１Ａ及び１Ｂの形態としては、メガネ、ヘッドセット、ヘルメット、アームバンド、チェストベルト、腕時計、リストバンド、指輪、ペンダント、バッジ等が挙げられる。

図２は、アームバンド型の撮影装置１Ａの構成を機能ごとに表すブロック図である。
撮影装置１Ａは、図２に示すように、制御部１１、記憶部１２、表示部１３、操作部１４、通信部１５、情報生成部１６及び撮影部１７を備えて構成されている。

制御部１１は、記憶部１２に記憶されたプログラムを読み出して、当該プログラムを実行することにより、撮影装置１Ａの各部の動作を制御する。制御部１１は、ＬＳＩ（Large Scale Integration）、ＲＡＭ（Random Access Memory）等により構成することができる。

制御部１１（状態検出手段）は、いくつかの撮影メニューのなかから、スポーツログの撮影メニューが選択された場合、情報生成部１６からユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する。制御部１１（撮影制御手段）は、検出したユーザの状態の変化に応じて、撮影部１７の撮影条件を第１撮影条件又は第１撮影条件と異なる第２撮影条件に切り替える撮影制御を行う。第１撮影条件はユーザの通常状態に応じて設定された撮影条件であり、第２撮影条件はユーザの活動状態に応じて設定された撮影条件である。
制御部１１（編集手段）は、撮影部１７により撮影された画像のなかから、第１撮影条件又は第２撮影条件により撮影された画像を抽出して、新たな画像を生成する。

また、制御部１１（第１合成手段）は、ユーザの活動情報を表す付加画像を生成し、当該付加画像を生成した新たな画像に合成することができる。
さらに、制御部１１（心身判定手段、第２合成手段）は、ユーザの活動情報に基づいて、ユーザの心身の状態を判定し、判定した心身の状態を表す付加画像を生成して新たな画像に合成することもできる。

記憶部１２は、制御部１１により読み取り可能なプログラム及び当該プログラムの実行に用いる情報を記憶している。記憶部１２としては、例えばＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶媒体を用いることができる。

記憶部１２は、撮影部１７により撮影された画像を記憶する。また、記憶部１２は、情報生成部１６により生成された活動情報を、活動情報を取得した時間又は活動情報を取得した際に撮影された画像に対応付けて記憶する。

表示部１３は、制御部１１の表示制御にしたがって、操作画面、撮影部１７により撮影された画像等を表示する。表示部１３としては、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等を用いることができる。

操作部１４は、操作キー、表示部１３と一体に構成されたタッチパネル等を備え、これらの操作に応じた操作信号を生成して、制御部１１に出力する。

通信部１５は、無線通信又は有線通信により、ネットワーク４経由でサーバ３と通信する。通信部１５は、ＷｉＦｉ（登録商標）等により無線ＬＡＮ経由で通信できるものであってもよい。
通信部１５（通信手段）は、ネットワーク４上のサーバ３に、制御部１１により生成された新たな画像を送信することができる。

情報生成部１６（情報生成手段）は、ユーザの活動情報を生成する。
情報生成部１６は、活動情報として、ユーザの生体情報、動き情報及び位置情報の少なくとも１つ以上を生成することができる。
ユーザの生体情報、動き情報及び位置情報を生成する場合、図２に示すように、情報生成部１６は、血流測定部１６１、体温測定部１６２、動き測定部１６３及び位置測定部１６４を備えることができる。

血流測定部１６１は、ユーザの脈拍及び血圧を測定する。測定方法としては特に限定されず、光学センサを用いて血管中の血液流量を検出し、脈拍及び血圧を算出する光電式を一般的に用いることができる。撮影装置１Ａの形態が腕時計型等であれば、圧電素子を用いて圧脈波を検出し、圧脈波から脈拍及び血圧を算出する圧電式を用いることもでき、撮影装置１Ａの形態に応じた測定方法を使用できる。
情報生成部１６は、血流測定部１６１により得られた脈拍及び血圧の測定値をそれぞれ生体情報とする。

なお、撮影装置１Ａの形態が心臓付近に撮影装置１Ａを装着できるチェストバンド型等である場合、血流測定部１６１により、心拍を測定することもできる。
この場合、情報生成部１６は、血流測定部１６１により得られた心拍の測定値を生体情報の１つとする。

体温測定部１６２は、ユーザの体温を測定する。
情報生成部１６は、体温測定部１６２により得られた体温の測定値を生体情報の１つとする。

動き測定部１６３は、ユーザの３軸方向の加速度を検出する加速度センサ、角速度を検出するジャイロセンサ等を備え、これらセンサの検出値に基づいて、ユーザの速度、加速度、振動数、歩数、高さ位置等のユーザの動きを測定する。ユーザの動きを測定するのであれば、一定の高さ位置を維持したときのジャンプ時間を測定してもよい。
情報生成部１６は、動き測定部１６３により得られた速度、加速度、振動数、歩数及び高さ位置の測定値を、それぞれ動き情報とする。

位置測定部１６４は、ＧＰＳアンテナにより複数のＧＰＳ衛星から発信された電波を受信し、当該電波により撮影装置１Ａの現在位置を算出する。
情報生成部１６は、位置測定部１６４により得られた現在位置を位置情報とする。

撮影部１７（撮影手段）は、イメージセンサ等を備えて撮影を行い、画像を生成する。
撮影部１７は、ユーザの身体に装着された状態で撮影し、ユーザの視線上に配置された場合は、ユーザの視点から撮影することができる。スポーツログの撮影メニューが選択された場合、撮影部１７は、制御部１１により切り替えられた第１撮影条件又は第２撮影条件により撮影を行う。

撮影装置１Ｂは、メガネ型の撮影装置であり、情報生成部１６がリストバンドとして撮影装置１Ｂとは別に構成されていること以外は、撮影装置１Ｂは撮影装置１Ａと基本的な構成が同一であるので、同じ構成部には同じ符号を付して異なる動作のみを説明する。

撮影装置１Ｂの制御部１１は、通信部１５を介してリストバンド型の情報生成部１６からユーザの活動情報を取得する。無線通信により活動情報を取得する場合は、Bluetooth（登録商標）、ZigBee（登録商標）、ＲＦＩＤ（Radio Frequency IDentifier）、ＮＦＣ（Near Field Communication）等の近距離型の無線通信を用いることができる。
また、撮影装置１Ｂの通信部１５は通信端末２と通信し、通信端末２を介してサーバ３に撮影した画像を送信する。

通信端末２は、無線通信又は有線通信により、ネットワーク４上のサーバ３と通信する。 通信端末２は、例えばスマートフォン、携帯電話、ネットワーク４に接続されたＰＣ等である。通信端末２としては、ＷｉＦｉ（登録商標）等により無線ＬＡＮ経由でネットワーク４に接続するものであってもよい。

サーバ３は、ネットワーク４経由でＳＮＳ等のウェブサービスを提供する。ウェブサービスの具体例としては、ユーザのプロフィール、スケジュール、ブログ等のユーザ専用のページの提供、チャットルーム、掲示板等の複数のユーザ間で共有できるページの提供、ユーザによりアップロードされた画像、電子書籍、音楽ファイル等の記憶資源の提供等が挙げられる。

上記撮影装置１Ａ及び１Ｂは、スポーツログの撮影メニューにおいて、長時間撮影して得られた動画を編集して、ユーザが活動状態にあるときの動画を生成し、サーバ３に送信することができる。以下、動画を生成する際の撮影装置１Ａの処理手順を説明するが、撮影装置１Ｂも撮影装置１Ａと同様の処理手順により動画を生成することができる。

図３は、撮影時の撮影装置１Ａの処理手順を示している。
操作部１４を介してユーザにより撮影開始を指示する操作が行われると、撮影装置１Ａでは、図３に示すように制御部１１が撮影条件を第１撮影条件に初期設定して、撮影部１７による撮影を開始させる(ステップＳ１)。また、制御部１１は情報生成部１６による活動情報の生成を開始させる。

制御部１１は、情報生成部１６により生成された活動情報を取得する(ステップＳ２)。制御部１１は、ユーザの状態を適切に判断できるように、活動情報として、ユーザの生体情報、動き情報及び位置情報の少なくとも１つ以上を取得することが好ましい。
制御部１１は、取得した活動情報に基づいて、通常状態から活動状態へのユーザの状態の変化を検出する。通常状態とは、ユーザの心身の動きが少ない安静な状態をいい、活動状態は、走る、ジャンプする等、身体の動きが大きい、感情が高まっている、特定範囲内に位置する等、通常状態よりもユーザの心身が活発化した状態をいう。

具体的には、制御部１１が、ユーザの心拍、脈拍、体温及び血圧の少なくとも１つ以上の測定値を、ユーザの生体情報として取得した場合、各測定値をそれぞれの閾値と比較することにより、ユーザの状態が通常状態から活動状態へと変化したことを検出する。
例えば、脈拍の測定値の場合、安静時の脈拍の正常範囲が６０〜１００回／分であれば、当該正常範囲の上限を閾値とすることができる。取得した脈拍が１１０回／分であり、脈拍の閾値が１００回／分である場合、取得した脈拍が閾値を超えるため、制御部１１はユーザの状態が活動状態に変化したことを検出する。

また、制御部１１が、ユーザの速度、加速度、振動数、歩数及び高さ位置の少なくとも１つ以上の測定値を、ユーザの動き情報として取得した場合、各測定値をそれぞれの閾値と比較することにより、ユーザが通常状態から活動状態へと変化したことを検出する。
例えば、速度の測定値の場合、通常状態にあるユーザの速度が１ｋｍ／ｈ以下であれば、上限の１ｋｍ／ｈを閾値とすることができる。取得したユーザの速度が１０ｋｍ／ｈである場合、取得した速度が閾値を超えるため、制御部１１はユーザの状態が活動状態に変化したことを検出する。

また、制御部１１が、ユーザの現在位置をユーザの位置情報として取得し、当該現在位置が特定範囲内にある場合、ユーザの状態が通常状態から活動状態へと変化したことを検出する。特定範囲は、ユーザにより指定された範囲であってもよいし、サーバ３により指定された範囲であってもよい。
例えば、観光名所、マラソン時のゴール等の地点から半径３ｋｍ内が特定範囲であり、現在位置がこの特定範囲内にある場合、制御部１１はユーザの状態が活動状態へと変化したことを検出する。

通常状態から活動状態へのユーザの状態の変化を検出しなかった場合(ステップＳ３；Ｎ)、制御部１１は撮影条件の切り替えを行わず、撮影部１７は第１撮影条件による撮影を継続する。ユーザにより撮影終了の操作が行われていなければ(ステップＳ９；Ｎ)、ステップＳ２の処理に戻る。

一方、通常状態から活動状態へのユーザの状態の変化を検出した場合(ステップＳ３；Ｙ)、制御部１１は撮影部１７の撮影条件を、第１撮影条件から第２撮影条件に切り替える(ステップＳ４)。
第２撮影条件は、第１撮影条件に比較して、ズームの設定が望遠側であること、フレームレートが高いこと、画像の解像度が高いこと及び画像のサイズが大きいことの少なくとも１つ以上の条件を満たす。例えば、第１撮影条件が、ズーム：広角、フレームレート：３０ｆｐｓ、画像のサイズ：３２０×２４０画素である場合、第２撮影条件は、ズーム：望遠、フレームレート：１００ｆｐｓ、画像のサイズ：６４０×４８０画素とすることができる。
撮影部１７は、第２撮影条件により撮影を開始する。制御部１１は、第２撮影条件により撮影された各フレームの画像に、第２撮影条件で撮影されたことを示すタグ情報を付加する。

第２撮影条件に切り替えた後、制御部１１は、一定時間ごとに情報生成部１６から活動情報を取得し(ステップＳ５)、活動状態から通常状態へのユーザの状態の変化を検出する(ステップＳ６)。活動情報が生体情報又は動き情報である場合、前述の場合とは逆に、生体情報又は動き情報中の各測定値が閾値以下である場合に、制御部１１は活動状態から通常状態へ変化したことを検出する。活動情報が位置情報である場合、位置情報が示す現在位置が特定範囲外である場合に、制御部１１は活動状態から通常状態へ変化したことを検出する。

活動状態から通常状態へのユーザの状態の変化を検出しなかった場合(ステップＳ６；Ｎ)、ユーザによる撮影終了の操作が行われていなければ(ステップＳ８；Ｎ)、ステップＳ５の処理に戻り、操作が行われた場合は(ステップＳ８；Ｙ)、本処理を終了する。

一方、活動状態から通常状態へのユーザの状態の変化を検出した場合(ステップＳ６；Ｙ)、制御部１１は撮影部１７の撮影条件を、第２撮影条件から第１撮影条件に切り替える(ステップＳ７)。撮影部１７は、第１撮影条件により撮影を開始する。
その後、ユーザにより撮影終了の操作が行われていなければ(ステップＳ９；Ｎ)、ステップＳ２に戻る。撮影終了の操作が行われた場合は(ステップＳ９；Ｙ)、本処理を終了する。

以上の処理手順により、撮影装置１Ａは、ユーザの状態が通常状態である間は第１撮影条件で撮影し、ユーザの状態が活動状態である間は第２撮影条件で撮影して、複数のフレームの画像からなる１つの動画を生成する。
撮影装置１Ａは、この１つの動画を編集して、ユーザが活動状態にあるときの動画を新たに生成する。

図４は、編集時の撮影装置１Ａの処理手順を示している。
撮影装置１Ａでは、図４に示すように、制御部１１が、第１撮影条件及び第２撮影条件により撮影されて記憶部１２に保存された画像のなかから、第２撮影条件で撮影された画像を抽出して、新たな画像を生成する(ステップＳ１１)。上述のように、制御部１１は第２撮影条件で撮影された画像にタグ情報を付加しているので、当該タグ情報が付加された画像を抽出すればよい。

次に、制御部１１は、新たに生成した画像の撮影時間中に生成され、保存された活動情報を記憶部１２から読み出して、取得する(ステップＳ１２)。
制御部１１は、取得した活動情報を表す付加画像を生成して、新たに生成した画像に合成する(ステップＳ１３)。
活動情報を表す付加画像としては、活動情報が生体情報であれば、脈拍、体温等を表す数値、記号等の画像が挙げられる。また、活動情報が動き情報であれば、速度、振動数、歩数等を表す数値、ゲージの図形等が挙げられる。活動情報が位置情報であれば、現在位置の経度緯度を表す文字、現在位置を含む地図等の画像が挙げられる。

また、制御部１１は、取得した活動情報に基づいて、ユーザの心身の状態を判定する(ステップＳ１４)。
例えば、制御部１１は、脈拍の測定値からユーザの心身の状態を表す指標となるユーザのストレス度を求めることができる。具体的には、制御部１１は、一定時間内に得られた脈拍の測定値から脈波形を求めて高速フーリエ変換することにより脈拍間隔（Ｒ−Ｒインターバル）を算出し、一定時間内における脈拍間隔のゆらぎをユーザのストレス度として判定することができる。なお、心身の状態を判定できるのであれば、この判定方法に限定されない。特開平６−５４８１３号公報に開示されているように、一定時間ごとの脈拍の測定値を４次元数空間に展開することにより、心身の状態を表すアトラクターを作成し、元気な時、疲労時等の心身の状態ごとにあらかじめ特定されているアトラクターと照合することにより、心身の状態を判定することもできる。４次元数空間への展開とは、ある測定値を第１の軸Ｘ、当該測定値から１０、２０及び３０個目の測定値をそれぞれ第２の軸Ｙ、第３の軸Ｚ、第４の軸Ｗとして４次元のベクトルを形成する操作を、測定値を１つずつずらしながら実行し、多数のベクトルを４次元空間に展開することをいう。

制御部１１は、判定した心身の状態を表す付加画像を生成し、新たに生成した画像に合成する(ステップＳ１５)。
心身の状態を表す付加画像としては、例えば笑顔、泣き顔等のように心身の状態に応じたユーザの顔の表情を表す画像、元気な姿、疲労した姿等を表すアバター画像、ストレス度を表すグラフ、数値、記号等の図形等が挙げられる。

図５は、付加画像が合成された画像の例を示している。
図５に示すように、ユーザの視点から撮影した画像Ｇの左下に、ユーザの状態を表すアバター画像ｇ１が付加画像として合成されている。アバター画像ｇ１は、ユーザの脈拍の測定値から判定されたストレス度が高いため、疲労したユーザの状態を表している。アバター画像ｇ１の下には、ユーザの生体情報として画像Ｇの撮影時に取得した脈拍の測定値を表す付加画像ｇ２が合成されている。

撮影装置１Ａは、付加画像を合成した画像をサーバ３へ送信し(ステップＳ１６)、本処理を終了する。
上記処理手順により、ユーザが活動状態にあるときの動画を自動的に編集してサーバ３へ送信することができるが、ユーザが通常状態にあるときの動画を自動的に編集して送信することもできる。この場合、第１撮影条件及び第２撮影条件により撮影されて記憶部１２に保存された画像のなかから、第１撮影条件により撮影された画像を抽出して、抽出した画像からなる新たな画像を生成すればよい。

以上のように、本実施の形態の撮影装置１Ａ及び１Ｂは、撮影部１７と、ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出し、検出されたユーザの状態の変化に応じて、撮影部１７の撮影条件を第１撮影条件又は第１撮影条件と異なる第２撮影条件に切り替える制御部１１と、を備える。さらに、制御部１１は、第１撮影条件及び第２撮影条件により撮影された画像のなかから、第１撮影条件により撮影された画像又は第２撮影条件により撮影された画像を抽出して、新たな画像を生成する。

上記撮影装置１Ａ及び１Ｂによれば、撮影した複数の画像のなかから、ユーザの状態の変化に応じて第１撮影条件で撮影した画像と第２撮影条件で撮影した画像とを、別々に提供することができる。ユーザが撮影条件を切り替える、異なる撮影条件で撮影した画像のなかから、ある撮影条件で撮影した画像をユーザがＰＣ等の情報処理装置を使用して切り出す等の作業がなくとも、ユーザの状態に応じて撮影し、編集した画像を提供することができる。

上記第２撮影条件は、第１撮影条件に比較して、ズームが望遠側であること、フレームレートが高いこと、画像の解像度が高いこと及び画像のサイズが大きいことの少なくとも１つ以上の条件を満たす。

上記制御部１１は、活動情報として、ユーザの生体情報、動き情報及び位置情報の少なくとも１つ以上を取得することにより、ユーザの状態を適切に判定することができる。

また、上記制御部１１は、ユーザの心拍、脈拍、体温及び血圧の少なくとも１つ以上の測定値を、ユーザの生体情報として取得し、当該測定値を閾値と比較することにより通常状態から活動状態へのユーザの状態の変化を検出し、活動状態への変化が検出されると、撮影部１７の撮影条件を、第１撮影条件から第２撮影条件に切り替える。また、上記制御部１１は、第２撮影条件により撮影された画像を抽出して、新たな画像を生成する。

また、上記制御部１１は、ユーザの速度、加速度、振動数、歩数及び高さ位置の少なくとも１つ以上の測定値を、ユーザの動き情報として取得し、当該測定値を閾値と比較することにより通常状態から活動状態へのユーザの状態の変化を検出し、活動状態への変化が検出されると、撮影部１７の撮影条件を、第１撮影条件から第２撮影条件に切り替える。また、制御部１１は、第２撮影条件により撮影された画像を抽出して、新たな画像を生成する。

また、上記制御部１１は、ユーザの現在位置をユーザの位置情報として取得し、ユーザの現在位置が特定範囲内にある場合、通常状態から活動状態へのユーザの状態の変化を検出し、活動状態への変化が検出されると、撮影部１７の撮影条件を、第１撮影条件から第２撮影条件に切り替える。また、制御部１１は、第２撮影条件により撮影された画像を抽出して、新たな画像を生成する。

ユーザが活動状態にあるときの画像を、上記第２撮影条件で撮影して生成することができるため、ユーザが活動中の画像を、狭画角で歪みの無いダイナミックな画像、細やかな動きを表す高画質な画像として提供することができる。画像の再生時間、データ量を減らすこともでき、ＳＮＳ、動画共有サイト等への投稿に適した画像を提供することができる。

上記制御部１１は、ユーザの活動情報を表す付加画像を生成し、当該付加画像を新たな画像に合成する。
画像の観察者は、付加画像により撮影時のユーザの活動状態を容易に把握することができる。また、付加画像を簡易な活動情報として画像とともに保存することができるため、体調管理、スポーツ時の記録等として利用することができる。

上記制御部１１は、ユーザの活動情報に基づいて、ユーザの心身の状態を判定し、判定された心身の状態を表す付加画像を生成し、当該付加画像を新たな画像に合成する。
画像の観察者は、付加画像により撮影時のユーザの心身の状態を容易に把握することができる。

撮影装置１Ａ及び１Ｂは、ネットワーク４上のサーバ３に、上記制御部１１により生成された新たな画像を送信する通信部１５を備える。
編集して得られた新たな画像をユーザがサーバ３へアップロードする手間を省くことができる。また、ユーザの活動中に撮影した画像を、リアルタイムにＳＮＳ、動画共有サイト等へ自動的に投稿することができる。

撮影装置１Ａ及び１Ｂは、ユーザの活動情報を生成する情報生成部１６を備え、上記制御部１１は、情報生成部１６により生成された活動情報を取得することができる。
また、上記画像は、動画であることができる。

なお、上記実施の形態では、撮影装置１Ａ及び１Ｂが動画を撮影した例を示したが、静止画を撮影し、撮影された複数の静止画の画像のなかから第１撮影条件により撮影された画像又は第２撮影条件により撮影された画像を抽出して、新たな画像を生成してもよい。

本発明のいくつかの実施の形態を説明したが、本発明の範囲は上記実施の形態に限定されず、特許請求の範囲に記載した発明の範囲と当該範囲と均等の範囲を含む。
以下、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。下記付記における各請求項の番号は、この出願の願書に最初に添付した特許請求の範囲のとおりである。

＜付記＞
〔請求項１〕
撮影手段と、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段と、
前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を第１撮影条件又は前記第１撮影条件と異なる第２撮影条件に切り替える撮影制御手段と、
前記第１撮影条件及び前記第２撮影条件により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段と、
を備えることを特徴とする撮影装置。
〔請求項２〕
前記第２撮影条件は、前記第１撮影条件に比較して、ズームの設定が望遠側であること、フレームレートが高いこと、画像の解像度が高いこと及び画像のサイズが大きいことの少なくとも１つ以上の条件を満たすことを特徴とする請求項１に記載の撮影装置。
〔請求項３〕
前記状態検出手段は、前記活動情報として、前記ユーザの生体情報、動き情報及び位置情報の少なくとも１つ以上を取得することを特徴とする請求項１又は２に記載の撮影装置。
〔請求項４〕
前記状態検出手段は、前記ユーザの心拍、脈拍、体温及び血圧の少なくとも１つ以上の測定値を、前記ユーザの生体情報として取得し、前記測定値を閾値と比較することにより通常状態から活動状態への前記ユーザの状態の変化を検出し、
前記撮影制御手段は、前記状態検出手段により前記活動状態への変化が検出されると、前記撮影手段の撮影条件を、前記第１撮影条件から前記第２撮影条件に切り替え、
前記編集手段は、前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成することを特徴とする請求項３に記載の撮影装置。
〔請求項５〕
前記状態検出手段は、前記ユーザの速度、加速度、振動数、歩数及び高さ位置の少なくとも１つ以上の測定値を、前記ユーザの動き情報として取得し、前記測定値を閾値と比較することにより通常状態から活動状態への前記ユーザの状態の変化を検出し、
前記撮影制御手段は、前記状態検出手段により前記活動状態への変化が検出されると、前記撮影手段の撮影条件を、前記第１撮影条件から前記第２撮影条件に切り替え、
前記編集手段は、前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成することを特徴とする請求項３又は４に記載の撮影装置。
〔請求項６〕
前記状態検出手段は、前記ユーザの現在位置を前記ユーザの位置情報として取得し、前記ユーザの現在位置が特定範囲内にある場合、通常状態から活動状態への前記ユーザの状態の変化を検出し、
前記撮影制御手段は、前記状態検出手段により前記活動状態への変化が検出されると、前記撮影手段の撮影条件を、前記第１撮影条件から前記第２撮影条件に切り替え、
前記編集手段は、前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成することを特徴とする請求項３〜５のいずれか一項に記載の撮影装置。
〔請求項７〕
前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を前記編集手段により生成された新たな画像に合成する第１合成手段を備えることを特徴とする請求項１〜６のいずれか一項に記載の撮影装置。
〔請求項８〕
前記ユーザの活動情報に基づいて、ユーザの心身の状態を判定する心身判定手段と、
前記心身判定手段により判定された心身の状態を表す付加画像を生成し、当該付加画像を前記編集手段により生成された新たな画像に合成する第２合成手段を備えることを特徴とする請求項１〜７のいずれか一項に記載の撮影装置。
〔請求項９〕
ネットワーク上のサーバに、前記編集手段により生成された新たな画像を送信する通信手段を備えることを特徴とする請求項１〜８のいずれか一項に記載の撮影装置。
〔請求項１０〕
前記ユーザの活動情報を生成する情報生成手段を備え、
前記状態検出手段は、前記情報生成手段により生成された活動情報を取得することを特徴とする請求項１〜９のいずれか一項に記載の撮影装置。
〔請求項１１〕
前記画像は、動画であることを特徴とする請求項１〜１０のいずれか一項に記載の撮影装置。
〔請求項１２〕
撮影工程と、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出工程と、
前記状態検出工程において検出されたユーザの状態の変化に応じて、前記撮影工程における撮影条件を第１撮影条件又は前記第１撮影条件と異なる第２撮影条件に切り替える撮影制御工程と、
前記第１撮影条件及び前記第２撮影条件により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集工程と、
を含むことを特徴とする画像生成方法。
〔請求項１３〕
撮影装置に用いられるコンピュータを、
ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段、
前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影装置の撮影条件を第１撮影条件又は前記第１撮影条件と異なる第２撮影条件に切り替える撮影制御手段、
前記第１撮影条件及び前記第２撮影条件により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段、
として機能させるためのプログラム。

１Ａ、１Ｂ 撮影装置
１１ 制御部
１２ 記憶部
１５ 通信部
１６ 情報生成部
１６１ 血流測定部
１６２ 体温測定部
１６３ 動き測定部
１６４ 位置測定部
１７ 撮影部
２ 通信端末
３ サーバ
４ ネットワーク

Claims (12)

1. 撮影手段と、
   ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段と、
   前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を、第１撮影条件と前記第１撮影条件と異なる第２撮影条件との間で切り替える撮影制御手段と、
   前記撮影手段により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段と、を備え、
   前記編集手段は、前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を抽出した画像に合成することにより、前記新たな画像を生成する、
   ことを特徴とする撮影装置。
2. 撮影手段と、
   ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段と、
   前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を、第１撮影条件と前記第１撮影条件と異なる第２撮影条件との間で切り替える撮影制御手段と、
   前記撮影手段により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段と、
   前記ユーザの活動情報に基づいて、ユーザの心身の状態を判定する心身判定手段と、を備え、
   前記編集手段は、前記心身判定手段により判定された心身の状態を表す付加画像を生成し、当該付加画像を抽出した画像に合成することにより、前記新たな画像を生成する、
   ことを特徴とする撮影装置。
3. 前記状態検出手段は、前記活動情報として、前記ユーザの生体情報、動き情報及び位置情報の少なくとも１つ以上を取得することを特徴とする請求項１又は２に記載の撮影装置。
4. 前記状態検出手段は、前記ユーザの心拍、脈拍、体温及び血圧の少なくとも１つ以上の測定値を、前記ユーザの生体情報として取得し、前記測定値を閾値と比較することにより通常状態から活動状態への前記ユーザの状態の変化を検出し、
   前記撮影制御手段は、前記状態検出手段により前記活動状態への変化が検出されると、前記撮影手段の撮影条件を、前記第１撮影条件から前記第２撮影条件に切り替え、
   前記編集手段は、前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成することを特徴とする請求項３に記載の撮影装置。
5. 前記状態検出手段は、前記ユーザの速度、加速度、振動数、歩数及び高さ位置の少なくとも１つ以上の測定値を、前記ユーザの動き情報として取得し、前記測定値を閾値と比較することにより通常状態から活動状態への前記ユーザの状態の変化を検出し、
   前記撮影制御手段は、前記状態検出手段により前記活動状態への変化が検出されると、前記撮影手段の撮影条件を、前記第１撮影条件から前記第２撮影条件に切り替え、
   前記編集手段は、前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成することを特徴とする請求項３又は４に記載の撮影装置。
6. 前記ユーザの活動情報を生成する情報生成手段を備え、
   前記状態検出手段は、前記情報生成手段により生成された活動情報を取得することを特徴とする請求項１又は２に記載の撮影装置。
7. 前記第２撮影条件は、前記第１撮影条件に比較して、ズームの設定が望遠側であること、フレームレートが高いこと、画像の解像度が高いこと及び画像のサイズが大きいことの少なくとも１つ以上の条件を満たすことを特徴とする請求項１〜６のいずれか一項に記載の撮影装置。
8. 前記画像は、動画であることを特徴とする請求項１〜７のいずれか一項に記載の撮影装置。
9. 前記編集手段は、前記撮影手段により撮影された画像のなかから、前記第２撮影条件により撮影された画像を抽出して、抽出した前記第２撮影条件により撮影された画像を編集して新たな画像を生成することを特徴とする請求項１〜８のいずれか一項に記載の撮影装置。
10. ネットワーク上のサーバに、前記編集手段により生成された新たな画像を送信する通信手段を備えることを特徴とする請求項１〜９のいずれか一項に記載の撮影装置。
11. 撮影手段を備えた撮影装置の画像生成方法であって、
    ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出工程と、
    前記状態検出工程において検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を、第１撮影条件と前記第１撮影条件と異なる第２撮影条件との間で切り替える撮影制御工程と、
    前記撮影手段により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集工程と、を含み、
    前記編集工程は、前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を抽出した画像に合成することにより、前記新たな画像を生成する、
    ことを特徴とする画像生成方法。
12. 撮影手段を備えた撮影装置に用いられるコンピュータを、
    ユーザの活動情報を取得し、当該活動情報に基づいてユーザの状態の変化を検出する状態検出手段、
    前記状態検出手段により検出されたユーザの状態の変化に応じて、前記撮影手段の撮影条件を、第１撮影条件と前記第１撮影条件と異なる第２撮影条件との間で切り替える撮影制御手段、
    前記撮影手段により撮影された画像のなかから、前記第１撮影条件により撮影された画像又は前記第２撮影条件により撮影された画像を抽出して、新たな画像を生成する編集手段、として機能させ、
    前記編集手段は、前記ユーザの活動情報を表す付加画像を生成し、当該付加画像を抽出した画像に合成することにより、前記新たな画像を生成する、
    ことを特徴とするプログラム。

Images