JP2020088559A - 電子機器およびプログラム - Google Patents

Abstract

【課題】 全方位撮影可能な撮像装置では、撮影者が撮影開始を指示してから撮像装置から離れた位置に移動するまでの間に、写らないように避ける場所がないので、撮影者の意図とは異なり、撮影者がアップで撮影されてしまうことがある。【解決手段】 撮影者が撮影開始を指示してから撮像装置から離れた位置に移動するまでの間の映像を記録しなかったり、再生したりしないように制御する。【選択図】 図３

Description

本発明は、ＶＲ画像を撮影可能または再生可能な電子機器およびプログラムに関する。

従来、広角レンズを複数備えることで、周囲の全方位の景色を撮影可能な撮像装置がある。また、これらの撮像装置で撮影された画像をもとに作成されたＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）コンテンツを再生可能な撮像装置や再生装置がある（特許文献１参照）。

特開２０１４−２２２８２５号公報

全方位撮影可能な撮像装置では、例えば、撮像装置に三脚を付けて、周囲の全方位を撮影しようとするとき、撮影者が撮像装置を操作して、撮影開始を指示してから撮像装置から離れた位置に移動するまでの間に、写らないように避ける場所がない。よって、撮影者の意図とは異なり、撮影者がアップで撮影されてしまったり、そのようにして撮影された映像が再生されてしまったりするという問題があった。

本願に係る発明の１つは、三脚が接合されたことを検出する検出手段と、撮像手段によって撮像されたＶＲ画像から認識された撮影者の顔画像のサイズが所定のサイズより大きいかどうかを判定する判定手段と、前記三脚が接合され、前記撮影者の顔画像のサイズが所定のサイズより大きければ、撮影指示を受け付けてから所定の時間が経過してから撮像手段によって撮像されたＶＲ画像を圧縮符号化処理してＶＲ動画データを生成する生成手段と、前記ＶＲ動画データを記録媒体に記録する記録手段を備えたことを特徴とする。

本発明によれば、全方位撮影可能な撮像装置で撮影を行う場合に、撮影開始を指示してから撮像装置から離れた位置に移動するまでの間に、撮影者がアップで撮影されてしまっても、その間の映像が撮影されなかったり、再生されたりしない。よって、撮影者の意図に合った映像を提供できるという効果が得られる。

カメラ１００の一例を示す外観図 カメラ１００のハードウエア構成の一例を示すブロック図 カメラ１００が実行する動作の一例を示すフローチャート図 カメラ１００が実行する動作の一例を示すフローチャート図 カメラ１００が実行する動作の一例を示すフローチャート図

以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

（第１の実施形態）
まず、図１（ａ）、（ｂ）に本実施形態の電子機器の一例としてのカメラ１００の外観を示す。カメラ１００は、レンズ一体型のデジタルカメラである。なお、カメラ１００は、一眼レフカメラやミラーレス一眼カメラなどであってもよい。本発明は、広角レンズが取り付けられた各種撮像装置に適用可能である。

図１（ａ）は、カメラ１００の前面の外観を示す。表示部１４１は、撮影画像や各種情報を表示する。表示部１４１へ表示する画像は撮影準備指示や再生指示に応じて切り替えられる。表示部１４１の表示面上に設けられたタッチパネル１３は、撮影者によるタッチ操作を受け付ける。レリーズボタン１１は半押しおよび全押しが可能なスイッチであり、レリーズボタン１１の半押しによってカメラ１００への撮影準備指示が行われ、レリーズボタン１１の全押しによってカメラ１００への撮影指示が行われる。レンズ１１１は広角レンズであり、レンズ１１１に入射した光束を撮像素子２１２（図１（Ａ）では不図示）に結像させる。

図１（ｂ）はカメラ１００の側面の外観を示す。レンズ１０１とレンズ１１１はカメラ１００の前後に対に配置されており、レンズ１０１とレンズ１１１のそれぞれの画角は２８０度である。すなわち、レンズ１０１とレンズ１１１により３６０度の画角が満たされる。従って、撮像素子２０２の撮像素子２１２のそれぞれにおいて、２８０度の画角に対応する画像が撮像される。そして、２つの撮像素子２０２，２１２で撮像された２つの画像により、３６０度の画角に対応するＶＲ画像が構成される。そして、三脚１２０は、カメラ１００の底面に設けられた接合部に接合される。

撮像素子２０２，２１２により、ＶＲ画像が撮像される。ＶＲ画像とは、ＶＲ表示をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示手段に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角）３６０度、左右方向（水平角度、方位角度）３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示手段に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。また、例えば、左右方向（水平角度、方位角度）２８０度、水平方向を中心とした垂直角度２８０度の視野分（画角分）の被写体を撮影可能なカメラで撮影された画像はＶＲ画像の一種である。すなわち、上下方向と左右方向にそれぞれ２６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。このＶＲ画像をＶＲ表示すると、左右回転方向に表示手段の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から見て±２０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から２０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

ＶＲ表示とは、ＶＲ画像のうち、表示手段の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法である。表示手段であるヘッドマウントディスプレイ（ＨＭＤ）を装着して視聴する場合には、ユーザの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示手段の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に２８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザがＨＭＤを視聴している場合で言えば、ユーザが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚を提供することができる。ＶＲゴーグル（ヘッドマウントアダプター）に装着されたスマートフォンは、ＨＭＤの一種と言える。姿勢の変化ではなく、タッチパネルや方向ボタンなどに対するユーザ操作に応じて、表示範囲を移動（スクロール）させてもよい。

なお、表示部１４１は、カメラ１００とは別体の装置であってもよい。例えば、表示部１４１は、カメラ１００とは別体のスマートフォンなどに設けられてもよい。この場合、ＶＲ画像を撮影して記録する電子機器と、ＶＲ画像を再生する電子機器は別体の装置によって実現される。

次に、図２を参照してカメラ１００のハードウエア構成の一例を説明する。なお、図２では、各機能を構成要素として分けて示しているが、各機能は１つまたは複数のＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって各機能が実現されてもよい。

レンズ１０１は絞り機構を含む単焦点レンズであり、レンズ１０１の焦点位置はパンフォーカスとなっている。

撮像素子２０２は、光電変換素子を含む複数の画素が２次元配列された構成を有する。撮像素子２０２は、レンズ１０１を含む撮影光学系により形成された被写体像（光学像）を画素ごとに光電変換、つまりは撮像してアナログ信号を生成し、これをＡ／Ｄ変換回路によりデジタル信号に変換して画素単位のＲＡＷ画像データを出力する。

メモリＩ／Ｆ部２０６は、撮像素子２０２から出力された全画素分のＲＡＷ画像データをメモリ２０７へ書き込む。また、メモリＩ／Ｆ部２０６は、メモリ２０７に保持されたＲＡＷ画像データを読み出して画像処理部２０８に出力する。メモリ２０７は、数フレーム分の全画素ＲＡＷ画像データを格納する揮発性の記録媒体である。

画像処理部２０８は、メモリＩ／Ｆ部２１６からの全画素分のＲＡＷ画像データに対してガンマ補正、色分離、色差マトリクス等の処理を施し、同期信号を加えて記録用または表示用の映像データとして出力する。また、画像処理部２０８は、画像処理部２０８に入力されたＲＡＷ画像データの各画素の輝度値から測光値を得て、バス１２１を経由してカメラ制御部２２０へ提供する。

レンズ１１１、撮像素子２１２、メモリＩ／Ｆ部２１６、メモリ２１７、及び、画像処理部２１８は、レンズ１０１、撮像素子２０２、メモリＩ／Ｆ部２０６、メモリ２０７、及び、画像処理部２０８と同様の機能を有する。レンズ１１１、撮像素子２１２、メモリＩ／Ｆ部２１６、メモリ２１７、及び、画像処理部２１８によって、レンズ１０１、撮像素子２０２、メモリＩ／Ｆ部２０６、メモリ２０７、及び、画像処理部２０８と同様の処理が行われる。

カメラ制御部２２０は、ＣＰＵなどで構成され、カメラ１００の動作全体を制御する。ＲＡＭ２６０は、カメラ制御部２２０の作業領域（ワークメモリ）として使用される。ＲＡＭ２６０には、カメラ制御部２２０の動作用の定数や変数が記録されたり、プログラム等が展開されたりする。ＲＯＭ２８０は、カメラ制御部２２０が動作するためのコンピュータプログラム等を記憶する。例えば、カメラ制御部２２０は、ＲＯＭ２８０に格納されたコンピュータプログラムをＲＡＭ２６０に展開して実行することにより、カメラ１００の動作全体を制御する。

ゲイン制御部２０３、シャッタ制御部２０４、及び、絞り制御部２０５は、露出制御のために使用される。カメラ制御部２２０は、画像処理部２０８および画像処理部２１８から提供される測光値、あるいはユーザがマニュアル設定した動作パラメータに基づき、上記制御部２０３〜２０５を制御する。ゲイン制御部２０３は、撮像素子２０２および撮像素子２１２のゲインを制御する。シャッタ制御部２０４は、撮像素子２０２および撮像素子２１２のシャッタスピードを制御する。絞り制御部２０５は、レンズ１０１の絞り機構やレンズ１１１の絞り機構を制御する。

記録媒体Ｉ／Ｆ部２３０は、記録媒体２３１をカメラ１００に接続するためのインタフェースである。記録媒体Ｉ／Ｆ部２３０は、画像処理部２０８や画像処理部２１８やＧＰＵ２４２から入力された映像データを記録媒体２３１に記録したり、記録された映像データを記録媒体２３１から読み出したりする。記録媒体２３１は、半導体メモリ等で構成されている。

表示用Ｉ／Ｆ部２４０は、画像処理部２０８および画像処理部２１８からの映像データや、ＧＰＵ２４２によってＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）２４３に描画された画像データを表示部１４１に出力する。表示部１４１に表示される画像は、おもに撮影者による撮影画像確認に用いられる。

ＧＰＵ２４２は、カメラ制御部２２０からの指示にもとづき、画像処理部２０８および画像処理部２１８から出力された映像データを画像変換処理および画像切り出し処理、拡大処理、歪み補正等を行いＶＲＡＭ２４３へ描画するレンダリングエンジンである。また、ＧＰＵ２４２は、カメラ１００の各種情報表示やメニュー画面をＶＲＡＭ２４３に重畳描画する処理も行う。前述したタッチパネルボタン１４はＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）としてＧＰＵ２４２によって描画され表示用Ｉ／Ｆ部２４０を経由して表示部１４１に表示される。

通信用Ｉ／Ｆ部２５０は、通信部２５１を経由してカメラ１００の外部にある不図示のスマートフォンおよびＰＣなどと接続し、表示部１４１で表示される画像データをそれらに転送する。また、通信用Ｉ／Ｆ部２５０は、スマートフォンやＰＣなどからカメラ１００に対する制御指令などを受信し、カメラ制御部２２０へ通知する。通信部２５１は無線通信を行う無線ＬＡＮインタフェースであり、通信用Ｉ／Ｆ部２５０が行う通信のハードウェア処理を行う。

レリーズボタン１１、ボタン１２、及び、タッチパネル１３は前述の機能を備え、操作に応じた操作情報（撮影準備指示、撮影指示、表示範囲の選択指示、等）をＩＯコントローラ２７０へ出力する。ＩＯコントローラ２７０は、各種操作部からの操作情報をカメラ制御部２２０へ出力し、カメラ制御部２２０は、ＩＯコントローラ２７０からの操作情報に応じた処理を行う。例えば、タッチパネル１３は、表示部１４１に重ねられており、タッチ操作が行われた位置や領域の座標情報などを含む操作情報を出力する。

三脚接合センサ２９０は、カメラ１００の底面の接合部に三脚が接合されたことを検知する。カメラ制御部２２０は、撮影開始時に、三脚接合センサ２９０により三脚１２０がカメラ１００の接合部に接合されたことが検知されれば、そのことを示す情報を撮影により得られたＶＲ画像データに関連付けて記録媒体２３１に記録するように制御する。

図３に、本実施形態におけるカメラ１００の動作のフローチャートを示す。このフローチャートにおける各処理は、カメラ制御部２２０がＲＯＭ２８０に記録されたプログラムをＲＡＭ２６０に展開して実行するにより実現される。図３のフローチャートは、例えば、カメラ１００に電源が投入され、撮影モードが設定されたことに応じて開始される。

カメラ制御部２２０は、画像処理部２０８から出力された映像データを取得する（Ｓ３０１）。カメラ制御部２２０は、ユーザのレリーズボタン１１への指示に応答して、ＶＲ動画記録開始指示を受け付ける（Ｓ３０２でＹｅｓ）。カメラ制御部２２０は、三脚接合センサ２９０により三脚１２０がカメラ１００に接合されたことが検知されれば（Ｓ３０３でＹｅｓ）、映像データから人物の顔を検出する。カメラ制御部２２０は、検出された人物の顔画像の特徴量が予め登録された撮影者の顔画像の特徴量と一致し、撮影者と認識された顔画像の領域が所定のサイズ以上であれば（Ｓ３０４でＹｅｓ）、タイマーカウントを開始する（Ｓ３０５）。カメラ制御部２２０は、タイマーカウントが所定時間を経過すれば（Ｓ３０６でＹｅｓ）、映像データを動画圧縮符号化処理してＶＲ動画データを生成し（Ｓ３０７）、記録媒体に記録する（Ｓ３０８）。そして、カメラ制御部２２０は、タイマーカウントが所定時間を経過するまでは（Ｓ３０６でＮｏ）、ＶＲ動画データの記録は行わないように制御する。一方、三脚１２０がカメラ１００に接合されなかったり（Ｓ３０３でＮｏ）、撮影者の顔画像が認識されなかったり、撮影者の顔画像が所定のサイズより小さかった場合（Ｓ３０４でＮｏ）、カメラ制御部２２０は、動画記録開始指示に応答して直ちにＳ３０７やＳ３０８の処理を実行する。そして、カメラ制御部２２０は、動画撮影モードの終了が検知されるまで（Ｓ３０９でＮｏ）、Ｓ３０７およびＳ３０８の処理を繰り返す。

本実施形態によれば、ＶＲ動画データのうち撮影者が大きく写ってしまった後、撮影者が正しい位置に移動してからＶＲ動画データの記録を開始するので、撮影者が意図しない部分が記録されず、再生されなくなる。

（第２の実施形態）
図４に、本実施形態におけるカメラ１００の動作のフローチャートを示す。このフローチャートにおける各処理は、カメラ制御部２２０がＲＯＭ２８０に記録されたプログラムをＲＡＭ２６０に展開して実行するにより実現される。図４のフローチャートは、例えば、カメラ１００に電源が投入され、再生モードが設定されたことに応じて開始される。

カメラ制御部２２０は、記録媒体２３１に記憶された複数のＶＲ動画データのうちいずれか１つを再生対象として、ユーザの操作にしたがって選択する（Ｓ４０１）。そして、再生開始指示を受け付けると（Ｓ４０２でＹｅｓ）、動画データの先頭位置を再生開始位置の初期値として設定する（Ｓ４０３）。カメラ制御部２２０は、選択されたＶＲ動画データの撮影時に、三脚１２０がカメラ１００に接合されていたかどうかを判定する。ここで、ＶＲ動画データの撮影時に、三脚１２０がカメラ１００の底面に設けられた接合部に接合され、三脚接合センサ２９０により検知されていれば、そのことを示す属性情報がＶＲ動画データに関連付けられて記録媒体２３１に記録されている。

選択されたＶＲ動画データの撮影時に、三脚１２０がカメラ１００に接合されていれば（Ｓ４０４でＹｅｓ）、ＶＲ動画データの先頭フレームから人物の顔を検出する。カメラ制御部２２０は、検出された人物の顔画像の特徴量が予め登録された撮影者の顔画像の特徴量と一致し、撮影者と認識された顔画像の領域が所定のサイズ以上であれば（Ｓ４０５でＹｅｓ）、再生開始位置に所定時間を加算する（Ｓ４０６）。カメラ制御部２２０は、設定された再生開始位置から、ＶＲ動画データを再生する（Ｓ４０７）。そして、カメラ制御部２２０は、再生モードの終了が検知されるまで（Ｓ４０８でＮｏ）、Ｓ４０７の処理を繰り返す。

なお、所定時間は、撮影者が正しい位置に移動するのに十分な時間として予め定められた時間である。また、所定時間は、ＶＲ動画データのフレームに含まれる撮影者の顔画像の領域が所定のサイズより小さくなるまでの時間であってもよい。

本実施形態によれば、ＶＲ動画データのうち撮影者が大きく写ってしまった後、撮影者が正しい位置に移動して撮影された部分から再生を開始するので、撮影者が意図しない部分が再生されなくなる。

（第３の実施形態）
図５に、本実施形態におけるカメラ１００の動作のフローチャートを示す。このフローチャートにおける各処理は、カメラ制御部２２０がＲＯＭ２８０に記録されたプログラムをＲＡＭ２６０に展開して実行するにより実現される。図５のフローチャートは、例えば、カメラ１００に電源が投入され、再生モードが設定されたことに応じて開始される。また、図４と同様の動作については同じ符号を付与し、説明を省略する。

カメラ制御部２２０は、選択されたＶＲ動画データのうち先頭から所定時間までの部分を削除し（Ｓ５０１）、ＶＲ動画データを更新して記録媒体２３１に記録する（Ｓ５０２）。

なお、所定時間は、撮影者が正しい位置に移動するのに十分な時間として予め定められた時間である。また、所定時間は、ＶＲ動画データのフレームに含まれる撮影者の顔画像の領域が所定のサイズより小さくなるまでの時間であってもよい。

本実施形態によれば、撮影者が大きく写ってしまった部分を削除してＶＲ動画データを記録し直すので、撮影者が意図しない部分が再生されなくなる。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (5)

1. 三脚が接合されたことを検出する検出手段と、
   撮像手段によって撮像されたＶＲ画像から認識された撮影者の顔画像のサイズが所定のサイズより大きいかどうかを判定する判定手段と、
   前記三脚が接合され、前記撮影者の顔画像のサイズが所定のサイズより大きければ、撮影指示を受け付けてから所定の時間が経過してから撮像手段によって撮像されたＶＲ画像を圧縮符号化処理してＶＲ動画データを生成する生成手段と、
   前記ＶＲ動画データを記録媒体に記録する記録手段を備えたことを特徴とする電子機器。
2. 再生対象のＶＲ動画の撮影時に、撮像装置に三脚が接合されていたことを検出する検出手段と、
   前記ＶＲ動画から認識された撮影者の顔画像のサイズが所定のサイズより大きいかどうかを判定する判定手段と、
   前記三脚が接合され、前記撮影者の顔画像のサイズが所定のサイズより大きければ、先頭から所定の時間が経過した位置からＶＲ動画を再生する再生手段を備えたことを特徴とする電子機器。
3. 再生対象のＶＲ動画の撮影時に、撮像装置に三脚が接合されていたことを検出する検出手段と、
   前記ＶＲ動画から認識された撮影者の顔画像のサイズが所定のサイズより大きいかどうかを判定する判定手段と、
   前記三脚が接合され、前記撮影者の顔画像のサイズが所定のサイズより大きければ、先頭から所定の時間が経過した位置までの部分を前記ＶＲ動画から削除する削除手段を備えたことを特徴とする電子機器。
4. 前記所定の時間は予め定められた時間または、前記ＶＲ動画において前記撮影者の顔画像のサイズが所定のサイズより小さくなるまでの時間であることを特徴とする請求項２または３に記載の電子機器。
5. コンピュータを請求項１乃至４のいずれか一項に記載の電子機器の各手段として機能させるプログラム。

Images