JP7238770B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
JP7238770B2
JP7238770B2 JP2019519076A JP2019519076A JP7238770B2 JP 7238770 B2 JP7238770 B2 JP 7238770B2 JP 2019519076 A JP2019519076 A JP 2019519076A JP 2019519076 A JP2019519076 A JP 2019519076A JP 7238770 B2 JP7238770 B2 JP 7238770B2
Authority
JP
Japan
Prior art keywords
image
image data
unit
correction
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019519076A
Other languages
English (en)
Other versions
JPWO2018211782A1 (ja
Inventor
隆一 唯野
洋司 山本
祥 中川
卓義 小曽根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018211782A1 publication Critical patent/JPWO2018211782A1/ja
Application granted granted Critical
Publication of JP7238770B2 publication Critical patent/JP7238770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Data Copying Or Recording (AREA)
  • Accessories Of Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本技術は非中心射影方式の像を撮像した動画である画像データを対象として再生や編集に好適な情報処理装置、情報処理方法、プログラムに関する。
通常の中心射影方式のレンズより広い視野角の視野を撮像するために、例えば魚眼レンズを用いる撮像装置が知られている。そして魚眼レンズを用いた撮像によりいわゆる天球画像を撮像することも知られている。
下記特許文献１にはこのように撮像された動画データについて補正を行うことができるように、記録の際に傾き角の情報を記録する撮像装置について記載されている。
特開２０１６－１４９７５２号公報
例えば魚眼レンズを用いて非中心射影方式の像などの広角画像を撮像した動画を撮像した画像データについて再生や編集することを考える。
この場合、魚眼画像による動画としての画像データに対する補正を行うことが想定されるが、ユーザに取ってはどのような補正を行うとよいかはわかりにくいことが多い。
例えば動画としての画像データに対するブレ補正や、魚眼レンズで撮像した画像を２次元表示する際に生じる歪み（魚眼歪み）を補正することが想定されるが、ユーザが手軽に補正指示できる環境を提供できることが望まれる。
そこで本技術は歪み補正やブレ補正として的確な補正を容易にユーザが指示できる環境を提供することを目的とする。
本技術に係る情報処理装置は、広角画像データを中心射影方式の画像データに変換する歪み補正処理を行う歪み補正処理部と、前記歪み補正処理の処理対象の画像データについて、撮像装置の姿勢データに基づき画像データのブレ補正処理を行うブレ補正処理部と、を備える。
例えば魚眼レンズ等を用いて撮像した非中心射影方式の像の動画である広角画像データを対象とする。そして歪み補正処理が行われる画像データに対してブレ補正が実行されるようにする。
上記した本技術に係る情報処理装置においては、前記歪み補正処理部による歪み補正処理の入及び切と、前記ブレ補正処理部によるブレ補正処理の入及び切を制御する制御部とを備えることが考えられる。
この画像データに対して歪み補正処理と、ブレ補正処理を、それぞれオン／オフできるようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、画像データの再生表示の際に、前記歪み補正処理部による歪み補正処理の入及び切と、前記ブレ補正処理部によるブレ補正処理の入及び切を制御することが考えられる。
画像データの再生、つまり動画再生を行っているときに、歪み補正とブレ補正をそれぞれ実行させたり補正処理を停止させたりする。
上記した本技術に係る情報処理装置においては、前記制御部は、画像データの再生表示の際に、歪み補正操作子を操作可能とし、前記歪み補正操作子の操作情報に応じて歪み補正処理の入及び切を制御することが考えられる。
画像データの再生表示の際に、例えば画面上に歪み補正操作子を表示させてユーザが操作可能とする。
上記した本技術に係る情報処理装置においては、前記制御部は、画像データの再生表示の際に、ブレ補正操作子を操作可能とし、前記ブレ補正操作子の操作情報に応じてブレ補正処理の入及び切を制御することが考えられる。
画像データの再生表示の際に、例えば画面上にブレ補正操作子を表示させてユーザが操作可能とする。
上記した本技術に係る情報処理装置においては、前記制御部は、画像データの再生表示の際に、歪み補正操作子とブレ補正操作子を、それぞれ独立して操作可能とし、前記歪み補正操作子の操作情報に応じて歪み補正処理の入及び切を制御し、前記ブレ補正操作子の操作情報に応じてブレ補正処理の入及び切を制御することが考えられる。
画像データの再生表示の際に、例えば画面上に歪み補正操作子とブレ補正操作子の両方を表示させてユーザがそれぞれを任意に操作可能とする。
上記した本技術に係る情報処理装置においては、画像データに対応する撮像装置の姿勢データを用いて、画像データの再生表示中に視野変更が行われる際に、表示画像中で重力方向を一定に保つようにする重力方向補正処理を行う重力方向補正処理部を備え、前記制御部は、前記重力方向補正処理部による重力方向補正処理の入及び切を制御することが考えられる。
画像データの再生表示の際に、ユーザ操作に応じて視野変更を行うことができるようにする。この場合に、ユーザ操作のままに視野変動を行っていると、表示画像中の重力方向が表示画像の下方に一致しなくなることが生じる。そこで表示画像中で重力方向が一定に保たれるようにする。
上記した本技術に係る情報処理装置においては、前記制御部は、画像データの再生表示の際に、重力方向補正操作子を操作可能とし、前記重力方向補正操作子の操作情報に応じて重力方向補正処理の入及び切を制御することが考えられる。
画像データの再生表示の際に、例えば画面上にブレ補正操作子を表示させてユーザが操作可能とする。
上記した本技術に係る情報処理装置においては、前記制御部は、画像データの再生表示の際に、歪み補正操作子とブレ補正操作子と重力方向補正操作子を、それぞれ独立して操作可能とし、前記歪み補正操作子の操作情報に応じて歪み補正処理の入及び切を制御し、前記ブレ補正操作子の操作情報に応じてブレ補正処理の入及び切を制御し、前記重力方向補正操作子の操作情報に応じて重力方向補正処理の入及び切を制御することが考えられる。
画像データの再生表示の際に、例えば画面上に歪み補正操作子とブレ補正操作子と重力方向補正操作子のそれぞれを表示させてユーザがそれぞれを任意に操作可能とする。
上記した本技術に係る情報処理装置においては、前記制御部は、前記歪み補正処理の処理対象の画像データについて重力方向補正処理を行うことが考えられる。
即ち歪み補正処理が行われる画像データを対象として重力方向補正を機能させる。
上記した本技術に係る情報処理装置においては、前記制御部は、非中心射影方式の像を撮像した動画である元の画像データについて、前記歪み補正処理部による歪み補正処理と、前記ブレ補正処理部によるブレ補正処理の一方又は両方を施した画像データを生成して記録媒体に記録させる制御を行うことが考えられる。
即ち非中心射影方式の像の動画である元の画像データについて、歪み補正処理とブレ補正処理の一方又は両方を実行させた動画としての新たな画像データを生成し、これを記録する。
上記した本技術に係る情報処理装置においては、前記制御部は、前記元の画像データの再生時の歪み補正処理とブレ補正処理の実行有無の情報に応じて、記録時の歪み補正処理とブレ補正処理の入及び切を設定することが考えられる。
元の画像データの再生時に、各補正はユーザの指示によりオン／オフされる。その再生時のユーザ設定（各補正の実行有無）に従って記録時の補正の有無を設定する。
前記制御部は、前記元の画像データについての、歪み補正処理を実行した区間及びブレ補正処理を実行した区間を示す情報に基づいて、記録時の歪み補正処理とブレ補正処理の入及び切を制御することが考えられる。
例えば元の画像データの再生時に歪み補正やブレ補正を行った区間を示すようにマーキング情報を付加する。記録の際には、このマーキング情報を用いて補正のオン／オフ制御を行う。
本技術に係る情報処理方法は、非中心射影方式の像を撮像した動画である画像データを中心射影方式の画像に変換する歪み補正処理を行う手順と、前記歪み補正処理の処理対象の画像データについて、撮像装置の姿勢データを用いて画像データに表れる像ブレを低減するブレ補正処理を行う手順とを情報処理装置が実行する情報処理方法である。
これにより再生や編集の際に、歪み補正した画像に対してブレ補正を施した状態を確認できるようにする。
本技術に係るプログラムは、上記方法の手順を情報処理装置に実行させるプログラムである。
本技術によれば、非中心射影方式の像を撮像した動画である画像データの再生や編集の際に、歪み補正及びブレ補正を施した状態を容易に確認できる環境をユーザに提供することができる。特にブレ補正は歪み補正された画像データに対して行うことで、見やすい状態でブレ補正後の動画を提供できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態の撮像装置の斜視図である。 撮像装置の側面図である。 蓋部を取り外した状態を示す斜視図である。 光学系の画角を説明するための図である。 胸部に載置した状態の撮像装置を示す図である。 撮像装置の斜視図である。 オス型コネクタ及びメス型コネクタの斜視図である。 オス型コネクタがメス型コネクタに対して回動しながら挿入される状態を示す概略図である。 ファンクションボタンを押下したときにコネクタに加わる力を説明するための図である。 首から吊下された状態の撮像装置を示す図である。 撮像装置の重心位置を示す図である。 レンズカバーが設けられた撮像装置を示す概略図である。 筐体が横長の形状とされた例を示す斜視図である。 筐体の上部にのみマイクロフォンが設けられた例を示す斜視図である。 ストラップのコネクタ部分に振動部が設けられた例を示す説明図である。 撮像装置の別の形態を示す説明図である。 ストラップのコネクタ部分の別例を示す図である。 動作状態の状態遷移図である。 撮像装置の機能ブロック図である。 撮像装置と外部装置の通信についての説明図である。 情報処理装置のハードウェア構成についての説明図である。 姿勢データと画像補正用の処理についての説明図である。 姿勢データと画像補正用の処理についての説明図である。 照度に対する露光調整及びゲイン調整を説明するためのグラフである。 自動露光制御のフローチャートである。 マイクロフォンに関するブロック図である。 マイクロフォンに関する別のブロック図である。 撮像装置の別の形態の機能ブロック図である。 カメラユニット及び検出ユニットの制御の一例を示すフローチャートである。 姿勢データの検出及び記憶に関するタイミングチャートである。 画像データと姿勢データの対応付けを説明するためのフローチャートである。 撮像装置の更に別の形態の機能ブロック図である。 カメラユニット及び検出ユニットの制御の一例を示すフローチャートである。 姿勢データの検出及び記憶に関するタイミングチャートである。 範囲外領域に発光部からの光を照射した状態を示す図である。 実施の形態の情報処理装置のアプリケーション画面の説明図である。 実施の形態の情報処理装置のアプリケーション画面の説明図である。 実施の形態の画像データのブレ補正の説明図である。 実施の形態の画像の重力方向補正の説明図である。 実施の形態の画像データ再生時の表示例の説明図である。 実施の形態の画像データ再生時の表示例の説明図である。 実施の形態の情報処理装置の機能構成のブロック図である。 実施の形態の画像補正処理部の機能構成のブロック図である。 実施の形態の魚眼画像と仮想球面の対応付けの説明図である。 実施の形態の出力画像と仮想球面の対応付けの説明図である。 実施の形態の出力座標平面の回転と透視射影の説明図である。 実施の形態の入力画像と出力画像の説明図である。 実施の形態の重力方向補正の説明図である。 実施の形態の再生処理のフローチャートである。 実施の形態の再生処理のフローチャートである。 実施の形態の記録処理のフローチャートである。 実施の形態の記録処理の他の例のフローチャートである。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図５５に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
以下、実施の形態について添付図面を参照しながら次の順序で説明する。
＜１．撮像装置の構成＞
＜２．動作状態の遷移＞
＜３．撮像装置の内部構成例Ｉ＞
＜４．情報処理装置の構成＞
＜５．姿勢データ＞
＜６．露光調整＞
＜７．マイクロフォン＞
＜８．撮像装置の内部構成例II＞
＜９．撮像装置の内部構成例III＞
＜１０．情報処理装置における再生／編集画面＞
＜１１．再生時の画像補正処理＞
＜１２．情報処理装置の機能構成＞
＜１３．情報処理装置による処理例＞
＜１４．情報処理装置のまとめ＞
＜１５．応用例＞
＜１６．本技術＞
＜１．撮像装置の構成＞

なお、以下の説明においては、撮像装置の撮像者側を後方と記載し、被写体側を前方と記載する。そして、カメラの撮像者から見た左右方向を記載する。また、重力方向を上下方向として記載する。更に、重力方向に直交する方向を水平方向と記載する。
図１及び図２に示すように、撮像装置１は、内部に各種部材が収納される箱状の筐体２と、筐体２に取り付けられる各種レンズを含む光学系３と、筐体２に取り付けられるストラップ４とを備えている。
筐体２は、前面部５と後面部６（背面部）と左右の側面部７，７と上面部８と下面部９とを備えた略矩形の箱状とされている。筐体２は、左右方向の幅よりも上下方向の幅の方が大きくされている。なお、上面部８や下面部９については、筐体２を撮像者（使用者）の頸部から吊下した状態において定義したものである。即ち、図１や図２に示す状態（即ち吊り下げた状態）において上部にくる面部であることから上面部８と記載する。下面部９も同様である。
前面部５は、水平よりもやや上方に向く平面部とされた上方部５ａと、上方部５ａの下端部から下方に連続し水平よりも略３０°下方に向く平面部とされ光学系３が取り付けられている下方部５ｂとを備えている。
後面部６の一部は、スライド式の蓋部６ａとされている（図３参照）。
筐体２における撮像者から見た右の側面部７には、動画撮像の操作を行うための動画ボタン１０とタイムラプス動画撮像の操作を行うためのタイムラプスボタン１１が設けられている。タイムラプスボタン１１は動画ボタン１０の下方に設けられている。
筐体２の上面部８には各種の機能を実行するためのファンクションボタン１２が設けられている。各ボタンを押下した場合の撮像装置１の動作及び機能については後述する。
筐体２においては、左右の側面部７，７に設けられる操作子は動画ボタン１０とタイムラプスボタン１１のみであり、その両方の操作子が右の側面部７に設けられている。即ち、左の側面部７には操作子が設けられていない。
右の側面部７に設けられた動画ボタン１０やタイムラプスボタン１１を操作する際には、ユーザは左の側面部７に指をあてがった状態で右のボタンを押すということが通常考えられる。すると、もし左側にもボタンがあると誤ってその左側のボタンを押してしまう可能性がある。
これに対して本実施の形態の撮像装置１では、左の側面部７に操作子が設けられていないことにより、上記のような誤操作の発生を防止できる。特に、何らかの作業中の様子を撮像する場合などにおいては、誤操作の防止により手元を見ずに各操作子を押下することが容易となるため、作業効率を妨げてしまうことがなく、良好な撮像状態を保つことが容易となる。
筐体２の上面部８には、ストラップ４を取り付けるための取付部１３，１３が左右に離隔して設けられている。取付部１３は、例えば上面部８に向かって開放されたコ字状とされている。
筐体２の上下方向における中央部には、右の側面部７と前面部５の上方部５ａと左の側面部７に亘って報知部１４が設けられている。報知部１４は、撮像装置の状態等を撮像者及び周囲の者に報知するために発光する機能を有し、例えば、ＬＥＤ（Light Emitting Diode）などの光源と光源の駆動回路と光源から出射される光を拡散するためのカバーレンズとを備えている。
筐体２の左の側面部７の上端から下端及び下面部９の左端から右端及び右の側面部７の下端から中央部に亘って、コネクタケーブル１５を収納するための収納凹部１６が設けられている。
コネクタケーブル１５は、例えば、左の側面部７の上端において筐体２の内部から外部へと引き出されており、図１に示す状態においては左の側面部７及び下面部９及び右の側面部７に亘って収納凹部１６に収納されている。コネクタケーブル１５は、撮像装置１で撮像した画像データ等を外部端末等に送信するために用いられる。
コネクタケーブルは例えばＵＳＢ（Universal Serial Bus）ケーブルなどとされる。
筐体２の内部には、光学系３により形成された像を撮像する撮像基板１７と、撮像装置１に関する各種処理を行うための制御基板１８と、各部に駆動電圧を供給するためのバッテリ１９とが配置されている（図２参照）。
撮像基板１７は、撮像素子及び周辺の回路等を含んで構成されている。
バッテリ１９は、蓋部６ａをスライドさせることにより取り外しが可能とされている。
筐体２の内部には、他にも、カード型の記憶媒体を挿入するためのカードスロット（不図示）や撮像装置１を振動させるための振動部２０や音声入力（録音）するためのマイクロフォン（後述）などが適宜配置されている。また、筐体２に無線通信ボタン３７も配置されている。無線通信ボタン３７は、例えば、蓋部６ａをスライドさせることにより露出状態とされ、押下可能とされる（図３参照）。
光学系３は、最も被写体側に配置された魚眼レンズ２１と図示しない他のレンズ群を備えている。なお、魚眼レンズ２１は、射影方式として一般的な中心射影方式以外の方式で像を形成する光学系の一例である。中心射影方式以外の方式とは、例えば、等距離射影方式や等立体角射影方式や正射影方式や立体射影方式などである。
図４Ａは撮像装置１の側面図であり、図４Ｂは撮像装置１を略上方から示した図である。各図に一点鎖線で示したのは、光学系３が有する魚眼レンズ２１の画角である。図示するように、魚眼レンズ２１の画角は１８０°以上であり、例えば２２０°とされている。
本実施の形態の撮像装置１は、図４Ｂに示すように、筐体２の左右方向の幅が上下方向の幅よりも小さくされている。これにより、光学系３を前方に突出させるように設けるだけで左右方向の画角に筐体２が映り込んでしまうことが防止される。
これにより、画角の広い魚眼レンズ２１などを有する光学系３の性能を十分に引き出して撮像を行うことが可能となる。
また、図４Ａに示すように、後面部６を重力方向（鉛直方向）に沿わせた状態において、魚眼レンズ２１の光軸Ｊは、被写体に対して水平方向よりも下方を向く直線とされている。具体的には、前面部５のうち水平よりも略３０°下方に向く下方部５ｂに光学系３が取り付けられており、且つ、下方部５ｂの面の向きと光学系の光軸Ｊが平行となるように光学系３が取り付けられているため、魚眼レンズ２１の画角に筐体２の上部が映り込んでしまうことが防止される。
これにより、魚眼レンズ２１が有する広い画角を生かして広範囲の撮像を行うことが可能となる。
なお、図４Ａ等に示した後面部６は、平面とされているが、非平面であってもよい。例えば、一部に湾曲面を含んだ後面部６や、波状の形状とされた後面部６であってもよい。そのような後面部６であっても、重力方向に後面部６を沿わせた状態においては、魚眼レンズ２１の光軸Ｊは、被写体に対して水平方向よりも下方を向く直線とされる。
図５Ａは、水平方向に対する一般的な人間の胸部の向きを示す図である。直立状態の人間の胸部と垂直面が成す角度をθ１とすると、筐体２の後面部６と前面部５の下方部５ｂの成す角度がθ１とされることが望ましい。これにより、後面部６を直立した撮像者の胸部に載置した状態において光学系３の光軸Ｊが略前方を向くようにされる。従って、撮像者の視界と略同じ景色を撮像することができ、撮像者の体験を撮像画像を通して共有するような臨場感のある撮像画像を撮ることができる。
具体例を挙げる。
女性の胸部厚Ｗ１の平均が２２０．７、頚側点高と乳頭高の差分Ｔ１の平均が１９５．７とすると、θ１＝ａｒｃｔａｎ（（Ｗ１／２）／Ｔ１）となり、θ１が２９．４°となる。このような具体例においては、本実施の形態のように前面部５のうち水平よりも略３０°下方に向く下方部５ｂに光学系３が取り付けられることにより、実際に首から吊り下げて使用する場合に撮像装置１が良好な体勢とされる。
また、この例において個人間のばらつき（３σ）を考慮し、Ｗ１のばらつきを１５６．５０７０２～２８４．８９３、Ｔ１のばらつきを１８７．２７４９～２０４．１２５１とする。この場合、θ１のばらつきは２２．７°～３４．９°となる。なお、σは標準偏差を表す。
また、撮像装置１の前方１８０°（図５Ｂに斜線で示す範囲Ｒ）を撮像範囲としたい場合を考える。
魚眼レンズの画角をφとすると、魚眼レンズの画角のマージンＭは以下の式で表すことができる。
Ｍ＝（φ－π）／２
例えば、φ＝２２０°である場合には、Ｍが２０°となる。即ち、胸部に載置した状態の撮像装置１の光学系の光軸Ｊが垂直方向とされている状態では、魚眼レンズにおける上方側のマージン及び下方側のマージンが共に２０°ずつとなる。
このような状態において、斜線で示す範囲Ｒを撮像範囲としてカバーするためには、後面部６と直交する線Ｈと光学系３の光軸Ｊが成す角度α（即ち光軸Ｊの傾き）は、（θ１－（φ－π）／２）以上、且つ、（θ１＋（φ－π）／２）以下とすることが必要となる。
仮に胸部と垂直面が成す角度θ１が３０°、画角φが２２０°とすると、角度αは１０°～５０°となる。この条件を満たすことにより、平均的な胸部の傾きを有した撮像者が自身の前方１８０°の範囲を無理なく撮像することが可能となる。
即ち、筐体２を単に吊り下げた状態においては光学系３の光軸Ｊが略３０°下方を向き、筐体２を撮像者胸部に載置した状態においては光軸Ｊが略前方（略水平）を向くように撮像装置１が構成されている。
なお、胸部に筐体２を載置した状態で使用する場合に、筐体２の内部に振動部２０が設けられていることにより、振動部２０の振動を撮像者の胸部に伝達することができる。即ち、各種の報知機能を有効に働かせることができる。
なお、一般的に撮像装置１では筐体２に設けられた振動部２０を撮像中に振動させると、撮像画像にブレが生じる虞がある。そのため、通常は筐体２を振動させるような処理を行わないことが考えられる。しかし、本実施の形態の撮像装置１は、撮像画像の再生時に後述するようなブレ補正用の処理を行うことが可能に構成されているため、筐体２を撮像中に振動させることが可能である。
ストラップ４は２本の紐状部２２，２２を有している。一方の紐状部２２には、一端部にオス型コネクタ２３が取り付けられ、他端部に環状の被取付部２４が設けられている。
もう一方の紐状部２２には、一端部にメス型コネクタ２５が取り付けられ、他端部に被取付部２４が設けられている。
オス型コネクタ２３がメス型コネクタ２５に挿着されることにより、２本の紐状部２２，２２が結合される。そして、それぞれの紐状部２２の被取付部２４が筐体２の取付部１３，１３にそれぞれ取り付けられることにより、ストラップ４と筐体２の上面部８が環状部２６を形成する（図６参照）。
環状部２６は、例えば、人間の首よりも大きな環状とされ、且つ、人間の頭囲よりも小さな環状とされている。これにより、撮像者が頭を下げた際にストラップ４が頭から抜けてしまうことを防止することができるため、撮像装置１の破損等を防止することができる。そして、撮像者が様々な体勢を取った状態で撮像装置１を挿着することができるため、様々な状況で撮像を行うことができる。
オス型コネクタ２３及びメス型コネクタ２５は、磁力によって挿着される。具体的に図７を参照して説明する。
オス型コネクタ２３は、円柱形状のベース部２７と、ベース部２７から軸方向に突出されたオーバル状突出部２８を備えている。ベース部２７の軸方向の一端は、紐状部２２が取り付けられる取付面２７ａ（図８参照）とされている。オーバル状突出部２８は、軸方向に直交する断面形状がオーバル形状とされ、中央部に磁石装着孔２９が形成されている。磁石装着孔２９にはマグネット３０が挿入されている。
メス型コネクタ２５は、円筒形の筒状部３１と、筒状部３１の内部に設けられた仕切板３２を備えている。筒状部３１の一端は、紐状部２２が取り付けられる取付端３１ａとされ、他端は開口端３１ｂとされている。仕切板３２は、オス型コネクタ２３のオーバル状突出部２８の断面形状と略同じ形状（オーバル形状）とされたオーバル面部３２ａを備えている。また、仕切板３２は、オーバル面部３２ａの外側の部分は傾斜面部３２ｂとされている。傾斜面部３２ｂは、外周側に近づくにつれて開口端３１ｂに近づく傾斜面を備えており、該傾斜面はガイド部３３として機能する。
仕切板３２と取付端３１ａの間にはマグネット３４が取り付けられている。マグネット３０及びマグネット３４は、オス型コネクタ２３がメス型コネクタ２５に挿着された状態において引き合うような向きで取り付けられている。
ガイド部３３の機能について、図８を参照して説明する。なお、図８に示すオス型コネクタ２３及びメス型コネクタ２５は、外形を概略的に示した図である。
図８Ａは、オス型コネクタ２３をメス型コネクタ２５に挿着する前の状態を示している。この状態から、オーバル状突出部２８がガイド部３３としての傾斜面部３２ｂに接触するまでオス型コネクタ２３をメス型コネクタ２５に挿入した状態が図８Ｂに示す状態である。
更にオス型コネクタ２３をメス型コネクタ２５に挿入するためには、オス型コネクタ２３を何れか一方に回動させる必要がある。オス型コネクタ２３のオーバル状突出部２８の断面形状は真円ではなくオーバル形状とされているため、回動させることによりオーバル状突出部２８がガイド部３３，３３の間を奥に移動することが可能である。
図８Ｃは図８Ｂに示す状態からオス型コネクタ２３を略４５°回動させた状態を示している。図８Ｄは図８Ｂに示す状態からオス型コネクタ２３を略９０°回動させた状態を示している。
最終的には、図８Ｄに示すように、オーバル状突出部２８の先端面とオーバル面部３２ａが密着することにより、オス型コネクタ２３とメス型コネクタ２５の挿着が完了する。この状態においては、オス型コネクタ２３のマグネット３０とメス型コネクタ２５のマグネット３４が引き合う力により、オス型コネクタ２３のメス型コネクタ２５に対する良好な結合状態が確保される。
また、マグネットによりオス型コネクタ２３とメス型コネクタ２５が結合することにより、両コネクタを結合／分離させるための複雑な構造が不要とされるため、コスト削減や製造工程の簡易化が図られる。また、簡易な構造で実現可能なため、両コネクタの破損などが起きにくく、部品の長寿命化を図ることができる。
オス型コネクタ２３のオーバル状突出部２８が真円ではなく、更にメス型コネクタ２５のオーバル面部３２ａの外側の部分が傾斜面部３２ｂとされていることにより、オス型コネクタ２３がメス型コネクタ２５に挿着された状態においてはオス型コネクタ２３がメス型コネクタ２５に対して回動しない。
従って、紐状部２２の捻れが起きず、適正な状態が保たれる。またこれにより撮像装置１の着用状態において紐状部２２が形成する環状部２６が小さくなってしまうことが防止され、着用者に首回りの不快感を与えてしまうことを防止できる。
また上記のように環状部２６は、人間の頭囲よりも小さな環状とされているため、撮像装置１を装着する際には、使用者は、環状部２６が解かれた状態でオス型コネクタ２３とメス型コネクタ２５を持ち、首の後ろで繋げることになる。この際に上記図８Ａ～図８Ｄの手順で環状部２６を容易に形成できるため、装着が極めてスムーズに可能となる。
ストラップ４を首に掛けた状態で筐体２の上面部８に設けられたファンクションボタン１２を押下した場合について、図９を参照して説明する。
図９Ａ及び図９Ｂは、オス型コネクタ２３とメス型コネクタ２５を簡易的に示した模式図である。
オス型コネクタ２３がメス型コネクタ２５に挿着された状態においては、オーバル状突出部２８と筒状部３１の内面（或いはガイド部３３）との間に間隙ｄ１が形成されている。
図９Ａに示す状態でファンクションボタン１２を押下すると、ストラップ４を介してオス型コネクタ２３に下方への力Ｆが加えられる。この力Ｆにより、オス型コネクタ２３はメス型コネクタ２５に対して角度θ２だけ傾く（図９Ｂ参照）。なお、θ２は間隙ｄ１及びメス型コネクタ２５の筒状部３１の深さＬによって決定される。
力Ｆによってオス型コネクタ２３のマグネット３０がメス型コネクタ２５のマグネット３４から引き離される方向にどの程度の力が掛かるかを示したものが図９Ｃである。
マグネット３０がマグネット３４から引き離される方向に加わる力Ｆ１は、Ｆ×ｓｉｎ（θ２）となる。
マグネット３０とマグネット３４の間に働く引力をＦ３とすると、Ｆ１＞Ｆ３の条件を満たすとオス型コネクタ２３がメス型コネクタ２５から引き離されて、ストラップ４の環状状態が解除される。
例えばｓｉｎ（θ２）が０．１程度となるように間隙ｄ１及び深さＬを形成すると、両マグネットが引き離されるのはＦ×ｓｉｎ（θ２）＞Ｆ３の条件を満たした場合である。即ち、ＦがＦ３の１０倍以上の力とされたときである。従って、両マグネット間に働く引力Ｆ３の１０倍未満の力でファンクションボタン１２が押下された場合には、ストラップ４の環状状態が保たれ、撮像装置１を首から落下させずに済む。
このように、適切に間隙ｄ１及び深さＬを設定することにより、首から吊り下げた状態の撮像装置１を保持することなくファンクションボタン１２を押下しても、ストラップ４のオス型コネクタ２３とメス型コネクタ２５が乖離して撮像装置１が落下することがない。即ち、ファンクションボタン１２を押下する操作が容易となり、撮像のための各種操作の操作性を確保することができる。
また、筐体２を手で保持することなくファンクションボタン１２が押下できることにより、光学系３が備える各種レンズに触れることなくファンクションボタン１２が押下できるため、レンズの傷付きや汚れの付着を防止することができる。また、画像データに手などが映り込んでしまうことを防止することができる。
更に、適切に間隙Ｄ１及び深さＬが設定されることにより、筐体２やその内部に配置された各部の重みによりストラップ４のオス型コネクタ２３やメス型コネクタ２５に負荷が加えられたとしても、コネクタが外れにくく、撮像装置１の脱落が防止される。同様に、撮像者の動作によってコネクタ部分に負荷が加えられた場合でも、撮像装置１の脱落がし難くされる。
ところで、撮像装置１の筐体２が単に吊り下げられた状態において光学系３の光軸Ｊが略前方を向くように構成されていてもよい。例えば、撮像装置１は、撮像者の胸部に後面部６が載置された状態で使用されるだけでなく、他の状態においても使用される。具体的には、図１０に示すように撮像者が屈んだ状態において使用される場合も考えられる。
図１０に示す状態は、首から下げたストラップ４によって撮像装置１が吊下された状態となる。本実施の形態の撮像装置１は、撮像装置１がストラップ４によって吊下された状態においても、光学系３の光軸Ｊが略前方を向くように構成されていてもよい。
具体的に図１１を参照して説明する。
撮像装置１のおおよその重心位置は、撮像装置１が備える各部材のうち重量の大きなものによって決定される。例えば、撮像装置１が備えるバッテリ１９及び光学系３が重量の大きな部材であった場合、それらの配置場所によって重心位置のおおよその位置が決定される。
また、首から吊下された状態の撮像装置１の姿勢（筐体２の姿勢）は、ストラップ４が取り付けられる位置（取付部１３）と重心位置が垂直方向に並ぶようにされる。図１１は、撮像装置１の重心位置Ｇとストラップ４の取付部１３の位置関係を一点鎖線で示している。図示するように、重心位置Ｇは取付部１３（或いは被取付部２４）に対して垂直方向に位置している。
撮像装置１は、重心位置Ｇと取付部１３が垂直方向に並ぶようにされた状態において光学系３の光軸Ｊが水平方向となるように各部が配置されている。
換言すれば、撮像装置１の姿勢を光学系３の光軸Ｊが水平方向となるようにしたときに、ストラップ４の取り付け位置（被取付部２４と取付部１３の接触位置）よりも前方側に重量の大きな部材（光学系３）が配置されており、且つ、該取り付け位置よりも後方側にも重量の大きな部材（バッテリ）が配置されている。
これにより、ストラップ４によって撮像装置１が吊下された状態において、光学系３の光軸Ｊが略前方を向くようにされる。即ち、撮像者が屈むような姿勢を取ったときであっても、手で撮像装置１を支えることなく撮像者の水平方向正面を撮像することが可能となる。
また、撮像者が屈むような姿勢と直立姿勢を交互に取ったとしても撮像装置１の光学系３の上下方向の向きの変化が少なくされるため、ブレの少ない撮像画像を撮像することができる。
撮像装置１は、音声入力のためのマイクロフォン３５を備えている。
マイクロフォン３５は、例えば、前面部５の上方部５ａの上端に沿って左右に離隔して二つ設けられ、前面部５の下方部５ｂの下端に沿って左右に離隔して二つ設けられている（図１、図１２参照）。
撮像装置１は、他にも姿勢データ生成部としての３軸ジャイロセンサ（後述）及び３軸加速度センサ（後述）を筐体２の内部に備えている。姿勢データは、撮像装置１の姿勢を示すデータであり、後述する各種補正に用いられる。
３軸ジャイロセンサ及び３軸加速度センサは、撮像装置１が備える剛体に取り付けられていれば何れの場所であってもよい。
また、撮像装置１が備える光学系３の前端部、即ち筐体２から露出した魚眼レンズ２１の一部を覆うためのレンズカバー３６が設けられている。
レンズカバー３６は、例えば、スライド式とされ、必要に応じて撮像可能なように魚眼レンズ２１を露出させる「開放位置」（図１２Ａ参照）と魚眼レンズ２１の全部又は一部を覆う「保護位置」（図１２Ｃ参照）の間を移動可能に構成されている。なお、図１２Ｂは、レンズカバー３６を開放位置から保護位置へと移動させている途中の状態を示している。
光学系３にレンズカバー３６が取り付けられることにより、非撮像時にレンズを不用意に触ってしまいレンズが傷付いてしまうことが防止される。
また、非撮像時に光学系３がレンズカバー３６によって覆われることにより、非撮像状態であることを周囲に通知することができる。
なお、撮像装置１が撮像状態であるときにレンズカバー３６を開放位置から保護位置へと移動させた場合には、撮像を中止或いは一時停止するように構成されていてもよい。また、撮像の中止や一時停止を行うだけでなく、撮像基板１８などへの電圧供給を停止してもよい。
これにより、撮像装置１の消費電力を抑制することができ、撮像時間の長時間化を図ることができる。また、消費電力の抑制により撮像装置１に搭載するバッテリ１９を小型のものとすることも可能である。
更に、電圧供給の停止を行うことにより、各部の長寿命化を図ることが可能である。
なお、撮像装置１の形状は各種考えられる。上記では、縦長の形状の例を説明したが、図１３に示したように横長の形状とされていてもよい。即ち形状が横方向に長くされた筐体２に図１と同様の各部の構成を備える。
このような形状とすると、撮像者の胸部に撮像装置１を載置した状態において筐体２が左右方向に揺さぶられた際に、胸部における後面部６の良好な載置状態が確保され、撮像者の左右方向の揺れ以上に筐体２が揺さぶられることが防止される。
なお、筐体２の横幅を大きくするほど横揺れに対して良好な載置状態を維持しやすくなるが、魚眼レンズ２１の画角に筐体２の左右両端が映り込まないことが好ましい。
筐体２の左右両端が魚眼レンズ２１の画角に入り込まない程度に筐体２を横長の形状とすることで、魚眼レンズ２１の画角を最大限利用しつつ横揺れに強い撮像装置１を提供することができる。
また、マイクロフォン３５の数は各種考えられる。マイクロフォン３５は複数設けてステレオ集音してもよいし、一つのマイクロフォン３５でモノラル集音してもよい。
１又は複数のマイクロフォン３５の配置に関しても各種考えられる。例えば、図６に示すように筐体２の上部及び下部にそれぞれ設ける他に、図１４に示すように、筐体２上部にのみ設けるようにしてもよい。
また、図示しないが、筐体２の下部にのみ設けてもよい。
さらには、マイクロフォン３５は、ストラップ４の紐状部２２やオス型コネクタ２３内やメス型コネクタ２５内に設けてもよい。
また、マイクロフォン３５として骨伝導方式を採用したマイクロフォン３５を用いてもよい。
更に、振動部２０の配置や個数についても各種の例が考えられる。
上述した例では、筐体２に振動部２０が設けられた例を示したが、ストラップ４に振動部２０が設けられていてもよい。例えば、ストラップ４の紐状部２２やオス型コネクタ２３やメス型コネクタ２５に振動部２０が設けられていてもよい。
図１５は、オス型コネクタ２３やメス型コネクタ２５に振動部２０が設けられた例をいくつか示したものである。
図１５Ａに示す例はオス型コネクタ２３にのみ振動部２０が設けられたものであり、図１５Ｂに示す例はメス型コネクタ２５にのみ振動部２０が設けられたものである。
振動部２０を一方のコネクタに設けることにより、部品点数の削減及びコスト削減を図りつつ、振動部２０を用いた撮像者への通知を効率的に行うことができる。
図１５Ｃに示す例は、オス型コネクタ２３及びメス型コネクタ２５の双方に振動部２０，２０を設けたものである。振動部２０を双方のコネクタに設けることにより、強い振動で確実な通知を撮像者に行うことが可能である。また、二つの振動部２０，２０が設けられていることにより、通知パターンを増やすことができる。例えば、オス型コネクタ２３に設けられた振動部２０のみを振動させる通知パターンや、メス型コネクタ２５に設けられた振動部２０のみを振動させる通知パターンや、双方の振動部２０，２０を交互に振動させる通知パターンなどを用いることが可能である。従って、それぞれに異なる通知情報を持たせることにより、複数の情報を振動部２０を用いて通知することが可能である。
なお、撮像装置１は、コネクタ部分が撮像者の首に接触するようにストラップ４を首に掛けて使用される。従って、各図に示すように、コネクタ部分に振動部２０を設けることにより、撮像者の首部分に振動を伝達することができるため、撮像者が通知に気がつきやすい確実な通知を行うことが可能である。
光学系と検出ユニット１３１を備えた取付ユニット５００を他のカメラ機器５０１に取り付ける例を説明する。なお、取付ユニット５００が備える光学系３はカメラ機器５０１が備える光学系を補完するための一部のレンズ等であってもよい。例えば、カメラ機器５０１がスマートフォンとされ、スマートフォンが備える光学系を補完するための魚眼レンズ２１などを取付ユニット５００が備えている。即ち、取付ユニット５００が有する光学系とカメラ機器５０１が有する光学系を組み合わせて所望の画像を得るものであってもよい。
図１６は、カメラ機器５０１としてのスマートフォンに取付ユニット５００が取り付けられた例を示している。取付ユニット５００が備える光学系は魚眼レンズを含んで構成されている。
このようなカメラ機器５０１及び取付ユニット５００を備えた撮像装置１であっても、上記した各種の効果を得ることができる。
図１７は、コネクタ部分の別例を示した図である。
オス型コネクタ２３は、メス型コネクタ２５に挿入される挿入部分とそれ以外の非挿入部分から成り、非挿入部分の端部にはフランジ形状の把持部２３ａが形成されていてもよい。
オス型コネクタ２３をメス型コネクタ２５に挿着する場合に、指が把持部２３ａに掛かることにより指が把持部２３ａよりもメス型コネクタ２５側へ滑らないようにされる。
これにより、オス型コネクタ２３とメス型コネクタ２５の間に指が挟まれてしまうことが防止される。
また、オス型コネクタ２３をメス型コネクタ２５から抜去する場合に、指を把持部２３ａに掛けるようにすることにより、抜去に必要な力が小さくされる。即ち、抜去しやすい。
＜２．動作状態の遷移＞

図１８に撮像装置１の動作状態の遷移の例を示す。
状態ＳＴ１は撮像装置１が「電源オフ状態」又は「スタンバイ状態」にあることを示している。
この場合、スタンバイ状態とは、外部機器と例えばＷｉ－Ｆｉ（登録商標：Wireless Fidelity）等の通信方式により無線通信が可能となっている状態を指している。例えば携帯端末等の外部機器との無線通信が確立されている状態では、撮像者は、外部機器の操作によって、上述の動画ボタン１０、タイムラプスボタン１１、ファンクションボタン１２に相当する操作を行うことができる。
電源オフ状態とスタンバイ状態の切り替えは、例えば前述した無線通信ボタン３７を押下することにより行われる。無線通信ボタン３７は、例えば、誤操作を防止するために筐体２の外周面には設けられておらず、バッテリ１９の収納部を遮蔽する蓋部６ａを開けることで操作可能となる筐体２の内部に設けられている。
状態ＳＴ１において、動画ボタン１０が押下されると、状態ＳＴ２とされた「動画撮像中状態」へと移行する。動画撮像中状態は、光学系３により形成された像を所定のフレームレートで撮像して動画データを生成／記憶している状態である。この状態では、例えば、報知部１４が赤色に点灯することにより、周囲への撮像状態の報知が行われる。
状態ＳＴ１において、タイムラプスボタン１１が押下されると、状態ＳＴ３とされた「タイムラプス動画記憶中状態」へと移行する。タイムラプス動画記憶中状態は、撮像される連続するフレームから間欠的に有効フレームを抽出して動画データ（早送り的な動画）を生成し記憶する状態とされている。この状態では、例えば、報知部１４が青色に点灯することにより、周囲への撮像状態の報知が行われる。
なお、タイムラプス動画としての動画データは、タイムラプス動画記憶中の状態と電源オフの状態を交互に遷移させることにより生成してもよい。具体的には、例えば、タイムラプス動画を構成する１枚１枚の静止画を３秒間隔で撮像する場合、１枚の静止画を撮像した後、次の撮像タイミングが来るまで撮像装置１を電源オフ状態へと遷移させていてもよい。或いは、撮像素子をスリープモードへ移行させる処理や信号処理部（ＤＳＰ：Digital Signal Processorなど）を低電力消費モードへ移行させる処理を行ってもよい。
これにより、タイムラプス動画データを生成する際に撮像装置１が消費する電力を低減させることができるため、撮像時間の長時間化を図ることができる。
また、撮像装置１が生成する動画データは通常の動画データと同じものとし、動画データの編集を行う時点で該編集を行う他の情報処理装置上で動画データから構成要素としての静止画データを間引いてタイムラプス動画を生成してもよい。
これにより、状態ＳＴ２で動画データを生成／記憶する撮像装置１の処理と及び状態ＳＴ３でタイムラプス動画データを生成／記憶する撮像装置１の処理は略同じものとなるため、処理の簡易化を図ることができる。
状態ＳＴ２の動画撮像中状態において、ファンクションボタン１２が押下されると、状態ＳＴ４とされた「マーカー記録状態」へと遷移する。マーカー記録状態では、後の動画編集のための編集点を記録する状態である。例えば、動画編集の際にマーカーが記録された場面から動画データを再生することや、マーカーが記録された箇所に基づいた動画データの削除等を行うことが可能である。
マーカー記録状態でマーカーが記録された後、撮像装置１は自動的に状態ＳＴ２の動画撮像中状態へと移行する。
状態ＳＴ３のタイムラプス動画記憶中状態において、ファンクションボタン１２が押下されると、状態ＳＴ６とされた「静止画撮像状態」へと移行する。静止画撮像状態では、光学系３により形成された像を撮像して静止画データとして記憶する。
静止画撮像状態で静止画が記憶された後、撮像装置１は自動的に状態ＳＴ３のタイムラプス動画記憶中状態へと遷移する。
なお、状態ＳＴ３においてファンクションボタン１２が押下された場合に、状態ＳＴ６への遷移ではなく状態ＳＴ４へ遷移するように構成されていてもよい。即ち、直前或いは直後に行われるタイムラプス動画のフレームにマーカーを記録する処理を行ってもよい。
また、これらの遷移をファンクションボタン１２を押下する操作態様に基づいて切り換えてもよい。例えば、ファンクションボタン１２を短く押下した場合に状態ＳＴ３から状態ＳＴ６へと遷移し、長く押下した場合に状態ＳＴ３から状態ＳＴ４へと遷移してもよい。
他にも、ファンクションボタン１２を一定時間内に押下した回数によって遷移先の状態を切り換えてもよい。
状態ＳＴ１においてファンクションボタン１２が押下されると、状態ＳＴ５とされた「静止画撮像状態」へと移行する。静止画撮像状態では、光学系３により形成された像を撮像して静止画データとして記憶する。
静止画撮像状態で静止画が記憶された後、撮像装置１は自動的に状態ＳＴ１へと遷移する。
なお、状態ＳＴ５及び状態ＳＴ６とした静止画撮像状態では、静止画データの記憶のタイミングで筐体２に設けられた音声出力部から電子的なシャッター音等を出力してもよい。これにより、周囲に静止画を撮像したことを周知させる。
また、音出力の代わりに報知部１４を点滅させるなどして報知してもよい。勿論、音出力と報知部１４の点灯を同時に行ってもよい。
各状態に応じた報知を行うことにより、被写体とされた人物が無自覚のまま撮像が行われてしまうことを防止する。
報知部１４は、上記した各状態に応じた報知を行うが、それ以外の状態を報知してもよい。例えば、撮像装置１が備えるバッテリ１９の消耗が大きく残りの動作時間が短い状態においては、バッテリ容量の低下を報知するために例えば報知部１４が赤色に点滅してもよい。
これにより、撮像者がバッテリ低下を認識することができ、撮像時間を引き延ばすために操作を控えるなどの対策を講じることができる。
また、カード型の記憶媒体が挿入されていないことを報知するために報知部１４が赤色と青色を交互に点灯させるように制御してもよい。
なお、状態ＳＴ１～ＳＴ６の状態とバッテリ容量の低下を同時に報知するために、右の側面部７と前面部５の上方部５ａと左の側面部７に亘って設けられた報知部１４を部分的に分けて複数の報知機能を設けてもよい。例えば、左右の側面部７に設けられた報知部１４の一部を赤く点滅させることによりバッテリ容量の低下を報知すると共に前面部５の情報部５ａに設けられた報知部１４の一部を赤く点灯させることにより撮像装置１が状態ＳＴ１であることを報知してもよい。
これ以外にも、複数の報知機能を時系列で分けてもよい。具体的には、３秒間バッテリ容量の低下に関する報知を行った後に３秒間撮像装置１の状態が何れであるのかを報知してもよい。
また以上のように撮像装置１では、所定フレームレートでの各フレームを含む動画としての画像データ生成（状態ＳＴ２の動画撮像）と、所定フレームレートにおいて間欠的なフレームを有効フレームとする間欠動画としての画像データ生成（状態ＳＴ３のタイムラプス動画記憶）とを選択的に実行可能とされている。
即ち、撮像者は行動時において、動画と間欠動画（タイムラプス動画）の記録を選択できる。
またタイムラプス動画により、より長時間の動画におけるデータ量を削減したり、タイムラプス動画の独特の映像効果を楽しむことができるようになる。
＜３．撮像装置の内部構成例Ｉ＞

撮像装置１の内部構成例Ｉを図１９で説明する
図１９に示すように撮像装置１は、光学系３、撮像素子部１１２、光学系駆動部１１３、音声入力部１１４、音声処理部１１５、操作部１１６、記憶部１１７、通信部１１８、信号処理部１２１、制御部１２２、検出部１２５、電源部１２８、振動部２０、報知部１４を備えている。
まずレンズ光学系による像を撮像し画像データを生成する撮像部として光学系３、撮像素子部１１２、信号処理部１２１が設けられている。
光学系３は、魚眼レンズ２１やフォーカスレンズ、集光レンズ等を有して構成されている。さらにズームレンズや絞り機構を備えることも考えられる。この光学系３により、被写体からの光が撮像素子部１１２に集光される。
魚眼レンズ２１は、中心射影以外の射影（例えば、等距離射影）により光を集光して後段の撮像素子部１１２に導くものである。なお、魚眼レンズ２１の射影方式は、中心射影以外のものであれば等距離射影に限定されない。例えば、正射影や等立体角射影であってもよい。
また魚眼レンズ２１を用いて撮像される画像はいわゆる広角画像の範疇に含まれる。
撮像素子部１１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの撮像素子及び周辺回路系を有する。
この撮像素子部１１２では、撮像素子での光電変換で得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段の信号処理部１２１に出力する。
この撮像信号は、撮像素子の配列によって得られる、２次元格子状に配列された複数の画素からなるとともに、魚眼レンズ２１を介して入射された被写体像としての円形の魚眼画像を含む。
光学系駆動部１１３は、制御部１２２の制御に基づいて、光学系３におけるフォーカスレンズを駆動し、フォーカス動作を実行する。
また光学系３に絞り機構やズームレンズが設けられる場合、光学系駆動部１１３は、制御部１２２の制御に基づいて、光学系３における絞り機構を駆動し、露光調整を実行したり、ズームレンズを駆動し、ズーム動作を実行させる場合もある。
信号処理部１２１は、例えばＤＳＰ等により画像処理プロセッサとして構成される。この信号処理部１２１は、撮像素子部１１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。
例えば信号処理部１２１は、撮像画像信号に対してノイズ除去処理、色補正処理、輪郭強調処理、解像度変換処理、コーデック処理等を行う。
本実施の形態の場合、撮像装置１は通常動画又はタイムラプス動画としての動画撮像を行うものであり、従って信号処理部１２１は、撮像素子部１１２の出力から動画としての画像データを生成する画像データ生成部１００としての機能を発揮することとなる。
音声入力部１１４としては、上述した１又は複数のマイクロフォン３５が設けられる。マイクロフォン３５で集音された音声信号は音声処理部１１５で増幅、イコライジング、ＡＤ変換等の処理が施されてデジタル音声データとして信号処理部１２１に供給される。
このデジタル音声データは信号生成部１２１において必要な処理、例えばデジタルフィルタ処理、ノイズ除去、エンコード等を施されて、画像データに付随する音声データとして記録処理される。
制御部１２２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
このような制御部１２２は、信号処理部１２１における各種信号処理の指示、撮像者の操作に応じた撮像動作や記憶部１１７での記憶再生動作、フォーカス／露光調整等のカメラ動作、通信部１１８による外部機器との通信動作等について、必要各部の動作を制御する。
また、制御部１２２は、信号処理部１２１に対する指示を行うことにより、信号処理後の画像データを記憶部１１７や通信部１１８へ出力する。
さらに本実施の形態では制御部１２２は、検出部１２５からの検出情報に基づいて撮像装置１の姿勢を示す姿勢データを生成する処理を行う。特に姿勢データは、信号処理部１２１で生成する画像データ（動画）の各フレームに対応して生成する。つまり制御部１２２は、画像データの各フレームに対応するタイミングで撮像装置１の筐体の姿勢データを生成する姿勢データ生成部１０１としての機能を発揮することになる。画像データの各フレームに対応させた姿勢データを生成することにより、後述するブレ補正などの各補正が実現可能である。
なお、信号処理部１２１と制御部１２２は、１チップマイクロコンピュータ１２０などとして一体化されていても良い。
記憶部１１７は、制御部１２２の制御に基づき、信号処理部１２１（画像データ生成部１００）によって生成された動画やタイムラプス動画、或いは静止画としての画像データを記憶媒体に記憶させる。記憶媒体としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤ（Hard Disk Drive）や半導体メモリモジュール等であってもよい。
また記憶部１１７にエンコーダやデコーダを設けて画像データの圧縮符号化や伸張復号化を行い、記憶媒体には符号化データを記録するようにしてもよい。
また記憶部１１７は、制御部１２２（姿勢データ生成部１０１）によって生成された姿勢データも記憶媒体に記憶させる。
このような記憶部１１７は、画像データと姿勢データとを記憶媒体に対して出力するデータ出力部の一態様となる。
即ち、記憶媒体に画像データ及び姿勢データを記憶することにより、例えば外部機器に対して各データを受け渡すことが可能となる。従って、編集処理等の各種処理（詳しくは後述）を外部機器で行うことができる。そのため、これらの処理を撮像装置１で行うためのプログラム領域を撮像装置１の記憶領域に設ける必要が無く、記憶領域を削減することができる。
通信部１１８は、制御部１２２の制御に基づき、図示しない外部機器との間の有線又は無線による通信を行う。即ち画像データや姿勢データの外部機器への送信や、外部機器からの制御データの受信等を行う。
例えば通信部１１８は制御部１２２の制御により、記憶部１１７に記憶された画像データと姿勢データを外部機器へ送信する処理を行う。これにより撮像装置１は図示しない外部機器に画像データ、姿勢データを出力し、外部機器において撮像した動画としての画像データを、姿勢データを用いて処理することができるようにしている。
また、上述したように無線通信等により外部機器からの動画ボタン１０、タイムラプスボタン１１、ファンクションボタン１２に相当する操作を受け付けることも可能となる。
通信部１１８は、例えば図２０Ａに示すように、無線通信によって画像データ及び姿勢データを外部装置としての情報処理装置１５０に送信することができる。無線通信としては、例えばＷｉ－Ｆｉやブルートゥース等の無線通信規格等の通信方式による通信を行うことが考えられる。
また通信部１１８は例えば図２０Ｂに示すように、有線通信によって画像データ及び姿勢データを情報処理装置１５０に送信することができる。有線通信としては、例えばＵＳＢケーブル等のコネクタケーブル１５を用いた通信が考えられる。
また通信部１１８は、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
このような通信部１１８は、画像データと姿勢データとを外部機器に対して出力するデータ出力部の一態様となる。
即ち、外部機器に対して画像データ及び姿勢データを提供することが可能となる。
従って、編集処理等の各種処理（詳しくは後述）を外部機器で行うことができ、それらの処理を行うためのプログラム領域を撮像装置１の記憶領域に設ける必要が無く、記憶領域を削減することができる。
なお、情報処理装置１５０に画像データ及び姿勢データを送る場合には、通信部１１８を介してだけでなく、図２０Ｃに示すように、記憶部１１７によって画像データ及び姿勢データが記憶されたメモリカード１６２等の記憶媒体を介してもよい。
図１９の操作部１１６は、撮像者の操作を入力する入力機能を包括的に示している。即ち上述した動画ボタン１０、タイムラプスボタン１１、ファンクションボタン１２、無線通信ボタン３７の各操作子をまとめて操作部１１６として示している。
これらの操作の操作情報は制御部１２２に供給される。制御部１２２は操作情報に応じて、上述の動作遷移を実行するための必要な制御を行う。
検出部１２５は各種センサを包括的に示している。具体的には、撮像装置１の姿勢や例えば手ぶれを検出するためのジャイロセンサ１２６、撮像装置１の移動加速度や重力方向を検出するための加速度センサ１２７等が設けられる。ジャイロセンサ１２６はいわゆるｘ，ｙ，ｚ軸方向の角速度を検出する３軸センサとされる。加速度センサ１２７も同じくｘ，ｙ，ｚ軸方向の加速度を検出する３軸センサとされる。
さらに図示していないが検出部１２５には、露光調整等のための外部照度を検出する照度センサや、被写体距離を測定する測距センサなどが設けられてもよい。
センサ部１２５の各種センサは、それぞれ検出信号を制御部１２２に伝達する。制御部３０は、検出部１２５で検出された情報を用いて各種制御を行うことができる。
特に上述したように制御部１２２は姿勢データ生成部１０１としての機能により、ジャイロセンサ１２６、加速度センサ１２７の検出信号に基づいて姿勢データを生成する処理を行う。
振動部２０は、いわゆるバイブレータを構成する振動片とその駆動系により構成され、制御部１２２の制御により振動を発生させる。
本実施の形態の場合、振動部２０はバッテリ残量の警告のために振動させるようにしている。
報知部１４は上述のように筐体２上で発光するＬＥＤ、ＬＥＤ駆動回路、カバーレンズを有して構成され、制御部１２２の制御により発光される。
例えば動画撮像動作中に発光することで、周囲の人に動画撮像を行っていることを報知するようにしている。
電源部１２８はバッテリ７を電圧源として、必要な電圧を生成し、各部に動作電源Ｖｃｃを供給する。
本実施の形態では、制御部１２２はバッテリ７の電圧を検知することでバッテリ残量監視を行うようにしている。これにより例えばバッテリ残量が低下したときに、振動部２０による振動を実行させて、撮像者にバッテリ残量不足を通知する。
＜４．情報処理装置の構成＞

続いて図２０に示したように撮像装置１から画像データと姿勢データを受信する情報処理装置１５０の構成を説明する。情報処理装置１５０は、例えば図２１のようなハードウェア構成で実現される。
図２１に示すように情報処理装置１５０は、ＣＰＵ（Central Processing Unit）１５１、ＲＯＭ（Read Only Memory）１５２、ＲＡＭ（Random Access Memory）１５３を有して構成される。
ＣＰＵ１５１は、ＲＯＭ１５２に記憶されているプログラム、または記憶部１５９からＲＡＭ１５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１５３にはまた、ＣＰＵ１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ１５１、ＲＯＭ１５２、およびＲＡＭ１５３は、バス１５４を介して相互に接続されている。このバス１５４にはまた、入出力インターフェース１５５も接続されている。
入出力インターフェース１５５には、液晶パネル或いは有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイ１５６、キーボード、マウスなどよりなる入力部１５７、スピーカ１５８、ＨＤＤ（Hard Disk Drive）などより構成される記憶部１５９、通信部１６０などが接続可能である。
ディスプレイ１５６は情報処理装置１５０と一体でも良いし別体の機器でもよい。例えば撮像画像や後述する補正処理後の画像の表示などが行われる。
入力部１５７は、情報処理装置１５０を使用するユーザが用いる入力デバイスを意味する。
通信部１６０は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行う。少なくとも通信部１６０は、撮像装置１の通信部１１８との間の有線又は無線通信を行うことができるものとされる。
入出力インターフェース１５５にはまた、必要に応じてドライブ１６１が接続され、メモリカード１６２が装着され、メモリカード１６２から読み出されたコンピュータプログラムが、必要に応じて記憶部１５９にインストールされたり、ＣＰＵ１５１で処理したデータがメモリカード１６２に記憶される。
もちろんドライブ１６１は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。
このようなハードウェア構成において、実施の形態の情報処理装置１５０としての各種処理（後述）を行うことができる。具体的には撮像装置１から取得した画像データ及び姿勢データを用いた画像再生や画像データの編集処理を行う。
これらの処理はＣＰＵ１５１で起動されるソフトウェアにより実現される。そのソフトウェアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブル記憶媒体から読み出されたりして図２１の情報処理装置１５０にインストールされる。或いはそのプログラムが記憶部１５９としてのＨＤＤ等に予め記憶されていてもよい。そしてＣＰＵ１５１において当該プログラムが起動されることで、情報処理装置１５０の各機能が発現する。
なお、情報処理装置１５０は、図２１のようなハードウェア構成の情報処理装置１５０が単一で構成されることに限らず、複数の情報処理装置がシステム化されて構成されてもよい。複数の情報処理装置は、ＬＡＮ等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ（Virtual Private Network）等により遠隔地に配置されたものでもよい。複数の情報処理装置には、クラウドコンピューティングサービスによって利用可能な情報処理装置が含まれてもよい。
またこの情報処理装置１５０は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。
画像編集装置、記録再生装置、テレビジョン受像器など各種の電子機器が図２１のような構成を備えることで情報処理装置１５０として機能することもできる。
＜５．姿勢データ＞

撮像装置１の制御部１２２が生成する姿勢データについて、図２２、図２３を参照して説明する。
姿勢データは、撮像装置１の筐体２の姿勢を示すデータであり、制御部１２２が備える姿勢データ生成部１０１で生成される。姿勢データとしては、例えば、ジャイロセンサ１２６によって計測される角速度データや加速度センサ１２７によって計測される加速度データなどである。
図２２は、撮像装置１の制御部１２２が生成する姿勢データと、該姿勢データを受信した外部の情報処理装置１５０が実行する画像補正用の各種処理を示した図である。
複数のフレームが連続する動画としての画像データに対しては、各フレーム期間に対応して姿勢データが生成されるようにしている。
図２２は或る連続した２フレームの期間として、ｆｒａｍｅ（０）とされた１フレームと、その後に続くｆｒａｍｅ（１）とされた１フレームについて示している。各フレームでは、ジャイロセンサ１２６から取得される３軸の各検出信号をそれぞれサンプリングして、その時点の角速度データωx0、ωy0、ωz0を得る。
なお図示していないが、加速度センサ１２７の３軸の各検出信号についても同様にサンプリングして、その時点の加速度データａx0、ａy0、ａz0を得る。
制御部１２２は、これら角速度データωx0、ωy0、ωz0、加速度データａx0、ａy0、ａz0を、或る１つのサンプル時点での姿勢データとして生成する。
制御部１２２は、このような姿勢データを、所定のサンプルタイミングで生成する。
生成された姿勢データは記憶部１１７に供給され、画像データとともに記憶される。そして通信部１１８や記憶媒体によって、画像データに対応づけられて外部の情報処理装置１５０へと出力される。
情報処理装置１５０では、撮像装置１から取得した姿勢データを用いて画像データのブレ補正や重力方向補正等を行う。その差異には、図２２に示すように姿勢データに対して各種処理を行って必要な姿勢情報を得る。画像補正用の処理とは、例えば、微分値算出処理やジャイロセンサ１２６のサンプリング間隔の更新処理や四元数のノルム正規化処理等である。
なお、このような微分値、ノルム正規化値を制御部１２２が算出し、これらを姿勢データに含めて情報処理装置１５０に転送できるようにしても良い。
ここで、制御部１２２は、例えば撮像中の画像データの１フレーム期間に対して、１又は複数のサンプルタイミングで姿勢データ生成を行う。
例えば１フレーム期間に１回のレートで姿勢データ生成を行うことが考えられる。またより精細な姿勢変動を示す情報とするために、図２２に示すように１フレーム期間に複数回のレートで姿勢データ生成を行うようにすることも考えられる。
なお図２２において露光期間と非露光期間とは、撮像素子部１１２の撮像画素の電子シャッタースピードで決まる撮像素子の露光期間と非露光期間のことを示している。
所定のフレーム周波数で決まる各フレームの期間は、露光期間と非露光期間に分けることができ、露光期間は、光学系３を通過した光を撮像素子部１１２に露光させる時間であり、電子シャッタースピードに応じて変動する。フレーム期間は一定であることから、露光期間が長くなれば非露光期間が短くなり、露光期間が短くなれば非露光期間は長くなる。
この図２２の例の場合、ジャイロセンサ１２６の検出信号に対するサンプリングレートは、フレームレートよりも高い周波数のレートに設定されており、１フレーム期間において複数回の姿勢データ生成が行われる。
なお、姿勢データ生成は、露光期間、非露光期間にかかわらず、一定の周期で行われる。
このように制御部１２２（姿勢データ生成部１０１）は、画像データ生成部１００が生成する画像データの１フレーム期間において複数回、姿勢データを生成することとする。フレーム同期信号（垂直同期信号）よりも高い周波数のサンプリングレートで姿勢に関するセンサの検出データをサンプリングし、姿勢データ生成を行うことで、姿勢データは１フレーム期間中における姿勢変化をも表す情報となる。
例えば、フレーム期間内の姿勢変化も検出できることで、いわゆるローリング歪みの補正にも使用できる姿勢データとなる。
なお、非露光期間であってもサンプルタイミング毎に姿勢データ生成を行うのは、一定時間毎の姿勢差分を積み上げていくことで初期姿勢からの変位量がわかる情報としているためである。
撮像装置１で得られる画像データは魚眼画像である。魚眼画像においては仮想球面上で切り出し位置を変えることでブレ補正を行うが、そのためにはブレの方向及び量に対して反対に切り出し位置を変位させる。
この場合、或る姿勢（例えば撮像開始時の姿勢による撮像方向）を基準とした撮像装置１の絶対的な姿勢情報が必要である。そのためには、各タイミングで得られる姿勢データ（角度変化の情報）を積み上げていく必要がある。
これを踏まえてフレームレートより高いサンプリングレートに対応して姿勢データ生成を行うことを考えると、非露光期間において姿勢データ生成を休止すると、姿勢変位がとれないタイミングが発生する。これにより絶対位置としての姿勢情報が不正確になる。そこで、動画フレームに同期する姿勢データ生成であっても、電子シャッタースピードを含むフレーム動作に影響されずに、所定のサンプリングレートに従って姿勢データ生成を行うようにし、ブレ補正のための位置情報が常に正しく算出できるようにしている。
別の例として、間欠フレーム動画を生成するためのタイムラプス動画撮像を行う場合の姿勢データの生成について、図２３を参照して説明する。
タイムラプス動画撮像の際には、フレームレートに対して十分長いインターバルを挟んで画像データを生成する。即ち間欠的なフレームにより生成した動画データである。
図２３の例では撮像されるフレームであるｆｒａｍｅ（０）～ｆｒａｍｅ（Ｎ）を示しているが、例えばｆｒａｍｅ（０）、ｆｒａｍｅ（Ｎ）は有効フレーム（画像データとして記録されるフレーム）であり、ｆｒａｍｅ（１）～ｆｒａｍｅ（Ｎ－１）は画像データに含まれない無効フレームを表している。
例えば、３０ｆｐｓ（Frame Per Second）のフレームレートに対して約３秒のインターバルを挟むタイムラプス動画撮影では、有効フレームとされたｆｒａｍｅ（０）の最初の撮像から無効フレームとされたｆｒａｍｅ（１）～ｆｒａｍｅ（８９）を挟んで次の有効フレームであるｆｒａｍｅ（９０）の撮像を行う。ｆｒａｍｅ（９０）の次の有効フレームは、ｆｒａｍｅ（１８０）である。
タイムラプス動画としての画像データに含まれて記録されるフレームは、有効フレームのみであり、この場合はｆｒａｍｅ（０）、ｆｒａｍｅ（９０）、ｆｒａｍｅ（１８０）、・・・である。
この図２３に示すように、各有効フレーム期間及び無効フレームの期間において、ジャイロセンサ１２６の検出信号のサンプリングによる角速度データの取得が続けられている。また図示は省略しているが、加速度センサ１２７の検出信号のサンプリングによる加速度データの取得も続けられている。そして各時点で姿勢データ生成が行われる。
即ち、画像データ生成部１００において、間欠フレーム動画としてタイムラプス撮像による画像データ生成を行う場合、姿勢データ生成部１０１は、有効フレーム期間と無効フレーム期間のいずれにおいても姿勢データの生成を行う。
無効フレーム期間においても姿勢データ生成を行うことで、有効フレーム期間／無効フレーム期間に限らず各時点の姿勢差分を積み上げていくことができ、初期姿勢からの変位量を正確に求めることができる情報となる。
なお、ジャイロセンサ１２６のサンプリングレートは、有効フレームと無効フレームとで同一とすることが考えられるが、これは必須ではない。例えば、無効フレームの期間は低いサンプリングレートとされていてもよい。
即ち、信号処理部１２１（画像データ生成部１００）において、間欠フレーム動画としての画像データ生成を行う場合、制御部１２２（姿勢データ生成部１００）は、１フレーム期間における姿勢データの生成回数を、無効フレーム期間には有効フレーム期間よりも少ない回数としてもよい。
フレームレートより高いレートでジャイロセンサや加速度センサの検出情報をサンプリングして姿勢データを生成するのは、ローリング歪みに対応できるようにすることを目的の１つとしている。なるべく少ないライン間隔（１フレーム期間になるべく多く）の姿勢データがあれば、それだけローリング歪みを精度良く補正できる。
一方で、フレーム毎のカメラ姿勢検出は、ローリング歪み補正を考えなければ１フレームに１回又は数回に相当する姿勢データで十分である。そしてタイムラプス動画の場合、使用していないフレーム期間の姿勢データは当然、ローリング歪みに用いることはない。そこで、無効フレーム期間はサンプリングレートを落とすことで、カメラ側の消費電力の削減や、姿勢データのデータ量の削減を図ることができる。
なお、必ず１フレームに対応する姿勢データを少なくとも１つ生成するという条件を満たすようにする場合には、無効フレーム期間のサンプリングレートは、最低でも、フレーム同期信号（垂直同期信号）と同等とする。
本実施の形態の撮像装置１は、非中心射影方式の光学系３として魚眼レンズを用いた光学系３により半天球画像や全天球画像などの動画撮像を行う。この場合に、以上のように動画の各フレームに対応した筐体２の姿勢データ、或いはジャイロセンサ１２６の各サンプルタイミングに対応した筐体２の姿勢データを出力するようにしている。このように各フレームについて対応するタイミングの姿勢データを得ることで、動画としての画像データについて後に姿勢データを用いた処理が可能になる。
また撮像装置１はデータ出力部としての記憶部１１７や通信部１１８を備えている。
記憶部１１７は記憶媒体に画像データと姿勢データを記憶させる。例えば内蔵のカードメディアなどを用いて画像データとともに姿勢データを記憶させることができる。また通信部１１８は外部機器（情報処理装置１５０）に対して画像データと姿勢データを送信することが可能とされている。
即ち画像データ生成部１００が生成した画像データと姿勢データ生成部１０１が生成した姿勢データは、有線又は無線の通信処理により外部機器に対して出力されるようにする。或いはメモリカード１６２等の記憶媒体により画像データと姿勢データを受け渡すことができる。
これらにより外部機器（情報処理装置１５０）が画像データとともに姿勢データを取得することができ、外部機器において動画としての画像データについて後に姿勢データを用いた処理が可能になる。
本実施の形態では、姿勢データ生成部１０１は、３軸のジャイロセンサ１２６の検出情報で各時点の角速度変化を得、それに基づく姿勢データを生成している。
また姿勢データ生成部１０１は、３軸の加速度センサ１２７の検出情報で各時点の重力方向に対する姿勢変化や、動きによって撮像装置１の本体（筐体２やその内部及び外部に配置された各部）にかかる加速度の大きさを得、それに基づく姿勢データを生成している。
これにより撮像装置１の精細な姿勢状態を各フレーム毎に示す情報とすることができる。
なお、撮像装置１の本体にかかる加速度の値は、撮像装置１の本体の激しい動きの情報となり、重力方向の推定の信頼性を図る情報となり、後述する重力方向の補正の実行可否の判断材料とも成り得る。
また本実施の形態において姿勢データは、角速度データ、加速度データの両方でなく、一方を含むものとしてもよい。また１軸又は２軸の角速度データ又は加速度データでもよい。
また、図２２、図２３では、ジャイロセンサ１２６や加速度センサ１２７の検出信号として得られる角速度データ、加速度データそのものを姿勢データとして扱ったが、角速度データや加速度データに画像補正用の各処理を施したデータを姿勢データとしてもよい。
＜６．露光調整＞

本実施の形態の撮像装置１においては、上述の姿勢データを露光制御に利用している。ここでは露光制御として電子シャッタースピードの調整とＡＧＣ処理のゲイン調整を行う例で説明する。
具体的に、図２４を参照して説明する。
図２４Ａ、図２４Ｂは露光制御特性を示している。各図の横軸は照度、縦軸は電子シャッターの露光時間とＡＧＣゲインである。
照度が十分に大きい場合、即ち照度Ｉｘが照度閾値ｔｈ１よりも大きい場合は、露光時間が調整範囲内で最も短い最小値Ｓｍｉｎで、且つＡＧＣ処理のゲインが調整範囲内の最小値Ｇｍｉｎとされている。
一方、光量が足りない場合は、電子シャッターの露光時間を長くするか、或いはＡＧＣ処理のゲインを上げることで露光調整を行う。但し、撮像素子からの出力信号に対するゲインを上げる露光調整はノイズ面などで不利であることから、電子シャッター制御を優先する。
本実施の形態の場合、まず姿勢データの変化が小さい場合、図２４Ａの特性で露光調整を行う。
照度Ｉｘが照度閾値ｔｈ２よりも大きく照度閾値ｔｈ１以下である場合は、露光時間を照度Ｉｘに応じて長くする。このとき、ＡＧＣ処理のゲインは最小値Ｇｍｉｎのままとする。
露光調整のための露光時間の最大値を“Ｓｍａｘ１”とする。照度Ｉｘが照度閾値ｔｈ２のときに、露光時間が最大値Ｓｍａｘ１に達するとする。
この場合、さらなる照度低下についてはシャッタースピード制御では対応せず、ＡＧＣゲインで対応する。
照度Ｉｘが照度閾値ｔｈ３よりも大きく照度閾値ｔｈ２以下である場合は、露光時間を最大値Ｓｍａｘ１としたままＡＧＣ処理のゲインを変更していく。即ち照度Ｉｘに応じて上昇させる。
露光調整のためのＡＧＣゲインの最大値を“Ｇｍａｘ”とする。照度Ｉｘが照度閾値ｔｈ３のときに、ＡＧＣゲインが最大値Ｇｍａｘに達するとする。
照度Ｉｘが照度閾値ｔｈ３以下では、露光時間が最大値Ｓｍａｘ１で且つＡＧＣゲインが最大値Ｇｍａｘとされる。
一方、図２４Ｂは、姿勢データの変化が大きい場合の例である。具体的には、例えば単位時間あたりの姿勢データの変化量がある閾値以上である場合に姿勢データの変化が大きいと判定される。この場合、図２４Ｂの特性で露光調整を行う。
図２４Ａと比較して、露光時間の最大値Ｓｍａｘ１が、最大値Ｓｍａｘ２に変更される。またゲイン制御を行う期間を決める照度閾値ｔｈ２，ｔｈ３が、照度閾値ｔｈ２’，ｔｈ３’に変更される。
照度Ｉｘが照度閾値ｔｈ１よりも大きい場合は、露光時間が最大値Ｓｍｉｎとされ、ＡＧＣ処理のゲインが最小値Ｇｍｉｎとされている。
照度Ｉｘが照度閾値ｔｈ２’（＞照度閾値ｔｈ２）よりも大きく照度閾値ｔｈ１以下である場合は、ＡＧＣ処理のゲインをＧｍｉｎとしたままを照度Ｉｘに合わせて露光時間を調整する。
照度Ｉｘが照度閾値ｔｈ３’（＞照度閾値ｔｈ３）よりも大きく照度閾値ｔｈ２’以下である場合は、露光時間をＳｍａｘ２（＜Ｓｍａｘ１）としたまま照度Ｉｘに合わせてＡＧＣ処理のゲインを調整する。
照度Ｉｘが照度閾値ｔｈ３’以下である場合は、露光時間が最大値Ｓｍａｘ２で且つＡＧＣゲインが最大値Ｇｍａｘとされる。
なお、この図２４Ｂの例のＡＧＣ処理を示す実線では最大値Ｇｍａｘは図２４Ａと同じレベルとしているが、一点鎖線で示すように最大値Ｇｍａｘ’としてゲイン最大値を大きくしてもよい。またそれに応じて照度閾値ｔｈ３’は照度閾値ｔｈ３’’とする。図２４Ｂの場合、露光時間の最大値Ｓｍａｘ１を最大値Ｓｍａｘ２に変更する分、ゲイン最大値を大きくしておかないと、暗いシーンにおけるトータルゲインが小さくなってしまい、結果として暗い画像になってしまうためである。
なお、調整範囲としての露光時間の最大値Ｓｍａｘ１を最大値Ｓｍａｘ２に下げ、その分は照度閾値ｔｈ２’を照度閾値ｔｈ２よりも大きくしてゲイン調整で対応するようにするのは、撮像画像の明度を上げるための露光時間の増加を、姿勢データの変化が小さい場合よりも控えめにするということである。
ＡＧＣゲイン上昇によるノイズ的な不利な点と、露光時間を長くすることによるブラーの影響を勘案して、露光時間の最大値Ｓｍａｘ２や照度閾値ｔｈ３’、ｔｈ２’が設定される。
図２４Ａ及び図２４Ｂに示すような電子シャッタースピードの調整及びゲインの調整を行うための具体的な処理について、図２５に示す。
自動露光制御では、制御部１２２が先ずステップＳ１０１で、第１制御設定処理を行う。第１制御設定処理では、照度Ｉｘの判定閾値として、照度閾値ｔｈ１、照度閾値ｔｈ２及び照度閾値ｔｈ３を用いるように設定する。また第１制御設定処理では、電子シャッター制御の最大値を“Ｓｍａｘ１”とするように設定する。これにより、姿勢データの変化（姿勢変化）が小さい場合に対応した図２４Ａに示すような制御特性で自動露光調整が行われる。
続いて、制御部１２２はステップＳ１０２において、自動露光制御がＯＮであるか否かを判定する。自動露光制御がＯＦＦである場合は、図２５に示す一連の処理を終了する。
一方、自動露光制御がＯＮである場合は、制御部１２２は続くステップＳ１０３の姿勢変化量算出処理を実行する。姿勢変化量は、例えば、ジャイロセンサ１２６や加速度センサ１２７などの検出部１２５によって測定される姿勢データから算出可能である。
次に、制御部１２２はステップＳ１０４において、姿勢変化の傾向が変化したか否かを判定する。姿勢変化の傾向は、姿勢変化が大きい場合と小さい場合があり、姿勢データの変化量が閾値よりも大きい場合は「姿勢変化が大きい」と判定され、閾値以下である場合は「姿勢変化が小さい」と判定される。そして、前回の姿勢変化の傾向が「姿勢変化が大きい」とされ、直前のステップＳ１０３で取得した姿勢変化量から今回の姿勢変化の傾向が「姿勢変化が小さい」とされた場合は、姿勢変化の傾向が変化したと判定される。同様に、姿勢変化の傾向が「姿勢変化が小さい」から、「姿勢変化が大きい」と変化した場合も姿勢変化の傾向が変化したと判定される。
姿勢変化の傾向が変化していない場合、制御部１２２はステップＳ１０２の処理に戻る。
一方、姿勢変化の傾向が変化した場合、制御部１２２は続くステップＳ１０５で姿勢変化が小から大へと変わったかを判定する。
姿勢変化が小から大へと変わった場合、制御部１２２はステップＳ１０６で第２制御設定処理を行う。
第２制御設定処理では、照度Ｉｘの判定閾値として、照度閾値ｔｈ１、照度閾値ｔｈ２’及び照度閾値ｔｈ３’を用いるように設定する。更に、第２制御設定処理では、電子シャッター制御の露光時間の最大値を“Ｓｍａｘ２”とするように設定する。これにより、姿勢変化が大きい場合に対応した図２４Ｂに示すような制御特性での自動露光調整が行われる。
一方、姿勢変化の傾向が大から小へと変わった場合、制御部１２２はステップＳ１０７で第１制御設定処理を実行する。ステップＳ１０７の処理内容はステップＳ１０１の処理内容と同様である。
ステップＳ１０６またはステップＳ１０７を実行した制御部１２２は、ステップＳ１０２の処理へと戻る。
図２４及び図２５を参照して説明したように、本実施の形態の撮像装置１は、露光調整として、撮像素子部１１２における露光時間を制御する電子シャッタースピード制御が行われるとともに、電子シャッタースピード制御の露光時間の調整範囲を、ジャイロセンサ１２６又は加速度センサ１２７の検出情報に基づいて、第１の範囲（Ｓｍｉｎ～Ｓｍａｘ１）と、第１の範囲よりも最長の露光時間が短く設定された第２の範囲（Ｓｍｉｎ～Ｓｍａｘ２）とで切り替える。
本実施の形態の場合、フレームレート以上のサンプリングレートで姿勢データ生成を行っており、撮像中は常にジャイロセンサ１２６又は加速度センサ１２７の検出情報を確認することで姿勢の動きの大小がわかる。
姿勢の動きが大きい場合、露光時間が長い程、画像にブラーが発生する可能性が大きくなる。そこで姿勢の動きが大きい場合は、第２の範囲により露光調整を行うことで、ブラーの発生を抑えるようにしている。
＜７．マイクロフォン＞

撮像装置１は、筐体２の内部にマイクロフォン３５が配置されており、筐体２の外周面には該マイクロフォン３５に対応する位置に音声を取り入れるための孔が形成されている。
音声入力部１１４及び音声処理部１１５のブロック図の例を図２６Ａ，図２６Ｂ，図２７に示す。
図２６Ａは、図１４に示したように、筐体２の上部に二つのマイクロフォン３５，３５が左右に離隔して設けられる場合の構成例である。
上部左に設けられたものをマイクロフォン３５Ｌ、上部右に設けられたものをマイクロフォン３５Ｒとする。音声入力部１１４としては一対のマイクロフォン３５Ｒ，３５Ｌが設けられることになる。
筐体２の上部左に設けられたマイクロフォン３５Ｌから入力されたアナログ音声信号は、マイクアンプ３８Ｌで増幅され、フィルタ３９Ｌによって帯域制限された後、Ａ／Ｄコンバータ４０Ｌによってデジタル化されて左チャンネルの音声データＡＬとして後段の信号処理部１２１に入力される。
筐体２の上部右に設けられたマイクロフォン３５Ｒから入力されたアナログ音声信号は、同様にマイクアンプ３８Ｒ、フィルタ３９Ｒ及びＡ／Ｄコンバータ４０Ｒを介して右チャンネルの音声データＡＲとして信号処理部１２１に入力される。
この図２６Ａに示す構成とされたマイクロフォン３５，３５を撮像装置１が備えることで、ステレオ音声データを有する動画などの画像データが生成される。
そしてマイクロフォン３５，３５を筐体２の上方に配置することで、筐体２の上方から入力される撮像者の音声などが拾いやすくされる。これにより、例えば解説動画などを撮像する撮像者にとって、利便性の高い撮像装置１を提供することができる。
図２６Ｂは、図１に示したように、筐体２の上部に二つのマイクロフォン３５，３５が左右に離隔して設けられるとともに筐体２の下部に二つのマイクロフォン３５，３５が左右に離隔して設けられた場合において構成可能な例である。
筐体２の上部左に設けられたものをマイクロフォン３５ＴＬ、上部右に設けられたものをマイクロフォン３５ＴＲとし、筐体２の下部左に設けられたものをマイクロフォン３５ＢＬ、下部右に設けられたものをマイクロフォン３５ＢＲとする。
筐体２の上部左に設けられたマイクロフォン３５ＴＬから入力されたアナログ音声信号は、マイクアンプ３８ＴＬ、フィルタ３９ＴＬ、Ａ／Ｄコンバータ４０ＴＬを介して減算器４２Ｌ１へ入力される。
一方、筐体２の下部左に設けられたマイクロフォン３５ＢＬから入力されたアナログ音声信号は、マイクアンプ３８ＢＬ、フィルタ３９ＢＬ、Ａ／Ｄコンバータ４０ＢＬを介して減算器４２Ｌ１へ入力される。
減算器４２Ｌ１では、マイクロフォン３５ＴＬから入力された音声信号からマイクロフォン３５ＢＬから入力された音声信号の減算処理が行われる。例えば、筐体２の上部から入力される撮像者の音声などの一部が抽出される。一方、遠方から発せられる音声は上部のマイクロフォン３５ＴＬと下部のマイクロフォン３５ＢＬそれぞれを介して略同じ音声信号として出力されるため、減算器４２Ｌ１でキャンセルされてほぼ残らない。即ち、減算器４２Ｌ１では、下部のマイクロフォンと上部のマイクロフォンに入力された音声信号の差分が抽出される。
減算器４２Ｌ１で抽出された差分信号は、乗算器４３Ｌによって係数Ｋが乗算される。なお、係数Ｋは０～１のいずれかの値であり、例えば０．５とされる。
続く減算器４２Ｌ２では、上部のマイクロフォン３５ＴＬから入力された音声信号から上記乗算された差分信号を減算する。これにより、減算器４２Ｌ２から出力される信号は上部のマイクロフォン３５ＴＬと下部のマイクロフォン３５ＢＬの差分が軽減されたものとなる。この信号が左チャンネルの音声データＡＬとして後段の信号処理部１２１に入力される。
筐体２の上部右に設けられたマイクロフォン３５ＴＲから入力されたアナログ音声信号及び筐体２の下部右に設けられたマイクロフォン３５ＢＲから入力されたアナログ音声信号についても、同様に抽出された上下のマイクロフォンの入力信号の差分が軽減され、右チャンネルの音声データＡＲとして後段の信号処理部１２１に入力される。
即ちこの図２６Ｂの構成では、例えば左チャンネルの音声データＡＬは、Ａ／Ｄコンバータ４０ＴＬの出力をＡＳ１、Ａ／Ｄコンバータ４０ＢＬの出力をＡＳ２とすると、
ＡＬ＝ＡＳ１－（ＡＳ１－ＡＳ２）×Ｋ
として表すことができる。
同様に、右チャンネルの音声データＡＲは、Ａ／Ｄコンバータ４０ＴＲの出力をＡＳ３、Ａ／Ｄコンバータ４０ＢＲの出力をＡＳ４とすると、
ＡＲ＝ＡＳ３－（ＡＳ３－ＡＳ４）×Ｋ
として表すことができる。
図２６Ｂに示す構成を採用することで、例えば撮像者の音声などのような上下のマイクロフォンで差分の大きな音声入力信号は減衰される。
従って、例えば、撮像者の声のみが大音量で録音され、周辺の音声が聞き取りにくくなってしまう虞を排除することができる。
図１のように筐体２の上部及び下部の双方にマイクロフォン３５が設けられた場合に構成可能な別の例を図２７に示す。
上部左に設けられたマイクロフォン３５ＴＬと下部左に設けられたマイクロフォン３５６ＢＬの音声信号を使って減算器４２Ｌ２から出力される信号は図２６Ｂと同様であるため、説明を省略する。
図２７に示す例では、上下のマイクロフォンの入力信号の差分を軽減した信号（即ち減算器４２Ｌ２の出力信号）に対して、更に上部左に設けられたマイクロフォン３５ＴＬの高周波成分だけを加える処理を行う。具体的には、マイクアンプ３８ＴＬ、フィルタ３９ＴＬ、Ａ／Ｄコンバータ４０ＴＬを通過させたマイクロフォン３５ＴＬの信号を更にＨＰＦ（High-Pass Filter）４１Ｌを通過させて高周波成分を取りだし、加算器４４Ｌで該高周波成分と先の減算器４２Ｌ２の出力信号を加算して後段の信号処理部１２１に入力する。
即ちこの図２７の構成では、例えば左チャンネルの音声データＡＬは、Ａ／Ｄコンバータ４０ＴＬの出力をＡＳ１、Ａ／Ｄコンバータ４０ＢＬの出力をＡＳ２とし、ＨＰＦ４１Ｌの出力をＡＳ５とすると、
ＡＬ＝ＡＳ１－（ＡＳ１－ＡＳ２）×Ｋ＋ＡＳ５
として表すことができる。
同様に、右チャンネルの音声データＡＲは、Ａ／Ｄコンバータ４０ＴＲの出力をＡＳ３、Ａ／Ｄコンバータ４０ＢＲの出力をＡＳ４とし、ＨＰＦ４１Ｒの出力をＡＳ６とすると、
ＡＲ＝ＡＳ３－（ＡＳ３－ＡＳ４）×Ｋ＋ＡＳ６
として表すことができる。
例えば、図５Ａに示すような使用形態を考える。この場合、筐体２の上部に設けられたマイクロフォン３５ＴＬ，３５ＴＲに対して、撮像者（装着者）の声は直接入力されるが、下部に設けられたマイクロフォン３５ＢＬ，３５ＢＲに対して、撮像者の声は周囲の反射物等を経由して入力される可能性が高い。
周囲の反射物質の中には、高周波成分を吸収しやすい撮像者の着用している衣服などが含まれている可能性がある。
仮に下部のマイクロフォンから入力される音声信号の高周波成分が減衰していた場合、図２６Ｂに示す構成によれば、該高周波成分が上部のマイクロフォンと下部のマイクロフォンで差分が大きくなり、減算器４２Ｌ２，４２Ｒ２で高周波成分がカットされてしまう。
図２７に示す構成によれば、改めて加算器４４Ｌ，４４Ｒで高周波成分が加えられるため、聞き取りやすい音声信号を後段の信号処理部１２１へ入力することが可能となる。
なお、上部右に設けられたマイクロフォン３５ＴＲ、下部右に設けられたマイクロフォン３５ＢＲに関しても、マイクアンプ３８ＴＲ，３８ＢＲ、フィルタ３９ＴＲ，３９ＢＲ、Ａ／Ｄコンバータ４０ＴＲ，４０ＢＲ、減算器４２Ｒ１，４２Ｒ２、乗算器４３Ｒ、加算器４４Ｒ、ＨＰＦ４１Ｒを用いて同様の処理を行うが、詳述は省略する。
なお、図２６Ａ，図２６Ｂ，図２７に示す各構成は撮像装置１がステレオ音声入力に対応したものであるが、モノラル音声入力の構成であってもよい。
＜８．撮像装置の内部構成例II＞

本実施の形態の撮像装置１では、前述したように画像データに対応した姿勢データを生成する。図１９の構成の場合は、制御部１２２が画像データ生成と姿勢データ生成を管理できるため、画像データのフレームと姿勢データの対応付けは、制御部１２２の内部処理（例えば姿勢データに対するフレームのタイムコードの対応付け等）で可能である。しかし、画像データ生成を制御する制御部と姿勢データ生成を行う制御部とが別体のマイクロコンピュータ等で実行される構成も考えられる。そしてその場合、撮像装置１から出力される姿勢データにフレームへの対応情報が付加されないことも想定される。
そのような場合に、撮像装置１から画像データと姿勢データを受け取った情報処理装置１５０において、姿勢データをフレームに対応付けできるようにするための構成例を以下、撮像装置の内部構成例IIとして述べる。これは情報処理装置１５０が画像データと姿勢データを取得したときに、それらデータ自体から動画としての画像データと姿勢データの対応付けができるようにするための構成例である。
図２８に撮像装置１の内部構成例IIのブロック図を示す。
図２８に示す撮像装置１は、カメラユニット１３０と検出ユニット１３１を備えている。カメラユニット１３０は、図１９に示す各構成要素のうち、検出部１２５を備えていない。また制御部１２２は姿勢データ生成部１０１としての機能を備えていない。
一方、検出ユニット１３１は、ジャイロセンサ１２６と加速度センサ１２７を有する検出部１２５を備えている。また、検出ユニット１３１は、姿勢データ生成部１０１としての機能を有する制御部１３２と、操作部１３３と、記憶部１３４とを備えている。
制御部１３２は姿勢データ生成部１０１としての機能により、検出部１２５からの検出情報に基づいて撮像装置１の姿勢を示す姿勢データを生成する処理を行う。
更に、検出ユニット１３１は、発光部１２９を備えている。発光部１２９は、例えばＬＥＤとその発光駆動回路を有し、制御部１３２の指示により、画像データと姿勢データの同期を取るための発光動作を行う。この発光部１２９はトリガに基づき画像データと姿勢データを関連づけるための通知を行う通知部として機能する。
発光部１２９は、例えばＬＥＤがカメラユニット１３０の鏡筒内に設けられており、ＬＥＤの発光が撮像素子部１１２で撮像した画像データの一部に影響を及ぼすように構成されている。具体的には、ＬＥＤの発光が撮像素子部１１２の撮像信号に影響を及ぼすように構成されている。或いはフレーム画像全体がＬＥＤの発光により高輝度状態となるようにされている。
この場合、撮像素子部１１２は発光部による通知を検知する検知部として機能することになる。
なお、発光部１２９におけるＬＥＤの発光は、例えば、カメラユニット１３０の撮像開始タイミングと非同期で行われる。従って、例えば、撮像者がカメラユニット１３０に対して撮像開始のための操作を行い、続けて検出ユニット１３１に対して姿勢データの生成を開始するための操作を行う。これにより、発光部１２９が発光されると共に撮像素子部１１２によって発光に基づく輝度の画素を含むフレームデータが生成される。これにより画像データのフレームの探索によって姿勢データの生成開始タイミングに撮像されたフレームを特定することが可能となる。
検出ユニット１３１はカメラユニット１３０と非同期で動作するが、制御部１３２は例えば画像データのフレームレートと同じ周波数のレートとなるサンプリングのためのタイミング信号を生成して、ジャイロセンサ１２６、加速度センサ１２７の検出情報をサンプリングし、姿勢データを生成する。
従ってカメラユニット１３０が撮像する画像データの１フレームに対して一つの姿勢データが対応する割合で、姿勢データを生成することになる。
なお、カメラユニット１３０の操作部１１６には、ユーザが撮像開始を指示するためのボタン（動画ボタン１０など）等が含まれ、検出ユニット１３１の操作部１３３には、ユーザが姿勢データ生成開始を指示するためのボタン等が含まれている。
制御部１３２の姿勢データ生成部１０１で生成された姿勢データは記憶部１３４に送信され、必要に応じてカメラユニット１３０の通信部１１８へ送信される。この姿勢データは、例えば外部機器としての情報処理装置１５０へ画像データと共に送信される。即ち、通信部１１８は、データ出力部としての一態様とされている。

具体的に、カメラユニット１３０及び検出ユニット１３１の動作について図２９を参照して説明する。
カメラユニット１３０の制御に関するフローチャートの一例が図２９Ａである。カメラユニット１３０の制御部１２２は、ステップＳ２０１で撮像開始トリガを検知したか否かを判定する。撮像開始トリガは、例えば、動画ボタン１０やタイムラプスボタン１１などを撮像者が押下した際などに検知される。撮像開始トリガが検知されない場合、制御部１２２は再びステップＳ２０１を実行する。
なお撮像開始トリガは、タイマ制御、遠隔制御、何らかの検出による自動撮像開始制御など、ユーザの動画ボタン１０やタイムラプスボタン１１の操作以外にも発生される例が考えられる。
撮像開始トリガを検知した場合、制御部１２２は、ステップＳ２０２において撮像を開始する制御を行い、続くステップＳ２０３で撮像した画像データの記憶を開始する制御を行う。これにより動画としての画像データが記憶部１１７に記憶されていく。
制御部１２２は、終了トリガを検知したか否かをステップＳ２０４で判定する。制御部１２２が終了トリガを検知するまでステップＳ２０４の処理が実行されると共に先のステップで開始した画像データの生成及び記憶が続けられる。
図１８のモード遷移の例でいえば、動画記憶中の動画ボタン１０やタイムラプスボタン１１の操作は終了トリガとなる。もちろん、所定の時間経過や遠隔操作、何らかの検出による自動撮像記録の終了制御など、他にも終了トリガ発生例は考えられる。
終了トリガを検知した制御部１２２は、ステップＳ２０５で撮像停止制御を行うと共にステップＳ２０６で画像データの記憶を停止する制御を行う。
図２９Ａに示す一連の処理を制御部１２２が行うことにより、例えば撮像者の操作による撮像及び画像データの記憶が行われる。
検出ユニット１３１の制御に関するフローチャートの一例が図２９Ｂである。検出ユニット１３１の制御部１３２は、ステップＳ３０１で開始操作を検知したか否かを判定する。この場合の開始操作とは、操作部１３３における姿勢データ生成開始のボタンに対するユーザ操作のことである。
開始操作を検知していない場合、制御部１３２は再びステップＳ３０１の処理を実行する。
開始操作を検知した場合、制御部１３２はステップＳ３０２で検出信号の取得を開始する。検出信号とは、検出部１２５としてのジャイロセンサ１２６や加速度センサ１２７から出力される姿勢に関する検出信号である。
そして制御部１３２はステップＳ３０３で、姿勢データの生成と姿勢データの記憶を開始する。
このステップＳ３０２での検出信号の取得（サンプリング）とステップＳ３０３の姿勢データ生成は、カメラユニット１３０で利用される垂直同期信号と同じ周波数のタイミング信号に基づいて実行する。
即ち、制御部１３２は、該垂直同期信号と同じ周波数であり非同期のタイミング信号を生成し、該タイミング信号に基づいて検出信号を取得する。更に、制御部１３２は、検出信号から姿勢データを生成し、記憶部１３４に記憶する。従って、例えば、カメラユニット１３０で撮像した動画の１フレームに対応して一つの姿勢データが記憶される。
また制御部１３２は、以上の検出信号の取得及び姿勢データ生成の処理の開始と略同時に、ステップＳ３０４で発光部１２９を発光させる。これにより、カメラユニット１３０で撮像した画像データにおける、当該タイミングに相当するフレームに発光に基づく輝度の高い部分が形成される。
なお、説明の便宜上、ステップＳ３０２～Ｓ３０４として示しているが、発光制御と姿勢データ生成のための検出信号取得開始は略同時に行われれば処理の前後は問わない。また、多少のタイムラグはあっても、その時間差が固定的であればよい。あくまでも、画像データにおけるＬＥＤ発光の影響を受けたフレームと、そのときの撮像装置１の姿勢を示す姿勢データが、後に対応づけられる状態であればよい。
制御部１３２は、ステップＳ３０５で終了トリガを検知したか否かを判定する。終了トリガを検知するまでステップＳ３０５の処理を実行する。
撮像者の操作などによる姿勢データの記憶終了のトリガを検知した場合、制御部１３２は、ステップＳ３０６で姿勢データの生成及び記憶を終了させ、ステップＳ３０７で検出信号の取得を停止させる。
図２９Ｂに示す一連の処理を制御部１３２が行うことにより、動画などの画像データに対応した姿勢データの記憶が行われる。
撮像動作及び検出ユニット１３１の動作について、具体的なタイミングチャートを図３０に示す。
上記処理により、例えば図３０のように発光部１２９の発光や姿勢データ生成が行われる。即ちカメラユニット側で各フレームの撮像及び記録が行われている際に、或るタイミングＴＳで開始操作が行われたとする。これに応じてステップＳ３０２、Ｓ３０３、Ｓ３０４が行われる。つまり発光部１２９のＬＥＤ発光が行われるとともに姿勢データ生成／記憶が開始され、以降、姿勢データ生成／記憶が、フレーム周期と同じ周期で続行されていく。
具体的には、撮像者が撮像装置１の動画ボタン１０を押下すると、撮像装置１は「動画撮像中状態」となり、連続的に露光期間と非露光期間を繰り返すことで画像データとしての各フレームの生成／記憶が行われる。この状態で、撮像者が撮像装置１の検出ユニット１３１の姿勢データの取得開始のための操作を行うと、操作のタイミングに応じて発光部１２９による発光が一度行われ、該発光と略同じタイミングで姿勢データの検出及び記憶が開始される。
図２８に示す構成は、カメラユニット１３０の撮像動作と非同期で発光部１２９の発光が行われるため、図３０に示すように、画像データのフレームの露光期間及び非露光期間を含む何れのタイミングで発光するかはその都度異なる。図３０に示す例では、露光期間の最中に発光が行われている。また、発光期間は、非露光期間よりも長くなるように設定されている。これは、各フレームの露光期間と発光タイミングが非同期であるため、非露光期間よりも長い時間発光することにより確実に露光期間の少なくとも一部で発光が行われるようにするためである。また、非露光期間が最も長い場合、即ち電子シャッタースピードが最も短い場合においても確実に露光期間に発光部１２９が発光するために、非露光期間の最大時間長よりも長い時間発光するようにされていてもよい。
但し、発光部１２９の発光期間は１フレーム期間以内の時間とされていることが望ましい。あまり長い時間発光させると、その発光の影響を受けたフレームが増えてしまうためである。
検出ユニット１３１の姿勢データ生成部１０１は、発光部１２９の発光に合わせて姿勢データの検出及び記憶を行う。姿勢データの検出及び記憶のタイミングについても、各フレームの露光期間及び非露光期間と非同期で行われるため、非露光期間に姿勢データの検出及び記憶が行われる場合や、１回の検出及び記憶が二つのフレームに跨がって行われる場合もある。
以上の動作を行う図２８の構成例の場合も、撮像装置１は非中心射影方式の光学系３として魚眼レンズを用いた光学系３により半天球画像や全天球画像などの動画撮像を行う。この場合に、上述した図２９Ａ，図２９Ｂの各処理をカメラユニット１３０及び検出ユニット１３１が実行することにより、動画の各フレームに対応した筐体２の姿勢データを出力する。
各フレームについて対応するタイミングの姿勢データを得ることで、動画としての画像データについて後に姿勢データを用いた処理が可能になる。
特に、姿勢データ生成部１０１が、姿勢データの生成開始タイミングにおいて、画像データのフレームに先頭フレーム識別のための情報が形成されるようにする処理を行うことにより、動画としての画像データにおいて、どの時点のフレームを基準として姿勢データ生成を開始したかが、画像データからわかる。これにより、画像データと姿勢データを取得した機器において、先頭の姿勢データに対応する動画のフレームを特定できることになる。
そして、先頭フレーム識別のための情報形成の一例として、撮像素子部１１２に露光させる光を発光する発光部１２９を備え、姿勢データ生成部１０１は、発光部１２９を発光させることで、画像データにおける発光タイミングに撮像されたフレームにおいて、当該発光による輝度の画素データが、先頭フレーム識別のための情報として形成されるようにする。
即ち、発光部１２９を発光させることで、画像データにおいて、被写体光とは異なる高輝度の画像のフレームが形成される。
これにより、図３１で後述するように、画像データと姿勢データを取得した情報処理装置１５０においては、高輝度の画像のフレームを検索することで、先頭の姿勢データに対応する動画データのフレームを特定できることになる。
なお、図２８に示す構成によれば、既存のカメラユニットに検出ユニット１３１を取り付けて本実施の形態の撮像装置１を容易に製造することができる。
また、別の形態として、カメラユニット１３０と検出ユニット１３１を別体として撮像者に提供し、撮像者が必要に応じて着脱自在とすることが可能である。
また、姿勢データ生成部１０１は、画像データ生成部１００とは非同期のタイミング信号に基づき、１フレームにつき１回の姿勢データ生成を行う。
即ち、動画としての画像データ生成部１００を含む撮像系と、姿勢データ生成部１０１を含む姿勢データ生成系を非同期系統として、撮像装置１を形成する。
これにより、姿勢データ生成系を有する撮像装置１を容易に実現できる。この場合、マーキングにより先頭の姿勢データに対応する動画データのフレームを特定できること、及び１フレームに１回の姿勢データ生成ということで、非同期であってもフレームと姿勢データの対応関係は乱れない。
なお、画像データ生成部１００のフレーム同期信号と姿勢データ生成部が用いるタイミング信号は、非同期ではあるが、略同じ周波数であり、ある程度の時間、動画撮像を続けてもサンプルタイミングが１フレーム分まではずれないものとしている。
また、図３０で説明したように、発光部１２９の発光期間は１フレーム期間以内の時間とされている。
発光部１２９を発光させることで、高輝度の画像のフレームが形成されるが、その画像は被写体光とは異なる画像、即ち本来は不要な画像となるため、発光期間を短くする。
具体的には、発光期間を１フレーム期間以内とすることで、高輝度の画像となるフレームは１フレーム又は２フレームとなり、不要なフレームが多く発生しないようにすることができる。
また図２８の構成例の場合、撮像装置１においては、画像データ生成部１００による動画として記憶する画像データの生成と、姿勢データ生成部１０１による動画として記憶する画像データに対応する姿勢データの生成は、異なる開始トリガにより開始される。
例えば録画開始操作と姿勢記録開始操作が別の操作としてユーザに提供される。
これにより、ユーザは録画の際に姿勢記録を行うか否かを任意に選択できる。
図２８の構成例の場合も、撮像装置１はデータ出力部（通信部１１８や記憶部１１７）を備え、外部機器（情報処理装置１５０）に対して画像データと姿勢データを受け渡すことができる。
これにより外部機器（情報処理装置１５０）では画像データとともに姿勢データを取得でき、姿勢データを用いた処理が実行可能となる。
画像データと姿勢データの双方を受信した情報処理装置１５０では、画像データと姿勢データを対応付けるための処理が行われる。具体的に図３１を参照して説明する。
情報処理装置１５０は、ステップＳ４０１で動画データを特定する処理を実行する。この処理では、例えば、撮像装置１を用いて撮像した動画などを視聴するユーザが視聴したい動画などの画像データを選択することにより実行される。
なお、情報処理装置１５０が画像データと姿勢データの双方を取り込んだ際に、それらのデータを対応付けるための図３１の処理を自動的に行ってもよい。
動画データを特定した後、情報処理装置１５０はステップＳ４０２で該動画データに対応する姿勢データを特定する。
続いて、情報処理装置１５０はステップＳ４０３で、時系列に沿って各動画フレームから特定のフレームを検索する処理を実行する。ここで検索するフレームは、先の発光部１２９の発光によって高輝度となっているフレームである。例えば画素全体はＬＥＤ発光による極めて高い輝度となっているフレームであったり、特定の画素領域がＬＥＤ発光による極めて高い輝度となっているフレームを探す。
情報処理装置１５０はステップＳ４０４で、高輝度のフレームを検出したか否かを判定する。
高輝度のフレームを検出できなかった場合、情報処理装置１５０はステップＳ４０５でエラー処理を実行して一連の処理を終了する。エラー処理とは、例えば、「動画データと姿勢データの対応付けができませんでした」などのメッセージを情報処理装置１５０の表示装置に表示させる処理などである。
一方、高輝度のフレームを検出できた場合、情報処理装置１５０はステップＳ４０６で先頭フレームを特定する処理を実行する。この処理では、高輝度フレームを先頭フレームとしてもよいし、高輝度フレームの次のフレームを先頭フレームとしてもよい。また、高輝度フレームが２フレームに亘って検出された場合は、その何れかを先頭フレームとしてもよいし、２フレームの次のフレームを先頭フレームとしてもよい。
次に、情報処理装置１５０はステップＳ４０７で、姿勢データの最初のデータを先頭フレームの先頭ラインに紐付ける処理を行い、ステップＳ４０８で、後続の姿勢データと動画フレームをそれぞれ対応付ける処理を行う。
これにより、動画の各フレームに各姿勢データが対応づけられ、各フレームの撮像時に撮像装置１がどのような姿勢であったかを情報処理装置１５０が認識できるようになる。
そして、画像データと姿勢データが適切に対応付けられることにより、後述する各種補正処理を行うことができる。
＜９．撮像装置の内部構成例III＞

図３２に撮像装置１の内部構成例IIIとしてのブロック図を示す。これは図２８の構成例と同様に発光部１２９を備える場合の別の例である。
図３２に示す撮像装置１は、撮像者が動画ボタン１０などの操作部１１６を操作することによりカメラユニット１３０が検知する撮像開始トリガを検出ユニット１３１でも受信し、該撮像開始トリガに応じて姿勢データの生成と記憶が行われる。従って、検出ユニット１３１には姿勢データの生成及び記憶を開始させるための操作部が設けられていない。
また、制御部１２２から撮像素子部１１２に対して送られる垂直同期信号を検出ユニット１３１の制御部１３２が取得し、該垂直同期信号に基づいて姿勢データの生成を行う。
具体的な処理について、図３３を参照して説明する。
図３３Ａはカメラユニット１３０の制御部１２２が実行する各処理のフローチャートである。図３３Ｂは検出ユニット１３１の制御部１３２が実行する各処理のフローチャートである。
カメラユニット１３０の制御部１２２は、ステップＳ５０１で撮像開始トリガを検知したか否かを判定する。また、検出ユニット１３１の制御部１３２は、ステップＳ６０１で撮像開始トリガを検知したか否かを判定する。この場合制御部１３２は、撮像開始トリガをカメラユニット１３０の制御部１２２からの通知により検知することになる。
カメラユニット１３０の制御部１２２は、撮像開始トリガを検知するまでステップＳ５０１の処理を繰り返す。同様に、検出ユニット１３１の制御部１３２も撮像開始トリガを検知するまでステップＳ６０１の処理を繰り返す。
撮像者によって動画ボタン１０が押下されるなどして撮像開始トリガが入力されると、カメラユニット１３０の制御部１２２はステップＳ５０２の処理の実行を開始し、検出ユニット１３１の制御部１３２はステップＳ６０２の処理の実行を開始する。
カメラユニット制御部１３０の制御部１２２は、ステップＳ５０２で撮像を開始し、続くステップＳ５０３で撮像した画像データの記憶を開始する。
一方、検出ユニット１３１の制御部１３２は、ステップＳ６０２で垂直同期信号取得を開始する。この信号は、カメラユニット１３０の制御部１２２から取得する。
続いて、制御部１３２は、ステップＳ６０３で検出信号の取得を開始し、ステップＳ６０４で姿勢データの生成及び記憶を開始する。
また、制御部１３２は、ステップＳ６０５で発光部１２９のＬＥＤを発光させる処理を実行する。発光部１２９の発光は、カメラユニット１３０で利用される垂直同期信号と同期して行うことができるため、例えば、撮像した動画を構成する一つのフレームの露光期間の開始タイミングに合わせて発光することが可能である。
なお、検出ユニット１３１の制御部１３２が各フレームの露光期間の開始タイミングを把握しているため、姿勢データの生成及び記憶を１フレーム期間（露光期間及び非露光期間を含めて）の間に複数回行ってもよい。複数回行った場合には、各姿勢データが１フレーム期間の何れのタイミングで取得されたものかを把握可能である。これにより、後述するブレ補正等を適切に行うことが可能となる。
カメラユニット１３０の制御部１２２は、ステップＳ５０４で終了トリガを検知したか否かを判定する。同様に、検出ユニット１３１の制御部１３２は、ステップＳ６０６で終了トリガを検知したか否かを判定する。
撮像者が動画ボタン１０を再度押下するなどして、撮像の終了指示を検知した場合など、カメラユニット１３０の制御部１２２が終了トリガを検知したら、その終了トリガは検出ユニットの制御部１３２にも通知される。これによりカメラユニット１３０及び検出ユニット１３１の双方で略同時に終了トリガを検知する。
終了トリガを検知したカメラユニット１３０の制御部１２２は、ステップＳ５０５で撮像停止を行い、ステップＳ５０６で画像データの記憶停止を行う。
また、終了トリガを検知した検出ユニット１３１の制御部１３２は、ステップＳ６０７で姿勢データの生成及び記憶を終了させ、ステップＳ６０８で検出信号の取得を停止する。
図３３Ａ，図３３Ｂに示す各処理をカメラユニット１３０の制御部１２２及び検出ユニット１３１の制御部１３２が実行することにより、同期のとれた画像データ及び姿勢データを記憶することができる。
撮像動作及び検出ユニットの動作について、具体的なタイミングチャートを図３４に示す。
図３２に示す構成を備えた撮像装置１においては、カメラユニット１３０と検出ユニット１３１の同期がとれているため、発光部１２９の発光を露光期間の先頭等の所定のタイミングに持ってくることができる。これにより、発光期間を短くしても確実に露光期間内に発光させることができるため、発光部１２９の発光に伴う消費電力を削減することができる。
発光部１２９の発光期間は露光期間に合わせて短くてよいが、光量などの関係で長くする場合でも１フレーム期間以内の時間とされていることが望ましい。発光の影響を受けたフレームが増えてしまうことを避けるためである。
また、同期がとれていることにより、一つのフレーム期間において複数の姿勢データを生成／記憶しても、各フレーム期間の何れのタイミングで生成された姿勢データなのかを把握することができる。
このように、姿勢データ生成部１０１は、画像データ生成部１００と共通のフレーム同期信号に基づき、１フレームにつき１又は複数回の姿勢データ生成を行う。即ち、動画としての画像データ生成部１００を含む撮像系と、姿勢データ生成部１０１を含む姿勢データ生成系で共通の垂直同期信号を用いる。
従って、マーキングにより先頭の姿勢データに対応する動画データのフレームを特定できること、及びフレーム同期がとれていることにより、動画の１フレームに対し複数回の姿勢データ生成を行っても、各姿勢データを各フレームに正確に紐づけることができる。
また、画像データ生成部１００による動画として記憶する画像データの生成と、姿勢データ生成部１０１による動画として記憶する画像データに対応する姿勢データの生成は、共通の開始トリガ（撮像開始トリガ）により開始される。
例えば録画開始操作としての操作に応じて画像データ生成と姿勢データ生成が開始される。
これにより、ユーザの操作負担を最小限として動画とともに姿勢データが記憶される装置を実現できる。
画像データと姿勢データの双方を受信した情報処理装置１５０が行う、画像データと姿勢データを対応付けるための処理は、図３１に示す処理と略同じ処理であるため、詳述は省く。
なお、図３１のステップＳ４０７において、姿勢データの最初のデータを先頭フレームの先頭ラインに紐付ける処理は、画像データ及び姿勢データの同期が取れているため、実際に先頭ラインの露光が行われているときに記憶された姿勢データを該先頭ラインに紐付けることができるため、後述する補正をより正確に行うことができる。
なお、図１９や図２８や図３２などで説明した各撮像装置１において、画像データ１フレームにつき複数個の姿勢データを生成／記憶してもよい。この場合には、フレームごとに対応した一つの姿勢データにフレーム同期信号（垂直同期信号）に基づく情報を付加することが考えられる。例えば、垂直同期信号のタイミング（該タイミングに近い）で得られた姿勢データに垂直同期フラグを付加する。
例えば垂直同期信号のタイミングの後の最初の姿勢データについて、垂直同期情報を付加しておくことで、フレーム先頭の姿勢データを判別できるようになる。これにより画像データと姿勢データを処理する装置は、各フレームに対応する姿勢データを正確に認識できる。
発光部１２９の発光によって一部の領域が高輝度とされた高輝度フレームが形成されるが、該高輝度フレームを動画データの最初のフレームとして用いなくてもよい。即ち、高輝度フレームの次のフレームから動画としての画像データを生成してもよい。なお、高輝度フレームが２フレームある場合は、該２フレームの後のフレームから動画としての画像データを生成してもよい。
また、高輝度フレームを動画としての画像データの最初のフレームとして用いることも可能である。具体的に図３５を参照して説明する。
図３５は撮像素子の撮像領域ＡＲＲを示し、結像される被写体の像Ｚを示している。本実施の形態における撮像装置１は、最も被写体側のレンズとして魚眼レンズ２１を用いている。従って、例えば魚眼レンズ２１として円周魚眼レンズを採用した場合には、光学系３を通過した光が撮像素子部１１２に形成する像Ｚは略円形となる。従って、撮像素子部１１２が備えるイメージセンサの外周部には画像データに影響しない範囲外領域４５（図の斜線領域）が存在する。
また、本実施形態の撮像装置１のカメラユニット１３０の内部に発光部１２９のＬＥＤ１２９ａが設けられていることにより、魚眼レンズ２１を通過した光では露光し得ない範囲外領域４５に発光部１２９からの光を照射することが可能である（図３５の梨地領域４５ａ）。
このように構成することで、高輝度フレームを動画としての画像データの一部として用いることが可能となる。
即ち、発光部１２９を撮像素子部１１２における光学系３による被写体光の入射範囲外となる撮像素子のみを露光させるように設けることで、発光部１２９の発光による高輝度画像が、被写体画像として有効な範囲外のみとなるようにすることができる。
これにより、発光により高輝度となるのは、或るフレームにおける被写体画像としては用いない画素のみとなる。従ってそのフレームも通常に再生するフレームとして使用できる。つまり発光部の発光によって無駄なフレームが生じないようにすることができる。
なお実施の形態の撮像装置１は一例で、各種の変形例が考えられる。
図２２には、ジャイロセンサ１２６によって得られる角速度データそのものを姿勢データとして扱ったが、角速度データに画像補正用の各処理を施したデータを姿勢データとしてもよい。
撮像装置の内部構成例II（図２８）、III（図３２）の構成においても、内部構成例Iについて説明した各種構成、例えば露光制御構成、音声処理部の構成、姿勢データ生成構成など、適宜採用することができる。
内部構成例II（図２８）、III（図３２）において、通知部の例として発光部１２９を挙げたが、トリガに基づき画像データと姿勢データを関連づけるための通知を行う通知部としては、例えば音による通知を行う構成、電磁波による通知を行う構成、電気信号による通知を行う構成など、多様な例が考えられる。これに応じて検知部の構成も音声検出器、電磁波検出器、電気信号検出器など、多様な例が考えられる。
＜１０．情報処理装置における再生／編集画面＞

上述してきたように撮像装置１によっては動画データや姿勢データの記録が行われる。その動画データと姿勢データは、携帯端末や据え置き型のコンピュータ装置などの情報処理装置１５０に転送することができ、情報処理装置１５０においては、アプリケーションプログラムに基づく処理として、動画の再生や編集を行うことができるようにされる。
特に画像データは魚眼レンズ２１を用いて撮像された動画であるが、これに対応してアプリケーションプログラムは、魚眼歪み補正やブレ補正、さらには表示画像の重力方向補正を行うことができるようにしている。
図３６は、スマートフォン等の携帯端末としての情報処理装置１５０においてアプリケーション画面１７０を表示している状態を示している。
また図３７は、パーソナルコンピュータやタブレット端末等、比較的画面が大きい情報処理装置１５０においてアプリケーション画面１７０を表示している状態を示している。
いずれの場合もアプリケーション画面１７０には画像領域１７１が用意され、再生動画を表示できるようにされている。
さらにアプリケーション画面１７０には、画像再生のための操作子、編集操作子、モード操作子、インジケータ等が用意され、ユーザは通常動画やタイムラプス動画、或いは静止画での再生状態を確認したり所望の編集作業を行うことができるようにされている。
アプリケーションプログラムによる具体的な編集機能としては、自動編集やマニュアル編集が可能とされている。
マニュアル編集としては、
・フレーム削除又は復元
・初期画角の設定
・タイムラプスオン／オフ区間の指定
・タイトル、テロップの挿入又は削除
・アンドゥ（Undo）操作
・編集結果保存
・マルチビューモード指示
などが可能とされる。
また本実施の形態では、通常動画やタイムラプス動画、静止画の再生時には魚眼歪み補正や重力方向補正が実行可能とされている。また通常動画やタイムラプス動画の再生時にはブレ補正が実行可能とされている。
このために図３６，図３７の例では、画像領域１７１内に魚眼歪み補正ボタン１７２、ブレ補正ボタン１７３、重力方向補正ボタン１７４が表示され、ユーザが任意に操作可能とされている。
なお、魚眼歪み補正ボタン１７２、ブレ補正ボタン１７３、重力方向補正ボタン１７４が画像領域１７１内に表示されるのは一例で、画像領域１７１外でもよい。
また本例では画像再生中にこの３つのボタンが表示される例とするが、魚眼歪み補正ボタン１７２とブレ補正ボタン１７３の２つが表示される例や、魚眼歪み補正ボタン１７２と重力方向補正ボタン１７４の２つが表示される例、さらにはいずれか１つが表示される例も考えられる。
魚眼歪み補正ボタン１７２によりユーザは再生画像の魚眼歪み補正のオン／オフを指示できる。
ブレ補正ボタン１７３によりユーザは再生画像のブレ補正のオン／オフを指示できる。
重力方向補正ボタン１７４によりユーザは再生画像の視点を移動させる操作を行う際に、重力方向を画面下方に維持するようにする重力方向補正のオン／オフを指示できる。
＜１１．再生時の画像補正処理＞

アプリケーション画面１７０の画像領域１７１で画像再生を行う場合の補正について説明する。
魚眼歪み補正の手法について詳しくは後述するが、天球モデルを使った、出力座標系への透視射影により魚眼画像を中心射影画像に変換する処理である。
例えば図３８Ａのように再生される画像データ、即ち補正処理対象としての入力画像２００は矩形で、円形の魚眼画像２０１を有する。この魚眼画像２０１を図３８Ｃの天球モデルとしての仮想球面２０２に射影する。
そして仮想球面２０２に投射した領域２１１を切り出し、魚眼歪みを補正して図３８Ｅのような画像とする。
ブレ補正は、動画撮像時のブレが再生画像において低減されているようにするもので、撮像時に撮像装置１に加わる手ぶれや振動の影響を低減させるものである。本実施の形態の場合、撮像される画像データは魚眼画像であるため、魚眼歪み補正においてブレ補正を反映させるようにしている。
ここで魚眼画像では図３８Ｂにおいて矢印で示すように、位置によってブレ方向が異なる。このようなブレについては、図３８Ｃから図３８Ｄのように切り出す領域２１１をブレ量に応じて調整することで、連続するフレームで図３８Ｅと図３８Ｆとして示すようなブレがキャンセルされた画像とする。このような処理のためにジャイロセンサ１２６の検出値としての姿勢データを用いて求めたブレ量（補正角度）に基づいて仮想球面２０２の切り出し位置を補正することになる。
重力方向補正は再生時に表示される範囲の視点移動が行われても重力方向のズレが生じないようにする補正である。これも、画像データが魚眼画像であるため、魚眼歪み補正において重力方向補正を反映させるようにしている。
上記のように仮想球面２０２から切り出す領域２１１を、ユーザの操作に応じて上下左右にずらしていけば、ユーザは再生される視野方向を任意に変更することができる。例えばアプリケーション画面１７０の画像領域１７１上のスライド操作、スワイプ操作などによって視線方向を変化させることができる。このときに重力方向が画面下方に維持されるようにする。
図３９Ａは重力方向が直下を向いていない状態である。これを図３９Ｂのように水平線に沿って表示されるようにすることで、ユーザが視野変更操作を行う場合に見やすい表示環境を提供できる。
これらの補正が行われる場合の画像領域１７１の例を図４０、図４１に示す。
図４０Ａは、いずれの補正も行われていない状態である。魚眼画像を含む元の画像データがそのまま表示される。
この図４０Ａの時点では、魚眼歪み補正ボタン１７２、ブレ補正ボタン１７３、重力方向補正ボタン１７４はそれぞれオン操作子として機能している。
ユーザは、再生中に魚眼歪み補正ボタン１７２についてタッチやクリック等の操作（この場合はオン操作）をすることで、魚眼歪み補正が機能し、それ以降は図４０Ｂのように魚眼歪み補正が施された再生画像が表示される。
なお本実施の形態では、魚眼歪み補正、ブレ補正、重力方向補正はそれぞれ独立してオン／オフできるが、ブレ補正と重力方向補正は、魚眼歪み補正がオンのときに機能するものとする。従って、図４０Ａのように魚眼歪み補正を行っていない期間はブレ補正ボタン１７３と重力方向補正ボタン１７４の操作は無効となるため、これらを表示しないようにすることも考えられる。
或いは、図４０Ａの時点でブレ補正ボタン１７３が操作された場合、魚眼歪み補正もオンとされたうえでブレ補正が行われるようにしてもよい。同様に重力方向補正ボタン１７４の操作が行われた場合、魚眼歪み補正もオンとされたうえで重力方向補正が行われるようにしてもよい。
図４０Ｂの時点では、魚眼歪み補正ボタン１７２はオフ操作子として機能し、ブレ補正ボタン１７３、重力方向補正ボタン１７４はそれぞれオン操作子として機能する。
ユーザが魚眼歪み補正ボタン１７２を操作（この場合はオフ操作）すると図４０Ａの魚眼画像の再生に戻る。
ユーザが図４０Ｂの状態からブレ補正ボタン１７３を操作（オン操作）するとブレ補正機能が開始され、図４１Ａのように、魚眼歪み補正画像においてブレ補正が機能した状態に遷移する。ブレ補正ボタン１７３はオフ操作子となる。
ユーザが図４１Ａの状態からブレ補正ボタン１７３を操作（オフ操作）するとブレ補正機能が終了され、図４０Ｂの状態に戻る。
ユーザが図４１Ａの状態から重力方向補正ボタン１７４を操作（オン操作）すると重力方向補正機能が開始され、図４１Ｂのように、魚眼歪み補正、ブレ補正、重力方向補正が全て機能した状態に遷移する。重力方向補正ボタン１７４はオフ操作子となる。
ユーザが図４１Ｂの状態から重力方向補正ボタン１７４を操作（オフ操作）すると重力方向補正機能が終了され、図４１Ａの状態に戻る。
ユーザが図４１Ｂの状態からブレ補正ボタン１７３を操作（オフ操作）するとブレ補正機能が終了される。図示していないが、ブレ補正が行われずに重力方向補正が機能している状態となる。
ユーザが図４０Ｂの状態から重力方向補正ボタン１７４を操作（オン操作）した場合も、同じくブレ補正が行われずに重力方向補正が機能する状態となる。
以上のように情報処理装置１５０においては、アプリケーションプログラムに基づく画像データの再生中に、ユーザが任意に魚眼歪み補正、ブレ補正、重力方向補正をそれぞれオン／オフすることができる。これにより動画やタイムラプス動画を見ながら補正有無の状態を見比べることができる。
なお、本実施の形態では上記３つの補正に注目して説明するが、アプリケーションプログラムは補正機能として、魚眼歪み補正とブレ補正の機能を有し重力方向補正機能を有さない例も考えられる。
また補正機能として、魚眼歪み補正と重力方向補正の機能を有しブレ補正機能を有さない例も考えられる。
さらに魚眼歪み補正機能を有さずにブレ補正機能と重力方向補正機能の両方又は一方を有することも考えられる。
なお、再生画像を保存する場合に、上記の３つの補正を考慮した各種の例が考えられる。
例えば、動画としての画像データを再生中に各種の補正ボタンを操作するたびにそれぞれの補正のオン／オフ状態が変化するが、各補正のオン／オフ状態の時系列における変化も含めた画像データの保存が可能とされていてもよい。具体的には、シーン１ではブレ補正をオンとする操作がなされ、次のシーン２ではブレ補正をオフとする操作がなされた場合、操作に従って各シーンのブレ補正のオン／オフ状態が切り替わった状態の再生画像が保存されるように構成されていてもよい。
また、再生画像を保存する操作を行った場合に、各補正のオン／オフ状態が選択可能に提示され、該選択の選択結果に応じて再生画像全体についての各補正を行い、保存するように構成されていてもよい。
再生画像の保存については、再生画像の再生を行いながら保存処理を行ってもよい。この場合には、保存される再生動画を確認しながら保存処理を行うため、意図しない状態の再生画像が保存されてしまうことを防止することができる。
また、再生画像の再生を行わずに保存処理を行ってもよい。この場合には、再生画像の再生処理が行われないため、処理を行う装置（情報処理装置１５０など）の処理負担の軽減が図られ、各種補正処理と再生画像の記憶処理の効率化が図られる。
＜１２．情報処理装置の機能構成＞

情報処理装置１５０において、動画再生編集のためのアプリケーションプログラムによって実現される機能構成を図４２、図４３で説明する。
なお図４２、図４３に示す各ブロックは、情報処理装置１５０が図２１に示したＣＰＵ１５１、ＲＯＭ１５２、ＲＡＭ１５３としてのハードウェア資源を用いてソフトウェアにより実装される機能（ＣＰＵ１５１において実行される処理機能）である。
図４２に示すように情報処理装置１５０は動画再生編集のための機能として、再生編集制御部３００、記録再生処理部３０１、画像補正処理部３０２、表示制御部３０３、操作検知部３０４を備える。
再生編集制御部３００はユーザ操作に応じてアプリケーションプログラムの動作を進行させるべく各部を制御する機能としている。
補正機能に関して再生編集制御部３００は、画像補正処理部３０２に対して魚眼歪み補正、ブレ補正、重力方向補正のそれぞれについてオン／オフの指示を行う。またこれらの補正機能に関して再生編集制御部３００は、出力座標、ズーム倍率、出力画像サイズ、パン角、チルト角、ロール角等の情報を画像補正処理部３０２に供給する。
ここで出力座標は、魚眼画像から生成される中心射影画像内の座標である。この中心射影画像は、２次元格子上に配列された複数の画素からなる。また、中心射影画像において、所定の方向（例えば、水平方向）に沿って並ぶ画素からなる配列は行と呼ばれる。出力座標の供給においては、行のそれぞれが順に選択され、選択された行内の画素の座標のそれぞれが順に出力座標として供給される。
また、出力画像サイズは、中心射影画像のサイズである。ズーム倍率は、出力座標平面に対する出力画像サイズの比を示す。この出力座標平面は、魚眼画像の少なくとも一部が透視射影により射影される矩形の射影面であり、この出力座標平面をズーム倍率により拡大した画像が中心射影画像として生成される。パン角、チルト角およびロール角については後述する。
記録再生処理部３０１は、図２１の記憶部１５９に対する記録再生アクセス処理を行ったり、ドライブ１６１に対する記録再生アクセス処理を行う機能である。具体的には記録再生処理部３０１は、撮像装置１から転送されて記憶部１５９に記憶されている画像データや姿勢データの読み出しや、記憶部１５９への編集後の画像データや編集情報等の書込のための記録再生アクセスを行う。また記録再生処理部３０１はドライブ１６１を介して、メモリカード１６２に記憶されている画像データや姿勢データの読み出しや、メモリカード１６２への編集後の画像データや編集情報等の書込のための記録再生アクセスを行うこともできる。
画像補正処理部３０２は、記録再生処理部３０１が記憶媒体から読み出した画像データに対して魚眼歪み補正、ブレ補正、重力方向維持制御等を行うことができる。詳しくは図４３で後述する。
表示制御部３０３は図２１のディスプレイ１５６における表示を実行させるための処理として必要な制御や表示データの供給を行う機能である。具体的には図３６，図３７にしめしたようなアプリケーション画面１７０の表示を実行させる機能である。
操作検知部３０４は、キーボード、マウス、或いはタッチパネルなどよりなる図２１の入力部１５６からの操作を検知する処理を行う。具体的にはユーザの再生操作や編集操作を検知する機能となる。
画像補正処理部３０２の構成例を図４３に示す。
画像補正処理部３０２はフレームメモリ３２０を有する。記録再生処理部３０１の機能により再生された画像データ（入力画像）の各フレームは順次フレームメモリ３２０に一時的に保持されながら順次画像変換部３２１で処理されていく。
画像変換部３２１は、魚眼画像を中心射影画像に変換する。この画像変換部３２１は、再生編集制御部３００から出力座標を受け取るたびに、その出力座標に対応する読出座標の画素値をフレームメモリ３２０から読み出す。読出座標は魚眼画像内の座標を示す。
そして画像変換部３２１は、読み出した画素値を、中心射影画像内の出力座標の画素値として画素補間部３２２に供給する。これにより、魚眼画像は中心射影画像に変換される。
画素補間部３２２は、中心射影画像において画素を必要に応じて補間する。例えば、魚眼画像の一部または全部を拡大する際に、画素補間部３２２は、必要な画素をサブピクセル精度で求めて補間する。この補間においては、バイリニア補間アルゴリズム、バイキュービック補間アルゴリズム、または、Ｌａｎｚｏｓ補間アルゴリズムなどのアルゴリズムが用いられる。画素補間部３２２は、画素を補間した中心射影画像を出力処理部３２３に供給する。
出力処理部３２３は、ＯＳＤ（On Screen Display）処理、マスク処理、および、画像フォーマット変換処理などを必要に応じて中心射影画像に対して行う。出力処理部３２３は、処理後の中心射影画像を、図４２の表示制御部３０３や記録再生処理部３０１に供給する。
表示制御部３０３は出力処理部３２３からの画像データを表示画像としてアプリケーション画面１７０における画像領域１７１に表示させる制御を行うことになる。
またユーザが記録を求める操作を行った場合、記録再生処理部３０１は出力処理部３２３からの画像データを記録する画像として、図２１の記憶部１５９やドライブ１６１に供給し、記録させる制御を行うことになる。
なお再生編集制御部３００から魚眼歪み補正がオフと指示されているときは、画像変換部３２１はフレームメモリ３２０に一時記憶された画像データ（入力画像）をそのまま画素補間部３２２に転送する。この場合、魚眼画像が表示されたり記録されることになる。
魚眼歪み補正のために出力座標に対応する読出座標を求めるため、座標正規化部３５１、回転行列演算部３５２、透視射影変換部３５３、読出座標出力部３５４が設けられる。
これらの構成により、出力座標が供給されるたびに、出力座標が対応する読出座標に変換されて画像変換部３２１に供給される。
ここで仮想球面２０２と魚眼画像２０１の対応付けを説明しておく。
図４４に示すように、魚眼画像２０１を含む入力画像２００に平行な所定の軸をｘ軸とし、魚眼画像２０１に平行でｘ軸に直交する軸をｙ軸とする。また、これらのｘ軸およびｙ軸に直交する軸をｚ軸とする。ｘ軸、ｙ軸およびｚ軸の原点は、例えば、魚眼画像２０１の中心とする。そして、その原点を中心とする半球の表面を仮想球面２０２とする。仮想球面２０２は、魚眼レンズ２１を用いた撮像装置１により撮像された視野範囲を表す。
その魚眼画像２０１の中心を原点とする仮想球面２０２が、メッシュ状に分割される。分割においては、例えば、仮想球面２０２の緯度および経度が等間隔で分割される。分割した分割点（メッシュ交点）２０３、２０４を、ｚ軸に平行に魚眼画像に投影した点の座標が魚眼画像上の座標２０５、２０６となる。即ち読出座標である。
また出力画像と仮想球面２０２の対応付けは次のようになる。
図４５Ａは、出力座標平面２１０の一例を示している。
このような矩形の出力座標平面２１０が、魚眼画像２０１において設定される。
図４５Ｂに示すように出力座標平面２１０は、初期状態において、例えば、その中心が魚眼画像の中心と一致し、かつ仮想球面２０２と接する位置に配置される。
座標正規化部３５１は、この図４５Ｂに示すように、出力座標平面２１０を、仮想球面２０２の真上に真ん中で接するように３次元空間上に配置（正規化）する。
この場合座標正規化部３５１は、再生編集制御部３００から供給されるズーム倍率や出力画像サイズに基づいて出力座標を正規化する。例えば図４５Ａのように中心射影画像の水平座標を０乃至ｏｕｔｈとし、垂直座標を０乃至ｏｕｔｖとする場合、ｏｕｔｈおよびｏｕｔｖが出力画像サイズとして供給される。
座標正規化部３５１は、例えば、次の式により出力座標を正規化する。
Figure 0007238770000001
上記（数１）において、ｍｉｎ（Ａ、Ｂ）は、ＡおよびＢのうち値が小さい方を返す関数である。また、「ｚｏｏｍ」は、魚眼画像２０１の直径と出力座標平面２１０の短辺とが一致し、出力座標平面２１０（すなわち、射影面）を仮想球面に接するように配置した際の倍率を「１」とするズーム倍率である。
またｘnorm、ｙnorm、ｚnormは、正規化したｘ、ｙ、ｚ座標である。
座標正規化部３５１は、正規化した出力座標（ｘnorm、ｙnorm、ｚnorm）を回転行列演算部３５２に供給する。
上記（数１）の各式により、出力座標は、半径１．０の半球の球面上の座標に正規化される。
なお、撮像装置１は、魚眼画像の少なくとも一部をズーム倍率により拡大しているが、魚眼画像の少なくとも一部を縮小してもよい。縮小する際には、制御部１５０は、ズーム倍率「ｚｏｏｍ」の代わりに、縮小率を供給する。この場合、上記（数１）において「ｚｏｏｍ」が縮小率に置き換えられる。
回転行列演算部３５２は、図４６Ａのように、出力座標平面２１０を回転行列演算により回転させる。この回転行列演算部３５２は、パン角、チルト角およびロール角を再生編集制御部３００から受け取る。ここで、パン角は、出力座標をｘ軸周りに回転させる回転角度である。また、チルト角は、出力座標をｙ軸周りに回転させる回転角度であり、ロール角は、ｚ軸周りに回転させる回転角度である。
そして回転行列演算部３５２は、例えば、次の式により回転行列演算を行う。
Figure 0007238770000002
上記（数２）において、「Ｒｔ」はチルト角、「Ｒｒ」はロール角、「Ｒｐ」はパン角である。また、（ｘrot、ｙrot、ｚrot）は回転後の出力座標である。
回転行列演算部３５２は、この出力座標（ｘrot、ｙrot、ｚrot）を透視射影変換部３５３に供給する。
透視射影変換部３５３は出力座標に対して透視射影変換を行う。
図４６Ｂのように、出力座標平面２１０上を、天球表面に透視射影する（領域２１１）。即ち出力座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下の様に計算される。
Figure 0007238770000003
（数３）において、ｘsph、ｙsph、ｚsphは出力座標を仮想天球面の表面上の座標に射影した座標である。またａｒｃｔａｎ２（ｙ、ｘ）は、（ｙ、ｘ）および原点を結ぶ直線とｘ軸とのなす角度を返す関数である。また、ａｒｃｃｏｓは、正弦関数の逆関数を示す。また、ＲｘおよびＲｚは、投影射影変換された極座標表記の出力座標のうちｘ軸およびｚ軸に対する角度を示す。
透視射影変換部３５３は、投影射影変換した出力座標（ｒ、Ｒｘ、Ｒｚ）のうち（Ｒｘ、Ｒｚ）を読出座標出力部３００に供給する。ｒは極座標系における半径を示す。ｒを供給しないのはｒを固定値（例えば「１」）としているためである。
読出座標出力部３５４は、出力座標を読出座標に変換して画像変換部３２１に出力する。例えば読出座標出力部３５４は、出力座標に対応する読出座標を記憶した魚眼画像歪補正テーブルを有しており、読出座標を魚眼画像歪補正テーブルから取得して出力することが考えられる。
魚眼画像歪補正テーブルは、魚眼画像内の読出座標の全部又は一部の座標を、中心射影画像内の出力座標に対応づけて記憶している。一部の座標を記憶する場合において、出力座標に対応する読出座標が記憶されていない場合は、読出座標出力部３５４は補間演算により読出座標を算出して出力する。
画像変換部３２１が、以上の各部の処理により得られた読出座標を用いてフレームメモリ３２０から画素を読み出すことで、魚眼歪み補正がされた出力画像を得ることができる。例えば図４７Ａのような入力画像から、領域２１１を切り出して図４７Ｂのような中心射影方式とした出力画像を得ることができる。
つまり以上の処理は、出力画像（２次元）の各ピクセルの座標が、仮想球面２０２上のどこに対応するかを算出することと、入力画像（魚眼画像２０１）を仮想球面２０２上に貼り付けることから、入力画像と出力画像の各座標間の対応関係が求められる。そして出力画像に対応する領域２１１に相当する画素をフレームメモリ３２０における入力画像から読み出す（切り出す）ことで魚眼歪み補正がなされた出力画像を得ることになる。
続いて上記のような魚眼歪み補正の過程で行うブレ補正について説明する。
ブレ補正は、出力座標平面２１０を回転行列演算部３５２で回転操作を行う際に、姿勢データ（ジャイロデータ）から算出したブレ補正成分を適用することで実現する。
仮想球面２０２上の領域２１１が固定されても、各フレームにおいて切り出される領域（魚眼画像２０１上の領域）に写されている被写体光景は撮像時のブレによってずれる。従って再生画像からブレをキャンセルするには、ブレによる撮像視野方向のズレの反対に切り出す領域をずらせば良い。
つまり各フレームにおいて、撮像装置１の姿勢の変化をキャンセルするように、領域２１１をずらせばよい。
図４３における姿勢データ演算部３４３は、例えば図２２に示したような微分値算出、ジャイロデータのサンプリング間隔分だけの更新の演算、四元数のノルム正規化等の演算を行う。
ブレ補正対応部３４１は、対象のフレームに対応する姿勢データから求めた値により、ブレ補正のための係数Ｒを求め、回転行列演算部３５２に供給する。
現フレームの撮像時の撮像装置１の姿勢が、初期姿勢に対して、ベクトルｕを中心にθだけ回転したものであるとする。
これをキャンセルする回転を表す四元数ｑは、以下で表される。
Figure 0007238770000004
この四元数に対応する回転行列Ｒは次のようになる。
Figure 0007238770000005
この回転行列Ｒを使って、回転行列演算部３５２で行う上記（数２）の式を、以下の（数６）のように変更することで、魚眼歪み補正とブレ補正を同時に行うことができる。
Figure 0007238770000006
なお以上のブレ補正については、視野変動の大小を判定して補正を行うようにすることが好適である。例えば撮像装置１が振動により揺れたのか、ユーザが身体の向きを変えたのかを、ブレ量の大小で判定する。例えば撮像装置１を装着している身体の向きを変えた場合は、それに応じた撮像している光景の変化があるほうが自然である。そこで所定以上のブレ量の場合は一時的にブレ補正を行わないとすることも考えられる。
次に重力方向補正について説明する。
再生表示される出力画像は、魚眼画像２０１の一部を切り出したものであるため、ユーザの操作に応じて切り出し位置を変化させることで、再生時において画像の視野方向を変化させることができる。
従って、再生編集制御部３００はユーザの操作（画面上のフリック、スライド操作や、パン／チルト／ロールのアイコン操作等）に応じて、回転行列演算部３５２に供給するパン角、チルト角、ロール角を可変すれば、魚眼画像２０１からの切り出し領域を変更することができる。つまり表示されている光景を、左右方向や上下方向の光景に遷移させることができ、これによってユーザは魚眼画像２０１に写された範囲の被写体光景を任意に見ることができる。
ところが、ユーザの操作に単純に従って視野方向を変更していくと、再生されている画像の下方が撮像の際の重力方向と不一致な状態になりやすい。
例えば図４８Ｂは、再生表示されている光景が重力に対して傾いてしまっている様子を示している。
これは図４８Ａのように、重力方向ｇがｙ軸方向とずれてしまっている状態である。
そこで再生中にユーザ操作によって視野変化を行っても、表示される再生画像において重力方向がずれないようにするのが重力方向補正である。
具体的には、
・重力方向と、ｙ軸を揃える
・パン・チルトのみの回転とする
という処理を行う。これによって、補正された画像では、常に再生画像の下方向が鉛直下向きになるようにできる。
図４８Ｃは、重力方向ｇとｙ軸方向を揃えた状態を示している。これにより図４８Ｄのように重力方向ｇが下方となる再生画像を得ることができる。
この重力方向補正のためには図４３の重力方向補正対応部３４２が、姿勢データにおける加速度データを用いて、処理対象のフレームにおける重力方向を算出する。
なお安定的に加速度の方向を求めるために、拡張カルマンフィルタ等を用いてＳ／Ｎの良い角速度情報と組み合わせても良い。
そして重力方向補正対応部３４２は算出した重力方向ｇの情報を回転行列演算部３５２に供給する。
回転行列演算部３５２は、上記（数２）又は上記（数６）の演算で回転処理を行う際に、ｙ軸が重力方向ｇに一致するように制約をかける。
上記（数２）の演算で回転処理を行う場合にｙ軸が重力方向ｇに一致するようにすることで魚眼歪み補正と重力方向補正が行われることになる。
上記（数６）の演算で回転処理を行う場合にｙ軸が重力方向ｇに一致するようにすることで魚眼歪み補正とブレ補正と重力方向補正が行われることになる。
以上から理解されるように、図４３の画像補正処理部３０２は、画像データを中心射影方式の画像に変換する歪み補正処理を行う歪み補正処理部３９０を備える。即ち、座標正規化部３５１、回転行列演算部３５２、透視射影変換部３５３、読出座標出力部３５４、画像変換部３２１が歪み補正処理部３９０として機能する。
また画像補正処理部３０２は、画像データの各フレームに対応する撮像装置の姿勢データを用いて画像データに表れる像ブレを低減するブレ補正処理を行うブレ補正処理部３９１を備える。即ち姿勢データ演算部３９１、ブレ補正対応部３４１、回転行列演算部３５２がブレ補正処理部３９１として機能する。
また画像データの各フレームに対応する撮像装置１の姿勢データを用いて、画像データの再生表示中に視野変更が行われる際に、表示画像中で重力方向を一定に保つようにする重力方向補正処理を行う重力方向補正処理部３９２を備える。即ち姿勢データ演算部３９１、重力方向補正対応部３４２、回転行列演算部３５２が重力方向補正処理部３９２として機能する。
＜１３．情報処理装置による処理例＞

情報処理装置１５０においてアプリケーションプログラムによって実現される処理例を説明する。
図４９、図５０は情報処理装置１５０において図４２の機能構成により図２１のＣＰＵ１５１で実行される再生時の処理例を示している。例えば図３６又は図３７で示したアプリケーション画面１７０上で画像再生を行う場合の処理である。
ここでは動画（通常動画又はタイムラプス動画）の再生を行う例で説明する。
ＣＰＵ１５１は図４９、図５０のステップＳ７００、Ｓ７１０、Ｓ７２０、Ｓ７３０、Ｓ７４０、Ｓ７５０、Ｓ７６０、Ｓ７７０、Ｓ７８０、Ｓ７９０で各種トリガを監視している。
なお図４９の「Ｐ１」は図５０の「Ｐ１」につながる。また図５０の「Ｐ２」は図４９の「Ｐ２」につながる。
例えばユーザが再生操作を行ったことを検知したらＣＰＵ１５１はステップＳ７００からＳ７０１に進み、画像再生を開始する制御を行う。
またステップＳ７０２でＣＰＵ１５１は再生動画に重畳して補正操作子が表示されるようにする。ここでいう補正操作子とは、図４０、図４１等に示した魚眼歪み補正ボタン１７２、ブレ補正ボタン１７３、重力方向補正ボタン１７４のことである。
このステップＳ７０１，Ｓ７０２の制御により例えば図４０Ａのような動画再生が開始される。なお、再生開始の際に、既に魚眼歪み補正が加えられた動画が再生されるようにしてもよいし、さらにブレ補正や重力方向補正が有効とされていてもよい。
また同じ動画が過去に再生されていた場合、前回の再生時の最後の補正オン／オフ状態が維持されて再生開始されてもよい。補正オン／オフ状態とは、魚眼歪み補正、ブレ補正、重力方向補正のそれぞれが機能オンとされているか、機能オフとされているかの状態のことである。
ユーザが再生停止操作を行った場合や、動画再生が最後のフレームに達した場合などとして、再生終了のトリガを認識した場合、ＣＰＵ１５１はステップＳ７１０からＳ７１１に進み再生停止制御を行う。これにより動画再生が停止される。
またＣＰＵ１５１はステップＳ７１２で補正操作子の画像上での表示を終了させる。
またＣＰＵ１５１はステップＳ７１３で、その再生終了時点での補正オン／オフ状態を当該動画コンテンツに対応させて例えば記憶部１５９に記憶する。この処理により、先のステップＳ７０１で動画再生を開始させる際に、前回の再生終了時の補正オン／オフ状態で再生を行うことができる。
動画再生中に魚眼歪み補正ボタン１７２がオン操作されたことを検知した場合、ＣＰＵ１５１はステップＳ７２０からＳ７２１に進み、魚眼歪み補正を開始する。またステップＳ７２２で表示中の魚眼歪み補正ボタン１７２をオフ操作子とする処理を行う。これにより再生中の動画は例えば図４０Ｂのような表示状態となる。
ステップＳ７２３でＣＰＵ１５１は魚眼歪み補正開始位置としてのマーキング処理を行う。
マーキング処理とは、例えば再生中の動画コンテンツに対応するマーキング情報として、フレームナンバ（時／分／秒／フレーム）を記憶する処理である。例えば魚眼歪み補正開始位置、魚眼歪み補正終了位置、ブレ補正開始位置、ブレ補正終了位置のフレームナンバを逐次マーキング情報として記憶する。ＣＰＵ１５１はこれらのマーキング情報を例えば記憶部１５９において動画コンテンツに対応する情報として記憶する。
動画再生中に魚眼歪み補正ボタン１７２がオフ操作されたことを検知した場合、ＣＰＵ１５１はステップＳ７３０からＳ７３１に進み、魚眼歪み補正を終了させる。またステップＳ７３２で表示中の魚眼歪み補正ボタン１７２をオン操作子とする処理を行う。これにより再生中の動画は例えば図４０Ａのような表示状態となる。
ステップＳ７３３でＣＰＵ１５１は魚眼歪み補正終了位置としてのマーキング処理を行う。
動画再生中にブレ補正ボタン１７３がオン操作されたことを検知した場合、ＣＰＵ１５１はステップＳ７４０からＳ７４１に進み、現在、魚眼歪み補正中か否かを確認する。魚眼歪み補正中でなければブレ補正ボタン１７３のオン操作を無効とする（Ｓ７４１→NO）。
現在、魚眼歪み補正中であればＣＰＵ１５１はステップＳ７４２に進みブレ補正を開始する。またステップＳ７４３で表示中のブレ補正ボタン１７３をオフ操作子とする処理を行う。これにより再生中の動画は例えば図４１Ａのような表示状態となる。
ステップＳ７４４でＣＰＵ１５１はブレ補正開始位置としてのマーキング処理を行う。
なお、ここでは魚眼歪み補正中でなければブレ補正ボタン１７３のオン操作を無効としたが、魚眼歪み補正中でないときにブレ補正ボタン１７３のオン操作が行われたら、魚眼歪み補正とブレ補正を共に開始させるようにしてもよい。
動画再生中にブレ補正ボタン１７３がオフ操作されたことを検知した場合、ＣＰＵ１５１は図５０のステップＳ７５０からＳ７５１に進みブレ補正を終了する。またステップＳ７５２で表示中のブレ補正ボタン１７３をオン操作子とする処理を行う。これにより再生中の動画は例えば図４０Ｂのような表示状態となる。
ステップＳ７５３でＣＰＵ１５１はブレ補正終了位置としてのマーキング処理を行う。
動画再生中に重力方向補正ボタン１７４がオン操作されたことを検知した場合、ＣＰＵ１５１はステップＳ７６０からＳ７６１に進み、現在、魚眼歪み補正中か否かを確認する。魚眼歪み補正中でなければ重力方向補正ボタン１７４のオン操作を無効とする（Ｓ７６１→NO）。
現在、魚眼歪み補正中であればＣＰＵ１５１はステップＳ７６２に進み重力方向補正を開始する。またステップＳ７６３で表示中の重力方向補正ボタン１７４をオフ操作子とする処理を行う。これにより再生中の動画は例えば図４１Ｂのような表示状態となる。
なお、ここでは魚眼歪み補正中でなければ重力方向補正ボタン１７４のオン操作を無効としたが、魚眼歪み補正中でないときに重力方向補正ボタン１７４のオン操作が行われたら、魚眼歪み補正を開始したうえで重力方向補正をオンとしてもよい。
動画再生中に重力方向補正ボタン１７４がオフ操作されたことを検知した場合、ＣＰＵ１５１はステップＳ７７０からＳ７７１に進み重力方向補正をオフとする。またステップＳ７７２で表示中の重力方向補正ボタン１７４をオン操作子とする処理を行う。これにより再生中の動画は例えば図４０Ｂ又は図４１Ａのような表示状態となる。
動画再生中にユーザの視野変化操作を検知した場合、ＣＰＵ１５１はステップＳ７８０からＳ７８１に進み、現在、重力方向補正がオンであるか否かにより処理を分岐する。重力方向補正がオフであるときはステップＳ７８２に進み、操作に応じたパン角、チルト角、ロール角を発生して出力座標平面２１０を回転させ、切り出す領域２１１を変更する。
重力方向補正がオンであるときはステップＳ７８３に進み、操作に応じたパン角、チルト角、ロール角について重力方向補正による制限を加えたうえで出力座標平面２１０を回転させ、切り出す領域２１１を変更する。これにより上述したように視野変更をおこなっても表示上で重力方向がずれないようにする。
動画再生中や再生停止中にユーザの記録操作を検知した場合、ＣＰＵ１５１はステップＳ７９０からＳ７９１の記録処理に進む。
この記録操作は、以上のように再生される魚眼画像の動画としての画像データを、補正を反映した状態の画像データ（補正反映後の動画コンテンツ）として新たに記録する動作を求めるものである。
ステップＳ７９１の記録処理の例を図５１に示す。
ＣＰＵ１５１は図５１のステップＳ８０１で、現在の補正オン／オフ状態を記録処理用の情報として設定する。
現在の補正オン／オフ状態とは、記録操作を行った時点の魚眼歪み補正、ブレ補正、重力方向補正のそれぞれのオン／オフ状態である。
上記のように、ユーザは再生動画を視聴しながら魚眼歪み補正、ブレ補正、重力方向補正を任意にオン／オフさせることができる。これにより、各補正を施した表示状態を確認できる。つまり視聴している動画について、どの補正を有効とすることを望むかをユーザが確認できる。
そこで本実施の形態では、例えば魚眼歪み補正のみが施された動画コンテンツを欲した場合は、ユーザは再生時に魚眼歪み補正のみオンとした状態で、記録操作を行えばよいようにする。同様に例えば魚眼歪み補正とブレ補正が施された動画コンテンツを欲した場合は、ユーザは再生時に魚眼歪み補正のみとブレ補正をオンとした状態で、記録操作を行えばよい。
なお、現在の補正オン／オフ状態は、その記録操作の際にユーザが選択できるようにしてもよい。例えばそれまでの再生により魚眼歪み補正とブレ補正の両方を行うことが有効と考えたユーザが、記録操作の際に、魚眼歪み補正とブレ補正の両方を行うことを選択する。この場合ＣＰＵ１５１は、ユーザの操作に基づいてステップＳ８０１で、現在の補正オン／オフ状態を記録処理用の情報として設定する。
また直前の再生とは関係なくユーザが画像データ（動画コンテンツ）を選択し、それを対象として記録操作を行うことも考えられる。その場合は、当該画像データの最後の再生時の補正オン／オフ状態をステップＳ８０１で現在の補正オン／オフ状態としてもよいし、画像データ選択とともに補正オン／オフ状態をユーザが選択可能としてもよい。
ステップＳ８０２でＣＰＵ１５１は、それまで再生対象としていた画像データ、或いは別途記録操作の際に指定した画像データについて、先頭フレームからの再生及び補正を開始する。さらにステップＳ８０３で補正後のフレームについて記録を開始する。
つまり元の魚眼画像２０１による画像データについて、必要な補正が施された新たな画像データとしての動画コンテンツを作成することになる。
また、保存される再生動画を確認しながら保存処理を行うため、意図しない補正状態の再生画像が保存されてしまうことを防止することができる。
なお、ステップＳ８０２，Ｓ８０３の動画再生／補正／記録は、通常の視聴状態の再生速度と同様に行ってもよいが（１倍速での再生及び記録）、高速再生／記録を行って短時間で完了するようにしてもよい。
ＣＰＵ１５１はステップＳ８０４で再生／記録が最後のフレームに達したか否かを確認し、終了したらステップＳ８０５で再生／記録を終了させる。
また、動画再生を行わずに補正処理及び記憶処理のみを実行してもよい。この場合には、動画の再生処理が行われないため、ＣＰＵ１５１の処理負担の軽減が図られ、各種補正処理と再生画像の記憶処理の効率化が図られる。
これにより、ユーザは撮像装置１で撮像した画像データを情報処理装置１５０において動画再生させ、その際に、魚眼歪み補正、ブレ補正、重力方向補正が施された状態を確認し、任意の補正状態を指定して補正が施された状態の画像データを生成することができるようになる。
例えば撮像装置１を用いて動きの激しい状態で撮像した画像データは、ブレが大きな魚眼画像の動画である。これを再生動画で確認し、魚眼歪み補正やブレ補正を行った画像がよいと思った場合は、当該記録操作により、魚眼歪み補正が施され、かつブレが低減された動画としての新たな画像データを得ることができる。
次に図５２はステップＳ７９１の記録処理としての他の例を示している。これはマーキング情報を利用する例である。
ＣＰＵ１５１は図５２のステップＳ８５０で、当該対象の画像データについてのマーキング情報を取得する。即ち当該画像データの動画再生中にユーザが魚眼歪み補正やブレ補正についてのオン／オフ操作を行ったフレーム位置の情報である。
ステップＳ８５１でＣＰＵ１５１は、マーキング情報に基づいて、対象の画像データについての魚眼歪み補正やブレ補正を行う区間を設定し、オン／オフの切り替えポイントとしてのフレーム位置を設定する。
具体的には魚眼歪み補正のオン区間としての開始フレーム／終了フレーム、ブレ補正のオン区間としての開始フレーム／終了フレームを、それぞれマーキング情報に基づいて把握する。そして魚眼歪み補正をオンとするフレーム位置、オフとするフレーム位置を設定する。またブレ補正をオンとするフレーム位置、オフとするフレーム位置を設定する。もちろんこれらの切替ポイントはゼロの場合もあるし、１又は複数ポイントの場合もある。
ステップＳ８５２でＣＰＵ１５１は、マーキング情報に基づいて把握した補正オン／オフの情報に基づいて、動画の先頭でのオン／オフ設定を行う。
そしてステップＳ８５３でＣＰＵ１５１は、それまで再生対象としていた画像データ、或いは別途記録操作の際に指定した画像データについて、先頭フレームからの再生及び補正を開始する。さらにステップＳ８５４で補正後のフレームについて記録を開始する。つまり元の魚眼画像２０１による画像データについて、必要な補正が施された新たな画像データとしての動画コンテンツを作成していく。
ステップＳ８５５でＣＰＵ１５１は、先に設定した切替ポイントとなったかを監視している。再生の進行が切替ポイントに達した際には、ＣＰＵ１５１ステップＳ８５６に進み、その切替ポイントに応じた魚眼歪み補正のオン又はオフ、或いはブレ補正のオン又はオフを行う。
これにより切替ポイントの前後で魚眼歪み補正又はブレ補正の実行状態が変化される。
ＣＰＵ１５１はステップＳ８５７で再生／記録が最後のフレームに達したか否かを確認し、終了したらステップＳ８５８で再生／記録を終了させる。
なお、ステップＳ８５３，Ｓ８５４の動画再生／補正／記録は、通常の視聴状態の再生速度と同様に行ってもよいが（１倍速での再生及び記録）、高速再生／記録を行って短時間で完了するようにしてもよい。
この図５２の記録処理により、ユーザは撮像装置１で撮像した画像データを情報処理装置１５０において動画再生させ、その際に、魚眼歪み補正、ブレ補正を任意にオン／オフしていくと、その再生時の補正オン／オフが反映された状態の動画コンテンツが生成されることになる。
従って例えば動画の或る区間を魚眼歪み補正オフとした場合、記録される動画でもその区間は魚眼歪み補正が施されない、魚眼画像の動画となる。また或る区間のみ魚眼歪み補正及びブレ補正をオンとした場合、その区間はブレが低減された中心射影方式の動画となる。これにより、ユーザは任意に魚眼歪み補正のオン／オフを設定し、またブレ補正のオン／オフを設定して、その設定が反映された動画コンテンツを作成できる。
なお、図４９，図５０のようにマーキング処理が行われるが、マーキング情報はユーザの操作により変更可能（フレーム位置調整可能）にすると好適である。
例えば再生動画をみながら補正オン／オフを大まかに設定していき、記録前にマーキング情報を調整して、魚眼歪み補正、ブレ補正を行う区間、行わない区間を調整できるようにすれば、望みの動画を容易に生成できる。
なお動画内において重力方向補正を有効化する区間を設定できるようにしても良い。
例えば記録される動画について、重力方向補正の区間情報を付加することで、その再生時に視野変更操作を行っても重力方向がずれないようにする動画を生成できるようにする。
このような区間設定のために例えば図５０のステップＳ７６２で重力方向補正をオンとする際や、ステップＳ７７１で重力方向補正をオフとする際に、マーキング処理を行うことも考えられる。
＜１４．情報処理装置のまとめ＞

以上のように実施の形態の情報処理装置１５０は、非中心射影方式の像を撮像した動画である画像データを中心射影方式の画像に変換する歪み補正処理を行う歪み補正処理部３９０と、歪み補正処理が行われた画像データについて、撮像装置１の姿勢データを用いて画像データに表れる像ブレを低減するブレ補正処理を行うブレ補正処理部３９１を備える。
これにより非中心射影方式の像を撮像した動画である画像データの再生や編集の際に、歪み補正及びブレ補正を施した状態を容易に確認できる環境をユーザに提供することができる。特にブレ補正は歪み補正された画像データに対して行うことで、見やすい状態でブレ補正後の動画を提供できる。
また実施の形態の情報処理装置１５０は、歪み補正処理部３９０と、ブレ補正処理部３９１と、歪み補正処理部３９０による歪み補正処理の実行／停止、及びブレ補正処理部３９１によるブレ補正処理の実行／停止を制御する再生編集制御部３００を備える。
再生する画像データは、非中心射影方式の像の動画として広い視野範囲の光景をカバーする画像である。この場合に魚眼歪み補正とブレ補正をそれぞれ任意に可能とすることで、多様かつ品質の高い表示をユーザに提供できる。
そして非中心射影方式の像を撮像した動画である画像データの再生や編集の際に、魚眼歪み補正やブレ補正を施した状態を容易に確認できる環境をユーザに提供できるため、再生や編集に好適である。
実施の形態の情報処理装置１５０は、画像データの再生表示の際に、歪み補正処理の入及（オン）び切（オフ）と、ブレ補正処理の入及び切を制御するようにしている。
画像データの再生、つまり動画再生を行っているときに、歪み補正とブレ補正をそれぞれ実行させたり補正処理を停止させたりする。
これによりユーザは再生時に魚眼歪み補正が行われている状態と行われていない状態を再生動画上で見ることができる。またユーザはブレ補正が行われている状態と行われていない状態を再生動画上で見ることができる。
またこれによって再生や編集の際に、魚眼歪み補正を行うことが適切な動画であるか否か、ブレ補正を行うことが適切な動画であるか否かを確認できる。
実施の形態では、画像データの再生表示の際に、魚眼歪み補正ボタン１７２を操作可能とし、その操作情報に応じて魚眼歪み補正処理の入及び切を制御するようにしている。
これによりユーザは再生画像を見ながらリアルタイムで任意に魚眼歪み補正を機能させたり停止させたりすることができる。特に動画内の場面毎に魚眼歪み補正をするとどのような画像になるかを試すことができる。
実施の形態では、画像データの再生表示の際に、ブレ補正ボタン１７３を操作可能とし、その操作情報に応じてブレ補正処理の入及び切を制御するようにしている。
これによりユーザは再生画像を見ながらリアルタイムで任意にブレ補正を機能させたり停止させたりすることができる。特に動画内の場面毎にブレ補正をするとどのような画像になるかを試すことができる。
実施の形態では、画像データの再生表示の際に、魚眼歪み補正ボタン１７２とブレ補正ボタン１７３をそれぞれ独立して操作可能としている。
ユーザは再生画像を見ながらリアルタイムで任意に魚眼歪み補正とブレ補正を機能させたり停止させたりすることができる。
実施の形態では、歪み補正処理が実行されている際にブレ補正処理の実行を可能としている。つまり魚眼歪み補正処理が行われていない魚眼画像を出力する場合はブレ補正を機能させない。
魚眼歪み補正状態の画像においてはブレ補正は有効である一方、魚眼歪み補正をしていない魚眼画像の場合、ブレ補正効果は的確にユーザに認識されない。そこで魚眼歪み補正を行っている場合のみブレ補正を実行可能とする。
また上述のようにブレ補正は魚眼歪み補正のための出力座標平面２１０の回転処理を利用して行うことで、効率的な機能構成を実現している。この場合、ブレ補正は魚眼歪み補正と同時に行うことが好適となる。
実施の形態では、画像データの各フレームに対応する撮像装置の姿勢データを用いて、画像データの再生表示中に視野変更が行われる際に、表示画像中で重力方向を一定に保つようにする重力方向補正処理を行う重力方向補正処理部３９２を備え、再生編集制御部３００は、重力方向補正処理部３９２による重力方向補正処理の入及び切を制御するようにしている。
画像データの再生表示の際に、ユーザ操作に応じて視野変更を行うことができるようにする。この場合に、ユーザ操作のままに視野変動を行っていると、表示画像中の重力方向が表示画像の下方に一致しなくなることが生じる。そこで表示画像中で重力方向が一定に保たれるようにする。これにより視野変更操作を行っても見やすい状態を維持でき、良好な再生表示を実現すると共に視野変化操作も操作性のよいものとすることができる。
実施の形態では、画像データの再生表示の際に、重力方向補正ボタン１７４を操作可能とし、その操作情報に応じて重力方向補正処理の入及び切を制御するようにしている。
これによりユーザは再生画像を見ているときに任意に重力方向補正を機能させたり停止させたりすることができる。
実施の形態では、画像データの再生表示の際に、歪み補正操作子とブレ補正操作子と重力方向補正操作子を、それぞれ独立して操作可能としている。
これによりユーザは再生画像を見ながらリアルタイムで任意に歪み補正とブレ補正と重力方向補正を機能させたり停止させたりすることができる。
実施の形態では、魚眼歪み補正処理が実行されている際に重力方向補正処理の実行を可能としている。歪み補正処理が行われていない非中心射影方式の画像を出力する場合は重力方向補正を機能させない。
魚眼歪み補正をしていない魚眼画像の場合、重力方向補正の効果は的確にユーザに認識されない。そこで魚眼歪み補正を行っている場合のみ重力方向補正を実行可能とする。
また重力方向補正は魚眼歪み補正のための出力座標平面２１０の回転処理を調整して行うことで効率的な機能構成を実現している。この場合、重力方向補正は魚眼歪み補正と同時に行うことが好適となる。
実施の形態では、非中心射影方式の像を撮像した動画である元の画像データについて、歪み補正処理部３９０による歪み補正処理と、ブレ補正処理部３９１によるブレ補正処理の一方又は両方を施した画像データを生成して記録媒体に記録させる制御を行うようにしている（図５１、図５２参照）。
即ち非中心射影方式の像の動画である元の画像データについて、歪み補正処理とブレ補正処理の一方又は両方を実行させた動画としての新たな画像データを生成し、これを記録する。これによりユーザは魚眼歪み補正とブレ補正の一方又は両方を施した画像データ（動画コンテンツ）を容易に作成することができる。
実施の形態では、元の画像データの再生時の歪み補正処理とブレ補正処理の実行有無の情報に応じて、記録時の歪み補正処理とブレ補正処理の入及び切を設定するようにしている（図５１参照）。
元の画像データの再生時に、各補正はユーザの指示によりオン／オフされる。その再生時のユーザ設定（各補正の実行有無）に従って記録時の補正の有無を設定する。
これによりユーザは再生画像において採用する補正処理を決めて記録操作することで、所望の画像データ（動画コンテンツ）を得ることができる。
実施の形態では、元の画像データについての、歪み補正処理を実行した区間及びブレ補正処理を実行した区間を示す情報に基づいて、記録時の歪み補正処理とブレ補正処理の入及び切を制御するようにしている（図５２参照）。
例えば元の画像データの再生時に歪み補正やブレ補正を行った区間を示すようにマーキング情報を付加する。記録の際には、このマーキング情報を用いて補正のオン／オフ制御を行う。
ユーザが画像再生中に魚眼歪み補正やブレ補正を任意にオン／オフすることで、マーキング情報が付加される。これを用いることで、動画中で魚眼歪み補正を行った区間、ブレ補正を行った区間がわかる。そこで図５２の例のように、再生時の区間毎の補正有無に従って魚眼歪み補正やブレ補正のオン／オフを切り替える。これにより再生中に設定した補正有無を反映した動画コンテンツを容易に生成できることになる。
本発明の実施の形態のプログラムは、情報処理装置１５０のＣＰＵ１５１に、非中心射影方式の像を撮像した動画である画像データの再生中に魚眼歪み補正操作子（魚眼歪み補正ボタン１７２）とブレ補正操作子（ブレ補正ボタン１７３）を操作可能とするステップ（Ｓ７０２、Ｓ７２２、Ｓ７３２、Ｓ７４３、Ｓ７５２）と、動画再生中において魚眼歪み補正操作子による補正実行指示の操作が行われることに応じて歪み補正処理を施した再生表示が実行されるようにするステップ（Ｓ７２１）と、動画再生中においてブレ補正操作子による補正実行指示の操作が行われることに応じてブレ補正処理を施した再生表示が実行されるようにするステップ（Ｓ７４２）を実行させるプログラムである。
具体的には、図４９、図５０、図５１又は図５２の処理をＣＰＵ１５１に実行させるプログラムである。
このようなプログラムにより本実施の形態の情報処理装置１５０の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
＜１５．応用例＞

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図５３は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図５３を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図５３では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ～５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。
ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ～５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ～５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。
具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ～５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。
また、図５３では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。
手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。
図５４は、集中操作パネル５１１１における操作画面の表示例を示す図である。図５４では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図５４を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。
発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。
コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。
また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。
図５５は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図５３に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図５５では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。
（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。
（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。
鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図５３に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。
表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。
光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。
アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。
入力装置５１６１は、内視鏡手術システム５１１３に対する入力インターフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。
入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。
あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図５５では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。
関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。
例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。
（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（カメラヘッド及びＣＣＵ）
図５６を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図５６は、図５５に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。
図５６を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。
まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸Ｊ上の位置が移動可能に構成される。
撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。
撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。
また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。
駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸Ｊに沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。
通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。
また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。
カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。
また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示の撮像装置１に係る技術は、以上説明した構成のうち、シーリングカメラ５１８７や術場カメラ５１８９に代えて、或いはこれらと共に用いることが想定される。具体的には、術者やアシスタントが撮像装置１を装着して手術状況を動画として記録していくことができる。また撮像された画像データに魚眼歪み補正、ブレ補正を適用することで手術状況を見やすく提示するシステムとすることができる。
尚、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
＜１６．本技術＞

本技術は以下のような構成も採ることができる。
（１）非中心射影方式の像を撮像した動画である画像データを中心射影方式の画像に変換する歪み補正処理を行う歪み補正処理部と、
前記歪み補正処理の処理対象の画像データについて、撮像装置の姿勢データを用いて画像データに表れる像ブレを低減するブレ補正処理を行うブレ補正処理部と、を備えた
情報処理装置。
（２）前記歪み補正処理部による歪み補正処理の入及び切と、前記ブレ補正処理部によるブレ補正処理の入及び切を制御する制御部と、を備えた
上記（１）に記載の情報処理装置。
（３）前記制御部は、
画像データの再生表示の際に、前記歪み補正処理部による歪み補正処理の入及び切と、前記ブレ補正処理部によるブレ補正処理の入及び切を制御する
上記（２）に記載の情報処理装置。
（４）前記制御部は、
画像データの再生表示の際に、歪み補正操作子を操作可能とし、
前記歪み補正操作子の操作情報に応じて歪み補正処理の入及び切を制御する
上記（３）に記載の情報処理装置。
（５）前記制御部は、
画像データの再生表示の際に、ブレ補正操作子を操作可能とし、
前記ブレ補正操作子の操作情報に応じてブレ補正処理の入及び切を制御する
上記（３）又は（４）に記載の情報処理装置。
（６）前記制御部は、
画像データの再生表示の際に、歪み補正操作子とブレ補正操作子を、それぞれ独立して操作可能とし、
前記歪み補正操作子の操作情報に応じて歪み補正処理の入及び切を制御し、
前記ブレ補正操作子の操作情報に応じてブレ補正処理の入及び切を制御する
上記（３）乃至（５）のいずれかに記載の情報処理装置。
（７）画像データに対応する撮像装置の姿勢データを用いて、画像データの再生表示中に視野変更が行われる際に、表示画像中で重力方向を一定に保つようにする重力方向補正処理を行う重力方向補正処理部を備え、
前記制御部は、前記重力方向補正処理部による重力方向補正処理の入及び切を制御する
上記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）前記制御部は、
画像データの再生表示の際に、重力方向補正操作子を操作可能とし、
前記重力方向補正操作子の操作情報に応じて重力方向補正処理の入及び切を制御する
上記（７）に記載の情報処理装置。
（９）前記制御部は、
画像データの再生表示の際に、歪み補正操作子とブレ補正操作子と重力方向補正操作子を、それぞれ独立して操作可能とし、
前記歪み補正操作子の操作情報に応じて歪み補正処理の入及び切を制御し、
前記ブレ補正操作子の操作情報に応じてブレ補正処理の入及び切を制御し、
前記重力方向補正操作子の操作情報に応じて重力方向補正処理の入及び切を制御する
上記（７）に記載の情報処理装置。
（１０）前記制御部は、前記歪み補正処理の処理対象の画像データについて重力方向補正処理を行う
上記（７）乃至（９）のいずれかに記載の情報処理装置。
（１１）前記制御部は、
非中心射影方式の像を撮像した動画である元の画像データについて、
前記歪み補正処理部による歪み補正処理と、前記ブレ補正処理部によるブレ補正処理の一方又は両方を施した画像データを生成して記録媒体に記録させる制御を行う
上記（２）乃至（１０）のいずれかに記載の情報処理装置。
（１２）前記制御部は、
前記元の画像データの再生時の歪み補正処理とブレ補正処理の実行有無の情報に応じて、記録時の歪み補正処理とブレ補正処理の入及び切を設定する
上記（１１）に記載の情報処理装置。
（１３）前記制御部は、
前記元の画像データについての、歪み補正処理を実行した区間及びブレ補正処理を実行した区間を示す情報に基づいて、記録時の歪み補正処理とブレ補正処理の入及び切を制御する
上記（１１）に記載の情報処理装置。
（１４）前記ブレ補正処理は、前記歪み補正処理の際の切り出し位置に関する処理である
上記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）前記歪み補正処理は、球面モデルを用いて中心射影方式の画像データに変換する処理であり、前記ブレ補正処理により、前記球面モデルの切り出し位置を補正する
上記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）非中心射影方式の像を撮像した動画である画像データを中心射影方式の画像に変換する歪み補正処理を行う手順と、
前記歪み補正処理の処理対象の画像データについて、撮像装置の姿勢データを用いて画像データに表れる像ブレを低減するブレ補正処理を行う手順と、
を情報処理装置が実行する情報処理方法。
（１７）非中心射影方式の像を撮像した動画である画像データを中心射影方式の画像に変換する歪み補正処理を行うステップと、
前記歪み補正処理の処理対象の画像データについて、撮像装置の姿勢データを用いて画像データに表れる像ブレを低減するブレ補正処理を行うステップと、
を情報処理装置に実行させるプログラム。
１…撮像装置、２…筐体、３…光学系、４…ストラップ、５…前面部、６…後面部、７…側面部、８…上面部、９…下面部、１０…動画ボタン、１１…タイムラプスボタン、１２…ファンクションボタン、１３…取付部、１４…報知部、２０…振動部、２３…オス型コネクタ、２５…メス型コネクタ、３０…マグネット、３３…ガイド部、３４…マグネット、３５…マイクロフォン、３６…レンズカバー、１００…画像データ生成部、１０１…姿勢データ生成部、１１２…撮像素子部、１１７…記憶部、１１８…通信部、１２２…制御部、１２６…ジャイロセンサ、１２７…加速度センサ、１２９…発光部、１５０…情報処理装置、１６２…メモリカード、１７２…魚眼歪み補正ボタン、１７３…ブレ補正ボタン、１７４…重力方向補正ボタン、３９０…歪み補正処理部、３９１…ブレ補正処理部、３９２…重力方向補正処理部

Claims (16)

  1. 広角画像データを中心射影方式の画像データに変換する歪み補正処理を行う歪み補正処理部と、
    前記歪み補正処理の処理対象の画像データについて、撮像装置の姿勢データに基づき画像データのブレ補正処理を行うブレ補正処理部と、
    前記歪み補正処理部による歪み補正処理の入及び切と、前記ブレ補正処理部によるブレ補正処理の入及び切を制御する制御部と、を備えた
    情報処理装置。
  2. 前記制御部は、
    画像データの再生表示の際に、前記歪み補正処理部による歪み補正処理の入及び切と、前記ブレ補正処理部によるブレ補正処理の入及び切を制御する
    請求項１に記載の情報処理装置。
  3. 前記制御部は、
    画像データの再生表示の際に、歪み補正操作子を操作可能とし、
    前記歪み補正操作子の操作情報に応じて歪み補正処理の入又は切を制御する
    請求項１に記載の情報処理装置。
  4. 前記制御部は、
    画像データの再生表示の際に、ブレ補正操作子を操作可能とし、
    前記ブレ補正操作子の操作情報に応じてブレ補正処理の入及び切を制御する
    請求項１に記載の情報処理装置。
  5. 前記制御部は、
    画像データの再生表示の際に、歪み補正操作子とブレ補正操作子を、それぞれ独立して操作可能とし、
    前記歪み補正操作子の操作情報に応じて歪み補正処理の入及び切を制御し、
    前記ブレ補正操作子の操作情報に応じてブレ補正処理の入及び切を制御する
    請求項１に記載の情報処理装置。
  6. 画像データに対応する撮像装置の姿勢データを用いて、画像データの再生表示中に視野変更が行われる際に、表示画像中で重力方向を一定に保つようにする重力方向補正処理を行う重力方向補正処理部を備え、
    前記制御部は、前記重力方向補正処理部による重力方向補正処理の入及び切を制御する
    請求項１に記載の情報処理装置。
  7. 前記制御部は、
    画像データの再生表示の際に、重力方向補正操作子を操作可能とし、
    前記重力方向補正操作子の操作情報に応じて重力方向補正処理の入及び切を制御する
    請求項６に記載の情報処理装置。
  8. 前記制御部は、
    画像データの再生表示の際に、歪み補正操作子とブレ補正操作子と重力方向補正操作子を、それぞれ独立して操作可能とし、
    前記歪み補正操作子の操作情報に応じて歪み補正処理の入及び切を制御し、
    前記ブレ補正操作子の操作情報に応じてブレ補正処理の入及び切を制御し、
    前記重力方向補正操作子の操作情報に応じて重力方向補正処理の入及び切を制御する
    請求項６に記載の情報処理装置。
  9. 前記制御部は、前記歪み補正処理の処理対象の画像データについて重力方向補正処理を行う
    請求項６に記載の情報処理装置。
  10. 前記制御部は、
    非中心射影方式の像を撮像した動画である元の画像データについて、
    前記歪み補正処理部による歪み補正処理と、前記ブレ補正処理部によるブレ補正処理の一方又は両方を施した画像データを生成して記録媒体に記録させる制御を行う
    請求項１に記載の情報処理装置。
  11. 前記制御部は、
    前記元の画像データの再生時の歪み補正処理とブレ補正処理の実行有無の情報に応じて、記録時の歪み補正処理とブレ補正処理の入及び切を設定する
    請求項１０に記載の情報処理装置。
  12. 前記制御部は、
    前記元の画像データについての、歪み補正処理を実行した区間及びブレ補正処理を実行した区間を示す情報に基づいて、記録時の歪み補正処理とブレ補正処理の入及び切を制御する
    請求項１０に記載の情報処理装置。
  13. 前記ブレ補正処理は、前記歪み補正処理の際の切り出し位置に関する処理である
    請求項１に記載の情報処理装置。
  14. 前記歪み補正処理は、球面モデルを用いて中心射影方式の画像データに変換する処理であり、前記ブレ補正処理により、前記球面モデルの切り出し位置を補正する
    請求項１に記載の情報処理装置。
  15. 非中心射影方式の像を撮像した動画である画像データを中心射影方式の画像に変換する歪み補正処理の入及び切と、撮像装置の姿勢データを用いて画像データに表れる像ブレを低減するブレ補正処理の入及び切を制御する手順と、
    前記歪み補正処理の入の制御に応じて、前記歪み補正処理を行う手順と、
    前記歪み補正処理の処理対象の画像データについて、前記ブレ補正処理の入の制御に応じて、前記ブレ補正処理を行う手順と、
    を情報処理装置が実行する情報処理方法。
  16. 非中心射影方式の像を撮像した動画である画像データを中心射影方式の画像に変換する歪み補正処理の入及び切と、撮像装置の姿勢データを用いて画像データに表れる像ブレを低減するブレ補正処理の入及び切を制御するステップと、
    前記歪み補正処理の入の制御に応じて、前記歪み補正処理を行うステップと、
    前記歪み補正処理の処理対象の画像データについて、前記ブレ補正処理の入の制御に応じて、前記ブレ補正処理を行うステップと、
    を情報処理装置に実行させるプログラム。
JP2019519076A 2017-05-18 2018-03-05 情報処理装置、情報処理方法、プログラム Active JP7238770B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017099169 2017-05-18
JP2017099169 2017-05-18
PCT/JP2018/008291 WO2018211782A1 (ja) 2017-05-18 2018-03-05 情報処理装置、情報処理方法、プログラム

Publications (2)

Publication Number Publication Date
JPWO2018211782A1 JPWO2018211782A1 (ja) 2020-05-28
JP7238770B2 true JP7238770B2 (ja) 2023-03-14

Family

ID=64274298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019519076A Active JP7238770B2 (ja) 2017-05-18 2018-03-05 情報処理装置、情報処理方法、プログラム

Country Status (6)

Country Link
US (1) US11245849B2 (ja)
EP (1) EP3637757B1 (ja)
JP (1) JP7238770B2 (ja)
KR (1) KR20200009003A (ja)
CN (1) CN110612720B (ja)
WO (1) WO2018211782A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212013A1 (ja) * 2017-05-18 2018-11-22 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7405131B2 (ja) 2019-02-21 2023-12-26 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム
US11677916B2 (en) 2019-02-28 2023-06-13 Wet System and method of altering the appearance of liquid and solid physical objects or forms
US11153481B2 (en) * 2019-03-15 2021-10-19 STX Financing, LLC Capturing and transforming wide-angle video information
WO2021150921A1 (en) 2020-01-22 2021-07-29 Photonic Medical Inc Open view, multi-modal, calibrated digital loupe with depth sensing
WO2022116194A1 (zh) * 2020-12-04 2022-06-09 中国科学院深圳先进技术研究院 一种全景呈现方法及其装置
CN114359114B (zh) * 2022-03-16 2022-08-23 宁波杜比医疗科技有限公司 一种单核病灶色相还原方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295626A (ja) 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
JP2008244803A (ja) 2007-03-27 2008-10-09 Fujifilm Corp 撮像装置
JP2009300481A (ja) 2008-06-10 2009-12-24 Sony Corp 撮像装置およびミラー駆動装置
JP2016105534A (ja) 2014-12-01 2016-06-09 株式会社ザクティ 撮像装置、及び撮像装置システム
JP2016111561A (ja) 2014-12-08 2016-06-20 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4479679B2 (ja) 2006-03-14 2010-06-09 セイコーエプソン株式会社 撮影画像表示システム、画像受信装置及びその制御方法
JP2008160300A (ja) * 2006-12-21 2008-07-10 Canon Inc 画像処理装置及び撮像装置
JP4949897B2 (ja) * 2007-03-09 2012-06-13 富士フイルム株式会社 防振機能付きズームレンズおよび撮像装置
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
WO2010004806A1 (ja) * 2008-07-09 2010-01-14 株式会社ニコン ズームレンズ、これを有する光学機器及びズームレンズの製造方法
EP2640059B1 (en) * 2010-11-11 2018-08-29 Panasonic Intellectual Property Corporation of America Image processing device, image processing method and program
JP5868618B2 (ja) 2011-06-14 2016-02-24 オリンパス株式会社 情報処理装置、画像処理システム及びプログラム
EP2750110B1 (en) * 2011-08-24 2020-03-18 Sony Corporation Information processing device, information processing method, and program
JP5966341B2 (ja) * 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
JP2013214947A (ja) * 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP6303270B2 (ja) * 2012-05-18 2018-04-04 株式会社リコー ビデオ会議端末装置、ビデオ会議システム、映像の歪み補正方法および映像の歪み補正プログラム
JP5794705B2 (ja) * 2013-02-01 2015-10-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP6398081B2 (ja) * 2014-03-12 2018-10-03 パナソニックＩｐマネジメント株式会社 カメラ本体、カメラシステム、そのブレ補正制御方法、及びカメラ本体のブレ補正制御プログラム
JP5843034B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
KR102222073B1 (ko) * 2014-08-29 2021-03-04 삼성전자주식회사 촬영 방법 및 전자 장치
EP4113991A1 (en) * 2014-09-03 2023-01-04 Nevermind Capital LLC Methods and apparatus for capturing, streaming and/or playing back content
JP6627352B2 (ja) 2015-09-15 2020-01-08 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
CN105550984B (zh) * 2015-12-30 2019-04-12 北京奇艺世纪科技有限公司 一种鱼眼图像校正和漫游显示的方法及装置
CN106651767A (zh) 2016-12-30 2017-05-10 北京星辰美豆文化传播有限公司 一种获取全景图像的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295626A (ja) 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
JP2008244803A (ja) 2007-03-27 2008-10-09 Fujifilm Corp 撮像装置
JP2009300481A (ja) 2008-06-10 2009-12-24 Sony Corp 撮像装置およびミラー駆動装置
JP2016105534A (ja) 2014-12-01 2016-06-09 株式会社ザクティ 撮像装置、及び撮像装置システム
JP2016111561A (ja) 2014-12-08 2016-06-20 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN110612720A (zh) 2019-12-24
EP3637757A1 (en) 2020-04-15
WO2018211782A1 (ja) 2018-11-22
EP3637757A4 (en) 2020-05-06
EP3637757B1 (en) 2022-12-07
US20200068131A1 (en) 2020-02-27
JPWO2018211782A1 (ja) 2020-05-28
US11245849B2 (en) 2022-02-08
CN110612720B (zh) 2022-04-12
KR20200009003A (ko) 2020-01-29

Similar Documents

Publication Publication Date Title
JP7163912B2 (ja) 撮像装置、撮像方法
JP7238770B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2021192313A (ja) 情報処理装置および方法、並びにプログラム
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
JP7218728B2 (ja) 制御装置および制御方法
WO2019012857A1 (ja) 撮像装置、画像生成方法
WO2018211780A1 (ja) 撮像装置
US12008682B2 (en) Information processor, information processing method, and program image to determine a region of an operation target in a moving image
WO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7264051B2 (ja) 画像処理装置および画像処理方法
JP7136093B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2019235049A1 (ja) 撮像装置、ゲイン設定方法及びプログラム
WO2021230001A1 (ja) 情報処理装置及び情報処理方法
JP7444074B2 (ja) 撮像装置、撮像制御装置、撮像方法
US11394759B2 (en) Communication system and control apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R151 Written notification of patent or utility model registration

Ref document number: 7238770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151