WO2021186961A1

WO2021186961A1 - 信号処理装置、信号処理方法

Info

Publication number: WO2021186961A1
Application number: PCT/JP2021/005068
Authority: WO
Inventors: 洋新井; 由里子大塚; 西　健一郎; 健益浦; 紀光沖山; 佑史松井; 敏高島
Original assignee: ソニーセミコンダクタソリューションズ株式会社; ソニーグループ株式会社
Priority date: 2020-03-16
Filing date: 2021-02-10
Publication date: 2021-09-23
Also published as: US11985424B2; JPWO2021186961A1; US20230156331A1; EP4124017A4; EP4124017A1

Abstract

本技術に係る信号処理装置は、ニューラルネットワークを有し、センサからの入力信号を対象として特定事象についての特徴量を抽出するように学習された特徴量抽出部と、前記特徴量抽出部が抽出した前記特徴量に基づき、前記入力信号の補正を行う補正部と、を備える。

Description

信号処理装置、信号処理方法

　本技術は、信号処理装置とその方法に関し、特には、センサからの入力信号をＡＩ（Artificial Intelligence：人工知能）を用いて補正する技術に関する。

　例えば、加速度センサや角速度センサ等の動きセンサ（モーションセンサ）や、イメージセンサ等の各種センサが広く普及している。
　この種のセンサでは、検出信号にノイズ等の不要成分が含まれる場合があり、これを除去することが要請される場合がある。例えば、動きセンサを車載カメラのブレ補正処理（スタビライズ処理）に用いる場合には、車両走行に伴い遠心力が生じた場合は動きセンサの検出信号に遠心力の成分が重力加速度に混ざりながら含まれることになるが、遠心力の成分はブレ補正処理においては不要な成分となるため、除去されるべきである。或いは、イメージセンサの撮像画像にはフォトンショットノイズや暗電流ノイズ、読み出しノイズ等といった撮像に伴う各種のノイズ（以下「撮像ノイズ」と表記する）が重畳するが、画質向上のためこれらの撮像ノイズは除去されるべきである。

　なお、関連する従来技術については下記特許文献１を挙げることができる。

特開２０１４－６６９９５号公報

　例えば、上記のような不要成分の除去処理等、センサからの入力信号には所要の補正処理が施される場合がある。

　本技術はかかる事情に鑑み為されたものであり、センサからの入力信号の補正に関して性能向上を図ることを目的とする。

　本技術に係る信号処理装置は、ニューラルネットワークを有し、センサからの入力信号を対象として特定事象についての特徴量を抽出するように学習された特徴量抽出部と、前記特徴量抽出部が抽出した前記特徴量に基づき、前記入力信号の補正を行う補正部と、を備えるものである。
　特定事象についての「特徴量」とは、例えば、センサが加速度センサや角速度センサ等の対象物の動きを検出するための動きセンサ（モーションセンサ）であれば、遠心力や、エフェクトとしての振動についての特徴量等を挙げることができる。すなわち、遠心力とは何かを表す特徴量や、カメラのスタビライズ処理において臨場感を演出するために与えるべき振動とは何かを表す特徴量等である。或いは、センサがイメージセンサであれば、撮像ノイズの特徴量（撮像ノイズとは何かを表す特徴量）、フォーカスの特徴量（フォーカスとは何かを表す特徴量）等を挙げることができる。例えば、遠心力としての特徴量が抽出できれば、入力信号におけるその特徴量を打ち消すことで、スタビライズ処理として遠心力による悪影響を除去した処理を実現でき、スタビライズ性能の向上を図ることができる。或いは、フォーカスとしての特徴量を抽出できれば、該特徴量を用いた画像補正処理により画像の深度方向におけるフォーカス位置（合焦位置）を調整することが可能となる。つまり、撮影後のピント調整が可能となる。
　本技術では、例えばこれら遠心力やフォーカスといったような、数式で表すことが困難な事象についての特徴量を、ＡＩ（Artificial Intelligence：人工知能）技術を用いた学習によりオブジェクトのように抽出し、抽出した特徴量に基づき入力信号を補正している。これにより、従来のフィルタ処理では困難であった補正処理を容易に実現可能となる。

　上記した本技術に係る信号処理装置においては、前記特徴量抽出部が抽出した前記特徴量を調整する調整器を備えた構成とすることが可能である。
　これにより、入力信号の補正結果としてより良好な結果が得られるように特徴量の調整を行うことが可能となる。

　上記した本技術に係る信号処理装置においては、前記センサは撮像装置の動きを検出する動きセンサとされ、前記補正部が前記特徴量に基づき補正した前記動きセンサからの入力信号に基づき、前記撮像装置の撮像画像についてのスタビライズ処理を行うスタビライズ処理部を備えた構成とすることが可能である。
　これにより、例えば特徴量として遠心力の特徴量を抽出する場合には、遠心力の成分を除去した動き検出信号に基づいてスタビライズ処理を行うことが可能となる。或いは、特徴量として例えばエフェクトとしての振動の特徴量を抽出する場合であれば、エフェクトとしての振動成分を除去した動き検出信号に基づくスタビライズ処理を行うことが可能となる。すなわち、スタビライズ処理において該エフェクトとしての振動成分が除去されないようにすることが可能となる。

　上記した本技術に係る信号処理装置においては、前記特徴量抽出部が抽出した前記特徴量を調整する調整器と、ニューラルネットワークを有し、前記動きセンサからの入力信号に基づき前記スタビライズ処理の性能を表す評価スコアを算出するように学習されたスコア算出部と、を備え、前記調整器は、前記スコア算出部が算出した前記評価スコアに基づき、前記補正部が前記入力信号の補正に用いる前記特徴量の調整を行う構成とすることが可能である。
　上記のように動きセンサからの入力信号に基づき評価スコアを算出することで、スタビライズ処理後の画像に基づく評価スコアの算出を行う場合よりも、演算量の低減が図られる。

　上記した本技術に係る信号処理装置においては、前記スタビライズ処理部は、出力画像の座標系である出力座標系において、水平方向及び垂直方向にそれぞれ複数配列された格子点を有し前記格子点ごとに前記入力信号から求まる動き情報が対応づけられる格子点メッシュを生成し、前記格子点メッシュにおける前記格子点ごとの前記動き情報に基づいて前記スタビライズ処理を行う構成とすることが可能である。
　これにより、出力画像の各画素位置における参照座標の正確性を高めることが可能とされる。

　上記した本技術に係る信号処理装置においては、前記補正部が前記特徴量に基づき行う前記入力信号の補正処理で生じる遅延量を計算し、該遅延量に基づいて前記入力信号についての位相調整を行う位相調整器を備えた構成とすることが可能である。
　これにより、補正処理が或る程度遅延量をもつ場合であっても適切なスタビライズ処理を実現することが可能となる。

　上記した本技術に係る信号処理装置においては、前記撮像画像を得るイメージセンサを有し、前記特徴量抽出部と前記補正部とを有する集積回路チップが前記イメージセンサと同一の半導体パッケージ内に実装された構成とすることが可能である。
　これにより、イメージセンサと集積回路チップとを別パッケージで実装する場合よりも信号処理装置の小型化を図ることが可能となる。

　上記した本技術に係る信号処理装置においては、前記集積回路チップに前記イメージセンサが積層された構成とすることが可能である。
　これにより、イメージセンサと集積回路チップとを同一パッケージ内において縦方向に積み上げて省スペースに収容することが可能となる。

　また、本技術に係る信号処理方法は、ニューラルネットワークを有しセンサからの入力信号を対象として特定事象についての特徴量を抽出するように学習された特徴量抽出部が抽出した前記特徴量に基づき、前記入力信号の補正を行う信号処理方法である。
　このような信号処理方法によっても、上記した本技術に係る信号処理装置と同様の作用が得られる。

本技術に係る実施形態としての信号処理装置の構成例を示したブロック図である。ＣＮＮの説明図である。実施形態における特徴量抽出部の機能構成を示した機能ブロック図である。実施形態における特徴量抽出部の具体的な構成例を図である。実施形態における特徴量抽出部の簡略表現についての説明図である。遠心力特徴量抽出を行う場合に対応した制御線関連付け学習についての説明図である。学習済みの制御線関連付け学習器を用いた特徴量抽出のための構成を例示した図である。実施形態におけるリファクタリング器の内部構成例を示した図である。実施形態における信号補正処理部の内部構成例を示したブロック図である。特徴量抽出器に設定されるべき特徴量のブレンド比を探索するための構成を例示した図である。実施形態におけるスコア解析器のPreTraining処理についての説明図である。スコア解析アルゴリズムを得るための学習手法についての説明図である。スコア解析アルゴリズムを得るための別の学習手法についての説明図である。複数項目の集計スコアに基づいて特徴量のブレンド比を探索するための構成を例示した図である。仕向に応じた重み付け手法の具体例として、定量的な重み付け手法の例を説明するための図である。仕向に応じた重み付け手法の具体例として、定性的な重み付け手法の例を説明するためのである。実施形態におけるスコア分類シーン解析器の生成手法の例を説明するための図である。実施形態の信号処理装置における特徴量抽出部とスコア分類シーン解析器との構成上の関係を示した図である。エフェクト振動特徴量の抽出手法（学習環境）についての説明図である。エフェクト振動特徴量の抽出手法（実装後環境）についての説明図である。カメラワーク特徴量の抽出手法（学習環境）についての説明図である。カメラワーク特徴量の抽出手法（実装後環境）についての説明図である。急変動特徴量の抽出手法（学習環境）についての説明図である。急変動特徴量の抽出手法（実装後環境）についての説明図である。フレーム予測特徴量の抽出手法（学習環境）についての説明図である。フレーム予測特徴量の抽出手法（実装後環境）についての説明図である。スタビ制動特徴量の抽出手法（学習環境）についての説明図である。スタビ制動特徴量の抽出手法（実装後環境）についての説明図である。センサノイズ特徴量の抽出手法（学習環境）についての説明図である。センサノイズ特徴量の抽出手法（実装後環境）についての説明図である。ステートマシン特徴量の抽出手法（学習環境）についての説明図である。ステートマシン特徴量の抽出手法（実装後環境）についての説明図である。ゲームマイニングによるパラメータ探索に用いるシステム構成例を示したブロック図である。図３３に示す情報処理装置が有するゲームマイニングに係る機能をブロック化して示した機能ブロック図である。実施形態におけるスタビライズ処理部の内部構成例を示したブロック図である。傾いたカメラで撮像した様子を示した図である。ＩＭＵクォータニオンと画像入力との関係を示した図である。格子点メッシュを例示した図である。格子点メッシュの座標変換についての説明図である。セグメントマトリクスと格子点メッシュとの関係を説明するための図である。実施形態におけるセグメント探索についての説明図である。セグメント位置ごとの参照座標を求めるための三角補間についての説明図である。三角補間の例を示した図である。リメッシュデータの説明図である。リメッシュデータから画素位置単位の参照座標を求めることのイメージ図である。補間フィルタによる補間処理についての説明図である。参照座標計算部の内部構成例を示したブロック図である。格子点メッシュ生成・成形部の内部構成例を説明するための図である。格子点メッシュの変形例についての説明図である。信号処理装置における「信号処理部」の区分を説明するための図である。信号処理装置の構造例を示した図である。信号処理装置の他の構造例を示した図である。実施形態の信号処理装置を適用したカメラシステムのプロトコル通信の例を説明するための図である。プロトコル通信において通信断が起きた場合の通信回復の例を説明するための図である。同じく、プロトコル通信において通信断が起きた場合の通信回復の例を説明するための図である。ジャイロ側のバイアス除去のための前処理についての説明図である。加速度側の水平リセットのための前処理についての説明図である。光軸と回転軸とのずれ補正についての説明図である。撮像ノイズ特徴量の抽出手法（学習環境）についての説明図である。撮像ノイズ特徴量の抽出手法（実装後環境）についての説明図である。フォーカス特徴量の抽出手法（学習環境）についての説明図である。フォーカス特徴量の抽出手法（実装後環境）についての説明図である。ワープ特徴量の抽出手法（学習環境）についての説明図である。ワープ特徴量の抽出手法（実装後環境）についての説明図である。

　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．撮像装置の全体構成＞
＜２．特徴量抽出部について＞
＜３．特徴量調整器について＞
＜４．各種特徴量の抽出例＞
＜５．ゲームマイニング＞
＜６．スタビライズ処理について＞
［6-1．スタビライズ処理部の内部構成］
［6-2．実施形態としてのスタビライズ処理］
＜７．構造例＞
＜８．その他周辺技術＞
＜９．画像に係る特徴量抽出について＞
＜１０．変形例＞
＜１１．実施形態のまとめ＞
＜１２．本技術＞

＜１．撮像装置の全体構成＞

　図１は、本技術に係る実施形態としての信号処理装置１の構成例を示したブロック図である。ここでは、信号処理装置１がデジタルカメラ装置としての撮像装置に適用された場合を例示する。具体的に、信号処理装置１は、撮像装置による撮像画像について電子ブレ補正（ＥＩＳ：Electric Image Stabilizer）のための信号処理を行う。以下、電子ブレ補正の処理については「スタビライズ処理」と表記する。

　図示のように信号処理装置１は、ＩＭＵ（Inertial Measurement Unit）センサ２、イメージセンサ３、前処理部４、前処理部５、クォータニオン計算部６、特徴量抽出部７、特徴量調整器８、信号補正処理部９、スコア分類シーン解析器１０、位相調整部１１、遅延量計算部１２、及びスタビライズ処理部１３を備えている。

　イメージセンサ３は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサとされ、二次元に複数配列された受光素子が受光した光を光電変換して撮像画像を得る。

　イメージセンサ３で得られた撮像画像は、前処理部５において例えばホワイトバランス調整やデモザイク処理などの所定の前処理が施された上で、スタビライズ処理部１３に出力される。

　ＩＭＵセンサ２は、信号処理装置１を有する撮像装置の動きを検出する動きセンサを有し、該動きの検出結果を示す信号を出力する。後述するように、本例のＩＭＵセンサ２は、動きセンサとしてそれぞれ３軸の加速度センサ（後述する加速度センサ２ａ）と角速度センサ（後述する角速度センサ２ｂ）とを有する。本例では、これら加速度センサと角速度センサの検出信号（３軸×２の６系統）が、上記動きの検出結果を示す信号として出力される。
　以下、ＩＭＵセンサ２が出力する、該動きの検出結果を示す信号のことを総称して「ＩＭＵ信号」と表記する。

　前処理部４は、ＩＭＵセンサ２からのＩＭＵ信号を入力して前処理としての所定の処理を施してクォータニオン計算部６に出力する。
　クォータニオン計算部６は、前処理部４を介して入力されたＩＭＵ信号に基づき、撮像装置の姿勢を表すクォータニオン（Quaternion）を計算する。

　クォータニオン計算部６で計算されたクォータニオン（以下「ＩＭＵクォータニオン」と表記する）は、信号補正処理部９に入力され、後述する特徴量に基づいた所定の補正処理が施される。
　計算されたＩＭＵクォータニオンは、加速度、角速度ごとに固定のブレンド比でブレンドされ、信号補正処理部９に入力される。
　一方、特徴量抽出部７には、加速度＝４系統、角速度＝４系統の計８系統のクォータニオンが入力される。
　信号補正処理部９による補正処理が施されたＩＭＵクォータニオンは、位相調整部１１による位相調整を経て、スタビライズ処理部１３に入力される。

　スタビライズ処理部１３は、このように入力されるＩＭＵクォータニオンに基づき、前処理部５を介して入力される撮像画像についてのスタビライズ処理を行う。なお、スタビライズ処理部１３が行うスタビライズ処理の詳細については後に改めて説明する。

　位相調整部１１は、遅延量計算部１２が計算した遅延量に基づき、信号補正処理部９による補正処理後のＩＭＵクォータニオン（姿勢制御クォータニオン値）についての位相調整を行う。
　位相調整部１１は、信号補正処理部９による補正処理に伴いＩＭＵ信号側に生じる遅延（撮像画像側に対する遅延）を補償するための位相調整を行うものである。このため、遅延量計算部１２は、信号補正処理部９における補正処理の所要時間に基づき遅延量を計算し、位相調整部１１は、該遅延量に基づいて姿勢制御クォータニオン値の位相調整を行う。

　ここで、信号補正処理部９が補正に用いる特徴量の情報は、特徴量抽出部７が、クォータニオン計算部６からのＩＭＵクォータニオン（姿勢制御クォータニオン値）に基づき抽出する。
　特徴量抽出部７が姿勢制御クォータニオン値から抽出する特徴量は、例えば、遠心力についての特徴量など、特定の事象についての特徴量である。特徴量抽出部７は、このような特定事象についての特徴量を姿勢制御クォータニオン値から抽出するように学習されたニューラルネットワークを有して構成される。なお、特徴量抽出部７の詳細については後に改めて説明する。

　特徴量調整器８は、特徴量抽出部７により抽出された特徴量を調整する。本例における特徴量調整器８は、スコア分類シーン解析器１０が算出する評価スコアに基づき特徴量抽出部７により抽出された特徴量を調整する。
　スコア分類シーン解析器１０が算出する評価スコアは、スタビライズ処理の性能を表すスコアとなる。スコア分類シーン解析器１０は、このようにスタビライズ処理の性能を表す評価スコアをＩＭＵクォータニオンに基づき算出するように学習された学習済みのニューラルネットワークを有して構成されるが、詳細については後に改めて説明する。

　図示のように信号補正処理部９には、特徴量抽出部７で抽出された特徴量が、特徴量調整器８を介して入力される。

＜２．特徴量抽出部について＞

　ここで、従来のセンサ信号処理では、ＬＰＦ（Low Pass Filter）やＨＰＦ（High Pass Filter）、カルマンフィルタや相補フィルタなど、センサ信号を適切に補正するためのフィルタ処理が採用されてきた。一方、昨今、ディープラーニングの普及に伴い、ＡＩ（Artificial Intelligence：人工知能）技術を用いて信号処理を行う試みが行われているが、それらは主にＣＮＮ（Convolutional Neural Network）やオートエンコーダで代表されるような教師なし学習（半教師あり学習）の畳み込み及びプーリング処理からなるPreTraining処理と、後段に繋がる全結合層での教師あり学習のFineTuningにより期待値を得る方法が採用されている。このようなアプローチは、画像等の認識技術においては例えば９８％程度の認識精度でも実用レベルであるが、センサ信号についてのアナログ的な信号処理においては、２％程度の誤差であってもスタビ性能や画像解像度に影響が生じ、例えばマックスプーリグ（Max Pooling）等のダウンサンプリングの影響で満足な解像度が得られず、またその演算量は組み込みシステムのアナログ信号処理においては非常に負荷の重いものであった。また、MaxPooling等の処理を控えて、大きな演算リソースを割いて機械学習しても、そのままでは良好な結果は得られない傾向にあることが確認された。

　本技術では、PreTraing処理でネット内部の特徴量に対してのリファクタリングに着目し、特定事象についての特徴量を抽出する制御線関連付け学習と、制御線複数条件での出力結果の差分から、所望の特徴量をオブジェクトデータと解釈して抽出し、これを補正値として扱うことで、従来のようにセンサ信号をフィルタ処理するアプローチではなく、データ構造体のように特徴分解して、よりオブジェクト指向的なセンシング技術でインテリジェンスなＡＩ技術を搭載した、より先進的なセンシング・デバイスを提供するものである。このアプローチは、従来のディープラーニング技術のＣＮＮに比べて演算量は少なく、またセンサ信号の処理において良好な結果を得ることができる。

　具体的な問題について考察する。
　ＩＭＵセンサ２による姿勢推定を用いた画像スタビライズシステムにおいては、既に多くの手法が提案されているが、このシステムではワールド座標系をターゲットとしたものと、カメラローカル座標系をターゲットとしたものの二つのシステムに分類される。前者は、主として全天球カメラの商品化事例があり、全周囲を撮像し、視点はユーザの好みで視点移動操作により行われる。このシステムでのスタビライズ処理は、基本的にＩＭＵ信号からの姿勢推定結果に基づく画像回転を行うことで実現可能である。ジャイロバイアスの影響等を除去するため、加速度センサの情報を用いてカルマンフィルタや相補フィルタによるバイアス除去が行われているのが一般的である。

　一方、後者のカメラローカル座標系のシステムでは、全天球カメラでもない限り、カメラの視点移動に伴い画像のフレームアウト問題が生じる。カメラローカル座標系のスタビライズ処理では、振動を除去しつつ、カメラワークに追従してカメラ中心座標に視点をうまく戻すことが要請されるものであり、ここに、カメラワークなどシーンを考慮した適切な視点移動の補正が求められる。カメラローカル座標系のスタビシステムは過去の実施例が少なく、それを難しくしている理由は、戻すべき補正量の算出方法にある。ワールド座標系がマニュアル操作でユーザの好みに応じた任意の視点移動をすればよいのに対して、カメラローカル座標系ではユーザの意図をある程度くみ取ってできる限り自然な視点移動を実現することが要請される。この補正量の算出時には、遠心力など様々な外乱の影響を受けるため、一般的な数式モデルで表せるものではなく、設計者による味付けを要請される技術領域であり、このような味付けした学習セットを準備し、ＡＩ技術による最適化により補正することが適切と考えられる。本技術では、この難問題に対して、ＩＭＵ信号をディープラーニングを用いて特徴構造体にリファクタリングし、抽出した特徴量に基づいてＩＭＵ信号に補正を加えていくことでカメラローカル座標系のスタビシステムの難題を解決している。

　一般的なＣＮＮと本技術のアプローチとの違いについて述べる。
　なお、以下の説明においては種々のＤＮＮ（Deep Neural Network）ブロックが登場するが、入力／出力のタップ数や階層数、発火関数やDropOut手法など、ＤＮＮの一般的なテクニックは本技術の本質ではないため詳細な記述は割愛する。なお、以下で例示するＤＮＮの具体的な階層数やタップ数はあくまで説明上での例示に過ぎず、これに限定されるものではない。

　ＤＮＮ技術で最も普及しているＣＮＮは、図２に示すように、畳み込み処理（Convolution）とプーリング（Pooling）を繰り返すＳＡＥ（Stacked AutoEncoder：積層オートエンコーダ）とその後段の全結合層とを有し、例えばAlexNetなどのネット構造が一般的に知られている。
　ＣＮＮでは、ＳＡＥについてのプレトレーニング（PreTraining）処理が行われる。プレトレーニング処理は、教師なし学習の一種であり（半教師あり学習とも称される）、出力が入力と一致するように学習させる処理を意味する。そして、後段の全結合層での教師あり学習（FineTuningと称される）により、認識アルゴリズムを生成することが可能とされる。
　なお、昨今ではこれに限定されず、様々な派生形としてのＣＮＮが存在する。

　一方、本技術では、ＣＮＮが着目する認識技術よりも、姿勢制御や画像処理などアナログ的な信号処理に重きを置き、図３に示すような構成を採用する。
　図３は、特徴量抽出部７の機能構成を示した機能ブロック図である。
　図３に示すように特徴量抽出部７は、ＳＡＥ７０と、制御線関連付け学習部７１と、リファクタリング部７２とを有する。ＳＡＥ７０の入力信号は、本例ではＩＭＵクォータニオンとしての信号となる。ＳＡＥ７０としては、プレトレーニング済みのＳＡＥを用いる。そして、プレトレーニング後のＳＡＥにおける所定複数の中間層に得られる特徴量を、制御線関連付け学習部７１の入力とする。

　ここで、ＳＡＥは、一般的には次元圧縮することを目的としたものとなるが、入力と出力を一致させるプレトレーニングが行われることで、対象の特徴表現を自己教示学習する機能を有している。特徴量抽出部７では、このようなプレトレーニングが実施されて対象の特徴表現を学習済みとされたＳＡＥ７０の中間層に得られる特徴量を、制御線関連付け学習部７１の入力としている。

　制御線関連付け学習部７１は、制御線関連付け学習が行われたニューラルネットワークを有して構成される。制御線関連学習とは、特定の事象に係る異なる事象態様をそれぞれ異なる制御線の値に関連付けて学習することを意味する。「特定の事象」とは、例えば遠心力等、特徴量の抽出対象とする事象を意味する。また、「事象態様」とは、例えば遠心力であれば「遠心力あり」という態様や「遠心力なし」という態様等、特定の事象に関する態様のことを意味する。
　制御線関連付け学習の詳細は後述するが、該制御線関連付け学習が行われることで、制御線関連付け学習部７１では、制御線に与える値によって出力する特徴量の態様を切り替えようとするアルゴリズムが生成される。

　リファクタリング部７２は、制御線関連付け学習が行われ、上記のような特徴量抽出アルゴリズムが生成された制御線関連付け学習部７１に対し、制御線の値として＋Δを与えたときの出力（「第一出力」）と、－Δを与えたときの出力（「第二出力」）とを入力し、それらの差分を得る。ここで、＋Δ、－Δは、所定の基準値（本例では０）にそれぞれΔを加算、減算した値である。
　第一出力は、制御線の値を＋Δとした第一制御線条件下で制御線関連付け学習部７１が算出した特徴量であり、第二出力は、制御線の値を－Δとした第二制御線条件下で制御線関連付け学習部７１が算出した特徴量である。従って、リファクタリング部７２で得られる第一出力と第二出力との差分としても、特徴量の形態を取る。

　ここで、本実施形態では、プレトレーニング済みのＳＡＥ７０における複数の中間層でそれぞれ得られる特徴量を制御線関連付け学習部７１の入力としているが、これは、制御線関連付け学習部７１の入力として、それぞれ解像度の異なる特徴量を入力していることに相当する。
　本実施形態の特徴量抽出部７では、このような複数解像度による特徴量の各々について制御線関連付け学習部７１において個別に制御線関連付け学習を行い、またリファクタリング部７２では、それら解像度ごとに得られる第一出力と第二出力との差分を得る。これは、Wavelet変換の低周波ピラミッドによる多重解像度で対象の認識を行うことに相当し、これにより時間的な流れを認識することで、姿勢制御の認識の精度向上に寄与する。

　上記のような多重解像度での認識処理に対応した特徴量抽出部７の具体的な構成例を図４に示す。
　図４に示すように、制御線関連付け学習部７１は、複数の制御線関連付け学習器７１ａを有し、各制御線関連付け学習器７１ａには、ＳＡＥ７０におけるそれぞれ対応する中間層で得られる特徴量が入力される。また、各制御線関連付け学習器７１ａには、制御線の値も入力される。各制御線関連付け学習器７１ａは、ＳＡＥで構成されている。

　図中では、紙面の最も上側に示した制御線関連付け学習器７１ａが最上位レイヤの学習器（つまり、解像度の最も高い特徴量を入力する学習器）となり、紙面上の位置が下方となるに従ってより下位レイヤの制御線関連付け学習器７１ａとなるが、最上位レイヤの制御線関連付け学習器７１ａを除く各制御線関連付け学習器７１ａには、それぞれ上位レイヤの制御線関連付け学習器７１ａの畳み込みで得られた特徴量が入力され、精度の追い込みが図られる。

　リファクタリング部７２には、制御線関連付け学習部７１が有する制御線関連付け学習器７１ａごとにリファクタリング器７２ａが設けられる。各リファクタリング器７２ａは、それぞれ対応する制御線関連付け学習器７１ａの第一出力と第二出力との差分を得る。リファクタリング部７２では、これらのリファクタリング器７２ａによって、それぞれの解像度に対応した特徴量が得られる（図示の例では４系統の特徴量が得られる）。

　ここで、特徴量抽出部７は、上記のような制御線関連付け学習部７１とリファクタリング部７２、及びＳＡＥ７０を有するが、学習環境においては、学習前状態の制御線関連付け学習部７１を含んだ、図５Ａに示すような構成を用いて、教師データを用いた制御線関連付け学習が行われることになる。
　以下、制御線関連付け学習に係る説明においては、図５Ａに示す構成について、図５Ｂに示すような簡略表現により図示を行うこととする。

　確認のため述べておくと、図５Ｂに示すWavelet変換低周波ピラミッドのブロックは、前述した多重解像度での特徴量を扱うことを表現したものである。
　また、Wavelet変換のブロック後段に示す複数のＳＡＥによるブロックは、ＳＡＥ７０と、制御線関連付け学習部７１が有する複数の制御線関連付け学習器７１ａとしてのＳＡＥを纏めて表現したものである。

　本実施形態では、ＩＭＵ信号に基づく特徴量の抽出として、遠心力についての特徴量抽出を行う。以下では先ず、このような遠心力についての特徴量抽出を行う場合に対応した制御線関連付け学習、及び学習済みニューラルネットワークを用いた特徴量抽出の具体例について説明する。

　図６は、遠心力特徴量抽出を行う場合に対応した制御線関連付け学習についての説明図である。
　遠心力特徴量抽出は、例えば車載カメラ等の動きのある物体に支持された状態での使用が想定される撮像装置の撮像画像について、運動時の遠心力煽りによる水平線傾きの抑制を図ることを目的としたものとなる。

　先ず前提として、本例では、前述のようにＩＭＵセンサ２として３軸の加速度センサ（以下「加速度センサ２ａと表記する」と３軸の角速度センサ（以下「角速度センサ２ｂ」と表記する）が用いられる。また、前述した前処理部４、クォータニオン計算部６は、それぞれ、加速度についての前処理を行う処理部（以下「加速度前処理部４ａ」と表記する）と角速度についての前処理を行う処理部（以下「角速度前処理部４ｂ」と表記する）、加速度についてのクォータニオンを計算する計算部（以下「加速度クォータニオン計算部６ａ」と表記する）と角速度についてのクォータニオンを計算する計算部（以下「角速度クォータニオン計算部６ｂ」と表記する）を備える。
　これに対応して、学習環境においては、加速度センサ２ａの後段に加速度前処理部４ａと加速度クォータニオン計算部６ａが設けられ、また角速度センサ２ｂの後段に角速度前処理部４ｂと角速度クォータニオン計算部６ｂが設けられている。

　加速度クォータニオン計算部６ａが計算した加速度クォータニオン、及び角速度クォータニオン計算部６ｂが計算した角速度クォータニオンは、それぞれ図５Ｂの簡略表現で示した学習器の入力信号として与えられる。
　ここで、回転角の定義として、煽り方向の回転角をピッチ角、左右方向の回転角をヨー角、カメラ中心軸での回転角をロール角として以下説明を行う。

　角速度センサによっては遠心力の影響を受けない姿勢推定値（クォータニオン）が得られ、一方の加速度姿勢推定値は遠心力の影響を強く受ける性質があり、図中の疑似遠心力分離器２０、ロール角比較項中央戻し制御２１により、それぞれ両者の差分を用いて逐次処理にて遠心力を疑似的に取り除いた学習セットを生成する。この逐次処理は、一定の条件でのみ良好に遠心力を除去できるが、複雑な動きでは期待通りに除去できず、各個のシーンでの最適化作業を行うことで、学習セットを準備する。

　制御線関連付け学習としては、図中のスイッチ部２２を用いて、制御線に関連付けして、制御線の値＝０．０では遠心力除去なしのクォータニオンを、制御線の値＝１．０では遠心力除去ありのクォータニオンをそれぞれ教師として学習器に学習させる。なお、図中ではスペースの関係から、制御線の値について小数点以下の値を省略している（以降の図においても同様）。
　このような学習の結果、制御線関連付け学習器７１ａでは、制御線に与える値によって、出力する特徴量の態様を切り替えようとするアルゴリズムが生成されることになる。すなわち、制御線の値を第一の値としたときに制御線関連付け学習器７１ａが出力する特徴量と、制御線の値を第一の値とは異なる第二の値としたときに制御線関連付け学習器７１ａが出力する特徴量との間には、差が生じるものである。

　図７は、学習済みの制御線関連付け学習器７１ａを用いた特徴量抽出のための構成を例示した図である。
　図示のように特徴量抽出部７の入力には、クォータニオン計算部６における加速度クォータニオン計算部６ａ、角速度クォータニオン計算部６ｂのそれぞれより加速度クォータニオン、角速度クォータニオンが与えられる。

　この場合の特徴量抽出にあたっては、先ず、各制御線関連付け学習器７１ａの出力として、制御線の値を第一の値としたときの出力（第一出力）と、第二の値としたときの出力（第二出力）とを得る。そして、リファクタリング部７２において、各制御線関連付け学習器７１ａごとに、これら第一出力と第二出力との差分を求める。
　ここで、制御線の値を第一の値としたときの第一出力と、第二の値としたときの第二出力との差は、第一の値と第二の値とを同極性の値とするのではなく、異極性の値とした方が明確となり易い。このため本例では、第一の値、第二の値として、それぞれ制御線の値＝０を基準とした＋Δ、－Δの値を用いるものとしている。

　図８は、リファクタリング部７２が有する各リファクタリング器７２ａの内部構成例を示している。
　リファクタリング器７２ａは、差分計算部７３と周波数フィルタ７４とを有する。差分計算部７３は、制御線の値を第一の値（本例では＋Δ）としたとき（第一制御線条件）の制御線関連付け学習器７１ａの出力と、制御線の値を第二の値（本例では－Δ）としたとき（第二制御線条件）の制御線関連付け学習器７１ａの出力とを入力し、それらの差分を計算する。周波数フィルタ７４は、例えばＬＰＦ又はＨＰＦを有し、差分計算部７３が計算した差分としての信号（クォータニオン）について、一部の周波数成分を抽出する処理を施す。
　周波数フィルタ７４を設けることで、第一出力と第二出力との差分として得られる信号について、波形成形を行うことが可能とされる。これにより、制御線関連付け学習器７１ａの学習結果が不十分であったとしても、期待する特徴量に近づけることが可能となり、特徴量抽出の正確性向上を図ることができる。
　ここで、学習セットは前述のとおり各シーンで最適な現物合わせを行ったデータであり、所望の数式を１００％の精度で得ることが保証された学習セットではなく、機械学習後に得られる特徴量にも一定の劣化が存在し、それらの除去のために周波数フィルタ７４を採用する。

　ここで、仮に、上記で説明したような制御線関連付け学習を行わず、遠心力ありのＩＭＵクォータニオン（姿勢制御クォータニオン値）のみを教師として特徴量の学習を行った場合には、学習器が抽出する特徴量としては必ずしも望ましいものとはならない。これに対し、本実施形態では、制御線関連付け学習を行うことで、制御線関連付け学習器７１ａにおいて、制御線に与える値によって出力する特徴量の態様を切り替えようとするアルゴリズムを生成させている。その上で、制御線関連付け学習器７１ａにそれぞれ異なる制御線の値（＋Δ、－Δ）を与えたときの第一出力と第二出力との差分を得る、という手法で特徴量を抽出するものとしている。このように第一、第二出力の差分を得る手法を採ることにより、遠心力ありの姿勢制御クォータニオン値のみを教師として特徴量の学習を行う場合よりも、適切な特徴量抽出を行うことが可能となる。換言すれば、特定事象の特定態様のみを教師とした学習を行う場合よりも正確な特徴量抽出の実現を図ることができる。

　遠心力特徴抽出精度のゴールとするところは、様々なシーンに対して本特徴量補正アルゴリズムを適用したときに、前述の学習セット作成時の各シーンの現物合わせ最適化結果とほぼ同等程度の性能を得るところであり、物理学的な意味での遠心力特徴量を表現しうる完璧な数式を導出することは目的としてなく、その数式にできるだけ近いものをディープラーニングを用いて、いわば最小二乗法的なアプローチで、実運用に耐える精度で近似式を求めるところにある。

　上記では、特徴量抽出の例として、遠心力特徴量の抽出について説明したが、本例の信号処理装置１においては、ＩＭＵ信号（ＩＭＵクォータニオン）についての信号補正として、遠心力以外の他の事象についての特徴量に基づく信号補正も行われる。
　図９は、信号補正処理部９の内部構成例を示したブロック図である。
　図示のように信号補正処理部９は、ＩＭＵクォータニオン（姿勢制御クォータニオン値）に対する補正部として、センサノイズ補正部９ａ、遠心力補正部９ｂ、エフェクト補正部９ｃ、ステートマシン補正部９ｄ、カメラワーク補正部９ｅ、急変動補正部９ｆ、視点移動フレーム予測補正部９ｇ、及びスタビ制動補正部９ｈを有している。
　なお、補正処理の順番に関して、図示の例はあくまでも一例を示したものに過ぎず、任意の順番を採用可能なものである。

　センサノイズ補正部９ａは、ＩＭＵ信号に重畳するセンサノイズ、具体的にはＤＣバイアスノイズや飽和ノイズを除去するための補正処理を行う。ＤＣバイアスノイズについては、一般的には前処理の段階でのＩＭＵ調整や温特補正、カルマンフィルタ、相補フィルタによる補正処理が施されるが、これらの前処理を行ってもランダムウォークノイズ、温特の経時変化など様々な要因のノイズの影響でスタビ性能の劣化要因なる。そこで、学習によりＤＣバイアスノイズについての特徴量を抽出し、該特徴量に基づいてＩＭＵクォータニオンに重畳するＤＣバイアスノイズの成分を除去する補正処理を行う。
　このようなＤＣバイアスノイズとしてのセンサノイズの補正処理を行うことで、カルマンフィルタや温特補正でも取り除くことが困難であったノイズをインテリジェンスに除去し、スタビライズ処理の性能向上を図ることができる。
　なお、センサノイズの特徴量抽出は、加速度クォータニオンと角速度クォータニオンとの間の相関を信号波形解析して、ノイズ特徴量として抽出することで行うが、詳細については後に改めて説明する（図２９、図３０参照）。

　遠心力補正部９ｂは、前述した遠心力特徴量に基づき、姿勢制御クォータニオン値から遠心力の成分（遠心力ノイズ）を除去するための補正処理を行う。
　これにより、遠心力ノイズを除去して、激しい動きにおいても良好に水平補正を行うことが可能となり、スタビライズ処理の性能向上を図ることができる。

　エフェクト補正部９ｃは、臨場感のある絵作りを行うために、スタビライズ処理部１３においてエフェクトとしての振動が除去されないようにするためのＩＭＵクォータニオンに対する補正処理を行う。
　カメラユーザによっては、過剰な振動除去は映像の臨場感を損なうものとなるため除去を望まないケースもある。このため、臨場感に相当する振動を学習してエフェクト振動特徴量として抽出し、該エフェクト振動特徴量に基づき、姿勢制御クォータニオン値に含まれるエフェクトとしての振動成分が除去されるようにする。これにより、スタビライズ処理において該振動成分が除去されないように図ることができ、臨場感の向上を図ることができる。
　なお、エフェクト振動特徴量の抽出については後に改めて説明する（図１９、図２０参照）。

　ステートマシン補正部９ｄは、ステートマシン制御のための補正処理を行う。
　本例のカメラシステムでは水平補正機能（ジンバル機能）を有するが、カメラが真上や真下を向いたときに水平線の概念がなくなり、ジンバル機能を停止させる必要がある。またサッカーのシーンでのドリブルシーンや衝突、キーパーの動き、体操選手の回転シーンなど、これらのステートマシンを各競技ごとに逐次処理実装にて提供していくのは非現実的である。このようにジンバル機能を停止させるか否かの制御を、ここではステートマシン制御（姿勢制御ステートマシン制御）と呼んでいる。
　実際のフィールドテストにおいては、スポーツ選手の動きは非常に複雑であり、また遠心力などの影響を受けるため、逐次処理実装でのピッチ角の閾値判定や検波処理でスタビシステムのステートマシン制御を行うことが困難であり、加えて、陸上競技やモータススポーツ、球技など様々なシーンにおいて個別対応していくことは非常に困難であるとの知見を得ることができた。このため本例では、ＡＩによりジンバル機能を停止すべきケースを自動推定する手法を採る。このためにステートマシン補正部９ｄは、ステートマシン補正特徴量に基づきＩＭＵクォータニオンに対しステートマシン制御のための補正処理を行う。
　なお、ステートマシン補正特徴量の抽出については後述する（図３２、図３３参照）。

　カメラワーク補正部９ｅは、ＩＭＵクォータニオンから抽出されるカメラワークについての特徴量（カメラワーク特徴量）に基づき、ユーザによるカメラワークを適切に反映するための補正処理を行う。
　本例のカメラシステムは主にカメラローカル座標でのスタビライズ機能を想定しており、ＩＭＵ信号に基づく回転制御とは別に、ユーザによるカメラワークに相当する動きを適切に理解して、画角の中心位置を定めることが要請される。このために、カメラワーク特徴量を学習し、該カメラワーク特徴量に基づいてカメラワークを適切に反映するための補正処理を行う。
　なお、カメラワーク特徴量の抽出については後述する（図２１、図２２参照）。

　急変動補正部９ｆは、急激なショックを抑え、スタビライズ処理部１３におけるカメラワーク制御向上ための補正処理を行う。ＩＭＵクォータニオンに対し、急激な変動を抑えるための制動ダンパ的な補正処理を行う。
　このような補正処理を実現するために、制御線関連付け学習器７１ａに急変動特徴量を学習させ、特徴量抽出部７において、ＩＭＵクォータニオンからの急変動特徴量の抽出を行う。急変動補正部９ｆは、このように抽出された急変動特徴量に基づき、急激な変動を抑制するための補正処理を行う。
　なお、急変動特徴量の抽出については後述する（図２３、図２４参照）。

　視点移動フレーム予測補正部９ｇは、ＩＭＵクォータニオンに対し、フレーム予測特徴量に基づく視点調整、及びバッファアウト予測のための補正処理を施す。
　後述するスタビライズ処理部１３におけるバッファメモリ６３についてのバッファリング制御に関して、予測精度の向上を図ることができる。
　フレーム予測特徴量の抽出については後述する（図２５、図２６参照）。

　スタビ制動補正部９ｈは、カメラワークの改善のための補正処理を行う。
　ワールド座標からカメラローカル座標に変換する際に、単純な比例成分により制御すると、ユーザの頭部にカメラを取り付ける等のユースケースにおいては、能動的な視点移動では追従速度が遅くなってしまう。そこで、よりアクティブにユーザの視点移動に類する姿勢制御を行うための補正処理を行う。
　このような補正処理を実現するために、制御線関連付け学習器７１ａに後述するスタビ制動特徴量を学習させ、特徴量抽出部７において、ＩＭＵクォータニオンからのスタビ制動特徴量の抽出を行う。スタビ制動補正部９ｈは、このように抽出されたスタビ制動特徴量に基づき、急激な変動を抑制するための補正処理を行う。
　スタビ制動特徴量の抽出については後述する（図２７、図２８参照）。

　ここで、信号補正処理部９における上記の各補正部による補正処理は、ＩＭＵクォータニオンに対するフィルタ処理等となり、相応の処理時間を要する。
　図１に示した遅延量計算部１２は、これら各補正部での処理に要した時間を遅延量として計算し、位相調整部１１に出力する。前述のように位相調整部１１では、遅延量計算部１２が計算した遅延量に基づき、信号補正処理部９による補正処理後のＩＭＵクォータニオンについての位相調整を行う。
　これにより、撮像画像側に対する遅延補償が実現される。

＜３．特徴量調整器について＞

　続いて、図１に示した特徴量調整器８について説明する。
　前述のように特徴量調整器８は、特徴量抽出部７により抽出された特徴量の調整を行う。

　特徴量抽出部７で得られた特徴量を、対象とするセンサ信号（本例ではＩＭＵ信号）に対し補正値として加える作業は、実際には多少の現物合わせの調整を要する。これは、機械学習に与えた学習セットが１００％の数式導出を保証したものではなく、機械学習で生成されたアルゴリズムの誤差を考慮した調整が必要となると共に、フィードバック構造のシステムにおいてＦＩＲ的な入力と期待値のペアで機械学習されたフィルタをＩＩＲフィルタとして導入するには、データが不安定に発散しないよう各種調整が必要となるためである。
　ここで、特徴量調整器８による特徴量の調整は、特徴量抽出部７から複数系統入力される各解像度の特徴量について、それらのブレンド比の調整として行われる。

　特徴量の調整は、人手によるマニュアル調整として行うことが考えられる。つまり、特徴量調整器８としては、操作入力に基づいて特徴量の調整を行う構成であってもよい。

　しかしながら、本例のカメラシステムでは、ディープラーニングにより抽出された特徴量に基づきセンサ信号を補正する方式を採用していることから、プログラム上は物理的に正確な数式で表すことが困難なアルゴリズムであり、現実的には、マニュアル調整には困難性が伴うケースがある。このようなアーキテクチャでの調整作業を円滑に進める対策として、本例では、当アーキテクチャの性能を評価し、評価スコアに基づいて特徴量を自動調整する仕組みを提案する。

　図１０は、特徴量調整器８に設定されるべき特徴量のブレンド比を探索するための構成を例示した図である。
　先ず、対象のカメラシステムと同様に、ＩＭＵ信号に基づいて画像のスタビライズ処理を行うための構成を用意する（図中の破線内の構成）。なお、実際には、図１に示した構成と同様に、信号補正処理部９の後段には位相調整部１１が設けられ、また信号補正処理部９で生じる遅延量を位相調整部１１に与える遅延量計算部１２が設けられるが、ここでは図示を省略している。
　また、探索にあたっては、スコア解析器２３と自動調整器２４を用意する。

　スコア解析器２３には、スタビライズ処理部１３によるスタビライズ処理が施された画像（以下「スタビ済み画像」とも表記することがある）が入力される。スコア解析器２３は、入力画像からスタビライズ処理の性能指標となる評価スコアを算出するように学習されたＡＩであり、スタビ済み画像に基づき算出した評価スコアを自動調整器２４に出力する。なお、スコア解析器２３については以降で改めて説明する。

　自動調整器２４は、特徴量調整器８における特徴量のブレンド比を調整しながら、各ブレンド比での評価スコアを参照し、所定の基準を満たすブレンド比を探索する処理を行う。ここで言う所定の基準を満たすブレンド比とは、例えば評価スコアを一定の閾値以上とするブレンド比や、探索に用いた複数のブレンド比のうち評価スコアが最良であったブレンド比などを意味する。
　このとき、自動調整器２４としては、最適なブレンド比の探索を例えば遺伝的アルゴリズム等を用いて行う。

　図１１から図１３を参照し、スコア解析器２３について説明する。
　スコア解析器２３としては、一般的なＣＮＮとほぼ同等の画像認識手法を用いるものとし、図１１に示すように、学習セットの生成では、先ず、スタビライズ処理されていない連続フレーム画像をＳＡＥの入力に与え、畳み込み処理とプーリング処理からなるPreTraining処理を行う。

　次いで、設計者が目視で良好なスタビライズ動作を確認できたスタビ連続画像を厳選し、図１２に示すように、該スタビ連続画像に対し、回転量乱数生成部２５と画像ランダム回転部２６とによりランダム回転を加えて、全結合層でのスコア認識学習を行う。これにより、入力した連続フレームの回転が大きいほどスコアが低い判断を行うことができる画像認識のスコア解析アルゴリズムを調達する。図中の破線で囲ったＳＡＥと全結合層とが、このようなスコア解析アルゴリズムを実現するスコア解析器２３となる。

　なお、スコア解析器２３としては、図１３に例示するように人間による評価スコアを教師とした学習によって生成することもできる。この場合の学習では、全結合層に対する教師スコアとして、予め用意した学習用画像について人間が評価した結果のスコアを入力する。

　ここで、システムの性能をスコア化するにあたり、スコア化すべき評価項目は複数存在することもある。例えば、単純に回転量の補正性能（つまり振動補正）に着目する以外にも、前述した水平保持機能（ジンバル機能）についての性能や、カメラワークについての性能、レンズ歪み補正についての性能などに着目することもできる。
　このように性能の評価を複数項目について行う場合には、評価スコアとしては、項目ごとに算出したスコアの集計値を用いる。

　しかしながら、システム性能の評価スコアとしてこのように複数項目の集計スコアを用いる場合には、評価対象とする項目の組み合わせによってはトレードオフの関係となる場合がある。例えば、カメラワークについての性能（カメラローカル座標の追従性能）と振動補正性能とはトレードオフの関係となり、振動補正を行わないほどカメラローカル座標の追従性能は良好となる。例えばこれら二つの性能についての評価スコアの重みづけを適正に行わなければ、前述した自動調整器２４におけるブレンド比の探索において、スコアの偽山にはまり、良好な性能の追い込みの支障となる。

　このような問題を回避するため、本例では、商品の仕向ごとに、集計スコアを得るにあたっての各項目評価スコアの重み付けを設定する。
　例えば、監視カメラのような固定式カメラのユースケースでは、カメラローカル座標とワールド座標はほぼ等価となり、カメラワークの追従性能は無視できるので、振動補正性能を重視した重み付けとすることで、上述の偽山問題に陥ることはなくなる。一方、サッカーやバスケットボールなど視点が激しく動くシーンでは、カメラローカル座標の追従性能が重視されるため、カメラワークの追従性能についての評価スコアの重み付けを大きくする。

　図１４は、複数項目の集計スコアに基づいて特徴量のブレンド比を探索するための構成を例示した図である。
　先の図９を参照して分かるように、本例のカメラシステムでは、信号補正処理部９において、遠心力除去のための補正処理やカメラワークを反映するための補正処理等、複数種の特徴量に基づく複数種の補正処理が行われる。これに対応し、この場合のブレンド比探索では、図中の破線で囲うように、複数の特徴量抽出部７（図中の符号７－１，７－２，７－３）を有するカメラシステムが用いられる。この場合のカメラシステムでは、特徴量抽出部７ごとに特徴量調整器８が設けられ（図中の符号８－１，８－２，８－３）、これら特徴量調整器８の出力（ブレンド後の特徴量）が信号補正処理部９に入力される。なお、特徴量抽出部７および特徴量調整器８の数をそれぞれ三つとしているのはあくまで図示の都合であり、実際には、これらは信号補正処理部９が備える補正部ごとに設けられる。

　この場合、スタビライズ処理部１３で得られたスタビ済み画像は、複数のスコア解析器２３（図中、符号２３－１，２３－２，２３－３）に入力される。これらスコア解析器２３は、例えば上述した振動補正性能や水平保持機能、カメラワークへの追従性能等の評価対象とする複数の項目のうち対応する項目についての評価スコアを算出する。なお、スコア解析器２３の数を三つとしているのもあくまで図示の都合であり、この場合のスコア解析器２３としては、評価対象とする項目ごとに設ければよい。

　集計部２７は、各スコア解析器２３が算出した項目ごとの評価スコアを集計した集計スコアを算出し、自動調整器２４に出力する。
　この場合の自動調整器２４は、各特徴量調整器８に設定するブレンド比の組み合わせを逐次変更しながら、集計スコアに基づいて、所定の基準を満たすブレンド比の組み合わせを探索する。

　上述した仕向ごとの重み付けを行う場合には、集計部２７において、仕向に応じた重み付けによる各評価スコアの集計を行う。
　図１５、図１６は、仕向に応じた重み付け手法の具体例についての説明図である。
　図１５は、定量的な重み付け手法の例を説明するための図であり、この手法では、カメラワークや遠心力、振動補正等の項目ごとに算出された評価スコアを、図１５Ａ、図１５Ｂに対比して示すように、予め仕向ごとに定められた重み係数により重み付け加算することで、仕向ごとの集計スコアを算出する。

　図１６は、定性的な重み付け手法の例を説明するための図である。
　図１５に示した定量的な重み付け手法では、各項目に所定の重み係数による重み付けを与えるのに対し、定性的な重み付け手法では、人間の感性を再現するためにニューラルネットワークによる重み付け計算を行う。図示のようにニューラルネットに対する入力を各項目の評価スコアとし、教師データを人間が採点したスコアとして、仕向ごとに人間による採点スコアに近い集計スコアを出力するように学習を行う。
　これにより、人間の感性に近い性能評価スコアに基づいて特徴量調整器８に設定すべきブレンド比の探索を行うことができる。

　ここで、特徴量調整器８における特徴量のブレンド比については、撮像対象とするシーンによって、適切とされるブレンド比が異なり得る。例えば、撮像対象とするシーンが時速数百キロで走行する車両のドライバ視点によるシーンとされる場合と、徒歩で移動中のユーザ視点によるシーンとされる場合とで、適切なブレンド比は異なり得る。
　このため、上記した自動調整器２４を用いたブレンド比の探索においては、シーンごとに、所定基準を満たすブレンド比を求めることが望ましい。

　シーンごとに適切なブレンド比を設定するにあたっては、特徴量調整器８において、探索で求めたシーンごとのブレンド比を保持させておき、撮像画像に基づくシーン解析結果に応じて、ブレンド比を切り替えるということが考えられる。

　このとき、上記のシーン解析を行う解析器（以下「シーン解析器」と表記する）としては、一般的な画像認識で用いられるものと同様のＣＮＮを用いることが考えられるが、このような画像認識用のＣＮＮとしてのＡＩと、特徴量抽出部７としてのＡＩとを個別にカメラシステムに実装することは演算リソースの制約上、望ましくない。

　そこで、本例では、画像からの認識によりシーンを解析するという手法は採らず、より軽量なデータであるＩＭＵモーションデータからの評価スコアが一定基準を満たすか否かを判定し、一定基準を満たさなければ、ブレンド比を切り替えるという手法を採ることで組み込みシステムにおけるスタビ処理の軽量化を図る。

　この際、評価スコアの算出には、前述したスコア解析器２３を用いることが考えられるが、スコア解析器２３はスタビ済み画像に基づき評価スコアを算出するものであるため、演算リソースの増大化に繋がる。

　このため、本例では、図１に示したスコア分類シーン解析器１０として、スコア解析器２３が算出する評価スコアを教師とし、画像信号よりも軽量なＩＭＵ信号から評価スコアを算出するように学習されたＡＩを用いる。

　図１７は、スコア分類シーン解析器１０の生成手法の例を説明するための図である。
　図中の破線で囲って示すように、スコア分類シーン解析器１０としては、ＳＡＥとその後段に全結合層とを有する、一般的なＣＮＮとしての構成を有する。
　学習済みのスコア解析器２３により、学習用画像を入力として評価スコアを算出させる。一方で、スコア分類シーン解析器１０には、入力として学習用画像と同期したＩＭＵ信号（本例ではＩＭＵクォータニオン）を学習用ＩＭＵとして与えると共に、全結合層に対し、スコア解析器２３が算出する評価スコアを教師スコアとして与えて、FineTuningとしての学習により、ＩＭＵ信号からスコア解析器２３と同等の評価スコアを算出するアルゴリズムを生成する。なお、FineTuning側では、スコア解析器２３からの評価スコアに対して必要に応じて微分処理を行ったものを教師として機械学習を行う。

　ここで、上記のような学習により生成されるスコア分類シーン解析器１０について、入力信号は、特徴量抽出部７と同様にＩＭＵ信号である。また、スコア分類シーン解析器１０において入力信号としてのＩＭＵ信号はＳＡＥに与えられ、特徴量抽出部７においても入力信号としてのＩＭＵ信号はＳＡＥ（ＳＡＥ７０）に与えられる。
　このことから、特徴量抽出部７におけるＳＡＥ７０を、スコア分類シーン解析器１０におけるＳＡＥとして共用することができる。

　図１８は、信号処理装置１における特徴量抽出部７とスコア分類シーン解析器１０との構成上の関係を示す。
　図示のようにスコア分類シーン解析器１０は、特徴量抽出部７におけるＳＡＥ７０と、その後段の全結合層とを有して構成される。

　このようにスコア分類シーン解析器１０としては、特徴量抽出部７におけるＳＡＥを共用とした構成を採ることができ、従って、特徴量抽出部７としてのＡＩとスコア解析器２３としてのＡＩとを個別に設ける場合と比較して演算リソースの低減を図ることができる。

　なお、前述のように特徴量抽出部７におけるＳＡＥ７０としてはプレトレーニング済みのものを用いる。このため、図１７で説明した学習時において、スコア分類シーン解析器１０におけるＳＡＥとしてもプレトレーニング済みのものを用いる。

　図１８において、スコア分類シーン解析器１０は、ＩＭＵ信号（本例ではＩＭＵクォータニオン）に基づいて評価スコアを算出し、算出した評価スコアを特徴量調整器８に出力する。

　この場合の特徴量調整器８には、特徴量のブレンド比として、少なくとも２種のブレンド比が記憶されている。これらのブレンド比は、自動調整器２４を用いたブレンド比の探索によりシーンごとに求められたブレンド比となる。
　特徴量調整器８は、記憶された何れかのブレンド比により特徴量抽出部７から入力される複数系統の特徴量をブレンドする。そして、その一方で、スコア分類シーン解析器１０から入力される評価スコアが所定の基準を満たすスコアであるか否か（例えば、所定の閾値以上であるか否か）を逐次判定し、所定の基準を満たさない場合は、使用中のブレンド比を、別のブレンド比に切り替える。
　これにより、満足な性能が得られない場合には別のブレンド比に切り替えることが可能とされ、シーンに応じた適切なブレンド比への切り替えを行うことが可能とされる。

＜４．各種特徴量の抽出例＞

　続いて、ＩＭＵ信号に基づく各種特徴量の抽出手法の例について、図１９から図３２を参照して説明する。なお、遠心力特徴量の抽出手法については既に説明済みであるため、ここでの説明は省略する。

　図１９、図２０は、エフェクト振動特徴量の抽出手法についての説明図である。
　図１９に示す学習環境において、学習セットの生成に関しては、図中の破線枠内に示すように、補正処理３０によりエフェクト振動なしのクォータニオンを生成し、その後、図中の３軸回転フレーム平均振動書き戻しエフェクト３１と示すように、回転フレーム平均などＲＳ（ローリングシャッタ）歪み成分を除去した回転量を書き戻ししたエフェクト振動ありのクォータニオンを生成する。機械学習としては、スイッチ部３２により、制御線の値＝０．０でエフェクトなしクォータニオン、制御線の値＝１．０ではエフェクトありクォータニオンを教師として与えて、制御線関連付け学習を行う。これにより、制御線に与える値によって出力するエフェクト振動特徴量の態様を切り替えようとするアルゴリズムが生成される。

　信号処理装置１への実装後環境では、図２０に示すように、特徴量抽出部７（制御線関連付け学習部７１）に対し制御線の値＝＋Δを与えたときの抽出特徴量と、制御線の値＝－Δを与えたときの抽出特徴量とをリファクタリング部７２に入力する。リファクタリング部７２では、これら抽出特徴量の差分が計算され、必要に応じてＬＰＦ処理又はＨＰＦ処理が施されて、エフェクト振動特徴量としての特徴量クォータニオンが得られる。この特徴量クォータニオンは、特徴量調整器８による調整（ブレンド処理）を経て、信号補正処理部９におけるエフェクト補正部９ｃ（図９参照）に入力される。

　逐次処理でのエフェクト挿入では、単純にＲＳ歪を除去して回転平均値を加算したエフェクトがかかる単調エフェクトであるが、ＡＩに多様なパターンによるエフェクトパターンを学習させた結果、より臨場感のあるエフェクト処理を実現することができる。

　図２１、図２２は、カメラワーク特徴量の抽出手法についての説明図である。
　図２１に示す学習環境においては、角速度クォータニオン、加速度クォータニオンより相補フィルタ３３を通してワールド座標クォータニオンを得る。また、このワールド座標クォータニオンに基づき、図中のＰＩＤ比例項制御３４として示すように、適切な中央戻し逐次処理(ＰＩＤ制御における比例項制御)によりカメラローカル座標クォータニオンを生成する。機械学習としては、スイッチ部３２によって制御線の値＝０．０のときにワールド座標クォータニオンを、制御線の値＝１．０のときにカメラローカル座標クォータニオンを教師として与えて、制御線関連付け学習を行う。これにより、制御線に与える値によって出力するカメラワーク特徴量の態様を切り替えようとするアルゴリズムが生成される。

　信号処理装置１への実装後環境では、図２２に示すように、特徴量抽出部７に対し制御線の値＝＋Δを与えたときの抽出特徴量と、制御線の値＝－Δを与えたときの抽出特徴量とをリファクタリング部７２に入力する。リファクタリング部７２では、これら抽出特徴量の差分が計算され、必要に応じてＬＰＦ処理又はＨＰＦ処理が施されて、カメラワーク特徴量としての特徴量クォータニオンが得られる。この特徴量クォータニオンは、特徴量調整器８による調整を経て、信号補正処理部９におけるカメラワーク補正部９ｅに入力される。

　教師生成に用いた逐次処理での中央戻しは数式モデルを立てることが困難で、シーンによっては誤った補正を行うが、機械学習では膨大なパターンを学習することで、複雑な動きに置いてもカメラワーク特徴量を理解し、ワールド座標からカメラローカル座標への適切な補正が可能である。

　図２３、図２４は、急変動特徴量の抽出手法についての説明図である。
　図２３に示す学習環境において、学習セットは、比例項（カメラローカル座標クォータニオン）の生成まではカメラワーク特徴量の抽出の場合と同様である。この場合は教師生成のために、さらに微分項を設けて（図中、ＰＩＤ微分項制御３５参照）、大きな変動を制限する微分制御済みクォータニオンを生成する。学習では、スイッチ部３２によって、制御線の値＝０．０ならばカメラローカル座標クォータニオン、制御線の値＝１．０ならば微分制御済みクォータニオンを教師として与えて、制御線関連付け学習を行う。これにより、制御線に与える値によって出力する急変動特徴量の態様を切り替えようとするアルゴリズムが生成される。

　信号処理装置１への実装後環境では、図２４に示すように、特徴量抽出部７に対し制御線の値＝＋Δを与えたときの抽出特徴量と、制御線の値＝－Δを与えたときの抽出特徴量とをリファクタリング部７２に入力する。リファクタリング部７２では、これら抽出特徴量の差分が計算され、必要に応じてＬＰＦ処理又はＨＰＦ処理が施されて、カメラワーク特徴量としての特徴量クォータニオンが得られる。この特徴量クォータニオンは、特徴量調整器８による調整を経て、信号補正処理部９における急変動補正部９ｆに入力される。

　急変動抑制処理もまた、教師生成に用いた逐次処理では正しい数式モデルを立てることが比較的困難な命題で、シーンによっては誤った補正を行うが、機械学習ではWavelet変換低周波ピラミッドを入力として、一定時間の時系列の流れで多様なパターンを学習することで、複雑な動きにおいても急変動特徴量を理解し、ＡＩ処理に基づく特徴量補正にて、設計者の逐次処理実装のアルゴリズムを採用する場合よりも高品位な急変動抑制処理が可能となる。

　図２７、図２８は、スタビ制動特徴量の抽出手法についての説明図である。
　図２７に示す学習環境では、前述の微分制御済みクォータニオン（図２３）に対して、さらにＰＩＤ積分項制御３６による積分項の補正を施した積分制御済みクォータニオンを生成する。この積分制御済みクォータニオンによっては中央ズレが微小であっても積分により中央戻しが強くなり、効果として監視カメラのような望遠レンズを有するスタビシステムにおいて、回転角速度センサの微小バイアスに煽られない安定したスタビ制動処理が可能になる。機械学習としては、制御線の値＝０．０で微分制御済みクォータニオンを、制御線の値＝１．０で積分制御済みクォータニオンをそれぞれ教師として与えて、制御線関連付け学習を行う。これにより、制御線に与える値によって出力するスタビ制動特徴量の態様を切り替えようとするアルゴリズムが生成される。

　信号処理装置１への実装後環境では、図２８に示すように、特徴量抽出部７に対し制御線の値＝＋Δを与えたときの抽出特徴量と、制御線の値＝－Δを与えたときの抽出特徴量とをリファクタリング部７２に入力する。リファクタリング部７２では、これら抽出特徴量の差分が計算され、必要に応じてＬＰＦ処理又はＨＰＦ処理が施されて、スタビ制動特徴量としての特徴量クォータニオンが得られる。この特徴量クォータニオンは、特徴量調整器８による調整を経て、信号補正処理部９におけるスタビ制動補正部９ｈに入力される。

　このようなスタビ制動特徴量に基づく補正処理が行われることで、カメラローカル座標への追従性能向上を図ることができ、ユーザの視点移動が適切に反映されるように図ることができる。特に望遠レンズではわずかな回転でスタビ処理は幾何学的な要因で大きく動き、これはわずかなジャイロバイアスノイズの影響でスタビ画がふらつき動作を起こすことになり、積分項はこのような微小バイアスを除去して安定化を図るものである。

　図２５、図２６は、フレーム予測特徴量の抽出手法についての説明図である。
　図２５に示す学習環境では、学習セットの生成において、各フレームで加速度、角速度のクォータニオンをダンプし、制御線に関連付けして、制御線の値＝０．０では１フレーム前の出力を、制御線の値＝１．０では現フレーム出力を、制御線の値＝２．０では１フレーム後推定値をそれぞれ教師として与えて学習を行う。これにより、制御線に与える値によって出力するフレーム予測特徴量の態様を切り替えようとするアルゴリズムが生成される。

　信号処理装置１への実装後環境では、図２６に示すように、特徴量抽出部７に対し制御線の値＝＋Δを与えたときの抽出特徴量と、制御線の値＝－Δを与えたときの抽出特徴量とをリファクタリング部７２に入力する。リファクタリング部７２では、これら抽出特徴量の差分が計算され、必要に応じてＬＰＦ処理又はＨＰＦ処理が施されて、フレーム予測特徴量としての特徴量クォータニオンが得られる。この特徴量クォータニオンは、特徴量調整器８による調整を経て、信号補正処理部９における視点移動フレーム予測補正部９ｇに入力される。

　上記のようなフレーム予測特徴量に基づく補正処理が行われることで、後段のスタビライズ処理部１３のバッファリング制御における予測精度向上を図ることができる。なお、予測は統計学的な予測であり、１００％の予測を保証するものではない。

　図２９、図３０は、センサノイズ特徴量の抽出手法についての説明図である。
　前述のようにセンサノイズ（ＤＣバイアスノイズ）については、加速度センサ２ａと角速度センサ２ｂの相関を信号波形解析し、センサノイズ特徴量として抽出する。
　図２９に示す学習環境においては、加速度前処理部４ａ、角速度前処理部４ｂでそれぞれ前処理された加速度３軸データ、角速度（ジャイロ）３軸データに対し、それぞれランダムノイズ（ランダムウォークノイズ）を付加する（図中、ランダムノイズ付加４１ａ、ランダムノイズ付加４１ｂ参照）。そして、これらランダムノイズ付加後の３軸データについて、加速度クォータニオン計算部６ａ、角速度クォータニオン計算部６ｂが計算した加速度クォータニオン、角速度クォータニオンをＳＡＥを含むＡＩへの入力とする。また、これに対する教師は、ノイズ付加前の加速度３軸データ、角速度３軸データからそれぞれ計算した加速度クォータニオン、角速度クォータニオンを相補フィルタ３３でブレンドして得られるブレンドクォータニオンとする。

　図３０に示す信号処理装置１への実装後環境では、学習済みのＡＩの出力と、角速度クォータニオン計算部６ｂで得られる角速度クォータニオンとをリファクタリング部７２の入力とする。リファクタリング部７２において、これらの差分を取るとＡＩが認識しているセンサノイズ特徴量となる。
　リファクタリング部７２で得られたセンサノイズ特徴量は、特徴量調整器８による調整を経て、信号補正処理部９におけるセンサノイズ補正部９ａに入力される。

　センサノイズ補正部９ａの補正処理により、従来のカルマンフィルタや温特補正でも取り除くことが困難であったノイズをインテリジェンスに除去し、スタビライズ処理の性能向上を図ることができる。

　図３１、図３２は、ステートマシン特徴量の抽出手法についての説明図である。
　前述のようにステートマシン特徴量はステートマシン制御に係る特徴量である。ステートマシン制御は、カメラが真上や真下を向いた場合、またその状態からの復帰の際など水平補正を行うことができない場合にジンバル機能を停止させる制御である。

　図３１に示す学習環境では、ジンバルが成立するシーンでの現物合わせ調整、ジンバルが成立しない場合のジンバル機能をＯＦＦにした調整値での姿勢制御の入出力結果を準備する。これらの学習セットは逐次処理による現物合わせで特定のシーンでのみ制御が上手くいくもので、設計者による目視確認で学習セットが準備されるものである。学習セットでは、加速度クォータニオンと、角速度クォータニオンとを入力として現物合わせで得られた相補フィルタ３３及びロール角中央戻し制御部４２による処理後の出力値を教師とする。

　図３２に示す信号処理装置１への実装後環境では、学習済みのＡＩの出力と、角速度クォータニオン計算部６ｂで得られた角速度クォータニオンをリファクタリング部７２の入力とする。リファクタリング部７２で計算されるこれらの差分がステートマシン特徴量となる。
　リファクタリング部７２で得られたステートマシン特徴量は、特徴量調整器８による調整を経て、信号補正処理部９におけるステートマシン補正部９ｄに入力される。

　機械学習により膨大なステートのシーンを学習した結果、設計者が細かな逐次処理でステートマシンを実装しなくても、ＡＩが自らシーンを理解し状態遷移できるようになり、激しいスポーツシーンにおいて、スポーツ競技ごとに設計者の細かなステートマシン制御がなくても良好なスタビ結果を得ることができる。

＜５．ゲームマイニング＞

　これまでの説明から理解されるように、本実施形態では、信号補正処理部９に対して入力する特徴量としては、特徴量抽出部７で抽出された複数系統の特徴量を特徴量調整器８で所要のブレンド比によりブレンドしたものを用いている。この場合において、特徴量の抽出を適切に行う上では、制御線関連付け学習器７１ａに与える制御線の値や、特徴量調整器８におけるブレンド比等、特徴量抽出に係るパラメータを適切な値に設定することが重要となる。適切なパラメータは、例えばスタビライズ処理の性能評価値等、抽出した特徴量を用いた信号処理の性能評価値を基準とした探索を行うことで導出することができるが、このようなパラメータの探索作業は、機械学習では容易に自動化できない組み合わせ最適化のある種の因数分解問題である。これは、非常にインテリジェンスなディープラーニングネットワークを用いたところで、最終的には学習セット内のパターンの平均値となってしまい、特にトレードオフ的な答えしか存在しない命題に対しては、ニューラルネットワークでの解決は困難となる。また、遺伝的アルゴリズムの手法等を用いても総当たり的な探索になり膨大な計算量を要する。このような命題に対しては、究極的には、量子コンピュータを用いて解析することが理想的であるが、昨今の量子ビットの精度では、この種のアナログ問題を解くのは困難である。

　一方で、このようなパラメータ探索問題は、アナログ的な相関を持ったフィルタ特性の中で、最良の組み合わせを探索する問題であり、暗号解読のように二つの素数の積を因数分解する暗号解読問題に比べると、それほど難易度の高いものではなく、相関を持ったパターンを可視化して探索していくことが可能で、この問題をゲームモデルに事象変換し、パズルゲーム感覚で問題を解く分散処理のアプローチを採用する。このようにゲームモデルを使用して適切なパラメータを探索する手法のことを、ここでは「ゲームマイニング」と称する。

　例えば、ゲームとしては、パズルゲームなどを採用することが考えられる。ここでのゲームマイニングでは、ゲーム操作に応じて、特徴量抽出に係るパラメータの組み合わせを選択する。そして、選択した組み合わせによるパラメータを設定した場合の信号処理結果に対する評価スコアを取得し、取得した評価スコアに基づいて、例えば最良なパラメータの組み合わせ等、所定の評価スコア条件を満たすパラメータの組み合わせを探索する。
　このようなゲームマイニングにより、世界中のゲームプレイヤの抽象的なポテンシャルエネルギーをパラメータ探索のための生産エネルギーに変換して用いることが可能となる。すなわち、例えば制御線の値（Δ）や特徴量調整器８におけるブレンド比等、信号処理装置における特徴量抽出処理に係るパラメータについて、最適とされるパラメータの探索を、ゲームコンテンツを介した分散処理のアプローチにより実現することが可能となる。

　昨今は、ディープラーニングの進歩によりアルゴリズム開発が非常に高度化しているものの、ある種の課題は因数分解や多項式を生成する命題であり、このような命題に対してディープラーニングは必ずしも万能ではなく、また、これらの命題は一般にその分野の専門家でなければ開発に取り組む機会も得られない。一例として、センサ分野においてアナログ的なデータから特徴量を抽出してデータ構造体にくみ上げていくようなアルゴリズム開発命題においては、前述のような特徴量の分離条件の発掘作業等に膨大な工数を要してしまうが、このような命題は非常に大きな技術領域であるのに対して、残念ながら開発現場の開発リソースは圧倒的に不足している。これに対し、本例のゲームマイニングのように因数分解的な問題をパズル問題等のゲーム事象に事象変換して、収束条件を探る作業は、パズルを解くセンス以外には、特別にその分野の専門知識を必要とせず参入障壁がなく、純粋なゲームプレイとしての扱いが可能であり、世界中のゲームプレイヤのポテンシャルエネルギーをアルゴリズム開発のための生産エネルギーに変換することができる。すなわち、これまでゲームプレイという形で浪費されていた人的リソースのポテンシャルを、科学技術の発展への貢献する開発の原動力に結び付けることが可能となる。
　なお、ゲームマイニングでは、アルゴリズム開発階層の要素技術は隠ぺい可能であり、技術の秘匿性を担保できるというメリットもある。

　図３３は、ゲームマイニングによるパラメータ探索に用いるシステム構成例を示したブロック図である。
　先ず、本システムでは、図１に示した信号処理装置１を模した構成として、特徴量抽出部７、特徴量調整器８、信号補正処理部９、スタビライズ処理部１３が設けられる。なお、図示は省略したが、信号処理装置１を模した構成としては、実際には位相調整部１１及び遅延量計算部１２も設ける。
　また、本システムでは、スタビライズ処理の性能を評価するためのスコア解析器２３が設けられる。
　本システムにおいて、特徴量抽出部７における制御線関連付け学習部７１は、制御線関連付け学習済みであることを前提とする。

　さらに、本システムでは、ゲーム操作やスコア解析器２３による評価スコアに基づいてパラメータ探索のための処理を行う情報処理装置５０が設けられる。
　図示のように情報処理装置５０は、制御部５１、操作部５２、及び表示部５３を備える。制御部５１は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータを有して構成され、パラメータ探索のための各種の処理を実行する。
　操作部５２は、ユーザが各種操作入力を行うための操作子、例えば各種のキー、ボタン、タッチパネル等の操作子を包括的に表したものであり、表示部５３は、例えば液晶ディスプレイ等の画像情報を表示可能な表示デバイスを表したものである。

　制御部５１は、パズルゲーム等、ゲームコンテンツの進行制御を行う。具体的には、操作部５２において行われるユーザのゲーム操作に応じたゲーム画像の生成や、生成したゲーム画像を表示部５３に表示させる処理等を行う。
　また、制御部５１は、操作部５２におけるユーザのゲーム操作と、スコア解析器２３で算出される評価スコアとに基づいて、パラメータ探索のための処理を行う。

　図３４は、制御部５１が有するゲームマイニングに係る機能をブロック化して示した機能ブロック図である。
　図示のように制御部５１は、制御線・ブレンド比制御処理部Ｆ１、スコア取得処理部Ｆ２、表示処理部Ｆ３、及び収束判定処理部Ｆ４を有する。

　制御線・ブレンド比制御処理部Ｆ１は、ユーザのゲーム操作に応じて、制御線関連付け学習部７１における制御線の値（本例ではΔ）と、特徴量抽出器８におけるブレンド比の組み合わせを選択し、選択した組み合わせにおける制御線の値を制御線関連付け学習部７１に、ブレンド比を特徴量抽出器８にそれぞれ設定する。
　制御線・ブレンド比制御処理部Ｆ１は、ゲーム操作、具体的に本例ではパズルゲームにおけるパルズ操作が行われるごとに、制御線の値とブレンド比の組み合わせを選択し直し、それぞれ制御線関連付け学習部７１、ブレンド比を特徴量抽出器８に設定する。

　スコア取得処理部Ｆ２は、制御線・ブレンド比制御処理部Ｆ１により選択された制御線の値、及びブレンド比が設定された状態で行われたスタビライズ処理部１３についての評価スコアをスコア解析器２３より取得する。

　表示処理部Ｆ３は、ゲーム画面において、スコア取得処理部Ｆ２が取得した評価スコアを可視化した情報を表示する処理を行う。本例のパズルゲームでは、パズルが敵キャラクターのシールドとして表示され、評価スコアを可視化した情報としては、例えば該敵キャラクターの残存ＨＰ（ヒットポイント）として表示する。評価スコアが良好であるほど残存ＨＰが小さくなるように表示を行う。
　或いは、評価スコアの可視化情報としては、評価スコアが良好であるほどパズルの表示濃度（或いは輝度）が薄くなるような態様により表示することもできる（評価スコアが良好であるほどシールドが薄くなるイメージ）。
　なお、評価スコアの可視化情報の表示手法については種々考えられるものであり、上記の手法に限定されるものではない。

　ここで、ゲーム攻略を助けるため、現在の設定パラメータ周辺の評価スコアを計算し、ゲーム画面に表示してもよい。また、このような現在の設定パラメータ周辺の評価スコアに基づき、パズルモデルの生成を行ってもよい。

　収束判定処理部Ｆ４は、スコア取得処理部Ｆ２が取得した評価スコアについての収束判定を行う。本例では、パラメータ探索の終了条件として、評価スコアについての目標値が設定されており、評価スコアが該目標値に達したことに応じて、評価スコアが収束したものと判定する。

　制御部５１は、収束判定処理部Ｆ４により評価スコアが収束したと判定されたことに応じて、ゲーム操作に応じたパラメータ探索のための処理を終了する。そして、その際に設定されていた制御線の値、ブレンド比を、収束条件を満たしたパラメータの値として記憶する処理を行う。

　評価スコアが収束した場合はゲーム攻略となり、制御部５１は、ゲーム攻略時に対応した画像を表示部５３に表示する処理を行う。

　なお、評価スコアの収束判定の手法は、上記のような目標値に達したか否かの判定に限定されるものではない。評価スコアの収束判定としては、少なくとも所定の評価スコア条件を満たすか否かの判定として行えばよい。

　また、上記では、特徴量抽出に係るパラメータの探索として、制御線の値、及びブレンド比の探索を行う場合を例示したが、探索対象のパラメータとしてはこれらに限定されるものではなく、例えば、多重解像度化における階層数等のパラメータを挙げることができる。

＜６．スタビライズ処理について＞
［6-1．スタビライズ処理部の内部構成］

　続いて、実施形態としてのスタビライズ処理について説明する。
　図３５は、スタビライズ処理部１３の内部構成例を示したブロック図である。
　ここで、以下の説明では、スタビライズ処理部１３に対する入力画像、つまり本例では前処理部５による前処理済みの撮像画像の座標系のことを「入力座標系」と表記し、また、スタビライズ処理部１３による出力画像、すなわちスタビ済み出力画像の座標系のことを「出力座標系」と表記する。

　スタビライズ処理部１３では、電子ブレ補正（ＥＩＳ）として、入力画像の一部を切り出すことによりスタビ済み出力画像を得る処理を行うため、入力画像の画素数＞出力画像の画素数であることが前提とされる。具体的に、本例では、入力画像は４ｋ画像（水平方向画素数＝約４０００、垂直方向画素数＝約２０００）、出力画像は２ｋ画像（水平方向画素数＝約２０００、垂直方向画素数＝約１０００）であるとする。

　図３５において、スタビライズ処理部１３は、参照座標計算部６１、バッファ制御部６２、バッファメモリ６３、メモリ制御部６４、キャッシュメモリ６５、及び補間フィルタ６６を備える。
　参照座標計算部６１には、補正及び位相調整済みのＩＭＵクォータ二オンが入力される。すなわち、信号補正処理部９による補正と位相調整部１１による位相調整とが施されたＩＭＵクォータ二オンが入力される。
　参照座標計算部６１は、このように入力されるＩＭＵクォータ二オンに基づき、出力画像の各画素についての参照座標ＣＲを算出する。
　参照座標ＣＲは、入力画像から出力画像を切り出すにあたり、出力座標系の各画素位置の値として入力座標系の何れの位置の値を用いるべきかを示す情報である。すなわち、出力座標系の画素位置ごとに、入力座標系における何れの位置の値を参照すべきかを示す情報となる。

　バッファメモリ６３は、１フレーム分の入力画像を逐次バッファリングするメモリであり、バッファ制御部６２は、バッファメモリ６３に対する画像データの書き込み及び読み出しを制御する。

　キャッシュメモリ６５は、入力画像からの出力画像の切り出しに用いられるメモリであり、メモリ制御部６４は、キャッシュメモリ６５に対する画像データの書き込み及び読み出しを制御する。

　メモリ制御部６４は、バッファ制御部６２を通じて、バッファメモリ６３にバッファリングされた画像データのうち切り出し範囲に対応した画像データを取得し、キャッシュメモリ６５に書き込む。

　また、メモリ制御部６４は、上記のようにキャッシュメモリ６５にキャッシュされた画像データ（入力画像の画像データ）から、出力座標系の画素位置ごとに、参照座標ＣＲが示す入力座標系の画素及びその周囲画素含む複数画素分の画像データ（例えば、補間フィルタ６６がLanczos2補間であれば４×４＝１６画素分の画像データ）を読み出し、補間フィルタ６６に出力する。

　補間フィルタ６６は、上記のようにメモリ制御部６４によって出力座標系の画素位置ごとに読み出される複数画素分の画像データを逐次入力し、出力座標系の画素位置ごとに、後述する手法による補間処理を行って、出力座標系の各画素位置の値を求める。これにより、スタビ済み出力画像が得られる。

［6-2．実施形態としてのスタビライズ処理］

　図３６から図５１を参照して、実施形態におけるスタビライズ処理の詳細を説明する。
　スタビライズ処理では、撮像された画像からカメラの傾きや動きの影響を取り除く処理を行う。
　図３６は、傾いたカメラで撮像した様子を示している。
　ここでの傾いた状態とは、カメラがロール方向に傾いて水平・垂直方向が保たれていない状態である。この場合、撮像により得られる画像データは、図３６Ｂのように被写体が傾いた状態となる。
　このような画像データに対して、スタビライズ処理によりカメラの傾きと同じ方向に画像を回転させることで、図３６Ｃの画像データを得ることができる。この図３６Ｃの画像データは、図３６Ｄのようにまっすぐの姿勢（ロール方向に傾きがない姿勢）のカメラで撮像した場合の画像と同様になる。
　このように姿勢の傾きに対する回転を行うが、これは、入力画から、入力画サイズより小さいサイズの出力画を切り出す際に、切り出す画素範囲を姿勢情報に基づいて回転させることで実現する。

　ＩＭＵクォータニオンと画像入力との関係を図３７に示す。
　カメラを動かしながら撮像するときは、１フレームの間でもＩＭＵクォータニオンは変化していくことになる。
　ＩＭＵデータが、例えば複数ラインおきに取得されるとすると、ＩＭＵクォータニオン（図中、ｒ0、ｒ1、ｒ2、ｒ3で表す）も図示のように数ラインおきに取得される。ここでは、垂直同期信号Vsyncで示される１フレームの期間に四つのＩＭＵクォータニオンが取得されることを示しているが、これはあくまでも説明上の一例である。この場合は、フレームの上方１／４の画像に対応してＩＭＵクォータニオンｒ0、次の１／４の画像に対してＩＭＵクォータニオンｒ1、次の１／４の画像に対してＩＭＵクォータニオンｒ2、最後の１／４の画像に対してＩＭＵクォータニオンｒ3が、それぞれ対応することになる。
　ここで、図中の「仮想線Ｌ１」は、同じ値のＩＭＵクォータニオンが対応する仮想的なラインを示している。

　従来では、上記のように１フレーム期間内にＩＭＵデータが複数回取得される前提において、それぞれ同じＩＭＵクォータニオンの値が対応する複数の仮想線Ｌ１を想定した上で、これら仮想線Ｌ１に従って出力座標系の各画素位置に対する参照座標ＣＲの当て嵌めを行い、当て嵌めた参照座標ＣＲに基づく入力画像の切り出しを行ってスタビ済み画像を得るようにしていた。

　しかしながら、このような仮想線Ｌ１を用いたスタビライズ処理では、十分なスタビ性能が得られないことが判明した。

　そこで、本実施形態では、図３８に例示するような格子点メッシュを用いる。
　格子点メッシュは、水平方向及び垂直方向にそれぞれ複数配列された格子点（図中、▲マークにより表す）を有する。
　格子点メッシュにおいては、水平方向に配列された複数の格子点で成る格子点行が、垂直方向に複数配列されている。或いは、このことは、垂直方向に配列された複数の格子点で成る格子点列が、水平方向に複数配列されていると換言することができる。
　格子点メッシュにおいて、各格子点行は、図３７に示した仮想線Ｌ１に相当するものであり、各格子点行にはそれぞれの行位置に対応したタイミングで取得されるＩＭＵデータに基づくＩＭＵクォータニオンが対応づけられる。換言すれば、格子点行ごとに、各格子点に対応づけられるＩＭＵクォータニオンの値は同じである。

　なお、図中では、格子点メッシュの各格子点行における格子点の数が６、すなわち水平方向の分割数が５とされ、各格子点列における格子点の数が５、すなわち垂直方向の分割数が４とされた例を示しているが、格子点メッシュの水平方向、垂直方向それぞれの分割数がこれらの数値に限定されるものではない。

　格子点メッシュの各格子点の位置は、ＩＭＵデータの取得タイミングとの対応をとるため、入力座標系における位置として管理される。
　参照座標計算部６１では、このような入力座標系における格子点の位置を、出力座標系における位置に変換する。

　図３９は、格子点メッシュの座標変換についての説明図である。
　格子点の位置を出力座標系の位置に変換するには、入力画像が受ける変化と同様の変化を格子点メッシュに加えればよい。具体的には、図３９に示すように、先ず、入力画像にレンズ歪み除去処理が施されることに対応して、格子点メッシュにレンズ歪み除去処理を施し、その上で、カメラと同じ向きに回転させる。これが、出力座標系に変換したものとなる。

　本例のスタビライズ処理では、上記のように出力座標系に変換した格子点メッシュと、図４０Ａに示すようなセグメントマトリクスとを用いる。
　セグメントマトリクスは、出力画像を所定のセグメント単位で分割したときの各セグメントの位置（図中、●マークにより表す）を表したものである。本例では、１セグメントのサイズは例えば６４画素×６４画素であるとする。

　図４０Ｂは、出力座標系に座標変換された格子点メッシュとセグメントマトリクスとを出力座標系において重ね合わせて示している。
　格子点メッシュのサイズがセグメントマトリクスのサイズよりも大きいのは、前述のように出力画像のサイズよりも入力画像のサイズの方が大きいことによる。
　格子点メッシュを出力座標系に変換することで、図示のようにセグメントマトリクスにおける各セグメントの位置（●マーク）と、格子点メッシュにおける各格子点との位置関係を特定可能となる。

　参照座標計算部６１は、出力座標系における各セグメントと格子点との位置関係に基づき、セグメントごとの参照座標ＣＲを求める。
　このために、先ず参照座標計算部６１は、図４１に示すようなセグメント探索を行う。
　セグメント探索は、セグメントマトリクスを構成する各セグメントについて、●マークで示すセグメント位置が格子点メッシュにおける何れのマス目内に位置するかを把握するための処理となる。
　具体的に、参照座標計算部６１は、格子点メッシュにおけるマス目ごとに、内包されるセグメント位置を内外判定によって特定する。この内外判定により、各セグメント位置が、格子点メッシュの何れのマス目内に位置するのかが特定される。
　各セグメント位置における参照座標ＣＲは、そのセグメント位置を内包する四つの格子点それぞれにおけるＩＭＵクォータニオンに基づき求めることができる。以下の説明では、格子点メッシュにおける各格子点には、対応するＩＭＵクォータニオンから算出された参照情報ＣＲの情報が対応づけられている前提とする。以下、このように各格子点に対応づけられた参照座標ＣＲのことを「格子点参照座標」と表記する。

　参照座標計算部６１は、内外判定（セグメント探索）によって各セグメント位置が格子点メッシュの何れのマス目内に位置するかを特定した上で、図４２に示すような三角補間により、セグメント位置ごとの参照座標ＣＲを算出する。
　具体的に、この三角補間では、セグメント位置の座標と、格子点メッシュにおける該セグメント位置を内包するマス目の四つの格子点のうちの三つの格子点の座標と、さらにそれら格子点に対応づけられた格子点参照座標の情報とを用いる。
　この三角補間としては、例えば、図４３に示すような要領で行えばよい。

　三角補間により各セグメント位置の参照座標ＣＲを求めることで、図４４に示すようなリメッシュデータを得ることができる。このリメッシュデータは、出力座標系におけるセグメント粒度での各位置の参照座標ＣＲを示すデータとなる。図中では、セグメント粒度での各位置の参照座標ＣＲ、すなわち各セグメント位置ごとに算出された参照座標ＣＲを◆マークにより表している。

　参照座標計算部６１は、上記のようなリメッシュデータに基づき、出力画像における画素位置ごとの参照座標ＣＲを求める。

　図４５は、リメッシュデータから画素位置単位の参照座標ＣＲを求めることのイメージ図であり、図中では、画素位置単位の参照座標ＣＲを■マークにより表している。
　本例では、参照座標ＣＲは、リメッシュデータ（セグメント粒度での参照座標ＣＲ）を用いた線形補間（バイリニア補間）によって求める。具体的には、対象とする画素位置を内包するセグメントの４隅の各点の参照座標ＣＲを用いたバイリニア補間によって求める。
　この際に、前述の三角補間を利用しないのは、バイリニア補間は三角補間よりも軽量で、一度、リメッシュデータに変換されたデータはバイリニア補間でも十分な精度が得られるためである。ただし、ＬＳＩ内のハードウェアブロックとして三角補間が回路として実装された場合は、このブロックを流用してすべての画素を三角補間する方が、バイリニア補間回路を別途設けるよりも回路規模の観点から有利とされている。

　出力画像の画素位置ごとの参照座標ＣＲが求まることで、画素位置ごとに入力座標系のどの位置の値を参照すべきかが特定される。ただし、上記のように参照座標ＣＲはリメッシュデータに基づく補間処理で算出されるため、整数単位（つまり入力画像における画素単位）の値ではなく小数を含む値となり得る。このため、参照座標ＣＲに基づく出力画像のレンダリングには、図３５に示した補間フィルタ６６を用いる。

　図４６は、補間フィルタ６６による補間処理についての説明図である。
　補間フィルタ６６には、メモリ制御部６４の制御により、キャッシュメモリ６５にキャッシュされた入力画像（画素値）のうちから、出力画素ごとのレンダリングに必要とされる複数画素分の画素値が逐次入力される。具体的に、出力画素ごとのレンダリングに必要とされる複数画素分の画素値とは、該出力画素についての参照座標ＣＲが示す入力座標系の位置が含まれる画素と、該画素の周辺画素とを含んだ複数画素で成る領域のデータである（図中、太枠で囲った領域Ａｒを参照）。
　以下では説明上、参照座標ＣＲが示す入力座標系の位置が含まれる画素のことを「参照画素Ｐｒ」と表記する。また、この参照画素Ｐｒとその周辺画素とを含む、レンダリングに必要とされる画素領域のことを「参照領域Ａｒ」と表記する。参照領域Ａｒは、参照画素Ｐｒを中心としたｍ画素×ｍ画素（ｍは３以上の自然数）分の領域である。なお、図中では、参照領域Ａｒが参照画素Ｐｒを中心とした３画素×３画素＝９画素分の領域であるものとしているが、これは説明上の一例であり、参照領域Ａｒのサイズを限定するものではない。

　補間フィルタ６６は、処理対象とする出力画素について、その参照座標ＣＲが示す位置の値を、参照領域Ａｒの各画素の値を用いた補間処理により求める。この補間処理には、例えば、Lanczosフィルタを用いる。具体的には、Lanczos2フィルタや、エリアシング防止の観点でガウシアンフィルタをブレンドしたハイブリッドフィルタを用いることが考えられる。このハイブリッドフィルタは、画像フォーマットがＲＧＧＢで配列しているＲＡＷフォーマットでのLanczos2補間などで有効で、特に高周波帯域でのエリアシング防止のために用いられる。
　補間フィルタ６６は、このような補間処理を出力画素ごとに順次行う。これにより、スタビ済み出力画像が得られる。

　なお、スタビ済み出力画像のレンダリングにおいては、上記のような補間フィルタ６６の補間処理による画素値の算出と共に、レンズシェーディングに対する輝度調整を行うこともできる。その場合には、格子点に対しては参照座標ＣＲ以外にも輝度制御情報などを持たせて、補間処理と共にゲイン調整を行う。
　同様に、自己位置推定のＳＬＡＭ技術より得られたローカルモーション情報や、画像の深度を得るＴｏＦセンサ等のデプスセンサによるデプス情報などを格子点に持たせることで、格子点ベースでの自由度の高い座標補正、デプス補正などにも利用することができる。

　図４７は、図３５に示した参照座標計算部６１の内部構成例を示したブロック図である。
　図示のように参照座標計算部６１は、格子点メッシュ生成・成形部８１、セグメントマトリクス生成部８２、セグメント探索部８３、リメッシュデータ生成部８４、及び各画素座標補間部８５を有する。

　格子点メッシュ生成・成形部８１は、格子点メッシュの生成、及び前述した出力座標系への変換のための回転等（図３９参照）、格子点メッシュの成形のための処理を行う。

　図４８は、格子点メッシュ生成・成形部８１の内部構成例を説明するための図である。なお、図４８では格子点メッシュ生成・成形部８１の内部構成例と共に、格子点メッシュが成形される課程を模式的に表したイメージ図を併せて示している。
　図示のように格子点メッシュ生成・成形部８１は、格子点メッシュ生成器８１ａ、レンズ歪補正器８１ｂ、射影器８１ｃ、回転器８１ｄ、自由曲率透視投影器８１ｅ、走査制御器８１ｆ、クリップ器８１ｇ、及び各格子点参照座標計算器８１ｈを有する。

　格子点メッシュ生成・成形部８１は、格子点メッシュを生成する。
　レンズ歪補正器８１ｂは、レンズパラメータに基づいて格子点メッシュに対するレンズ歪み補正処理を行う。

　射影器８１ｃは、レンズ歪補正器８１ｂによるレンズ歪み補正処理後の格子点メッシュを仮想天球に対し射影（投影）する。射影手法としては、例えば中心射影や等距離射影等を採用することができる（図中のイメージ図では中心射影の例を示している）。

　回転器８１ｄは、ＩＭＵクォータニオンに基づき、射影器８１ｃにより仮想天球に投影された格子点メッシュを回転させる。この回転により、前述したようなカメラと同じ向きに回転させる作用が得られる。回転には、ＩＭＵクォータニオンにおける回転量を示す情報を用いる。

　自由曲率透視投影器８１ｅは、投影パラメータに基づき、回転器８１ｄで回転された格子点メッシュを自由曲率透視投影により平面に対して投影（再投影）する。自由曲率透視投影を採用することで、再投影される格子点メッシュに所望のレンズ効果を与えることができ、出力画像の絵作りを行うことができる。
　走査制御器８１ｆは、平面に投影された格子点メッシュについて、適切な縮尺設定やオフセット変更のためのアフィン変換処理を行う。走査制御器８１ｆは、これら縮尺設定やオフセット変更を例えば予め定められた縮尺／オフセットパラメータとしての所定パラメータに基づいて行う。

　クリップ器８１ｇは、走査制御器８１ｆによる処理後の格子点メッシュについて、データの固定少数点精度超え防止のためのクリップ処理を施す。なお、格子点が固定小数点のデータ域を超えた場合には、その格子点で所属するセグメントはすべて無効セグメントとして、後段で黒画出力の例外処理を行う。
　このクリップ器８１ｇによるクリップ処理により、出力座標系における各格子点の座標が定まる。

　各格子点参照座標計算器８１ｈは、ＩＭＵクォータニオンに基づき、格子点メッシュにおける各格子点の参照座標（前述した格子点参照座標）を計算する。

　説明を図４７に戻す。
　上記のようにクリップ器８１ｇのクリップ処理で定まった各格子点の出力座標系における座標情報は、格子点座標情報として、格子点メッシュ生成・成形部８１からセグメント探索部８３に供給される。
　また、各格子点参照座標計算器８１ｈで得られた各格子点参照座標は、格子点メッシュ生成・成形部８１からリメッシュデータ生成部８４に供給される。

　セグメント探索部８３は、セグメントマトリクス生成部８２で生成されたセグメントマトリクスと、格子点メッシュ生成・成形部８１から供給される格子点座標情報とに基づき、前述したセグメント探索（内外判定：図４０及び図４１を参照）行う。これにより、セグメントマトリクスにおける各セグメント位置について、そのセグメント位置を内包する四つの格子点が特定される。

　リメッシュデータ生成部８４は、格子点メッシュ生成・成形部８１から供給される各格子点参座標の情報とセグメント探索部８３によるセグメント探索結果の情報とに基づき、セグメント位置ごとに前述した三角補間（図４２及び図４３を参照）を行って、リメッシュデータ（図４４を参照）を生成する。前述のように、リメッシュデータは、セグメント粒度での参照座標ＣＲと換言できるものである。
　リメッシュデータ生成部８４は、生成したリメッシュデータを各画素座標補間部８５に出力する。

　各画素座標補間部８５は、リメッシュデータに基づき出力画像の画素位置ごとの参照座標ＣＲを求める。前述のように、各画素位置の参照座標ＣＲは、リメッシュデータに基づくバイリニア補間を行って求める。
　各画素座標補間部８５は、各画素位置の参照座標ＣＲを図３５に示したメモリ制御部６４に出力する。

　図３５に示したメモリ制御部６４は、参照座標ＣＲに基づき、バッファメモリ６３からキャッシュメモリ６５へのデータの書き込み制御を行う。
　また、メモリ制御部６４は、参照座標ＣＲに基づき、出力画像の各画素位置について、その画素位置に対応した参照領域Ａｒ（図４６を参照）のデータをキャッシュメモリ６５から逐次読み出して補間フィルタ６６に出力する。
　これにより、補間フィルタ６６では、出力画像の画素位置ごとに参照領域Ａｒのデータを用いた補間処理が逐次行われ、スタビ済み出力画像が得られる。

　上記のように本実施形態のスタビライズ処理では、出力画像の画素位置ごとの参照座標ＣＲを求めるにあたって、従来のように仮想線Ｌ１としての一次元的な情報のみで出力座標系との整合をとるのではなく、格子点メッシュとしての二次元的な情報を用いて出力座標系との整合をとるものとしている。
　これにより、参照座標ＣＲの正確性を高めることができ、スタビライズ処理の性能向上を図ることができる。

　なお、上記では、格子点メッシュとして、図４９Ａに示すような固定メッシュモードによる格子点メッシュを生成する例を挙げたが、格子点メッシュの生成には、例えば図４９Ｂから図４９Ｄに例示するような１次元可変メッシュモード、２次元可変メッシュモード、有限要素メッシュモード等、固定メッシュモード以外の他のモードを採用することもできる。

＜７．構造例＞

　信号処理装置１の具体的な構造例について、図５０から図５２を参照して説明する。
　図５０に示すように、信号処理装置１において、ＩＭＵセンサ２とイメージセンサ３を除いた部分、すなわち、前処理部４からスタビライズ処理部１３までの部分は、センサ信号に対する信号処理を行う部分であるとして、信号処理部１ａと呼ぶことができる。

　この信号処理部１ａは、イメージセンサ３とは別チップ（別の集積回路チップ）で構成することができる。そして、このようにイメージセンサ３と信号処理部１ａとを別チップで構成した場合には、図５１に模式的に表すように、これらイメージセンサ３と信号処理部１ａとを一つの半導体パッケージ内に実装した構成を採ることができる。

　また、このようにイメージセンサ３と信号処理部１ａとを一つの半導体パッケージ内に実装した構成を採る場合には、図５２に例示するように、信号処理部１ａにイメージセンサ３を積層した構成を採ることもできる。

＜８．その他周辺技術＞

　図５３を参照し、信号処理装置１を適用したカメラシステムのプロトコル通信の例を説明する。
　従来のセンサ制御用ＬＳＩ（Large Scale Integrated circuit）はレジスタに設定値を流し込むのみであり、プロトコル仕様としてはスレーブシステムであって、ホストＣＰＵ（ＨＯＳＴ　ＣＰＵ）９０からレジスタ設定値を流し込む方式が採用されているが、スタビ機能を有するウェアラブルカメラシステムでは、内部にステートマシンやシーケンス制御など複雑なホスト処理を内蔵する必要がある点と、省スペース化、低消費電力の観点で、ホストＣＰＵ９０を外付けするセット構成は支障がある（図中の上段を参照）。このため、図中の下段に示すように、マスタ処理が可能なホストＣＰＵ９０を信号処理部１ａに内蔵し、外部の制御端末１００とのプロトコル通信を行う構成を採る。

　図５４及び図５５は、プロトコル通信において通信断が起きた場合の通信回復の例を説明するための図である。
　ウェアラブルカメラにおいては無線での動画伝送が想定され、通信途絶が頻繁に起こる可能性が高まる。特に、昨今の５Ｇ伝送では通信帯域が非常に大きい反面、指向性が高くスポーツ等の激しい動きにより通信のスコープ外で途切れる傾向が強いため、例えば従来の放送システムに対して、通信が途切れた場合に通信断に対して高速リカバリできるステート制御が必要である。
　先ず、初期状態からの正常な通信開通時には、制御端末１００からカメラ側（信号処理装置１側）への設定状態の全項目問い合わせを行い、ステータスの通知の完了をもって通常通信開通状態に移行する。従来のプロトコル通信ではコマンドの瞬断が起きれば、再開通までの間のパラメータ更新内容が不定となるため、正常復帰には初期状態からの接続シーケンスを再度繰り返し、コマンド開通を行うことになる。ウェアラブルカメラにおいては、頻繁な瞬断を伴うことから、瞬断のたびに接続シーケンスを繰り返すのは大きな負荷がかかる。このため、信号処理装置１側、制御端末１００側とも通信断が起きた直後からの更新履歴を保存し、通信再開通時には更新された項目のみ通信し高速に通信状態を回復させることで高速な接続回復を図る。

　図５６、図５７は、加速度、ジャイロ（角速度）の前処理についての説明図である。
　本実施形態ではＡＩを用いて特徴量を抽出するシステムであるが、実際のＩＭＵスタビシステムにおいてはジャイロセンサ、加速度センサともにバイアス問題があり、これらのバイアスが大き過ぎると想定通りの特徴量補正が困難となる虞がある。このため、構成要素として前処理ブロック（前処理部４）を備えている。

　図５６は、ジャイロ側のバイアス除去のための前処理についての説明図である。
　ホスト側からの水平リセット指示に基づき、ＩＭＵが静止状態であることを検波器が検知する。突発的なノイズを吸収するため、検波器の前段にメディアンフィルタを備える。静止判定したら、所定の時間の移動平均を計算し、計算した移動平均値をバイアス量としてメモリに保存する。このようにメモリに保存したバイアス量に基づき、毎サンプル、ジャイロ３軸データについてのオフセット除去を行う。

　図５７は、加速度側の水平リセットのための前処理についての説明図である。
　ジャイロバイアスの場合とは異なり、加速度センサは常に重力加速度の影響を受けているため、実際のユースケースでは完全な水平を保つことはできない。そのため、ジャイロ側のように純粋なバイアス除去はできない。加速度センサは、例えばウェアラブルカメラの装着者に水平姿勢をとらせた状態で、そのときのずれ量を、多少のずれがあっても水平とみなす。
　この場合の前処理としては、ジャイロの場合と同様に加速度３軸データに対してメディアンフィルタ処理を施したのち、検波器で静止状態であることを検知し、そのときの加速度値と重力加速度から水平姿勢を規定するクォータニオン姿勢を生成して、メモリに保存する。この場合の姿勢制御では、このようにメモリに保存した加速度水平クォータニオン値を新たなカメラ中心基準のクォータニオン姿勢として用いる。

　図５８は、光軸と回転軸とのずれ補正についての説明図である。
　ＩＭＵセンサを搭載したカメラでは、光軸（レンズおよびイメージセンサで構成される三軸）と回転軸（ＩＭＵの三軸）にずれが生じないように製造することが要請される。レンズ中心とイメージセンサの軸ズレを補正する「カメラキャリブレーション」技術は確立しており、ｏｐｅｎｃｖ等を使用して、簡易に実施することができる。また、ＩＭＵを構成する加速度とジャイロの軸ズレを合わせ込む「ＩＭＵキャリブレーション」手法も確立しており、ＩＭＵ－ＴＫ等の広く知られている技術で実施できる。

　しかしながら、光軸と回転軸とのずれを補正する技術は確立されておらず、実施形態に係る特徴量補正の正常な動作のためには、これらの軸ずれが生じないよう、精度よく製造することが要請される。

　本実施例では、特徴抽出可能なボード（チェスボード等）を用いて、「カメラキャリブレーション」と同時に、「光軸・回転軸ずれ補正」を行う。ボードは、重力に対して、水平・垂直になるように設置されている前提とする。本測定の前提として、別途又は本測定と同時にＩＭＵキャリブレーションを実施・適用する。補正回転行列（３×３）とＩＭＵ値（３×１）の積が、補正後のＩＭＵ値となる。具体的な手順を以下に示す。
　１）特徴抽出可能なボードを水平・垂直に設置する
　２）ＩＭＵ搭載カメラを使用して、Ｎ個の方向からボードを撮影する。一方向から撮影したら、そのカメラ姿勢のまま数秒間静止させる。
　３）レンズキャリブレーション処理を実行して、Ｎ枚の撮像画像の回転行列Ri(i=1..N)を求める。加速度ベクトルaをRi^-1で回転したベクトルaiを求める
　４）各姿勢の加速度ベクトルgi(i=1..N)を求める
　５）R * gi = ai となるような補正回転行列Rを最小二乗法等で求める

＜９．画像に係る特徴量抽出について＞

　これまでの説明では、実施形態としての特徴量抽出手法の適用例として、ＩＭＵ信号からの特徴量抽出を例に挙げたが、実施形態としての特徴量抽出手法は、ＩＭＵ信号のみでなく他の信号についても適用可能なものである。
　以下では具体例として、画像信号を対象とした各種特徴量抽出の手法を説明する。

　図５９、図６０は、撮像ノイズ特徴量の抽出手法についての説明図である。
　図５９に示す学習環境において、学習用画像としての画像データを用意しておく。また、撮像ノイズの推定精度を高めるべく複数のフレーム画像を用いるため、フレームバッファ９１を備える。

　ランダムノイズ生成部９２及びランダムノイズ付加部９３により学習用の画像データにランダムノイズを付加し、これを学習器におけるＳＡＥ７０の入力に与えて、制御線関連付け学習を行う。この際、教師データとしては、ランダムノイズ付加レベル調整部９４により制御線の値に応じてノイズレベルを変えた教師データを与える。例えば、制御線の値＝１．０でノイズなし画像、制御線の値＝０．０でノイズあり画像、制御線の値＝－１．０でノイズ強調画像をそれぞれ教師として与える。
　図示のように制御線関連付け学習器７１ａは複数設けられ、各制御線関連付け学習器７１ａには、ＳＡＥ７０におけるそれぞれ対応する中間層で得られる特徴量を入力する。最上位レイヤの制御線関連付け学習器７１ａを除く各制御線関連付け学習器７１ａには、それぞれ上位レイヤの制御線関連付け学習器７１ａの畳み込みで得られた特徴量を入力し、精度の追い込みを図る。

　上記のような制御線関連付け学習の結果、制御線に与える値によって、出力するノイズ特徴量の態様を切り替えようとするアルゴリズムが生成される。具体的には、制御線に与える値により、ノイズレベルの異なる画像を出力するアルゴリズムが生成される。

　信号処理装置１への実装後環境では、図６０に示すように、各制御線関連付け学習器７１ａに対し制御線の値＝＋Δを与えたときの抽出特徴量と、制御線の値＝－Δを与えたときの抽出特徴量とをリファクタリング部７２に入力する。リファクタリング部７２では、これら抽出特徴量の差分が計算され、必要に応じてＬＰＦ処理又はＨＰＦ処理が施されて、撮像ノイズ特徴量が抽出される。
　このように抽出された撮像ノイズ特徴量は、特徴量調整器８による調整を経て、信号補正処理部９に入力される。
　この場合の信号補正処理部９では、撮像ノイズ特徴量に基づき、前処理部５を介して入力される撮像画像に対して撮像ノイズ除去のための補正処理を施す。

　これにより、撮像画像について高品位な撮像ノイズ除去が可能となる。また、撮像ノイズを強調するように補正した場合には、３Ｄ－ＮＲ（三次元ノイズリダクション）の逆特性としてブラーを補正するデブラー効果を得ることができる。

　図６１、図６２は、フォーカス特徴量の抽出手法についての説明図である。
　フォーカスとしての特徴量を抽出できれば、該特徴量を用いた画像補正処理により画像の深度方向におけるフォーカス位置（合焦位置）を調整することが可能となる。つまり、撮影後のピント調整が可能となる。

　図６１に示す学習環境においては、学習用画像として、第一フォーカス画像、第二フォーカス画像を用意する。これら第一、第二フォーカス画像は、深度方向（距離方向）におけるフォーカス位置の異なる画像である。具体的に、第一フォーカス画像としては前ピン画像を、第二フォーカス画像としては後ピン画像をそれぞれ用意する。

　スイッチ部３２により、第一、第二フォーカス画像を制御線の値に応じて切り替えて出力し、フレームバッファ９１を介して学習器におけるＳＡＥ７０の入力に与え、制御線関連付け学習を行う。この際、教師データは、スイッチ部３２により制御線の値に応じて第一、第二フォーカス画像を切り替えて与える。例えば、制御線の値＝０．０で第一フォーカス画像、制御線の値＝１．０で第二フォーカス画像に切り替える。
　この場合も複数の制御線関連付け学習器７１ａを用いた多重解像度での学習を行い、精度の追い込みを図る。

　上記のような制御線関連付け学習が行われることで、制御線に与える値により、出力するフォーカス特徴量の態様を切り替えようとするアルゴリズムが生成される。具体的には、制御線に与える値により、深度方向におけるフォーカス位置が異なる画像を出力するアルゴリズムが生成される。

　信号処理装置１への実装後環境では、図６２に示すように、各制御線関連付け学習器７１ａに対し制御線の値＝＋Δを与えたときの抽出特徴量と、制御線の値＝－Δを与えたときの抽出特徴量とをリファクタリング部７２に入力する。リファクタリング部７２では、これら抽出特徴量の差分が計算され、必要に応じてＬＰＦ処理又はＨＰＦ処理が施されてフォーカス特徴量が抽出される。
　このように抽出されたフォーカス特徴量は、特徴量調整器８による調整を経て、信号補正処理部９に入力される。
　この場合の信号補正処理部９では、フォーカス特徴量に基づき、前処理部５を介して入力される撮像画像に対して深度方向におけるフォーカス位置を調整するための補正処理を施す。

　図６３、図６４は、ワープ特徴量の抽出手法についての説明図である。
　ワープ特徴量は、相関のある二つの画像間のワープ量を示す特徴量である。ワープ特徴量を抽出できると、ステレオ画像間でのインテグラルイメージ画像や時間的に連続した二つのフレーム画像間の補間画像等を得ることができる。

　この場合、図６３に示す学習環境では、相関を持つ２種の画像（第一相関画像、第二相関画像とする）を用意する。第一、第二相関画像としては、例えば時間的に相関を持った画像（例えば、連続する２フレーム分の画像）や、ステレオ画像を用意する。
　スイッチ部３２により、第一、第二相関画像を制御線の値に応じて切り替えて出力し、フレームバッファ９１を介して学習器におけるＳＡＥ７０の入力に与え、制御線関連付け学習を行う。この際、教師データは、スイッチ部３２により制御線の値に応じて第一、第二相関画像を切り替えて与える。例えば、制御線の値＝０．０で第一相関画像、制御線の値＝１．０で第二相関画像に切り替える。
　この場合も複数の制御線関連付け学習器７１ａを用いた多重解像度での学習を行い、精度の追い込みを図る。

　上記のような制御線関連付け学習が行われることで、制御線に与える値により、出力するワープ特徴量の態様を切り替えようとするアルゴリズムが生成される。

　信号処理装置１への実装後環境では、図６４に示すように、各制御線関連付け学習器７１ａに対し制御線の値＝＋Δを与えたときの抽出特徴量と、制御線の値＝－Δを与えたときの抽出特徴量とをリファクタリング部７２に入力する。
　この場合のリファクタリング部７２では、これら二つの抽出特徴量間のテンプレートマッチングにより動きベクトルを解析し、得られた動きベクトル量に対し必要に応じてＬＰＦ処理又はＨＰＦ処理を施し、ワープ特徴量として特徴量調整器８に出力する。

　この場合の信号補正処理部９では、特徴量調整器８を介して入力されるワープ特徴量としての動きベクトル量に基づき、前処理部５を介して入力される撮像画像に対して補間画像（入力画像に対し時間的又は空間的に相関のある画像）を生成するための補正処理を施す。

　上記のようなワープ特徴量に基づく補間画像の生成手法は、従来のＺＮＣＣ（Zero-mean Normalized Cross-Correlation）などのマッチング手法を用いた手法と比較して非常に精度の高い結果が得られる。

　なお、上記では、イメージセンサ３から入力される撮像画像を対象として抽出特徴量に基づく補正処理を施す例を挙げたが、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置から読み出した画像を対象として抽出特徴量に基づく補正処理を施す構成とすることもできる。

＜１０．変形例＞

　なお、本技術はこれまで説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得る。
　例えば、上記では、本技術が対象とするセンサの例としてＩＭＵセンサ２やイメージセンサ３を例示したが、該センサについては、これらＩＭＵセンサ２やイメージセンサ３に限定されない。例えば、温度センサやマイクロフォン、磁気センサ、位置センサ、高度センサなどの各種のセンサを挙げることができる。

　また、上記では、信号処理装置１がスコア分類シーン解析器１０を備える例を挙げたが、スコア分類シーン解析器１０を備えることは必須ではない。

＜１１．実施形態のまとめ＞

　上記のように実施形態としての第一の信号処理装置（同１）は、ニューラルネットワークを有し、センサからの入力信号を対象として特定事象についての特徴量を抽出するように学習された特徴量抽出部（同７）と、特徴量抽出部が抽出した特徴量に基づき、入力信号の補正を行う補正部（信号補正処理部９）と、を備えるものである。
　特定事象についての「特徴量」とは、例えば、センサが加速度センサや角速度センサ等の対象物の動きを検出するための動きセンサ（モーションセンサ）であれば、遠心力や、エフェクトとしての振動についての特徴量等を挙げることができる。すなわち、遠心力とは何かを表す特徴量や、カメラのスタビライズ処理において臨場感を演出するために与えるべき振動とは何かを表す特徴量等である。或いは、センサがイメージセンサであれば、撮像ノイズの特徴量（撮像ノイズとは何かを表す特徴量）、フォーカスの特徴量（フォーカスとは何かを表す特徴量）等を挙げることができる。例えば、遠心力としての特徴量が抽出できれば、入力信号におけるその特徴量を打ち消すことで、スタビライズ処理として遠心力による悪影響を除去した処理を実現でき、スタビライズ性能の向上を図ることができる。或いは、フォーカスとしての特徴量を抽出できれば、該特徴量を用いた画像補正処理により画像の深度方向におけるフォーカス位置（合焦位置）を調整することが可能となる。つまり、撮影後のピント調整が可能となる。
　本技術では、例えばこれら遠心力やフォーカスといったような、数式で表すことが困難な事象についての特徴量を、ＡＩ技術を用いた学習によりオブジェクトのように抽出し、抽出した特徴量に基づき入力信号を補正している。これにより、従来のフィルタ処理では困難であった補正処理を容易に実現可能となる。
　従って、センサからの入力信号の補正に関して性能向上を図ることができる。

　ここで、本実施形態では、センサ情報の中から例えば「遠心力」といったオブジェクトを特徴抽出することで信号処理性能の向上を図っている。また、画像処理においても、例えば撮像ノイズ、フォーカスなどの光学現象、ワープ特徴量（動きベクトル）などをすべてオブジェクトの形で特徴抽出し、これまでにない性能の画像処理を実現している。このように本実施形態は、従来センサにＡＩ技術を組み合わせることで、一段階抽象度の高い「オブジェクトセンサ」という形のセンシングシステムを構築しているところに従来技術にはない技術的特徴を有するものである。

　また、実施形態としての第一の信号処理装置においては、特徴量抽出部が抽出した特徴量を調整する調整器（特徴量調整器８）を備えている。
　これにより、入力信号の補正結果としてより良好な結果が得られるように特徴量の調整を行うことが可能となる。
　従って、入力信号の補正性能の向上を図ることができる。

　さらに、実施形態としての第一の信号処理装置においては、センサは撮像装置の動きを検出する動きセンサ（ＩＭＵセンサ２）とされ、補正部が特徴量に基づき補正した動きセンサからの入力信号に基づき、撮像装置の撮像画像についてのスタビライズ処理を行うスタビライズ処理部（同１３）を備えている。
　これにより、例えば特徴量として遠心力の特徴量を抽出する場合には、遠心力の成分を除去した動き検出信号に基づいてスタビライズ処理を行うことが可能となる。或いは、特徴量として例えばエフェクトとしての振動の特徴量を抽出する場合であれば、エフェクトとしての振動成分を除去した動き検出信号に基づくスタビライズ処理を行うことが可能となる。すなわち、スタビライズ処理において該エフェクトとしての振動成分が除去されないようにすることが可能となる。
　従って、撮像画像のスタビライズ処理として、目的に合った適切なスタビライズ処理の実現を図ることができる。

　さらにまた、実施形態としての第一の信号処理装置においては、特徴量抽出部が抽出した特徴量を調整する調整器と、ニューラルネットワークを有し、動きセンサからの入力信号に基づきスタビライズ処理の性能を表す評価スコアを算出するように学習されたスコア算出部（スコア分類シーン解析器１０）と、を備え、調整器は、スコア算出部が算出した評価スコアに基づき、補正部が入力信号の補正に用いる特徴量の調整を行っている。
　上記のように動きセンサからの入力信号に基づき評価スコアを算出することで、スタビライズ処理後の画像に基づく評価スコアの算出を行う場合よりも、演算量の低減が図られる。
　従って、評価スコアに応じて特徴量を適切に調整する上での演算リソースの低減を図ることができる。

　また、実施形態としての第一の信号処理装置においては、スタビライズ処理部は、出力画像の座標系である出力座標系において、水平方向及び垂直方向にそれぞれ複数配列された格子点を有し格子点ごとに入力信号から求まる動き情報が対応づけられる格子点メッシュを生成し、格子点メッシュにおける格子点ごとの動き情報に基づいてスタビライズ処理を行っている。
　これにより、出力画像の各画素位置における参照座標の正確性を高めることが可能とされる。
　従って、スタビライズ処理の性能向上を図ることができる。

　さらに、実施形態としての第一の信号処理装置においては、補正部が特徴量に基づき行う入力信号の補正処理で生じる遅延量を計算し、該遅延量に基づいて入力信号についての位相調整を行う位相調整器（位相調整部１１）を備えている。
　これにより、補正処理が或る程度遅延量をもつ場合であっても適切なスタビライズ処理を実現することが可能となる。特に、ＲＳ歪みに対して有効な補正が可能となる。
　従って、スタビライズ性能の向上を図ることができる。

　また、実施形態としての第一の信号処理装置においては、撮像画像を得るイメージセンサを有し、特徴量抽出部と補正部とを有する集積回路チップ（信号処理部１ａ）がイメージセンサと同一の半導体パッケージ内に実装されている（図５１、図５２を参照）。
　これにより、イメージセンサと集積回路チップとを別パッケージで実装する場合よりも信号処理装置の小型化を図ることができる。

　さらに、実施形態としての第一の信号処理装置においては、集積回路チップにイメージセンサが積層されている（図５２を参照）。
　これにより、イメージセンサと集積回路チップとを同一パッケージ内において縦方向に積み上げて省スペースに収容することが可能となる。
　従って、信号処理装置の小型化を図ることができる。

　また、実施形態としての第一の信号処理方法は、ニューラルネットワークを有しセンサからの入力信号を対象として特定事象についての特徴量を抽出するように学習された特徴量抽出部が抽出した前記特徴量に基づき、前記入力信号の補正を行う信号処理方法である。
　このような第一の信号処理方法によっても、上記した第一の信号処理装置と同様の作用及び効果を得ることができる。

　また、実施形態としての第二の信号処理装置（同１）は、センサからの入力信号を処理する積層オートエンコーダ（同７０）と、ニューラルネットワークを有しプレトレーニング後の前記積層オートエンコーダの中間層に得られる特徴量を入力とし、特定の事象に係る異なる事象態様をそれぞれ異なる制御線の値に関連付けて学習する制御線関連付け学習が行われた制御線関連付け学習器（同７１ａ）と、制御線に第一の値を与えたときの制御線関連付け学習器の出力である第一出力と、制御線に第一の値とは異なる第二の値を与えたときの制御線関連付け学習器の出力である第二出力との差分を得るリファクタリング器（同７２ａ）と、を備えるものである。
　ここで言う「特定の事象」とは、例えばモーションデータであれば遠心力、画像データであればフォーカス等、特徴量の抽出対象とする事象を意味する。また、ここで言う「事象態様」とは、例えば、遠心力であれば「遠心力あり」という態様や「遠心力なし」という態様、或いは、フォーカスであれば「前ピン」という態様と「後ピン」という態様等、特定の事象に関する態様のことを意味する。上記構成によれば、特定の事象についての特徴量が、第一事象態様（例えば遠心力あり）の場合と第二事象態様（例えば遠心力なし）の場合との出力差として求められる。
　従って、特定の事象についての特徴量を適切に抽出することができる。
　このとき、制御線関連付け学習器については、一般的なＣＮＮのような全結合層を用いる構成を採る必要はなく、特徴量抽出にあたっての演算リソース低減が図られる。このため、本実施形態によれば、演算リソースの増大化の抑制を図りつつ、特定の事象についての特徴量を適切に抽出することができる。

　また、実施形態としての第二の信号処理装置においては、リファクタリング器は、差分として得られる信号の一部の周波数成分を抽出する周波数フィルタを有している（図８を参照）。
　これにより、制御線関連付け学習器の第一出力と第二出力との差分として得られる信号について、波形成形を行うことが可能とされる。
　従って、制御線関連付け学習器の学習結果が不十分であったとしても期待する特徴量に近づけることが可能となり、特徴量抽出の正確性向上を図ることができる。

　さらに、実施形態としての第二の信号処理装置においては、リファクタリング器が抽出した特徴量を調整する調整器（特徴量調整器８）を備えている。
　これにより、リファクタリング器において特徴量が期待通りのレベルで抽出されない場合であっても、適切な特徴量が得られるように加減を行うことが可能とされる。
　従って、特徴量の正確性向上を図ることができる。

　さらにまた、実施形態としての第二の信号処理装置においては、センサは対象物の動きを検出する動きセンサ（ＩＭＵセンサ２）とされ、積層オートエンコーダは、動きセンサによる検出信号を入力信号として入力している。
　これにより、対象物の動きに係る特徴量を学習済みのＡＩにより抽出することが可能とされる。
　従って、例えば、車載カメラ等に作用する遠心力についての特徴量（遠心力とは何かを表す特徴量）や、エフェクトとしての振動についての特徴量（カメラのスタビライズ処理において臨場感を演出するために与えるべき振動とは何かを表す特徴量）等、対象物の動きに係る事象のうち、数式化が困難な事象について特徴量を適切に求めることができる。

　また、実施形態としての第二の信号処理装置においては、センサはイメージセンサ（同３）とされ、積層オートエンコーダは、イメージセンサによる撮像画像信号を入力信号として入力している。
　これにより、撮像画像に係る特徴量を学習済みのＡＩにより抽出することが可能とされる。
　従って、例えば、撮像ノイズの特徴量（撮像ノイズとは何かを表す特徴量）、フォーカスの特徴量（フォーカスとは何かを表す特徴量）等、撮像画像に係る事象のうち、数式化が困難な事象について特徴量を適切に求めることができる。

　さらに、実施形態としての第二の信号処理装置においては、センサは撮像装置の動きを検出する動きセンサとされ、積層オートエンコーダは、動きセンサによる検出信号を入力信号として入力し、リファクタリング器が抽出した特徴量に基づき、入力信号の補正を行う補正部（信号補正処理部９）と、補正部による補正が施された入力信号に基づき、撮像装置の撮像画像についてのスタビライズ処理を行うスタビライズ処理部（同１３）と、を備えている。
　これにより、例えば特徴量として遠心力の特徴量を抽出する場合には、遠心力の成分を除去した動き検出信号に基づいてスタビライズ処理を行うことが可能となる。或いは、特徴量として例えばエフェクトとしての振動の特徴量を抽出する場合であれば、エフェクトとしての振動成分を除去した動き検出信号に基づくスタビライズ処理を行うことが可能となる。すなわち、スタビライズ処理において該エフェクトとしての振動成分が除去されないようにすることが可能となる。
　従って、撮像画像のスタビライズ処理として、目的に合った適切なスタビライズ処理の実現を図ることができる。

　さらにまた、実施形態としての第二の信号処理装置においては、撮像画像を得るイメージセンサを有し、積層オートエンコーダと制御線関連付け学習器とリファクタリング器とを有する集積回路チップが、イメージセンサと同一の半導体パッケージ内に実装されている。
　これにより、イメージセンサと集積回路チップとを別パッケージで実装する場合よりも信号処理装置の小型化を図ることができる。

　また、実施形態としての第二の信号処理装置においては、集積回路チップにイメージセンサが積層されている。
　これにより、イメージセンサと集積回路チップとを同一パッケージ内において縦方向に積み上げて省スペースに収容することが可能となる。
　従って、信号処理装置の小型化を図ることができる。

　また、実施形態としての第二の信号処理方法は、センサからの入力信号を処理する積層オートエンコーダと、ニューラルネットワークを有しプレトレーニング後の積層オートエンコーダの中間層に得られる特徴量を入力とし、特定の事象に係る異なる事象態様をそれぞれ異なる制御線の値に関連付けて学習する制御線関連付け学習が行われた制御線関連付け学習器と、を備えた信号処理装置について、制御線に第一の値を与えたときの制御線関連付け学習器の出力である第一出力と、制御線に第一の値とは異なる第二の値を与えたときの制御線関連付け学習器の出力である第二出力との差分を得る信号処理方法である。
　このような第二の信号処理方法によっても、上記した第二の信号処理装置と同様の作用及び効果を得ることができる。

　また、実施形態としてのパラメータ探索方法は、センサからの入力信号を処理する積層オートエンコーダと、ニューラルネットワークを有しプレトレーニング後の積層オートエンコーダの中間層に得られる特徴量を入力とし、特定の事象に係る異なる事象態様をそれぞれ異なる制御線の値に関連付けて学習する制御線関連付け学習が行われた制御線関連付け学習器と、制御線に第一の値を与えたときの制御線関連付け学習器の出力である第一出力と、制御線に第一の値とは異なる第二の値を与えたときの制御線関連付け学習器の出力である第二出力との差分を得るリファクタリング器と、を備えた信号処理装置に関するパラメータ探索方法であって、情報処理装置が、ゲーム操作に応じて信号処理装置に設定するパラメータの組み合わせを選択し、選択した組み合わせによるパラメータが設定された信号処理装置について、信号処理結果に対する評価スコアを取得し、取得した評価スコアに基づき所定の評価スコア条件を満たすパラメータの組み合わせを探索するパラメータ探索方法である（図３３、図３４を参照）。
　これにより、例えば制御線に与える第一の値や第二の値等、信号処理装置における特徴量抽出処理に係るパラメータについて、最適とされるパラメータの探索を、ゲームコンテンツを介した分散処理のアプローチにより実現することが可能となる。
　従って、より複雑なリファクタリング命題を効率良く解いていくことができ、パラメータ探索の効率化を図ることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜１２．本技術＞

　なお本技術は以下のような構成も採ることができる。
（１）
　ニューラルネットワークを有し、センサからの入力信号を対象として特定事象についての特徴量を抽出するように学習された特徴量抽出部と、
　前記特徴量抽出部が抽出した前記特徴量に基づき、前記入力信号の補正を行う補正部と、を備える
　信号処理装置。
（２）
　前記特徴量抽出部が抽出した前記特徴量を調整する調整器を備えた
　前記（１）に記載の信号処理装置。
（３）
　前記センサは撮像装置の動きを検出する動きセンサとされ、
　前記補正部が前記特徴量に基づき補正した前記動きセンサからの入力信号に基づき、前記撮像装置の撮像画像についてのスタビライズ処理を行うスタビライズ処理部を備えた
　前記（１）又は（２）に記載の信号処理装置。
（４）
　前記特徴量抽出部が抽出した前記特徴量を調整する調整器と、
　ニューラルネットワークを有し、前記動きセンサからの入力信号に基づき前記スタビライズ処理の性能を表す評価スコアを算出するように学習されたスコア算出部と、を備え、
　前記調整器は、
　前記スコア算出部が算出した前記評価スコアに基づき、前記補正部が前記入力信号の補正に用いる前記特徴量の調整を行う
　前記（３）に記載の信号処理装置。
（５）
　前記スタビライズ処理部は、
　出力画像の座標系である出力座標系において、水平方向及び垂直方向にそれぞれ複数配列された格子点を有し前記格子点ごとに前記入力信号から求まる動き情報が対応づけられる格子点メッシュを生成し、前記格子点メッシュにおける前記格子点ごとの前記動き情報に基づいて前記スタビライズ処理を行う
　前記（３）又は（４）に記載の信号処理装置。
（６）
　前記補正部が前記特徴量に基づき行う前記入力信号の補正処理で生じる遅延量を計算し、該遅延量に基づいて前記入力信号についての位相調整を行う位相調整器を備えた
　前記（１）から（５）の何れかに記載の信号処理装置。
（７）
　前記撮像画像を得るイメージセンサを有し、
　前記特徴量抽出部と前記補正部とを有する集積回路チップが前記イメージセンサと同一の半導体パッケージ内に実装された
　前記（３）から（６）の何れかに記載の信号処理装置。
（８）
　前記集積回路チップに前記イメージセンサが積層された
　前記（７）に記載の信号処理装置。
（９）
　ニューラルネットワークを有しセンサからの入力信号を対象として特定事象についての特徴量を抽出するように学習された特徴量抽出部が抽出した前記特徴量に基づき、前記入力信号の補正を行う
　信号処理方法。

１　信号処理装置
２　ＩＭＵセンサ
３　イメージセンサ
６　クォータニオン計算部
７　特徴量抽出部
７０　ＳＡＥ（積層オートエンコーダ）
７１　制御線関連付け学習部
７１ａ　制御線関連付け学習器
７２　リファクタリング部
７２ａ　リファクタリング器
８　特徴量調整器
９　信号補正処理部
１０　スコア分類シーン解析器
１１　位相調整部
１２　遅延量計算部
１３　スタビライズ処理部
９ａ　センサノイズ補正部
９ｂ　遠心力補正部
９ｃ　エフェクト補正部
９ｄ　ステートマシン補正部
９ｅ　カメラワーク補正部
２２　スイッチ部
２３　スコア解析器
２４　自動調整器
５０　情報処理装置
５１　制御部
Ｆ１　制御線・ブレンド比制御処理部
Ｆ２　スコア取得処理部
Ｆ３　表示処理部
Ｆ４　収束判定処理部
６１　参照座標計算部
６２　バッファ制御部
６３　バッファメモリ
６４　メモリ制御部
６５　キャッシュメモリ
６６　補間フィルタ
ＣＲ　参照座標
Ｌ１　仮想線
Ｐｒ　参照画素
Ａｒ　参照領域
８１　格子点メッシュ生成・成形部
８２　セグメントマトリクス生成部
８３　セグメント探索部
８４　リメッシュデータ生成部
８５　各画素座標補間部
８１ａ　格子点メッシュ生成器
８１ｂ　レンズ歪補正器
８１ｃ　射影器
８１ｄ　回転器
８１ｅ　自由曲率透視投影器
８１ｆ　走査制御器
８１ｇ　クリップ器
８１ｈ　各格子点参照座標計算器
９１　フレームバッファ
９２　ランダムノイズ生成部
９３　ランダムノイズ付加部
９４　ランダムノイズ付加レベル調整部

Claims

　ニューラルネットワークを有し、センサからの入力信号を対象として特定事象についての特徴量を抽出するように学習された特徴量抽出部と、
　前記特徴量抽出部が抽出した前記特徴量に基づき、前記入力信号の補正を行う補正部と、を備える
　信号処理装置。
　前記特徴量抽出部が抽出した前記特徴量を調整する調整器を備えた
　請求項１に記載の信号処理装置。
　前記センサは撮像装置の動きを検出する動きセンサとされ、
　前記補正部が前記特徴量に基づき補正した前記動きセンサからの入力信号に基づき、前記撮像装置の撮像画像についてのスタビライズ処理を行うスタビライズ処理部を備えた
　請求項１に記載の信号処理装置。
　前記特徴量抽出部が抽出した前記特徴量を調整する調整器と、
　ニューラルネットワークを有し、前記動きセンサからの入力信号に基づき前記スタビライズ処理の性能を表す評価スコアを算出するように学習されたスコア算出部と、を備え、
　前記調整器は、
　前記スコア算出部が算出した前記評価スコアに基づき、前記補正部が前記入力信号の補正に用いる前記特徴量の調整を行う
　請求項３に記載の信号処理装置。
　前記スタビライズ処理部は、
　出力画像の座標系である出力座標系において、水平方向及び垂直方向にそれぞれ複数配列された格子点を有し前記格子点ごとに前記入力信号から求まる動き情報が対応づけられる格子点メッシュを生成し、前記格子点メッシュにおける前記格子点ごとの前記動き情報に基づいて前記スタビライズ処理を行う
　請求項３に記載の信号処理装置。
　前記補正部が前記特徴量に基づき行う前記入力信号の補正処理で生じる遅延量を計算し、該遅延量に基づいて前記入力信号についての位相調整を行う位相調整器を備えた
　請求項１に記載の信号処理装置。
　前記撮像画像を得るイメージセンサを有し、
　前記特徴量抽出部と前記補正部とを有する集積回路チップが前記イメージセンサと同一の半導体パッケージ内に実装された
　請求項３に記載の信号処理装置。
　前記集積回路チップに前記イメージセンサが積層された
　請求項７に記載の信号処理装置。
　ニューラルネットワークを有しセンサからの入力信号を対象として特定事象についての特徴量を抽出するように学習された特徴量抽出部が抽出した前記特徴量に基づき、前記入力信号の補正を行う
　信号処理方法。