JP6372696B2 - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP6372696B2
JP6372696B2 JP2014209971A JP2014209971A JP6372696B2 JP 6372696 B2 JP6372696 B2 JP 6372696B2 JP 2014209971 A JP2014209971 A JP 2014209971A JP 2014209971 A JP2014209971 A JP 2014209971A JP 6372696 B2 JP6372696 B2 JP 6372696B2
Authority
JP
Japan
Prior art keywords
path
feature point
image
imaging device
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014209971A
Other languages
English (en)
Other versions
JP2016082327A (ja
Inventor
和博 嶋内
和博 嶋内
靖二郎 稲葉
靖二郎 稲葉
伸穂 池田
伸穂 池田
広志 池田
広志 池田
修一 麻島
修一 麻島
友己 小野
友己 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014209971A priority Critical patent/JP6372696B2/ja
Priority to CN202010100774.7A priority patent/CN111277901B/zh
Priority to CN201580054474.7A priority patent/CN106797498B/zh
Priority to US15/516,796 priority patent/US10635931B2/en
Priority to PCT/JP2015/078057 priority patent/WO2016059978A1/ja
Publication of JP2016082327A publication Critical patent/JP2016082327A/ja
Application granted granted Critical
Publication of JP6372696B2 publication Critical patent/JP6372696B2/ja
Priority to US16/830,758 priority patent/US11151409B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本技術は、情報処理装置、情報処理方法、並びにプログラムに関する。詳しくは、画像を効率良く閲覧できるパスを生成する情報処理装置、情報処理方法、並びにプログラムに関する。
近年、静止画像や動画像を撮像できる撮像装置が増え、ユーザが気軽に撮像することが増えてきている。またインターネットなどで、撮像された画像を公開することも増えてきている。このように、画像を撮影する機会や公開する機会が増えることで、さまざまな画像が大量にユーザに提供される状況となるため、画像を効率良くユーザに閲覧させることが望まれている。
特許文献１では、静止画像を利用してムービングツアーをユーザに提供することについての提案がなされている。
特表２００２-５０９６６２号公報
従来、画像を連続的にユーザに提供するためのデータは、手動で作成されていた。このようなデータの作成は手間がかかるため、容易に作成できることが望まれている。
本技術は、このような状況に鑑みてなされたものであり、多くの画像のなかから、特徴のある画像をユーザに効率良く閲覧させるためのパスを、容易に生成できるようにするものである。
本技術の一側面の第１の情報処理装置は、複数の画像からそれぞれ特定された特徴点を用いて回帰曲線を求め、前記特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求めることで、前記複数の画像のうち特徴のある箇所を抽出して繋げるパスを設定する設定部を備える。
本技術の一側面の第２の情報処理装置は、複数の画像からそれぞれ特定された特徴点を用いて回帰曲線を求め、前記特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、スコアの低い特徴点を外した上で、再度前記回帰曲線を求めることで、前記複数の画像のうち特徴のある箇所を抽出して繋げるパスを設定する設定部を備える。
本技術の一側面の第３の情報処理装置は、複数の画像からそれぞれ特定された特徴点を用いて回帰曲線を求め、求められた回帰曲線を複数の区間に分割し、前記区間毎に微分値を求め、前記微分値が所定の閾値以下である場合、前記回帰曲線を求めるための次数を上げ、再度前記回帰曲線を求めることで、前記複数の画像のうち特徴のある箇所を抽出して繋げるパスを設定する設定部を備える。
本技術の一側面の第４の情報処理装置は、少なくとも１つの動画像から特定された特徴点に関する情報を参照し、前記画像のうち特徴のある箇所を抽出して繋げるパスを設定する設定部を備え、前記設定部は、前記動画像を複数の期間に分割して得た分割期間内の特徴点が、所定の条件を満たす期間を、エフェクトを施すエフェクト期間として設定する。
前記所定の条件は、前記分割期間内の特徴点の数が閾値以上であることであるようにすることができる。
前記エフェクトは、タイムスライスであるようにすることができる。
前記エフェクトは、同期間に異なるアングルで撮像されたシーンを表示するエフェクトであるようにすることができる。
前記設定部は、前記エフェクト期間以外では、時系列なパスを設定するようにすることができる。
前記特徴点に関する情報は、メタデータに記載されているようにすることができる。
前記設定部が設定する前記パスは、各前記特徴点の近傍を通るパス、または各前記特徴点を通るパスであるようにすることができる。
本技術の一側面の情報処理方法は、情報処理装置が、複数の画像からそれぞれ特定された特徴点を用いて回帰曲線を求め、前記特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求めることで、前記複数の画像のうち特徴のある箇所を抽出して繋げるパスを設定する。
本技術の一側面のプログラムは、複数の画像からそれぞれ特定された特徴点を用いて回帰曲線を求め、前記特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求めることで、前記複数の画像のうち特徴のある箇所を抽出して繋げるパスを設定するステップを含む処理を実行させる。
本技術の一側面の第１の情報処理装置、情報処理方法、並びにプログラムにおいては、複数の画像からそれぞれ特定された特徴点を用いて回帰曲線が求められ、特徴点のうち、回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線が求められることで、複数の画像のうち特徴のある箇所を抽出して繋げるパスが設定される。
本技術の一側面によれば、多くの画像のなかから、特徴のある画像をユーザに効率良く閲覧させるためのパスを、容易に生成できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
パスについて説明するための図である。 パスについて説明するための図である。 パスについて説明するための図である。 パスについて説明するための図である。 パスについて説明するための図である。 システムの構成について説明するための図である。 情報処理装置の構成について説明するための図である。 情報処理装置の機能について説明するための図である。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 静止画像の第１のパスの生成処理について説明するためのフローチャートである。 グループについて説明するための図である。 グループについて説明するための図である。 メタデータについて説明するための図である。 フラグについて説明するための図である。 生成されるパスについて説明するための図である。 生成されるパスについて説明するための図である。 生成されるパスを区間に分けることについて説明するための図である。 生成されるパスについて説明するための図である。 生成されるパスについて説明するための図である。 パス間を繋ぐパスについて説明するための図である。 静止画像の第２のパスの生成処理について説明するためのフローチャートである。 動画像のパスの生成について説明するための図である。 動画像のパスの生成について説明するための図である。 動画像のパスの生成について説明するための図である。 動画像のパスの生成について説明するための図である。 動画像の第１のパスの生成処理について説明するためのフローチャートである。 動画像の第１のパスの生成処理について説明するためのフローチャートである。 動画像の第２のパスの生成処理について説明するためのフローチャートである。 エフェクト期間について説明するための図である。 動画像の第３のパスの生成処理について説明するためのフローチャートである。 動画像の第３のパスの生成処理について説明するためのフローチャートである。 動画像の第３のパスの生成処理について説明するためのフローチャートである。 動画像の第３のパスの生成処理について説明するためのフローチャートである。 動画像の第４のパスの生成処理について説明するためのフローチャートである。
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．パスについて
２．システムの構成
３．情報処理装置の構成、機能
４．静止画像の第１の処理
５．静止画像の第２の処理
６．動画像の処理について
７．動画像の第１の処理
８．動画像の第２の処理
９．動画像の第３の処理
１０．動画像の第４の処理
＜パスについて＞
本技術は、以下に説明するように、複数の画像を連続的にユーザに閲覧させるためのパスを生成するのに適用できる。まず、このパスについて説明を加える。
図１は、高画質な画像から、特徴点を検出し、検出された特徴点を含む画像を繋ぐパスの生成例を示す図である。高画質な画像とは、解像度の高い撮像装置で撮像された静止画像や撮影された動画像である。以下の説明においても、画像とは静止画像と動画像を含む記載とする。
なお本明細書中では、特徴点との記載は、点（１画素）である場合を含むが、所定の大きさを有する領域である場合も含まれる。すなわち、特徴のある所定の大きさを有する領域が検出され、それらを繋ぐパスが生成されるようにしても良い。
高画質な画像１０から、特徴点が検出される。図１においては、２つの特徴点１１と特徴点１２が検出されている状態を示している。特徴点として検出される点(領域)は、例えば、画像１０内において、人等の動体が集まっているところ、画像１０内の人の視線の先、ＳＮＳ（Social Networking Service）等への投稿が多い地点、特定のイベントや動作が発生していると判断される地点等である。
また、看板やイルミネーション等のコントラストの高い部分、消失点などを含む領域でも良い。また画像１０が、動画像である場合には、時間方向に輝度等の変化を計測し、変化が大きい領域が検出されるようにしても良い。
また、正面から撮影されている物体や人を領域として検出したり、特定の人や物を追跡し、その追跡結果が領域として検出されたりするようにしても良い。さらに、画像だけでなく、音の情報、例えば、大きな音が鳴っている領域などが、特徴点として検出されるようにしても良い。
検出される特徴としては、上記した例以外の特徴であっても良い。
検出された特徴点を繋ぐパス１３が生成される。図１に示した例では、特徴点１１と特徴点１２を通るパス１３が設定される。パス１３は、特徴点１１と特徴点１２を滑らかに繋ぐパスである。このように生成されたパス１３に基づき、画像がユーザに提供される場合、画像１０がそのままユーザに提供されるのではなく、パス１３に基づき、パス１３上に位置する画像が、連続的にユーザに提供される。
例えば、所定の大きさを有するウィンドウ１４が、パス１３上を移動し、そのウィンドウ１４内の画像が、ユーザに提供される。
このようなパス１３が生成され、パス１３に基づく画像がユーザに提供されることで、ユーザは、画像１０内の特徴ある領域を効率良く閲覧することができる。
図２は、例えば、所定の位置を中心とした３６０度の画像３０が取得され、その３６０度の画像３０から、特徴のある画像を含む領域が検出され、検出された領域を繋ぐパスが生成される例を示す図である。
３６０度の画像３０は、例えば、単眼の撮像装置が複数台設置され、それらの撮像装置で撮像された画像をつなぎ合わせた画像や、１台の単眼の撮像装置で撮像された画像を繋ぎ合わせた画像や、中心点を中心とした３６０度の画像を一度で撮像できる撮像装置で撮像された画像などである。なお、３６０度の画像は、図２に示すように、上下方向の画像は無く、側面の画像だけであっても良いし、全天球の画像であっても良い。
このような３６０度の画像３０から、特徴点が検出される。ここでは、特徴点３１、特徴点３２、および特徴点３３が、検出されたとする。この特徴点３１乃至３３を通るパス３４が生成される。ユーザに、画像３０が提供される場合、このように生成されたパス３４上をウィンドウ３５が移動し、そのウィンドウ３５内の画像が、ユーザに提供される。そのとき、特徴点３１，３２，３３を含む画像が、ユーザに提示される。
図２に示した例の場合も、図１と同じく、ユーザは、画像３０内の特徴ある領域を効率良く閲覧することができる。
図３は、所定の被写体６０の周りに撮像装置６１が複数台設置され、それぞれの撮像装置６１で撮像されている画像６２から、特徴のある画像が検出され、検出された画像を繋ぐパス６３が生成される例を示す図である。
図３に示した例は、例えば、競技場などで、フィールドを囲むように撮像装置が設置されている場合などに本技術を適用できる例である。図３に示した例では、被写体６０の周りに、撮像装置６１―１乃至６１−ＮのＮ台の撮像装置が設置されている。以下、撮像装置６１―１乃至６１−Ｎを個々に区別する必要がない場合、単に撮像装置６１と記述する。また、他の部分も同様に記述する。
撮像装置６１−１乃至６１−Ｎのそれぞれにおいて、画像６２−１乃至６２−Ｎが撮像されている。撮像されている各画像６２から、特徴点(不図示)が検出される。この場合、画像６２−１乃至６２−ＮのＮ個の画像から、特徴点を含む画像６２が検出され、それらの画像６２がパス生成時の処理対象となるようにしても良い。または画像６２−１乃至６２−Ｎの各画像内から、特徴点が検出され、それらの特徴点がパス生成時の処理対象となるようにしても良い。
特徴点を含む画像として検出された画像６２（撮像装置６１）または画像６２内の特徴点を繋ぐパス６３が生成される。特徴点を含む画像６２が処理対象とされる場合、換言すれば、特徴点を含む画像６２を撮像している撮像装置６１が処理対象とされる場合、パス６３上にある撮像装置６１が順次切り替えられた画像がユーザに提供される。特徴点が処理対象とされる場合、パス６３上にある特徴点を含む画像が、順次、特徴点を含む画像６２内から切り出され、ユーザに提供される。
上記したように、競技場などで、競技場を囲むように撮像装置が設置されている場合などに本技術を適用した場合、例えば、ゴールシーンなどの盛り上がっている場面を最適な場所から撮影した画像を、連続的にユーザに提供することが可能となる。
図４に示した例も、図３に示した例と同じく、複数台の撮像装置が設置されている状況であるが、例えば、街中などに複数台の撮像装置が点在して設置されている状況である。図４に示した例では、撮像装置９１−１乃至９１−１０の１０台の撮像装置９１が、それぞれ例えば道路や建物を撮像している。
撮像装置９１−１乃至９１−１０で、それぞれ撮像されている画像から、特徴点を含む画像を撮像している撮像装置９１が検出される。検出された特徴点を繋ぐパス９２が生成される。特徴点を繋ぐパス９２が生成されるようにしても良いし、特徴点を含む画像（撮像装置９１）を繋ぐパス９２が生成されるようにしても良い。
生成されたパス９２上にある画像を撮像している撮像装置９１が順次切り換えられることで、または撮像装置９１で撮像されている画像内の所定の領域内の画像が順次切り換えられることで、ユーザに画像が提供される。
このように画像がユーザに提供されることで、例えば、街中において、人だかりができているような人気がある場所を連続的に、街中を擬似的に歩いているような感覚でユーザに画像を提供することが可能となる。
図５に示した例も、図４に示した例と同じく、複数台の撮像装置が、例えばパーティー会場のような場所に設置されている状況である。図５に示した例では、撮像装置１２１−１乃至１２１−５が、所定の会場に設置されている。この撮像装置１２１は、所定の範囲を撮影する撮像装置であり、図５では、その範囲を円形で示している。
撮像装置１２１―１は、撮像装置１２１−１を中心として、範囲１２２−１内を撮像する。撮像装置１２１―２は、撮像装置１２１−２を中心として、範囲１２２−２内を撮像し、撮像装置１２１―３は、撮像装置１２１−３を中心として、範囲１２２−３内を撮像し、撮像装置１２１―４は、撮像装置１２１−４を中心として、範囲１２２−４内を撮像し、撮像装置１２１―５は、撮像装置１２１−５を中心として、範囲１２２−５内を撮像する。
撮像装置１２１には、例えば、撮像装置１２１を中心とした３６０度の範囲を撮像できる、全天球撮像装置などと称される撮像装置を適用できる。ここでは、このような全天球撮像装置を適用した場合を例にあげて説明するが、例えば、天井に設置され、床方向の範囲１２２内を撮像する撮像装置であるとして説明を続ける。
なお、範囲１２２は、例えば、撮像されている人物の顔を顔認識ソフトウェアなどで認識できるぐらいの大きさで撮像できる範囲である。または撮像装置１２１を中心として、所定の距離だけ離れた円形内を範囲１２２とする。
図５においては、特徴がある画像を撮像している撮像装置１２１として、撮像装置１２１−１、撮像装置１２１−３、撮像装置１２１−４、および撮像装置１２１−５が検出され、これらの撮像装置１２１を繋ぐパス１２３が生成される。ユーザにはパス１２３上にある撮像装置１２１からの画像が、順次切り替えられて提供される。
または、図示はしていないが、範囲１２２内にある特徴点を順次繋ぐパス１２３が生成されるようにしても良い。
このように画像がユーザに提供されることで、図４の示した場合と同じく、例えば、人だかりができているような人気がある場所の画像を提供することが可能となる。
以下の説明において、撮像装置間距離とは、隣接する撮像装置同士の距離であるとする。図５に示したような場合においては、例えば、撮像装置１２１−１と撮像装置１２１−２の距離を、撮像装置間距離とする。
また画像の重なりとは、例えば、図５の撮像装置１２１−３の範囲１２２−３と撮像装置１２１−４の範囲１２２−４には重なりがあり、このような場合に、画像の重なりがあるとする。
＜システムの構成＞
このような特徴的な画像を検出し、検出された画像を繋ぐパスを生成するシステムについて説明する。図６は、情報処理システムの構成を示す図である。情報処理システムは、ネットワーク２０１、撮像装置２０２−１、撮像装置２０２−２、サーバ２０３、および情報処理装置２０４を含む構成とされている。
ネットワーク２０１は、インターネットやＬＡＮ（Local Area Network）を含むネットワークであり、有線や無線で構成されている。撮像装置２０２は、例えば、図５における撮像装置１２１である。図６には撮像装置２０２は、２台だけ図示してあるが、複数の撮像装置２０２がシステム内には存在する。
撮像装置２０２−１は、ネットワーク２０１に接続されている他の装置とデータの授受が行えるように、ネットワーク２０１に接続されている。撮像装置２０２−２は、サーバ２０３に接続され、サーバ２０３とデータの授受を行えるように構成されている。
サーバ２０３には、撮像装置２０２−２で撮像された画像のデータが供給され、必要に応じ、ネットワーク２０１を介して情報処理装置２０４に供給される。
情報処理装置２０４は、上記したパスを生成する装置である。なおここでは、情報処理装置２０４がパスを生成するとして説明するが、サーバ２０３が生成しても良い。
＜情報処理装置の構成、機能＞
図７は、情報処理装置２０４の構成を示す図である。情報処理装置２０４は、例えば、パーソナルコンピュータで構成することができる。
情報処理装置２０４において、ＣＰＵ（Central Processing Unit）２３１、ＲＯＭ（Read Only Memory）２３２、ＲＡＭ（Random Access Memory）２３３は、バス２３４により相互に接続されている。バス２３４には、さらに、入出力インタフェース２３５が接続されている。入出力インタフェース２３５には、入力部２３６、出力部２３７、記憶部２３８、通信部２３９、及びドライブ２４０が接続されている。
入力部２３６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２３７は、ディスプレイ、スピーカなどよりなる。記憶部２３８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２３９は、ネットワークインタフェースなどよりなる。ドライブ２４０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体２４１を駆動する。
以上のように構成される情報処理装置２０４では、ＣＰＵ２３１が、例えば、記憶部２３８に記憶されているプログラムを、入出力インタフェース２３５及びバス２３４を介して、ＲＡＭ２３３にロードして実行することにより、以下に説明する一連の処理が行われる。
情報処理装置２０４のＣＰＵ２３１が実行するプログラムは、例えば、リムーバブル記録媒体２４１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
情報処理装置２０４では、プログラムは、リムーバブル記録媒体２４１をドライブ２４０に装着することにより、入出力インタフェース２３５を介して、記憶部２３８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２３９で受信し、記憶部２３８にインストールすることができる。その他、プログラムは、ＲＯＭ２３２や記憶部２３８に、あらかじめインストールしておくことができる。
図８は、情報処理装置２０４の機能を示す図である。図８に示す機能は、上記したように、プログラムが実行されることにより実現される機能であっても良いし、ハードウエアとして実現される機能であっても良い。
画像データ取得部２６１は、例えば、Wi-Fi等の無線通信機能やリムーバブル記録媒体の再生機能で構成される。
画像データ取得部２６１は、撮像装置２０２−１（図６）からネットワーク２０１を介して供給される、撮像装置２０２−１で撮像された画像の画像データを通信部２３９（図７）を制御して取得する。また、画像データ取得部２６１は、サーバ２０３から供給される、撮像装置２０２−２で撮像された画像の画像データを通信部２３９（図７）を制御して取得する。取得されたデータは、必要に応じ、記憶部２３８（図７）に一旦記憶される。
また画像データ取得部２６１は、情報処理装置２０４で管理されている画像データ、例えば、記憶部２３８（図７）に記憶されている画像データや、リムーバブル記録媒体２４１（図７）に記憶されている画像データを、ドライブ２４０を制御して取得するようにしても良い。
特徴点抽出部２６２は、取得された画像データに対して画像解析を行うことにより、特徴点を抽出する。特徴点としては、図１を参照して説明したような点である。
メタデータ取得部２６３は、例えば、Wi-Fi等の無線通信機能やリムーバブル記録媒体の再生機能で構成される。
メタデータ取得部２６３は、撮像装置２０２−１（図６）からネットワーク２０１を介して供給される、撮像装置２０２の位置情報を含むメタデータを通信部２３９（図７）を制御して取得する。また、メタデータ取得部２６３は、サーバ２０３から供給される、撮像装置２０２−２の位置情報を含むメタデータを通信部２３９（図７）を制御して取得する。取得されたデータは、必要に応じ、記憶部２３８（図７）に一旦記憶される。
またメタデータ取得部２６３は、情報処理装置２０４で管理されているメタデータ、例えば、記憶部２３８（図７）に記憶されている撮像装置２０２の位置情報を含むメタデータや、リムーバブル記録媒体２４１（図７）に記憶されている撮像装置２０２の位置情報を含むメタデータを、ドライブ２４０を制御して取得するようにしても良い。
メタデータは、後述するパスを生成するときに参照される情報が記載されているデータであり、パス生成時に必要な情報が、適宜追記される。また後述するように、生成されたパスの情報は、エディットファイルに記載されている。このエディットファイルに記載される情報の一部は、メタデータに記載されている情報である。
メタデータ追記部２６５は、特徴点抽出部２６２により抽出された特徴点の情報や、パス生成部２７０により生成されたパスの情報を、撮像装置に関する情報を含むメタデータに追加したり、パス生成後に必要なくなった情報をメタデータから削除したりする。
なおここでは、情報処理装置２０４が特徴点抽出部２６２を有し、画像データを解析して特徴点を抽出し、メタデータ追記部２６５でメタデータに追加するとして説明を続けるが、サーバ２０３が特徴点抽出部２６２を備えるようにしても良い。
サーバ２０３が、特徴点抽出部２６２を備えている場合、サーバ２０３は、撮像装置２０２−２から画像データの供給を受け、その画像データを解析し、特徴点を検出する。サーバ２０３は、さらに、検出された特徴点に関する情報と、撮像装置２０２−２の位置情報を少なくとも含むメタデータを生成し、情報処理装置２０４からの要求に基づき、その生成したメタデータを情報処理装置２０４に供給する。
このようにした場合、情報処理装置２０４は、メタデータ取得部２６３によりメタデータを取得した時点で、特徴点に関する情報も取得する構成となる。特徴点の抽出や画像に関する情報を含むメタデータの生成は、サーバ２０３側で行うようにシステムを構成することも可能である。
なおここでは、情報処理装置２０４は、図８に示したような機能を有するとして説明を続けるが、上記したように、画像データやメタデータは、サーバ２０３や記録媒体に記録された状態で取得されることもあるため、画像データ取得部２６１、特徴点抽出部２６２、メタデータ取得部２６３、メタデータ参照部２６４、メタデータ追記部２６５といった機能を有しない情報処理装置２０４であっても、パスを生成することはできる。
例えば、予め画像データとメタデータが関連付けられており、そのような情報をパス生成部２７０が参照する構成とすることも可能であり、このような構成のときには、パス生成部２７０を有する情報処理装置２０４であればよい。
ここで示す機能や構成は一例であり、限定を示すものではないため、図８に示した機能のうち、所定の機能を有しない情報処理装置２０４であっても、本技術の適用範囲である。また、図８に示した機能を、複数の装置で分散して有する構成とすることも可能である。
図８を参照した情報処理装置２０４の機能に関する説明に戻る。メタデータ参照部２６４は、メタデータ取得部２６３で取得されたメタデータを参照したり、メタデータ追記部２６５で情報が追加されたメタデータを参照したりする。
撮像装置抽出部２６７は、パスを生成するときの撮像装置を抽出する。詳細は後述するが、例えば、特徴点が多い画像を撮像している撮像装置が抽出される。
グループ分け部２６８は、撮像装置をグループに分ける。グループ分け部２６８は、撮像装置同士の位置関係から、隣接している撮像装置であるか、隣接していない撮像装置であるかを判断し、判断結果に基づき、撮像装置をグループ分けする。
フラグ付与部２６９は、パスを生成するときに参照されるフラグを、メタデータに追加する。フラグとしては、きっちりフラグとざっくりフラグの２種類のフラグがあるとして説明を続ける。これら２種類のフラグについても後述する。
パス生成部２７０は、図１乃至図５を参照して説明したパス、例えば、パス９１(図５)を生成する。パス生成部２７０は、グローバルパス生成部２９１、第１のローカルパス生成部２９２、第２のローカルパス生成部２９３を備える。
パスの生成時には、グローバルパスとローカルパスという２つのパスがあるとして説明を続ける。グローバルパスは、複数の撮像装置間を繋ぐグローバルなパスを生成するときのパスであり、ローカルパスは、各撮像装置内でのローカルなパスを生成するときのパスである。ローカルパスの生成には、２通りの生成の仕方があり、フラグにより、第１のローカルパス生成部２９２により生成されるか、第２のローカルパス生成部２９３で生成されるかが決定される。
エディットファイル作成部２９４は、パスに関する情報を含むエディットファイルを作成する。エディットファイルにどのような情報が含まれるかは、後述するが、含まれる情報によっては、メタデータが参照され、メタデータに記載されている情報も含まれる。
提示部２７１は、生成されたパス（エディットファイル）をユーザに提示する処理を実行する。パスのデータ自体がユーザに提示されるようにしても良いし、パスに基づく画像の表示が行われることで、ユーザに提示されるようにしても良い。
エディットファイルに基づき、リアルタイムに画像が切り出され、表示されることで、ユーザに提示される。切り出しが行われる画像の画像データは、記録媒体に記録されている画像データや、ネットワーク２０１を介して他の装置、例えばサーバ２０３から供給される画像データである。またストリーミングされている画像データであっても良い。
またここでは、エディットファイルが作成されるとして説明を続けるが、エディットファイル以外のデータであっても良い。例えば、パスに基づいて画像が切り出された動画コンテンツが生成されるようにしても良い。この生成された動画コンテンツが、ユーザに提示されるようにしても良い。
編集部２７２は、ユーザからのパスの編集指示を受け付け、パスを編集する。提示部２７１により提示されたパスに対して、ユーザが所望の編集を行えるように編集部２７２が設けられている。
＜静止画像の第１の処理＞
図９乃至図１５に示したフローチャートを参照し、情報処理装置２０４で行われるパスの生成について説明する。まず処理される画像が静止画像である場合を例にあげて説明する。
まず、図９のフローチャートを参照し、全体の処理の流れを説明する。ステップＳ１０１において、特徴点の抽出処理が実行される。情報処理装置２０４の画像データ取得部２６１は、撮像装置２０２−１やサーバ２０３経由で撮像装置２０２−２から供給される画像データを取得する。また、このとき、情報処理装置２０４のメタデータ取得部２６３は、画像データに付随するメタデータも取得する。
ステップＳ１０１において実行される特徴点の抽出処理については、図１０のフローチャートを参照し後述する。なお、ステップＳ１０１において実行される特徴点の抽出処理は、サーバ２０３側で行われるようにし、情報処理装置２０４側の処理として行わないようにすることも可能である。また、特徴点の抽出処理が他の装置で行われた結果が、記録媒体などに記録されて配布されることで、情報処理装置２０４が特徴点の情報を取得するようにし、ステップＳ１０１の処理を省略する処理の流れとすることも可能である。
ステップＳ１０１において、特徴点が抽出されると、ステップＳ１０２において、パス生成部２７０により、特徴点を繋ぐパスが生成される。ステップＳ１０２において実行されるパスの生成処理については、図１１のフローチャートを参照して後述する。
ステップＳ１０２において、パスが生成されると、ステップＳ１０３において、提示部２７１により、生成されたパスで良いか否かをユーザに確認するために、ユーザにパスが提示される。ステップＳ１０４において、ユーザにパスが提示された結果、ユーザがパスに対して編集を行いたいとき、パスの編集が編集部２７２により受け付けられ、パスの編集が行われる。
このように、画像内の特徴がある部分を繋ぐパスが、ユーザの手を煩わすことなく生成され、そのパスに基づく画像の表示が行われることで、ユーザは、複数の画像から、面白い部分を連続的に閲覧することができるようになる。また、生成されたパスがユーザに提示され、編集が行えるようにすることで、ユーザの嗜好により適合するパスとすることができる。
なお、ユーザによりパスが編集された場合、その編集結果が、パス生成部２７０にフィードバックされるようにし、編集された点などを学習し、ユーザが所望とするパスがより正確に生成されるような学習機能を設けても良い。
図１０のフローチャートを参照し、ステップＳ１０１において実行される特徴点の抽出処理について説明する。
ステップＳ１１１において、特徴点が抽出される。特徴点抽出部２６２は、図１を参照して説明したように、例えば人が多い部分などを特徴点として、画像から検出する。
ステップＳ１３０において、撮像装置毎にスコアが算出される。前提として、複数の撮像装置で撮像された画像が取得され、それぞれの画像から特徴点が抽出される。スコアとしては、１画像（１台の撮像装置）から抽出された特徴点の数をスコアとして用いても良い。また特徴点毎に、スコアを付け、１画像（１台の撮像装置）の特徴点毎のスコアの合計点を、撮像装置のスコアとして算出するようにしても良い。ここでは、合計点をスコアとする場合を例にあげて説明する。
例えば、図１６に示したような状況を考える。図１６に示した状況は、図５に示したような状況と同じく、所定の場所に、撮像装置３０１が複数台設置されている状況である。図１６に示した状況は、撮像装置３０１−１乃至３０１−７の７台の撮像装置が設置されている例を示した。各撮像装置３０１の撮像範囲は、範囲３０２−１乃至３０２−７であり、図１６中、円形で示した。
撮像装置３０１は、図６における撮像装置２０２−１のように、情報処理装置２０４とデータの授受を直接的に行える撮像装置であっても良いし、撮像装置２０２−２のように、サーバ２０３を介して、情報処理装置２０４とデータの授受を間接的に行える撮像装置であっても良い。
撮像装置３０１は、図１６に示すような配置とされている。撮像装置３０１−３乃至３０１−７は、他の撮像装置３０１と撮像範囲３０２が重なる部分があるが、撮像装置３０１−１と撮像装置３０１−２は、それぞれ他の撮像装置３０１撮像範囲３０２が重なるところがないように配置されている。
このような状況において、撮像装置３０１−１で撮像された画像から、特徴点Ａ１と特徴点Ａ２が検出されたとする。同様に、撮像装置３０１−２で撮像された画像から、特徴点Ｂ１、特徴点Ｂ２、および特徴点Ｂ３が検出され、撮像装置３０１−３で撮像された画像から、特徴点Ｃ１が検出され、撮像装置３０１−４で撮像された画像から、特徴点Ｄ１が検出されたとする。
また、撮像装置３０１−５で撮像された画像から、特徴点Ｅ１と特徴点Ｅ２が検出され、撮像装置３０１−６で撮像された画像から、特徴点Ｆ１と特徴点Ｆ２が検出され、撮像装置３０１−７で撮像された画像から、特徴点Ｇ１が検出されたとする。
このように特徴点が検出され、撮像装置３０１毎に特徴点のスコアの合計を計算したところ、以下のような順位になったとする。
特徴点Ｂ１＋Ｂ２＋Ｂ３＞特徴点Ｅ１＋Ｅ２＞特徴点Ｆ１＋Ｆ２
＞特徴点Ａ１＋Ａ２＞特徴点Ｃ１＞特徴点Ｄ１＞特徴点Ｇ１
撮像装置３０１の順位で書き直すと、以下のようになる。
撮像装置３０１−２＞撮像装置３０１−５＞撮像装置３０１−６
＞撮像装置３０１−１＞撮像装置３０１−３＞撮像装置３０１−４＞撮像装置３０１−７
このように撮像装置３０１のスコアの順位が判定されると、ステップＳ１１３において、撮像装置抽出部２６７（図８）により、スコアの高い撮像装置３０１の上位Ｍ個が抽出される。このＭ個は、例えば、予め固定の個数として設定されていても良いし、スコアを算出した撮像装置３０１の個数に対する比率、例えば、８０％といったような比率で、可変的に設定される個数であっても良い。図１６における説明では、Ｍ＝５であるとして説明を続ける。
上記した順位である場合、上位５台の撮像装置３０１は、撮像装置３０１−２、撮像装置３０１−５、撮像装置３０１−６、撮像装置３０１−１、撮像装置３０１−３となる。以下の処理においては、ステップＳ１１３において抽出された撮像装置３０１で撮像された画像が処理対象とされる。すなわち、ステップＳ１１３において、処理対象となる画像(撮像装置３０１)の絞り込みが行われる。
図１７に絞り込みが行われた後の撮像装置３０１の配置状態を示す。以下の処理においては、この５台の撮像装置３０１−１、撮像装置３０１−２、撮像装置３０１−３、撮像装置３０１−５、および撮像装置３０１−６が処理対象とされる。
ステップＳ１１４において、メタデータに特徴点などの情報が追記される。メタデータ追記部２６５は、メタデータ取得部２６３で取得されたメタデータに、特徴点抽出部２６２で抽出された特徴点に関する情報を追記する。
メタデータには、例えば図１８に示すような情報が記載されている。メタデータ３３１には、撮像装置の位置情報、撮像装置の画角、特徴点の位置情報、特徴点毎のスコア、スコア（総合点）が記載されている。
撮像装置の位置情報と撮像装置の画角は、撮像装置３０２側から供給される情報であり、メタデータ取得部２６３で取得されるメタデータに含まれている情報である。特徴点の位置情報、特徴点毎のスコア、スコア（総合点）は、メタデータ追記部２６５によりメタデータ３３１に追記される情報である。
ここで示したメタデータ３３１は一例であり、限定を示す記載ではない。メタデータ３３１に他の情報が記載されていても、もちろん良いし、例えば、スコア（総合点）が記載されないようなメタデータ３３１とすることも可能である。
なお、ここでは、情報処理装置２０４が、特徴点を検出し、特徴点の情報を、メタデータ３３１に追記するとして説明をしているが、例えば、サーバ２０３（図６）が、撮像装置からの画像データを取得し、特徴点を検出するようにした場合、サーバ２０３側で、図１７に示したようなメタデータ、すなわち、特等点の情報も記載されているメタデータ３３１が生成されるようにしても良い。
図１０のフローチャートを参照して説明したように、パスが生成される前に、パスを生成するときに処理対象とされる撮像装置の絞り込みが行われる。絞り込みが行われた後、パスが生成されるため、パスの生成時の処理負担を軽減させることが可能となる。
ステップＳ１０１（図９）において、特徴点の抽出処理が、図１０のフローチャートを参照して説明したように行われると、ステップＳ１０２に処理が進められ、パスの生成処理が開始される。ステップＳ１０２において実行されるパスの生成処理について、図１１のフローチャートを参照して説明する。
ステップＳ１２１において、グループ分け部２６８は、メタデータ取得部２６３で取得されたメタデータ３３１またはメタデータ追記部２６５で生成されたメタデータ３３１を参照し、撮像装置３１０のグループ分けを実行する。
ここで再度図１７を参照する。図１７に示したように、５台の撮像装置３０１が処理対象とされているとき、その撮像範囲３０２を参照するに、撮像装置３０１−１の範囲３０２−１、撮像装置３０１−２の範囲３０２−２、撮像装置３０１−３の範囲３０２−３は、それぞれ重なる範囲がない。このような撮像範囲が重なっていない撮像装置３０１を、孤立グループと称する。なおここでは、孤立グループと記載するが、１つの孤立グループ内に含まれる撮像装置３０１は、１台である。
一方で、撮像装置３０１−５の範囲３０２−５と撮像装置３０１−６の範囲３０２−６の一部には、重なりがある。このような撮像範囲に重なりがある撮像装置３０１を、統合グループと称する。すなわち、統合グループには、撮像範囲が重なる複数の撮像装置が含まれるグループであり、この複数のグループとは別に孤立して存在する撮像装置が孤立グループとなる。
仮に、図１６に示したような７台の撮像装置３０１が処理対象とされている場合には、撮像装置３０１−１と撮像装置３０１−２は、それぞれ孤立グループに属し、撮像装置３０１−３乃至３０１−７は、統合グループに属する。
ステップＳ１２１において、グループ分け部２６８は、処理対象とされている撮像装置３０１を孤立グループと統合グループに分類する。
ステップＳ１２２において、フラグ付与部２６９は、処理対象とされている撮像装置３０１毎にフラグを付ける。フラグは、ざっくりフラグときっちりフラグがある。ざっくりフラグは、例えば、景色のウォークスルーなどに適しているパスを生成する際に割り振られるフラグである。きっちりフラグは、例えば、バーチャル美術館などに適しているパスを生成する際に割り振られるフラグである。
図１９Ａは、ざっくりフラグが割り振られているときに生成されるパスの一例を示す図である。図１９Ａにおいて、四角形は、特徴点の位置を表し、曲線は、生成されるパスを示す。図１９Ａに示したように、パスは、特徴点を通るパスではなく、近傍を通るパスとされている。
このようなパスに基づき画像が表示された場合、画像の一部に特徴点が含まれるような画像が連続的にユーザに提示される。このような画像が提供されることで、ユーザに、パス上を擬似的に歩いているときに見える画像を提供することができる。画像が町中を撮像した画像である場合、ユーザは町中を歩いているかのような体験ができる画像を閲覧することができる。
このようなことから、ざっくりフラグが割り振られている画像が処理されるときには、特徴点の近傍を通るようなパスが生成される。
一方で、きっちりフラグが割り振られているときに生成されるパスは、図１９Ｂに示したようなパスとなる。図１９Ａと同じく、四角形は、特徴点の位置を表し、曲線は、生成されるパスを示す。図１９Ｂに示したように、パスは、特徴点を通るパスとされている。
このようなパスに基づき画像が表示された場合、特徴点が含まれる画像が連続的にユーザに提示される。例えば、展覧会で展示されている展示物が撮像されている部分が特徴点として抽出されるように処理が行われた場合、きっちりフラグが割り振られているときに生成されるパスは、図１９Ｂに示したように、特徴点、すなわちこの場合、展示物を通るパスとなるため、ユーザに展示物の画像を連続的に提供するような画像となる。
よって、ユーザは、展覧会会場を擬似的に歩きながら、展示物を閲覧しているような体験をすることができる画像を閲覧することが可能となる。このようなことから、きっちりフラグが割り振られている画像が処理されるときには、特徴点を通るパスが生成される。
このようなざっくりフラグまたはきっちりフラグが、ステップＳ１２２において、処理対象とされている画像に対して付与される。フラグは、例えば、処理対象とされている画像を解析することで、どちらのフラグが適しているか判断され、付与されるようにしても良い。また、メタデータに、画像に関する情報として、フラグを割り振るときに参照される情報、例えば、ジャンルに関する情報などが含まれるようにし、そのような情報が参照されることで、割り振るフラグが決定されるようにしても良い。
また、撮像装置２０２(図６)から供給されるメタデータ自体に、ざっくりフラグであるか、きっちりフラグであるかを示す情報が含まれているようにしても良い。この場合、撮像装置２０２側でフラグが付与されるため、図１１に示したフローチャートにおいては、ステップＳ１２２の処理を省略することが可能である。
図１１のフローチャートの説明に戻り、ステップＳ１２２において、フラグが付与されると、ステップＳ１２３において、グループ毎のパスの生成処理が実行される。図１２のフローチャートを参照し、ステップＳ１２３で実行されるグループ毎のパスの生成処理について説明を加える。
ステップＳ１３１において、パス生成部２７０(図８)は、処理対象とするグループを設定する。ステップＳ１３２において、処理対象とされたグループは、統合グループであるか否かが判断される。
例えば図１７に示した処理対象において、例えば、撮像装置３０１−５と撮像装置３０１−６とから構成される統合グループが、ステップＳ１３１において、処理対象のグループとして設定された場合、ステップＳ１３２において、処理対象のグループとして設定されたのは、統合グループであるとして判断され、ステップＳ１３３に処理が進められる。
ステップＳ１３３において、グローバルパスの生成処理が実行される。グローバルパスは、統合グループを跨る特徴点または撮像装置を繋ぐパスである。ここでは、特徴点を繋ぐパスが生成されるとして説明を続ける。すなわちステップＳ１３３においては、統合グループに含まれる特徴点を繋ぐパス（グローバルパス）が生成される。
ステップＳ１３３において実行されるグローバルパスの生成処理について、図１３のフローチャートを参照して説明する。
ステップＳ１４１において、次数の小さな曲線モデルで回帰曲線が求められる。例えば、最小二乗法により回帰曲線が求められる。
図１７を再度参照する。図１７において特徴点Ａ１の位置を、Ａ１（ｘ１、ｙ１）とする。同様に、特徴点Ａ２の位置を、Ａ２（ｘ２、ｙ２）とする。同様に、特徴点Ｂ１の位置を、Ｂ１（ｘ３、ｙ３）とし、特徴点Ｂ２の位置を、Ｂ２（ｘ４、ｙ４）とし、特徴点Ｂ３の位置を、Ｂ３（ｘ５、ｙ５）とする。ここでは説明のため、この５個の特徴点を通る回帰曲線が求められる場合を例にあげて説明する。
最小二乗法における一般式は、次式（１）のように表せる。また、式（１）におけるｇｋ（ｘ）は、次式（２）のように表せる。
Figure 0006372696
式（１）においてｍは次数である。ステップＳ１４１において、次数の小さな回帰曲線モデルで回帰曲線が求められるとしたが、この回帰曲線モデルは、この場合、最小二乗法のことであり、次数とは、式（１）におけるｍのことである。ステップＳ１４１においては、例えば、ｍ＝３の最小二乗法で回帰曲線が求められる。
ｍ＝３のときであり、特徴点Ａ１，Ａ２，Ｂ１，Ｂ２，Ｂ３の５点の座標を式（１）に代入したときの式（３）を以下に示す。
Figure 0006372696
式（３）として示した５つの関数から、係数ａ１、係数ａ２、および係数ａ３が求められる。係数が求められることで、次式（４）が回帰曲線として求められることになる。
Figure 0006372696
ステップＳ１４１においては、このようにして回帰曲線が求められる。
ステップＳ１４２において、求められた回帰曲線と特徴点との距離が求められ、各特徴点に対応する距離の内、最も長い距離を有する距離が最大距離として求められる。
ステップＳ１４３において、求められた最大距離が、閾値以上であるか否かが判断される。ステップＳ１４３において、最大距離が閾値以上であると判断された場合、ステップＳ１４４に処理が進められる。
ステップＳ１４４において、スコアが最も低い撮像装置が処理対象から外され、回帰曲線が新たに求められる。なお、ここでは、スコアが最も低い１台の撮像装置が処理対象から外されるとして説明を続けるが、スコアが低い複数の撮像装置が処理対象から外されるようにしても良い。また、スコアが所定の値以下である撮像装置を処理対象から外すようにしても良い。
このような処理について、図２０と図２１を参照して説明する。図２０に示した状況は、５個の撮像装置３０１から構成される統合グループに対して次数の小さな曲線モデルで回帰曲線が求められたときの一例を示す図である。
図２０に示した統合グループは、撮像装置３０１−１乃至３０１−５から構成されている。撮像装置３０１−１の撮像範囲３０２−１から、特徴点Ａ１，Ａ２，Ａ３が検出され、撮像装置３０１−２の撮像範囲３０２−２から、特徴点Ｂ１，Ｂ２が検出され、撮像装置３０１−３の撮像範囲３０２−３から、特徴点Ｃ１，Ｃ２が検出されている。
また撮像装置３０１−４の撮像範囲３０２−４から、特徴点Ｄ１，Ｄ２，Ｄ３が検出され、撮像装置３０１−５の撮像範囲３０２−５から、特徴点Ｅ１，Ｅ２が検出されている。
ステップＳ１４１においては、これらの各撮像装置３０１で撮像されている画像から検出された特徴点Ａ１，Ａ２，Ａ３、Ｂ１，Ｂ２、Ｃ１，Ｃ２，Ｄ１，Ｄ２，Ｄ３，Ｅ１，Ｅ２が用いられて、回帰曲線が求められる。
図２０において、曲線で示した曲線が求められた回帰曲線３５１であるとする。次数が小さい曲線モデルで回帰曲線３５１は求められているため、回帰曲線３５１は、比較的凹凸の少ないなだらかな変化を伴う曲線となっている。
ステップＳ１４２においては、回帰曲線６５１と各特徴点との距離が求められ、最大距離が求められる。例えば、図２０においては、特徴点Ｃ１と回帰曲線３５１の距離が距離Ｌ１であり、最大距離であったとする。
ステップＳ１４３においては、距離Ｌ１が、閾値以上であるか否かが判断される。距離Ｌ１が閾値以上である場合、処理は、ステップＳ１４４に進められる。
ステップＳ１４４において、スコアの低い撮像装置３０１が処理対象から外され、新たに回帰曲線が求められる。すなわちこの場合、撮像装置３０１−１乃至３０１−５のうち、スコア(総合点)が最も低い撮像装置３０１が検出され、処理対象から外される。
スコアの低い撮像装置３０１が、撮像装置３０１−２であった場合、撮像装置３０１−２が処理対象から外される。撮像装置３０１−２が処理対象から外されることで、図２１に示すように、撮像装置３０１−１，撮像装置３０１−２，撮像装置３０１−４、および撮像装置３０１−５が新たな処理対象とされ、これら４台の撮像装置３０１からそれぞれ検出された特徴点が用いられて、回帰曲線が求められる。
ここでは、図２１に示したように回帰曲線３５２が求められたとする。図２０に示した回帰曲線３５１と図２１に示した回帰曲線３５２は、同一の次数、同一の曲線モデルで求められた回帰曲線である。
このような処理が繰り返されることで、ステップＳ１４３(図１３）において、最大距離が閾値以上ではないと判断された場合、図１３に示したグローバルパスの生成処理は終了される。
図１３に示したフローチャートによると、回帰曲線から最も離れた位置にある特徴点と回帰曲線との距離が、所定の閾値以上である場合、その最も離れた位置にある特徴点を含む画像を撮像している撮像装置３０１が除外されるのではなく、スコアの低い撮像装置３０１が除外される。
このような処理によれば、回帰曲線から離れていても、スコアが高い撮像装置３０１は、除外されることがない。よって、特徴点のスコアが高く、ユーザに提供した方が良い画像は、ユーザに提供されるようにすることができる。
なおここでは、上記したように、スコアの低い撮像装置３０１が除外されるとして説明をしたが、スコアの低い特徴点が除外されるようにしても良い。
このようにしてグローバルパスが生成されると、処理は、ステップＳ１３４(図１２)に進められる。
図１２に示したフローチャートを参照するに、ステップＳ１３４において、フラグはざっくりフラグであるか否かが判断される。
ステップＳ１３４において、フラグはざっくりフラグであると判断された場合、処理は、ステップＳ１３５に進められ、第１のローカルパス生成処理が実行される。ざっくりフラグは、各特徴点の近傍を通るようなパスを生成するときに割り振られるパスであり、第１のローカルパスの生成とは、そのようなパスを生成するための処理である。
図１４を参照し、ステップＳ１３５において、第１のローカルパス生成部２９２(図８)で実行される第１のローカルパス生成処理について説明する。
ステップＳ１５１において、生成されたパスが微少区間に分割され、全ての区間で微分値が求められる。例えば、図２２に示すように、上記したグローバルパスである回帰曲線３５２を、微小区間に区切り、各区間で微分値、すなわち、回帰曲線３５２の接線の傾きが求められる。
なお、孤立グループが処理対象とされている場合、グローバルパスは生成されていない状態なので、ステップＳ１５１の処理が行われる前の時点で、回帰曲線が求められる。このときの回帰曲線は、孤立グループを構成する撮像装置３０１で撮像されている画像から検出された特徴点を処理対象とし、例えば、ステップＳ１４１(図１３)における処理で用いられた次数の小さな曲線モデルで求められる。
各区間の微分値が求められると、ステップＳ１５２において、微分の絶対値の最大値が任意の閾値を下回るか否かが判断される。すなわち、ステップＳ１５２においては、各区間の傾きのうち、最大の傾きが、所定の閾値以下であるか否かが判断される。
このような判断が行われるのは、例えば、図２３に示すようなパスが生成されるのを防ぐためである。図２２に示したグローバルパスである回帰曲線３５２から、次数を上げた曲線モデルで回帰曲線を求めると、特徴点を通る回帰曲線が生成される。図２３は、次数を上げた曲線モデルで求められた回帰曲線を示す図である。
回帰曲線３５３は、特徴点を通るパスであるが、その一部は、急峻になっている、換言すれば、傾きが急である部分がある。ざっくりフラグが割り振られる画像は、例えば、町中をウォークスルーしているような体験をユーザに与えるような画像を提供するパスを生成するときの画像である。
パス３５３のように、急峻なパスである場合、急に方向が変わるなど、目まぐるしい画像がユーザに提供される可能性が高くなり、好ましくない画像となる可能性がある。よって、そのような急峻な部分がないように、ステップＳ１５２において、微分の絶対値の最大値が任意の閾値を下回るか否かが判断される。
ステップＳ１５２において、微分の絶対値の最大値が任意の閾値を下回ると判断された場合、換言すれば、急な傾きはないと判断された場合、ステップＳ１５３に処理が進められる。ステップＳ１５３において、曲線モデルが変更されてパスが再生成される。例えば、次数を上げる変更が行われ、再度パス(回帰曲線)が求められる。
次数を上げる変更とは、上記した式（１）の次数ｍを大きな数値に変更して回帰曲線を求めることである。上記した式（１）は、ステップＳ１４１（図１３）において、次数の小さな曲線モデルで回帰曲線を求めるときの式である。上記した説明では、ステップＳ１４１において、次数ｍ＝３とした式（１）に基づき回帰曲線が求められるとした。
この次数ｍ＝３よりも大きな次数、例えば、次数ｍ＝５といった次数で、再度回帰曲線が求められる。次数を高くすることで、特徴点により近い曲線が生成される。
そして、再度求められた回帰曲線に対して、ステップＳ１５１以降の処理が繰り返し行われる。そして、ステップＳ１５２において、微分の絶対値の最大値が任意の閾値を下回らないと判断された場合、図１４に示した第１のローカルパスの生成処理は終了される。
このようにして、第１のローカルパスが生成される。ステップＳ１５３において、例えば、次数を上げる変更を行った後、再度回帰曲線が求められることで、変更前の回帰曲線よりも、特徴点により近くなる回帰曲線が生成される。
特徴点により近くなる回帰曲線が生成されることで、傾きが急になってしまう部分がある可能性があるが、ステップＳ１５２における判断が行われることで、そのような部分がない範囲で、特徴点により近い回帰曲線を生成することが可能となる。
このようにして、ざっくりフラグが付与された画像に対して、パスが生成される。
図１２のフローチャートに説明を戻し、ステップＳ１３４において、処理対象とされているグループのフラグは、ざっくりフラグではないと判断された場合、換言すれば、きっちりフラグであると判断された場合、処理は、ステップＳ１３６に進められる。
きっちりフラグは、各特徴点を通るようなパスを生成するときに割り振られるパスであり、第２のローカルパスの生成とは、そのようなパスを生成するための処理である。
図１５を参照し、ステップＳ１３６において、第２のローカルパス生成部２９３（図８）が実行する第２のローカルパス生成処理について説明する。
ステップＳ１６１において、最小二乗法や区分多項式補間などでパスが生成される。処理対象とされているグループが統合グループである場合、既にグローバルパス(回帰曲線)が生成されているが、特徴点の近傍を通るパスであるため、ステップＳ１６１において、特徴点を通るパスに変更される。
ステップＳ１５３（図１４）と同じく、既に生成されているグローバルパスをさらに特徴点を通るパスに変更するために、最小二乗法の式（１）の次数を上げて、再度パスが生成されるようにしても良い。または、既に生成されているグローバルパスを用いずに、新たに区分多項式補間により、回帰曲線が求められるようにしても良い。
処理対象とされているグループが、孤立グループである場合、ステップＳ１６１において、パス(回帰曲線)が生成される。この場合、パスは生成されていない状態なので、区分多項式補間により、回帰曲線が求められる。
区分多項式補間は、最小二乗法よりも、所定の点（特徴点）を通る曲線を求めるのに適した方法である。図１７を参照して、区分多項式により回帰曲線を求める場合について説明する。図１７において特徴点Ａ１の位置を、Ａ１（ｘ１、ｙ１）とする。同様に、特徴点Ａ２の位置を、Ａ２（ｘ２、ｙ２）とする。同様に、特徴点Ｂ１の位置を、Ｂ１（ｘ３、ｙ３）とし、特徴点Ｂ２の位置を、Ｂ２（ｘ４、ｙ４）とし、特徴点Ｂ３の位置を、Ｂ３（ｘ５、ｙ５）とする。ここでは説明のため、この５個の特徴点を通る回帰曲線が求められる場合を例にあげて説明する。
区分多項式においては、複数の区間に分けられるが、ここでは、Ａ１（ｘ１、ｙ１）〜Ａ２（ｘ２、ｙ２）の第１の区間、Ａ２（ｘ２、ｙ２）〜Ｂ１（ｘ３、ｙ３）の第２の区間、Ｂ１（ｘ３、ｙ３）〜Ｂ２（ｘ４、ｙ４）の第３の区間、およびＢ３（ｘ４、ｙ４）〜Ｂ４（ｘ５、ｙ５）の第４の区間の４区間に分ける。
区分多項式では、一般的に３次のスプライン補間が用いられる。３次のスプライン補間のときの区分多項式は、次式（５）で表すことができる。
Figure 0006372696
ｊは、０乃至Ｎ−１の値を取るが、上記した第１乃至第４の区間を処理対象とするときは、ｊは１乃至５の値を取る。Ｎ＋１個のデータ、この場合、Ｎ＋１＝５個のデータ（特徴点）を扱う場合、区分多項式は、Ｎ個（第１乃至第４の区間毎の４個）となる。
従って、区分多項式の係数である未知数は４Ｎ個あることになる。これらの未知数を求めるためには、４Ｎ個の方程式が必要となる。３次のスプライン補間に、以下の条件を課して係数が求められるようにする。
条件１：全てのデータ点を通る。各々に対して両端での値が決まるため、２Ｎ個の方程式ができる。
条件２：各々の区分補間式は、境界点の１次導関数は連続とする。これにより、Ｎ−１個の方程式ができる。
条件３：各々の区分補間式は、境界点の２次導関数も連続とする。これにより、Ｎ−１個の方程式ができる。
以上の３つの条件を課すことで、４Ｎ−２個の方程式で未知数である係数の関係を表現できる。未知数は４Ｎ個なので、２個の方程式が不足していることになる。この不足を補うために、両端での２次導関数の値を０とする条件を加える。
これらの条件を満たす連立方程式を求めることにより、式（５） における係数ａｊ，ｂｊ，ｃｊ，ｄｊが求められる。
このようにして区分多項式により、パスが求められるようにしても良い。
ステップＳ１６２において、生成されたパスが微少区間に分割され、全ての区間で微分値が求められる。この処理は、ステップＳ１５１(図１４)と同様に行うことが可能である。
ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えるか否かが判断される。ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えると判断された場合、ステップＳ１６４に処理が進められる。
ステップＳ１６４において、スコアの低い撮像装置が除外され、処理は、ステップＳ１６１に戻され、それ以降の処理が実行される。
このような処理について、再度図２３を参照して説明する。ステップＳ１６１の処理において生成されたパス(回帰曲線)が、回帰曲線３５３である場合、この回帰曲線３５３が、ステップＳ１６２の処理において微小区間に分割され、各区間で、微分値が求められる。
そして、ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えるか否かが判断される。この場合も、急な傾きがあるか否かを判断しており、急な傾きがあると判断された場合には、ステップＳ１６４に処理が進められる。
ステップＳ１６４において、スコアの低い撮像装置３０１が処理対象から外される。処理対象として外された撮像装置３０１以外の撮像装置３０１から得られる特徴点を用いて、ステップＳ１６１以降の処理が繰り返され、パス（回帰曲線）が生成される。
一方、ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えていないと判断された場合、図１５に示した第２のローカルパスの生成処理は、終了される。
第２のローカルパスの生成について、図２３、図２４を参照し、再度説明する。ステップＳ１６１において、図２３に示すような回帰曲線３５３（パス）が生成されたとする。回帰曲線３５４は、各特徴点を通る回帰曲線とされている。
ステップＳ１６２においては、このような回帰曲線３５３を、微少区間に分割し、各区間で微分値が求められる。そして、ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えるか否かが判断される。例えば、図２３に示した回帰曲線３５３において、特徴点Ｃ２から特徴点Ｄ１への線は、急な傾きを有しているため、微分の絶対値の最大値が任意の閾値を超えると判断される。
ステップＳ１６４において、スコアの低い撮像装置３０１が処理対象から外される。ここでは、撮像装置３０１−３が処理対象として外されるとして説明を続ける。撮像装置３０１−３が処理対象から外されることで、処理対象は、撮像装置３０１−１、撮像装置３０１−４、および撮像装置３０１−５となる。
ステップＳ１６１において、これら３台の撮像装置３０１がそれぞれ撮像している画像から検出された特徴点Ａ１，Ａ２，Ａ３，Ｄ１，Ｄ２，Ｄ３，Ｅ１，Ｅ２が用いられ、区分多項式補間などの方法で、回帰曲線が求められる。このとき求められた回帰曲線は、図２４において、回帰曲線３５４であるとする。
このようにして、回帰曲線３５４の傾きが比較的なだらかになるまで、ステップＳ１６１乃至Ｓ１６４の処理が繰り返される。このように、パスが生成されることで、特徴点を繋ぐなだらかなパスが生成される。
このように、きっちりフラグが割り振られた画像が処理されたときも、なだらかなパスが生成される。きっちりフラグが割り振られる画像は、例えば、展覧会会場をウォークスルーしているような体験であり、展示品を鑑賞する体験をユーザに与えるような画像を提供するためのパスを生成するときの画像である。
パス３５３（図２３）のように、急峻な部分があるパスである場合、ウォークスルーしているときに、急に方向が変わるなど、目まぐるしい画像がユーザに提供される可能性が高くなり、好ましくない画像となる可能性がある。よって、そのような急峻な部分がないように、ステップＳ１６３において、微分の絶対値の最大値が任意の閾値を超えるか否かが判断される。
なお、微分の絶対値の最大値が任意の閾値を超えるか否かが判断されるのではなく、微分の符号の反転回数が任意の閾値を超えるか否かが判断されるようにしても良い。微分の符号の反転回数とは、傾きが正の方向から負の方向または負の方向から正の方向に変わる回数である。微分の符号の反転回数が多い場合、パスとしては行ったり来たりするパスであるため、そのようなパスにならないように、微分の符号の反転回数が任意の閾値を超えるか否かが判断されるようにしても良い。
図１２のフローチャートの説明に戻り、ステップＳ１３６において、第２のローカルパス生成処理が実行され、パスが生成されると、ステップＳ１３７に処理が進められる。
ステップＳ１３７において、全てのグループを処理したか否かが判断される。ステップＳ１３７において、全てのグループは処理していないと判断された場合、ステップＳ１３１に処理が戻され、まだ処理対象とされていないグループが新たな処理対象のグループに設定され、ステップＳ１３１以降の処理が繰り返される。
一方で、ステップＳ１３７において、全てのグループを処理したと判断された場合、図１２に示したグループ毎のパスの生成処理は終了される。図１１のフローチャートに説明を戻し、ステップＳ１２３において、グループ毎のパスの生成処理が終了されると、ステップＳ１２４に処理が進められる。
ステップＳ１２４において、パス同士を繋げる処理が実行される。ステップＳ１２３までの処理で、統合グループ内、孤立グループ内の、それぞれに、パスが生成されている。生成されたパスのうち、近いパス同士を接続するパスを生成する処理が実行される。
図２５を参照して、ステップＳ１２４における処理について説明する。図２５に示した状況は、孤立グループの撮像装置３０１−１の撮像範囲３０２−１内に、パスＰＡが生成され、撮像装置３０１−２の撮像範囲３０２−２内に、パスＰＢが生成されている。また、統合グループの撮像装置３０１−５の撮像範囲３０２−５と撮像装置３０１−６の撮像範囲３０２−６内に、パスＰＥが生成されている。
このようにパスが生成されているとき、パスＰＡとパスＰＢを繋ぐパスＰＡＢが生成される。またパスＰＢとパスＰＥを繋ぐパスＰＢＥが生成される。パス間を繋ぐパスＰＡＢやパスＰＢＥは、トランジション効果が用いられる部分として設定されても良い。トランジション効果は、シーンからシーンへ切り替わる際に視覚効果を与えるときに使われる効果であり、パス間を移動するときに用いることができる。
このようにして、パスが生成される。生成されたパスの情報は、例えば、エディットファイルとして保存される。エディットファイルには、ユーザに提供される画像を撮像した撮像装置を識別する情報（例えば、撮像装置を一意に識別できるＩＤ）、移動方向（パスの進行方向）に関する情報、移動速度に関する情報などが含まれる。
例えば、図１を参照して説明したように、１枚の静止画像から、特徴のある領域の画像を切り出して、ユーザに提示するパスが生成された場合、切り出し位置の情報（例えば、切り出し開始点の座標と、領域の大きさ）、切り出された画像を表示するタイミングの情報（例えば、表示開始時点からの経過時間、表示継続時間）を関連付けた情報が、エディットファイルに書き込まれる。
また例えば、図５を参照して説明したように、複数の撮像装置から、それぞれ撮像された静止画像から、特徴のある領域の画像を切り出して、ユーザに提示するパスが生成された場合、上記した場合と同じく、切り出し位置の情報と切り出された画像を表示するタイミングの情報を関連付けた情報が、エディットファイルに書き込まれる。
切り出し位置の情報として、どの撮像装置で撮影されたかを特定する必要がある場合、撮像装置を一意に識別するための情報もエディットファイルに書き込まれる。また、例えば、所定の間隔毎に画像を撮像する撮像装置で撮像された画像を処理対象としたときには、どの時点で撮像された画像であるかを特定するために、撮像時間に関する情報もエディットファイルに書き込まれるようにしても良い。ここでは、撮像装置を識別する情報や撮影時間に関する情報が記載されるとしたが、画像を一意に特定できる情報であれば、このような情報に限定されるものではない。
エディットファイルは、未編集の画像と関連付けられ、パス上に位置する画像を順次表示するための、上記したような情報が記載されている。
なお、ここで生成されたパスの情報は、エディットファイルとして保存されるとして説明したが、画像データも含まれる動画コンテンツとして保存されるようにしても良い。
エディットファイルには、ユーザに提供する順に、画像データ自体が保存されるようにしても良い。
ユーザに画像が提供される時には、エディットファイルに含まれる情報に基づき、画像データが、撮像装置から取得されたり、所定の記録媒体から読み出されたりすることで、取得され、その取得された画像データに基づく画像がユーザに提示される。
＜静止画像の第２の処理＞
次に、静止画像に対するパスの他の生成の仕方について説明する。上記した静止画像の第１の処理においては、ステップＳ１０１（図９）において、特徴点の抽出処理を行うことで、処理対象とする撮像装置の絞り込みを行った。
静止画像の第２の処理においては、処理対象とする撮像装置の絞り込みを行わずに、パスの生成が行われる。図２６は、静止画像の第２の処理について説明するためのフローチャートである。
ステップＳ２０１において、特徴点の抽出処理が行われる。この処理は、静止画像の第１の処理のステップＳ１１１（図１０）と同様に行うことができるため、ここではその説明を省略する。
特徴点が抽出されると、ステップＳ２０２に処理が進められパスの生成処理が行われる。このステップＳ２０２以降の処理は、静止画像の第１の処理と同様に行うことが可能であるため、ここではその説明を省略する。
このように、処理対象とされる撮像装置の絞り込みを行わなくても、パスを生成することはできる。また、パスの生成を開始する前に撮像装置の絞り込みを行わなくても、例えば、グローバルパスの生成処理時やローカルパスの生成処理時に、特徴がない画像を撮像している撮像装置を除外する処理が実行されるため、撮像装置の適切な絞り込みは行われる。
このように、パスが生成されるようにしても良い。
＜動画像の処理について＞
上記した実施の形態においては、静止画像を処理する場合を例にあげて説明した。本技術は、動画像に対しても適用できるため、以下に、動画像を処理する場合について説明を加える。
図２７乃至図３０を参照し、動画像を処理対象としたときに生成されるパスについて説明する。ここでは、撮像装置４０１-１乃至４０１−６がそれぞれ動画像を撮影し、各動画像から特徴点が抽出され、それら抽出された特徴点を通るパスが生成される場合を例にあげて説明する。
なお、以下の説明においては、各期間から抽出された特徴点は、１個であるような図示や説明を、説明の都合上行うが、１期間から複数の特徴点が抽出される場合もあり、そのような場合も本技術の適用範囲である。
図２７において、縦方向は、撮像装置４０１-１乃至４０１-６の配置を表し、この順で配置されているとする。横軸は、期間を表す。図中、四角形は、１フレーム、数フレームなど、所定期間における動画像を表す。
図２７に示した状況は、期間ｔ１のときに、撮像装置４０１−１で撮像された動画像から特徴点Ａ１が抽出され、撮像装置４０１−３で撮像された動画像から特徴点Ｃ１が抽出された状況である。また期間ｔ２のときに、撮像装置４０１−５で撮像された動画像から特徴点Ｅ１が抽出され、撮像装置４０１−６で撮像された動画像から特徴点Ｆ１が抽出された状況である。
また期間ｔ３のときに、撮像装置４０１−３で撮像された動画像から特徴点Ｃ２が抽出され、撮像装置４０１−４で撮像された動画像から特徴点Ｄ１が抽出された状況である。また期間ｔ４のときに、撮像装置４０１−１で撮像された動画像から特徴点Ａ２が抽出され、撮像装置４０１−５で撮像された動画像から特徴点Ｅ２が抽出された状況である。また期間ｔ６のときに、撮像装置４０１−１で撮像された動画像から特徴点Ａ３が抽出された状況である。
このように特徴点が抽出されたとき、例えば、特徴点Ａ１、特徴点Ｃ２、および特徴点Ａ３を結ぶパス４１１が生成される。動画像を対象としてパスが生成される場合、基本的に時間的に逆行することがないパスが生成される。ただし、後述するように、特にユーザに提示したいシーンにおいては、時間が逆行して、同期間に撮像された画像がユーザに提示される、いわゆるリプレイするようなパスが生成される場合もある。
図２７に示した状況では、時間的に逆行することがないように、パス４１１が生成される。よって、例えば、期間ｔ３のときに撮像された画像から抽出された特徴点Ｃ２から、期間ｔ２のとき撮像された画像から抽出された特徴点Ｅ１に戻るようなパスは生成されない。
またパスは、静止画像を処理対象としたときと同じく、滑らかにつながるパスとされる。図２７に示した例では、特徴点Ａ１から特徴点Ｃ２を通るパス４１１が生成されるが、特徴点Ａ１から特徴点Ｃ２に直接パスを繋ぐのではなく、期間ｔ２において、撮像装置４０１−２で撮像された画像を通るパスとされる。撮像装置４０１-１、撮像装置４０１−２、撮像装置４０１−３は、この順で、配置されているため、撮影されている画像もつながりがある可能性が高い。
そこで、撮像装置４０１−１で撮像された画像から、撮像装置４０１−２で撮像された画像に移り、その後、撮像装置４０１−３で撮像された画像に移るパスが生成される。このように、複数の撮像装置４０１で撮像された画像をパンするように画像が切り換えられるパスが生成される。
図２８を参照し、生成される他のパスの例について説明する。図２８に示した例では、期間ｔ２のときに、撮像装置４０１−１で撮像された動画像から特徴点Ａ１が抽出され、撮像装置４０１−６で撮像された動画像から特徴点Ｆ１が抽出された状況である。
特徴点Ａ１と特徴点Ｆ１を繋ぐパス４１２が生成される場合、撮像装置４０１−１と撮像装置４０１−６は位置的に離れているため、特徴点Ａ１と特徴点Ｆ１をそのまま繋ぐと、画像として滑らかにつながらない可能性がある。そのようなときには、フェードインとフェードアウトといった編集で、画像が切り換えられるようにしても良い。
図２８では、フェードインとフェードアウトといった編集により画像が切り換えられパスを、点線で示している。このように、短い時間で、位置が離れている撮像装置４０１で撮像された画像を繋ぐパスを生成する場合、フェードインとフェードアウトといった編集により繋ぐパスが生成されるようにしても良い。
図２９を参照し、生成される他のパスの例について説明する。図２９に示した例では、期間ｔ３のときに、撮像装置４０１−１で撮像された動画像から特徴点Ａ１が抽出され、撮像装置４０１−２で撮像された動画像から特徴点Ｂ１が抽出され、撮像装置４０１−３で撮像された動画像から特徴点Ｃ１が抽出され、撮像装置４０１−５で撮像された動画像から特徴点Ｄ１が抽出された状況である。
また期間ｔ４のときに、撮像装置４０１−１で撮像された動画像から特徴点Ａ２が抽出され、撮像装置４０１−２で撮像された動画像から特徴点Ｂ２が抽出され、撮像装置４０１−３で撮像された動画像から特徴点Ｃ２が抽出され、撮像装置４０１−５で撮像された動画像から特徴点Ｄ２が抽出された状況である。
図２９に示した状況は、期間ｔ３、期間ｔ４といった短い時間内に、複数の撮像装置４０１で複数の特徴点が抽出された状況である。例えば、サッカーの試合を撮影した動画像を処理している場合、ゴールシーンなどでは、複数の撮像装置４０１で撮像された、それぞれの画像から、スコアの高い特徴点が抽出される可能性がある。
このような短時間に、複数の撮像装置４０１で、特徴点が多く抽出されるようなシーンは、ユーザに提示するのに適したシーンであると判断できるため、時間的に逆行し、複数回、ユーザに同一時間に撮像された画像を提供するようなパスが生成される。このようなパスが生成されることで、例えば、ゴールシーンを異なる方向から撮影した画像が、ユーザに提供されることになる。
図２９に示した例では、特徴点Ａ１、特徴点Ａ２、特徴点Ｂ１、特徴点Ｂ２、特徴点Ｃ１、特徴点Ｃ２、特徴点Ｄ１、および特徴点Ｄ２を繋ぐパス４１３が生成される。異なる撮像装置４０１で撮像された画像に移るときには、滑らかに繋ぐのではなく、画像を切り換えるパスが生成される。例えば、特徴点Ａ２の画像から特徴点Ｂ１の画像に切り替わるパス４１３が生成される。
このようなパス４１３によれば、例えば、撮像装置４０１−１で撮像された特徴点Ａ１の画像、特徴点Ａ２の画像がユーザに提供された後、同一期間に、他の方向から撮像された特徴点Ｂ１の画像、特徴点Ｂ２の画像がユーザに提示される。このように、同一のシーンが繰り返し表示されるパスが生成される。
なお図２９に示したように、同一の期間に異なる撮像装置４０１で撮像されたシーン、換言すれば、異なるアングルで撮像されたシーンを、繰り返し表示するエフェクトを、ここではマルチアングル同一シーン表示と記述する。
図３０を参照し、生成される他のパスの例について説明する。図３０に示した状況は、図２９に示した状況である。図２９を参照して説明したように、マルチアングル同一シーン表示するようなパス４１３が生成されるようにしても良いし、図３０を参照して説明するように、タイムスライス（バレットタイム）のような映像効果を与えるようなパス４１４が生成されても良い。
図３０に示した例では、期間ｔ３のときに撮像された画像から抽出された特徴点Ａ１、特徴点Ｂ１、特徴点Ｃ１、特徴点Ｄ１を結ぶパス４１４が生成される。例えば、特徴点Ａ１から特徴点Ｂ１に画像が移るとき、スローモーションといった映像効果が用いられて、画像が切り替えられる。
このようなタイムスライスのような映像効果を得るために、特徴点は抽出されていないが、期間ｔ３において、撮像装置４０１−４で撮像された画像にもパス４１４は通る。このようなパス４１４は、例えば、ゴールシーンといった特徴的な場面を、様々な角度から撮像された画像を、順次切り替えることでユーザに提供するパスとなる。
なお、図３０を参照して説明したようなタイムスライスのような映像効果を与えるパス４１４が生成される場合においても、１期間が複数フレームで構成されているときには、図２９を参照して説明したように、同一期間で異なるアングルで撮像されたシーンが繰り返し表示されながら、撮像装置間を移動するような表示が行われる。
すなわち、期間ｔ３で撮像装置４０１−１により撮像された複数フレームが表示された後、期間ｔ３で撮像装置４０１−２で撮像された複数フレームが表示され、その後、期間ｔ３で撮像装置４０１−３で撮像された複数フレームが表示されるといった表示が行われる。このような表示は、図２９を参照して説明したマルチアングル同一シーン表示と同様となるため、タイムスライスの場合には、１期間は、１フレームであるという条件が付加されていても良い。
＜動画像の第１の処理＞
上記したようなパスを生成する情報処理装置２０４（図７）の動作について説明する。まず、動画像の第１のパスの生成処理として、図３１に示したフローチャートを参照して、情報処理装置２０４の動作について説明する。
ステップＳ５０１において、特徴点の抽出処理が実行される。ステップＳ５０１において実行される特徴点の抽出処理について、図３２のフローチャートを参照して説明する。
ステップＳ５２１において、各動画像から特徴点が特定される。図２７を再度参照するに、例えば、撮像装置４０１−１で撮像された画像に対して画像解析が行われることで、特徴点Ａ１，特徴点Ａ２，特徴点Ａ３が抽出される。撮像装置４０１-２乃至４０１−６の各撮像装置で撮像された画像に対しても画像解析が行われることで、各画像から特徴点が抽出される。
動画像の場合、特定のフレームや特定の期間のフレームが抽出されるようにしても良い。特定のフレームが抽出されるようにした場合、例えば、所定のセンサの情報が用いられて、そのような抽出が行われるようにしても良い。
例えば、加速度センサやＧＰＳセンサなどから得られた情報が用いられ、特定のフレームが抽出されるようにしても良い。加速度センサが備えられている撮像装置４０１で撮像された動画像を処理対象としているような場合、加速度センサの情報から、例えば、ジャンプや、移動速度が急に変化したといったような状況変化があったシーンが検出され、そのシーンが特定のフレームとして抽出されるようにして良い。
ステップＳ５２１において、各動画像から特徴点が特定されるが、その特定のために用いられる情報は、各種センサから得られる情報などであっても良い。
ステップＳ５２２において、特徴点の数が閾値以下の動画像があるか否かが判断される。ステップＳ５２２において、特徴点の数が閾値以下の動画像があると判断された場合、ステップＳ５２３に処理が進められる。
ステップＳ５２３において、特徴点の数が閾値以下の動画像であると判断された動画像は、パスの生成時の処理対象の動画像から外される。そして、ステップＳ５２４において、処理対象とされた動画像のメタデータに、特定された特徴点の情報が追記される。
このような処理について、図２７を再度参照して説明する。例えば、図２７に示した例において、撮像装置４０１−５で撮像された動画像から抽出された特徴点の個数が、所定の閾値以下であった場合、撮像装置４０１−５で撮像された動画像は、パスの生成時の処理対象の動画像から外される。
このようにして、特徴点の個数に応じて処理対象とされる動画像の絞り込みが行われることで、パスの生成時に処理対象とされる動画像を少なくすることが可能となり、処理時間の低減や、処理に係る処理能力の低減をはかることが可能となる。
なおここでは、特徴点の個数で処理対象とされる動画像の絞り込みが行われるとして説明したが、他の条件で絞り込みが行われるようにしても良い。例えば、動画像から抽出された特徴点のスコアを加算した合計値が、所定の値以下である場合、処理対象から外す動画像とするといった絞り込みが行われるようにしても良い。
このように、特徴点が抽出され、処理対象の動画像の絞り込みが行われると、絞り込まれた動画像を処理対象として、パスの生成処理が行われる。すなわち、ステップＳ５０１（図３１）において、特徴点の抽出が行われると、ステップＳ５０２に処理が進められ、パスの生成処理が開始される。
ステップＳ５０２において実行されるパスの生成処理は、図１１乃至図１５に示したフローチャートに基づいて行われる。図１１乃至図１５に示したフローチャートは、静止画像を処理対象としたときのパスの生成に関する処理であった。すなわち、動画像を処理対象としたときも、特徴点を繋ぐパスを生成する処理は、静止画像を処理対象としたときに、特徴点を繋ぐパスを生成する処理と同様に行うことができる。図１１乃至図１５に示したフローチャートを参照した説明は既にしたので、ここでは説明を省略する。
ステップＳ５０２において、パスが生成されると、ステップＳ５０３に処理が進められる。ステップＳ５０３において、ユーザに生成されたパスが提示され、ステップＳ５０４において、ユーザにより行われたパスの編集に関する情報が受け付けられる。ステップＳ５０３、ステップＳ５０４の処理は、図９のステップＳ１０３、ステップＳ１０４と同様に行うことが可能であるため、その説明は省略する。
このように、動画像を処理する場合であっても、静止画像と同様に処理することで、パスを生成することができる。
＜動画像の第２の処理＞
次に、動画像に対するパスの他の生成の仕方について説明する。上記した動画像の第１の処理においては、ステップＳ５０１（図３１）において、特徴点の抽出処理を行うことで、処理対象とする動画像（撮像装置）の絞り込みを行った。
動画像の第２の処理においては、処理対象とする撮像装置の絞り込みを行わずに、パスの生成が行われる。図３３は、動画像の第２の処理について説明するためのフローチャートである。
ステップＳ６０１において、特徴点の抽出処理が行われる。この処理は、動画像の第１の処理のステップＳ５２１（図３２）と同様に行うことができるため、ここではその説明を省略する。
特徴点が抽出されると、ステップＳ６０２に処理が進められパスの生成処理が行われる。このステップＳ６０２以降の処理は、動画像の第１の処理と同様に行うことが可能であるため、ここではその説明を省略する。
このように、処理対象とされる撮像装置の絞り込みを行わなくても、パスを生成することはできる。また、パスの生成を開始する前に撮像装置の絞り込みを行わなくても、例えば、グローバルパスの生成処理時やローカルパスの生成処理時に、特徴がない画像を撮像している撮像装置を除外する処理が実行されるため、撮像装置の適切な絞り込みは行われる。
このように、パスが生成されるようにしても良い。
＜動画像の第３の処理＞
次に、動画像に対するパスの他の生成の仕方について説明する。動画像の第３の処理においても、上記した動画像の第１の処理と同じく、特徴点の抽出処理を行うことで、処理対象とする動画像（撮像装置）の絞り込みが行われる。さらに、動画像の第３の処理においては、エフェクト期間を設定し、エフェクト期間とエフェクト期間ではない期間では、異なるパスが生成される。
このエフェクト期間とエフェクト期間ではない期間について、図３４を参照して説明する。以下の説明においては、エフェクト期間ではない期間を非エフェクト期間と記述する。
図３４は、図２９に示した生成されるパスの例について説明するための図に、エフェクト期間と非エフェクト期間を記載した図である。図２９を参照して説明したように、期間ｔ２乃至期間ｔ４において撮像された画像に対して生成されるパス４１３は、同一時間内に撮像された画像が繰り返し表示されるマルチアングル同一シーン表示といった効果を得るためのパスであった。
このようなパス４１３が生成されるような期間がエフェクト期間である。すなわちエフェクト期間とは、パスとして、何らかのエフェクト処理を行う期間である。例えば、図３０を参照して説明したタイムスライス（バレットタイム）のような映像効果を施す期間もエフェクト期間である。
図３４において、期間Ｙは、エフェクト期間である。図中期間Ｙの前の期間Ｘと後の期間Ｚは、非エフェクト期間である。ここでは、エフェクト期間の前後は非エフェクト期間である場合を例にあげて説明を続けるが、エフェクト期間が連続していても良い。例えば、図３４に示した例において、期間Ｚも、タイムスライスというエフェクトが施されるエフェクト期間として設定される場合もある。
ここではマルチアングル同一シーン表示というエフェクトが施される期間をエフェクト期間の例として説明を続ける。図２９を参照して説明したように、マルチアングル同一シーン表示が実行されるシーンは、短期間であり同じ期間となる複数の撮像装置４０１の動画から特徴点が多く抽出されるようなシーンである。エフェクト期間としては、複数の撮像装置４０１で、このような短い期間であり同じ期間から、特徴点が多く抽出されるような期間が検出される。
このようなエフェクト期間が検出される動画像の第３の処理について、図３５のフローチャートを参照して説明する。
ステップＳ７０１において、特徴点の抽出処理が実行され、ステップＳ７０２において、パスが生成され、ステップＳ７０３において、生成されたパスがユーザに提示され、ステップＳ７０４において、ユーザによるパスの編集が受け付けられる。この処理の流れは、図３１に示したフローチャートを参照して説明した動画像の第１の処理と同様である。
図３６に示したフローチャートを参照し、ステップＳ７０１において実行される特徴点の抽出処理について説明する。動画像の第３の処理における特徴点の抽出処理は、特徴点を各動画像から抽出する処理、処理対象とする動画像を絞り込む処理、およびエフェクト期間を検出する処理を含む。
ステップＳ７２１乃至Ｓ７２３の処理は、特徴点を各動画像から抽出する処理と、処理対象とする動画像を絞り込む処理である。ステップＳ７２１乃至Ｓ７２３の処理は、図３２に示したフローチャートのステップＳ５２１乃至Ｓ５２３の処理と同様に行われるため、その詳細な説明はここでは省略する。
ステップＳ７２４において、時間軸が小期間に分割される。小期間は、数フレーム、数秒、数分など、予め設定されている時間とされる。ステップＳ７２５において、分割された小期間のうちの所定の小期間が処理対象として設定される。例えば、時間的に動画像の初めの期間から順次処理対象とされる。
ステップＳ７２６において、処理対象とされている小期間内の特徴点の数は、閾値を超えているか否かが判断される。ステップＳ７２６において、処理対象とされている小期間内の特徴点の数は、閾値を超えていると判断された場合、ステップＳ７２７に処理が進められ、処理対象とされている小期間は、エフェクト期間に設定される。
ステップＳ７２８において、全ての小期間について処理を実行したか否かが判断され、まだ処理していない小期間があると判断された場合、ステップＳ７２５に処理が戻され、それ以降の処理が繰り返される。
一方、ステップＳ７２６において、処理対象とされている小期間内の特徴点の数は、閾値を超えていないと判断された場合、ステップＳ７２７の処理はスキップされ、ステップＳ７２８に処理は進められ、全ての小期間について処理を実行したか否かが判断される。
なお、ステップＳ７２６において、処理対象とされている小期間内の特徴点の数は、閾値を超えていないと判断された場合、その小期間は、非エフェクト期間として設定される。
ステップＳ７２８において、全ての小期間について処理を実行したと判断された場合、ステップＳ７２９に処理が進められる。ステップＳ７２９において、エフェクト期間が再編集される。ステップＳ７２５乃至Ｓ７２８の処理が繰り返されることにより、小期間毎にエフェクト期間または非エフェクト期間が設定される。ステップＳ７２９においては、例えば、連続する複数の小期間が、エフェクト期間に設定されているような箇所は、１つのエフェクト期間に再編集される。
ここで、再度図３４を参照してステップＳ７２４乃至Ｓ７２９の処理について説明を加える。図３４において、期間ｔは、１小期間であるとし、例えば、１フレーム、数フレームなど、予め設定されている期間であるとする。説明のため、例えば、期間ｔ１は、小期間ｔ１と記述する。また、処理対象の画像の絞り込みの結果、撮像装置４０１-１乃至４０１−６のそれぞれの撮像装置４０１で撮像された画像は、処理対象の画像として設定されているとして説明を続ける。
ステップＳ７２４において、図３４に示したように、小期間ｔ１乃至ｔ６に分割される。ステップＳ７２５において、まず小期間ｔ１が処理対象に設定される。撮像装置４０１-１乃至４０１−６の各撮像装置で、小期間ｔ１に撮像された画像からは特徴点が抽出されていないため、ステップＳ７２６においては、特徴点の数は閾値を超えていないと判断されるので、非エフェクト期間になる。
このような処理の流れにより、小期間ｔ２、小期間ｔ５、および小期間ｔ６も非エフェクト期間になる。なお、非エフェクト期間は、エフェクト期間以外の期間であるため、エフェクト期間に設定されなかった期間は、非エフェクト期間として扱われる。よって、特に、非エフェクト期間に関しては、非エフェクト期間に設定したりする処理は行われなくても良い。
小期間ｔ２が処理された後、ステップＳ７２５において、小期間ｔ３が処理対象の小期間として設定される。ステップＳ７２６において、小期間ｔ３内の特徴点の数が閾値を超えているか否かが判断される。小期間ｔ３内の特徴点の個数は４個である。例えば、閾値が３である場合、ステップＳ７２６においては、小期間ｔ３は、特徴点の数が閾値を超えている期間であると判断される。
そして、ステップＳ７２６において、小期間ｔ３は、エフェクト期間に設定される。同様の処理の流れにより、小期間ｔ４も、エフェクト期間に設定される。
このようにして、小期間ｔ１乃至ｔ６のそれぞれに、エフェクト期間と非エフェクト期間が設定されると、ステップＳ７２９において、エフェクト期間の再編集が行われる。エフェクト期間として設定されているのは、小期間ｔ３と小期間ｔ４である。エフェクト期間の再編集が行われることにより、小期間ｔ３と小期間ｔ４は、１つのエフェクト期間にされる。
エフェクト期間に設定された期間は、マルチアングル同一シーン表示というエフェクトが実行される期間である場合、同一のシーンが異なる画像で繰り返しユーザに提供される期間となる。特徴点が抽出された画像のみを連続的に繋ぎ、マルチアングル同一シーン表示が繰り返されるようにしても良いが、異なる撮像装置４０１で撮像された画像に切り換えられるとき、少し前の時点で撮像された画面からマルチアングル同一シーン表示が行われるようにしても良い。
図３４を参照するに、小期間ｔ３の時間的に前の小期間ｔ２は、特徴点が抽出されていないため、非エフェクト期間と設定されるが、ステップＳ７２９のエフェクト期間の再編集の処理により、エフェクト期間に加えられるようにしても良い。
すなわちこの場合、小期間ｔ２、小期間ｔ３、および小期間ｔ４が、１つのエフェクト期間に設定される。このエフェクト期間においてマルチアングル同一シーン表示というエフェクトが実行される場合、撮像装置４０１−１で期間ｔ３、期間ｔ４で撮像された画像が表示された後、撮像装置４０１−２で、期間ｔ２、期間ｔ３、および期間ｔ４で撮像された画像が表示される。
同じく、撮像装置４０１−２で期間ｔ２、期間ｔ３、および期間ｔ４で撮像された画像が表示された後、撮像装置４０１−３で、期間ｔ２、期間ｔ３、および期間ｔ４で撮像された画像が表示される。このように、異なる撮像装置４０１で撮像された画像に、画像が切り換えるときには、エフェクト期間として設定された期間の前の１小期間を、エフェクト期間に加えるような再編集が行われるようにしても良い。
なお連続している複数の非エフェクト期間に設定された小期間は、１つの非エフェクト期間に再編集される。
このようにして、処理対象とされている動画像は、エフェクト期間と非エフェクト期間とに分けられる。このような処理を含む特徴点の抽出処理が、ステップＳ７０１（図３５）において実行され、終了されると、処理はステップＳ７０２に進められる。ステップＳ７０２において、パスの生成処理が実行される。
図３７に示したフローチャートを参照し、ステップＳ７０２において実行されるパスの生成処理について説明する。
ステップＳ７４１において、撮像装置４０１が、孤立グループまたは統合グループのどちらのグループに属するかが判断され、グループ分けが実行される。そして、分けられたグループ毎に、ざっくりフラグまたはきっちりフラグが付与される。
このステップＳ７４１とステップＳ７４２の処理は、図１１に示したフローチャートのステップＳ１２１とステップＳ１２２の処理と同様に行われるため、ここではその説明を省略する。
ステップＳ７４３において、時系列的に処理対象期間が設定される。処理対象期間として設定されるのは、エフェクト期間または非エフェクト期間である。
ステップＳ７４４において、処理対象期間は、エフェクト期間であるか否かが判断される。ステップＳ７４４において、処理対象期間は、エフェクト期間であると判断された場合、ステップＳ７４５に処理が進められる。ステップＳ７４５において、エフェクト処理を実行するためのパスが生成される。
例えば、図３４を再度参照するに、期間Ｙはエフェクト期間であり、この期間Ｙが処理対象とされているときには、マルチアングル同一シーン表示というエフェクトを実行するパス４１３が生成される。
一方、ステップＳ７４４において、処理対象期間は、エフェクト期間ではないと判断された場合、換言すれば、非エフェクト期間であると判断された場合、ステップＳ７４６に処理は進められる。
ステップＳ７４６において、グループ毎のパスの生成処理が実行される。非エフェクト期間の場合、動画像の第１の処理と同じく、特徴点を繋ぐパスが生成される。例えば、図３４を再度参照するに、期間Ｘや期間Ｚは、非エフェクト期間であり、このような非エフェクト期間においては、特徴点を繋ぐパスが生成される。
特徴点を繋ぐパスとしては、例えば、図２７を参照して説明したパス４１１のようなパスがある。図２７に示したパス４１１は、撮像装置４０１-１で撮像された画像から抽出された特徴点Ａ１、撮像装置４０１-３で撮像された画像から抽出された特徴点Ｃ１、撮像装置４０１-１で撮像された画像から抽出された特徴点Ａ３を繋ぐパス４１１であった。このように、特徴点を繋ぐパスが、非エフェクト期間においては生成される。
ステップＳ７４６において実行されるパスの生成処理は、図１１乃至図１５に示したフローチャートに基づいて行われる。図１１乃至図１５に示したフローチャートは、静止画像を処理対象としたときのパスの生成に関する処理であった。すなわち、動画像を処理対象とし、非エフェクト期間において特徴点を繋ぐパスを生成する処理は、静止画像を処理対象としたときに、特徴点を繋ぐパスを生成する処理と同様に行うことができる。図１１乃至図１５に示したフローチャートを参照した説明は既にしたので、ここでは説明を省略する。
ステップＳ７４７において、パス同士が接続される。その時点で生成されたパスの始点と、直前に生成されたパスの終点が接続される。例えば、図３４において、期間Ｙのエフェクト期間において生成されたパス４１３と、期間Ｙの前の時点の期間Ｘのパス（不図示）が接続される。
より具体的には、期間Ｘで生成されたパスの終点（期間ｔ１においてパスが通っている画像）と、期間Ｙで生成されたパスの始点（図３４では期間ｔ２において、撮像装置４０１−１で撮像されている画像）とが接続される。
図３４に示した例を参照してさらに説明を続ける。期間Ｘで生成されたパスの終点と、期間Ｙで生成されたパスの始点が離れているような場合、例えば、期間ｔ１においてパスが通っている画像が、撮像装置４０１−６で期間ｔ１において撮像されている画像であり、その画像と、撮像装置４０１−１で期間ｔ２において撮像されている画像を繋ぐ場合、図２８を参照して説明したフェードアウト、フェードインといったエフェクトが用いられて繋がれるようにしても良い。
このように、ステップＳ７４７において実行されるパス同士を接続するための処理には、エフェクトによりパス同士を繋ぐ処理が含まれるようにしても良い。
ステップＳ７４７において、パス同士が接続されると、ステップＳ７４８に処理が進められる。ステップＳ７４８において、全ての期間を処理したか否かが判断される。ステップＳ７４８において、まだ処理していないエフェクト期間または非エフェクト期間があると判断された場合、ステップＳ７４３に処理が戻され、時間的に次の期間に処理対象が設定され、新たに設定された期間に対して、ステップＳ７４４以降の処理が繰り返される。
一方で、ステップＳ７４８において、全ての期間を処理したと判断された場合、図３７に示したパスの生成処理は終了され、処理は、ステップＳ７０３（図３５）に進められる。
ところで、図３７に示したフローチャートを参照して説明したように、ステップＳ７４６において実行されるグループ毎のパスの生成処理は、非エフェクト期間に対してのみ実行される。換言すれば、エフェクト期間では、エフェクトを実行するためのパスが生成されるのに対し、非エフェクト期間では、静止画像のときと同じく、グループ分けの結果を用いてグループ毎にパスが生成される。
このようなことから、グループ分けの処理は、非エフェクト期間においてのみ行い、エフェクト期間においては行わないような処理の流れとしても良い。このような処理の流れにしたフローチャートの一例を、図３８に示す。
図３８に示したフローチャートは、ステップＳ７０２において実行されるパスの生成処理の他の例である。
ステップＳ７６１において、時系列的に処理対象期間が設定される。このステップＳ７６１の処理は、図３７のフローチャートにおけるステップＳ７４３の処理に該当する。
ステップＳ７６２において、処理対象の期間として設定された期間は、エフェクト期間であるか否かが判断され、エフェクト期間であると判断された場合、ステップＳ７６３に処理が進められる。ステップＳ７６３において、エフェクト処理を実行するためのパスが生成される。このステップＳ７６２、ステップＳ７６３の処理は、図３７のフローチャートにおけるステップＳ７４４、ステップＳ７４５の処理に該当する。
一方、ステップＳ７６２において、処理対象の期間として設定された期間は、エフェクト期間ではないと判断された場合、換言すれば、非エフェクト期間であると判断された場合、ステップＳ７６４に処理は進められる。
ステップＳ７６４において、グループ分けが行われ、ステップＳ７６５において、グループ毎にフラグが付与される。このステップＳ７６４、ステップＳ７６５の処理は、図３７に示したフローチャートにおけるステップＳ７４１、ステップＳ７４２の処理に該当する。
このように、非エフェクト期間である場合に、グループ分けが行われ、パスが生成されるようにしても良い。
ステップＳ７６６乃至Ｓ７６８の処理は、図３７に示したフローチャートのおけるステップＳ７４６乃至Ｓ７４８の処理と同様であるため、その説明は省略する。
このように、動画像の第３の処理においては、処理対象とする動画像の絞り込みが行われた後、エフェクト期間と非エフェクト期間に分け、それぞれの期間においてパスが生成される。
＜動画像の第４の処理＞
次に、動画像に対するパスの他の生成の仕方について説明する。上記した動画像の第３の処理においては、ステップＳ７０１（図３５）において、特徴点の抽出処理を行うことで、処理対象とする動画像（撮像装置）の絞り込みを行った。
動画像の第４の処理においては、処理対象とする撮像装置の絞り込みを行わずに、パスの生成が行われる。図３９は、動画像の第４の処理について説明するためのフローチャートである。
ステップＳ８０１において、特徴点の抽出処理が行われる。この処理は、動画像の第３の処理のステップＳ７２１（図３６）と同様に行うことができるため、ここではその説明を省略する。
特徴点が抽出されると、ステップＳ８０２に処理が進められパスの生成処理が行われる。このステップＳ８０２以降の処理は、動画像の第３の処理と同様に行うことが可能であるため、ここではその説明を省略する。
このように、処理対象とされる撮像装置の絞り込みを行わなくても、パスを生成することはできる。また、パスの生成を開始する前に撮像装置の絞り込みを行わなくても、例えば、グローバルパスの生成処理時やローカルパスの生成処理時に、特徴がない画像を撮像している撮像装置を除外する処理が実行されるため、撮像装置の適切な絞り込みは行われる。
このように、パスが生成されるようにしても良い。
このように、本技術によれば、静止画像、動画像のどちらでも、特徴のある画像を連続的にユーザに提示するためのパスを、ユーザの手を煩わすようなことなく、生成することができる。
なお、上記したようにパスが生成されるが、そのパス上にある画像の一部は、複数の撮像装置で撮像された画像を合成したり、ＣＧ（Computer Graphics）等で生成されたりしても良い。例えば、パス上にある第１の撮像装置で撮像された第１の画像から第２の撮像装置で撮像された第２の画像に移行するときに、その間の画像は、第１の画像と第２の画像を合成することで生成されても良い。
また、３次元情報に基づいてモデリングが行われ、必要に応じて、ＣＧ等の合成が用いられて画像が生成され、その生成された画像が、パス上の一部を構成する画像群内の画像として用いられるようにしても良い。
パス上にある画像群内の画像は、撮像装置で撮像された画像から抽出された（切り出された）画像であっても良いし、複数の画像の合成などにより生成された画像であっても良い。
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
（１）
少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照し、前記画像のうち特徴のある箇所を抽出して繋げるパスを設定する設定部
を備える情報処理装置。
（２）
前記設定部は、前記複数の特徴点を用いて回帰曲線を求めることで前記パスを設定する
前記（１）に記載の情報処理装置。
（３）
前記設定部は、
前記複数の特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、前記複数の特徴点のうち、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求める
前記（２）に記載の情報処理装置。
（４）
前記設定部は、
前記複数の特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、前記複数の特徴点のうち、スコアの低い特徴点を外した上で、再度前記回帰曲線を求める
前記（２）に記載の情報処理装置。
（５）
前記設定部は、前記特徴点を用いて回帰曲線を求め、求められた回帰曲線を複数の区間に分割し、前記区間毎に微分値を求め、前記微分値の少なくとも１つが所定の閾値以下である場合、前記回帰曲線を求めるための次数を上げた上で、再度前記回帰曲線を求める
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記画像は動画像である
前記（１）に記載の情報処理装置。
（７）
前記設定部は、前記動画像を複数の期間に分割して得た分割期間内の特徴点が、所定の条件を満たす期間を、エフェクトを施すエフェクト期間として設定する
前記（６）に記載の情報処理装置。
（８）
前記所定の条件は、前記分割期間内の特徴点の数が閾値以上であることである
前記（７）に記載の情報処理装置。
（９）
前記エフェクトは、タイムスライスである
前記（７）または（８）に記載の情報処理装置。
（１０）
前記エフェクトは、同期間に異なるアングルで撮像されたシーンを表示するエフェクトである
前記（７）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記設定部は、前記エフェクト期間以外では、時系列なパスを設定する
前記（７）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記設定部は、
前記画像が複数存在しており、
他の画像と撮像範囲に重なりがある画像を含む統合グループと、他の画像と撮像範囲に重なりがない孤立グループとに分類される場合、前記統合グループについて、前記統合グループに含まれる全画像に関するグローバルパスを設定し、その後、前記統合グループの各画像に関するパスであるローカルパスを設定する
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照し、前記画像のうち特徴のある箇所を抽出して繋げるパスを設定する
ステップを含む情報処理方法。
（１４）
少なくとも１つの画像から特定された複数の特徴点に関する情報を少なくとも含むメタデータを参照し、前記画像のうち特徴のある箇所を抽出して繋げるパスを設定する
ステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
２０１ ネットワーク， ２０２ 撮像装置， ２０３ サーバ， ２０４ 情報処理装置， ２６１ 画像データ取得部， ２６２ 特徴点抽出部， ２６３ メタデータ取得部， ２６４ メタデータ参照部， ２６５ メタデータ追記部， ２６７ 撮像装置抽出部， ２６８ グループ分け部， ２６９ フラグ付与部， ２７０ パス生成部， ２７１ 提示部， ２７２ 編集部， ２９１ グローバルパス生成部， ２９２ 第１のローカルパス生成部， ２９３ 第２のローカルパス生成部， ２９４ エディットファイル作成部

Claims (12)

  1. 複数の画像からそれぞれ特定された特徴点を用いて回帰曲線を求め、前記特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求めることで、前記複数の画像のうち特徴のある箇所を抽出して繋げるパスを設定する設定部
    を備える情報処理装置。
  2. 複数の画像からそれぞれ特定された特徴点を用いて回帰曲線を求め、前記特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、スコアの低い特徴点を外した上で、再度前記回帰曲線を求めることで、前記複数の画像のうち特徴のある箇所を抽出して繋げるパスを設定する設定部
    を備える情報処理装置。
  3. 複数の画像からそれぞれ特定された特徴点を用いて回帰曲線を求め、求められた回帰曲線を複数の区間に分割し、前記区間毎に微分値を求め、前記微分値が所定の閾値以下である場合、前記回帰曲線を求めるための次数を上げ、再度前記回帰曲線を求めることで、前記複数の画像のうち特徴のある箇所を抽出して繋げるパスを設定する設定部
    を備える情報処理装置。
  4. 少なくとも１つの動画像から特定された特徴点に関する情報を参照し、前記画像のうち特徴のある箇所を抽出して繋げるパスを設定する設定部を備え、
    前記設定部は、前記動画像を複数の期間に分割して得た分割期間内の特徴点が、所定の条件を満たす期間を、エフェクトを施すエフェクト期間として設定する
    情報処理装置。
  5. 前記所定の条件は、前記分割期間内の特徴点の数が閾値以上であることである
    請求項４に記載の情報処理装置。
  6. 前記エフェクトは、タイムスライスである
    請求項４に記載の情報処理装置。
  7. 前記エフェクトは、同期間に異なるアングルで撮像されたシーンを表示するエフェクトである
    請求項４に記載の情報処理装置。
  8. 前記設定部は、前記エフェクト期間以外では、時系列なパスを設定する
    請求項４に記載の情報処理装置。
  9. 前記特徴点に関する情報は、メタデータに記載されている
    請求項１乃至８のいずれかに記載の情報処理装置。
  10. 前記設定部が設定する前記パスは、各前記特徴点の近傍を通るパス、または各前記特徴点を通るパスである
    請求項１乃至９のいずれかに記載の情報処理装置。
  11. 情報処理装置が、
    複数の画像からそれぞれ特定された特徴点を用いて回帰曲線を求め、前記特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求めることで、前記複数の画像のうち特徴のある箇所を抽出して繋げるパスを設定する
    情報処理方法。
  12. 複数の画像からそれぞれ特定された特徴点を用いて回帰曲線を求め、前記特徴点のうち、前記回帰曲線と特徴点の距離が所定の閾値以上である特徴点がある場合、スコアの低い特徴点を有する画像から特定された特徴点を外した上で、再度回帰曲線を求めることで、前記複数の画像のうち特徴のある箇所を抽出して繋げるパスを設定する
    ステップを含む処理を実行させるコンピュータが読み取り可能なプログラム。
JP2014209971A 2014-10-14 2014-10-14 情報処理装置、情報処理方法、並びにプログラム Active JP6372696B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2014209971A JP6372696B2 (ja) 2014-10-14 2014-10-14 情報処理装置、情報処理方法、並びにプログラム
CN202010100774.7A CN111277901B (zh) 2014-10-14 2015-10-02 信息处理设备和信息处理方法
CN201580054474.7A CN106797498B (zh) 2014-10-14 2015-10-02 信息处理设备、信息处理方法和程序
US15/516,796 US10635931B2 (en) 2014-10-14 2015-10-02 Information processing device, information processing method, and program
PCT/JP2015/078057 WO2016059978A1 (ja) 2014-10-14 2015-10-02 情報処理装置、情報処理方法、並びにプログラム
US16/830,758 US11151409B2 (en) 2014-10-14 2020-03-26 Information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014209971A JP6372696B2 (ja) 2014-10-14 2014-10-14 情報処理装置、情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2016082327A JP2016082327A (ja) 2016-05-16
JP6372696B2 true JP6372696B2 (ja) 2018-08-15

Family

ID=55746526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014209971A Active JP6372696B2 (ja) 2014-10-14 2014-10-14 情報処理装置、情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (2) US10635931B2 (ja)
JP (1) JP6372696B2 (ja)
CN (2) CN106797498B (ja)
WO (1) WO2016059978A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
JP6787394B2 (ja) * 2016-03-31 2020-11-18 ソニー株式会社 情報処理装置、情報処理方法、プログラム
WO2018020769A1 (ja) * 2016-07-28 2018-02-01 パナソニックＩｐマネジメント株式会社 映像システム装置
JP6514418B2 (ja) * 2016-08-02 2019-05-15 ナーブ株式会社 撮像システム、撮像方法、及びプログラム
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) * 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
JP6954070B2 (ja) * 2017-12-08 2021-10-27 富士通株式会社 判別プログラム、判別方法および判別装置
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
JP7246146B2 (ja) * 2018-08-28 2023-03-27 株式会社Ｎｔｔドコモ 情報処理装置及び映像投影システム
JP7427381B2 (ja) * 2019-07-22 2024-02-05 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
CN111083526B (zh) * 2019-12-31 2021-12-10 广州酷狗计算机科技有限公司 视频转场方法、装置、计算机设备及存储介质
CN112561839B (zh) * 2020-12-02 2022-08-19 北京有竹居网络技术有限公司 视频裁剪方法、装置、存储介质及电子设备
CN112528850B (zh) * 2020-12-11 2024-06-04 北京百度网讯科技有限公司 人体识别方法、装置、设备和存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764276A (en) 1991-05-13 1998-06-09 Interactive Pictures Corporation Method and apparatus for providing perceived video viewing experiences using still images
US6362850B1 (en) * 1998-08-04 2002-03-26 Flashpoint Technology, Inc. Interactive movie creation from one or more still images in a digital imaging device
US6924832B1 (en) 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US7224892B2 (en) * 2001-06-26 2007-05-29 Canon Kabushiki Kaisha Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media
US7356164B2 (en) * 2003-05-30 2008-04-08 Lucent Technologies Inc. Method and apparatus for finding feature correspondences between images captured in real-world environments
JP4647343B2 (ja) * 2005-02-28 2011-03-09 富士フイルム株式会社 フォトムービー作成装置及びフォトムービー作成プログラム
JP4440164B2 (ja) * 2005-04-22 2010-03-24 富士フイルム株式会社 フォトムービー作成装置及びフォトムービー作成プログラム
KR100892022B1 (ko) * 2005-08-12 2009-04-07 소니 컴퓨터 엔터테인먼트 인코포레이티드 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시프로그램
JP4241708B2 (ja) * 2005-10-05 2009-03-18 日本電気株式会社 ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム
GB0625455D0 (en) * 2006-12-20 2007-01-31 Mitsubishi Electric Inf Tech Graph-based multiple panorama extraction from unordered image sets
CN101276363B (zh) * 2007-03-30 2011-02-16 夏普株式会社 文档图像的检索装置及文档图像的检索方法
US8811771B2 (en) * 2008-08-22 2014-08-19 Adobe Systems Incorporated Content aware slideshows
CN101753771B (zh) * 2008-12-11 2011-10-05 上海杰图软件技术有限公司 一种全自动求解全景图像参数的方法
US8265363B2 (en) * 2009-02-04 2012-09-11 General Electric Company Method and apparatus for automatically identifying image views in a 3D dataset
JP5378135B2 (ja) * 2009-09-29 2013-12-25 富士フイルム株式会社 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置
JP5597382B2 (ja) * 2009-10-26 2014-10-01 富士フイルム株式会社 広角画像表示制御方法及びその装置並びに広角画像撮像装置
JP4779041B2 (ja) * 2009-11-26 2011-09-21 株式会社日立製作所 画像撮影システム、画像撮影方法、および画像撮影プログラム
JP2012053309A (ja) * 2010-09-02 2012-03-15 Casio Comput Co Ltd 画像表示装置及びプログラム
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2013093572A1 (en) * 2011-12-23 2013-06-27 Nokia Corporation Image control method for defining images for waypoints along a trajectory.
US9305330B2 (en) * 2012-10-25 2016-04-05 Microsoft Technology Licensing, Llc Providing images with zoomspots
JP6181993B2 (ja) * 2012-12-04 2017-08-16 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および、情報の送受信方法
US8917951B1 (en) * 2013-07-19 2014-12-23 Hong Kong Applied Science and Technology Research Institute Company Limited Method of on-the-fly image stitching
US10885095B2 (en) * 2014-03-17 2021-01-05 Verizon Media Inc. Personalized criteria-based media organization
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9998663B1 (en) * 2015-01-07 2018-06-12 Car360 Inc. Surround image capture and processing
US10248756B2 (en) * 2015-02-18 2019-04-02 Siemens Healthcare Gmbh Anatomically specific movie driven medical image review

Also Published As

Publication number Publication date
US20200272848A1 (en) 2020-08-27
US20170308771A1 (en) 2017-10-26
WO2016059978A1 (ja) 2016-04-21
US10635931B2 (en) 2020-04-28
US11151409B2 (en) 2021-10-19
CN111277901A (zh) 2020-06-12
CN106797498A (zh) 2017-05-31
CN106797498B (zh) 2020-03-24
CN111277901B (zh) 2022-05-17
JP2016082327A (ja) 2016-05-16

Similar Documents

Publication Publication Date Title
JP6372696B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
US11217006B2 (en) Methods and systems for performing 3D simulation based on a 2D video image
US10582149B1 (en) Preview streaming of video data
US9058687B2 (en) Two-dimensional image capture for an augmented reality representation
US9578279B1 (en) Preview streaming of video data
US11748870B2 (en) Video quality measurement for virtual cameras in volumetric immersive media
JP2017505943A (ja) デジタル合成および／または検索のためのシステム、方法、および装置
US9542975B2 (en) Centralized database for 3-D and other information in videos
US8897603B2 (en) Image processing apparatus that selects a plurality of video frames and creates an image based on a plurality of images extracted and selected from the frames
JP6060965B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP2018107793A (ja) 仮想視点画像の生成装置、生成方法及びプログラム
JP6187811B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2019101795A (ja) 生成装置、生成方法及びプログラム
JP2019215622A (ja) データ生成装置、画像処理装置、方法およびプログラム
CN110035329A (zh) 图像处理方法、装置及存储介质
JP2007249434A (ja) アルバム作成システム、アルバム作成方法、及びプログラム
JP6973412B2 (ja) 情報処理装置および方法
WO2018057449A1 (en) Auto-directing media construction
JP2019103126A (ja) カメラシステム、カメラ制御装置、カメラ制御方法及びプログラム
JP6948787B2 (ja) 情報処理装置、方法およびプログラム
US20200090342A1 (en) Image processing apparatus, method of controlling image processing apparatus, and storage medium
KR20140037439A (ko) 음악의 분위기를 이용한 슬라이드 쇼 생성 방법 및 장치
JP2021182681A (ja) 画像処理装置、画像処理方法、及びプログラム
US20230352052A1 (en) Information processing device, control method, and recording medium
US11895288B2 (en) Information processing device, proposal device, information processing method, and proposal method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180406

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180704

R151 Written notification of patent or utility model registration

Ref document number: 6372696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151