TWI388212B

TWI388212B - An image processing apparatus, an image reproduction apparatus, an image processing method, and a memory medium

Info

Publication number: TWI388212B
Application number: TW097149461A
Authority: TW
Inventors: Shingo Tsurumi
Original assignee: Sony Corp
Priority date: 2007-12-21
Filing date: 2008-12-18
Publication date: 2013-03-01
Also published as: EP2222080A1; US20120299958A1; US8305457B2; TW200945895A; CN101617530A; WO2009081806A1; EP2475168A3; EP2475168A2; KR20100103775A; US20100118161A1; US8810708B2; EP2222080A4; CN101617530B; JP2009151896A

Description

圖像處理裝置、動畫再生裝置、圖像處理方法及記憶媒體

本發明係關於一種圖像處理裝置，特別係關於一種可將動畫進行再生之圖像處理裝置、動畫再生裝置、及該等之處理方法以及使電腦執行該方法之程式。

近年來，數位攝影機(digital video camera)正在普及。因此，例如，在小朋友去上幼稚園之幼稚園之事件中，廣泛進行的是，該事件之動向被父母等利用數位攝影機拍攝下來。於上述事件中，在父母等進行拍攝時，多數是以自己的孩子為中心而拍攝，但為瞭解該事件之動向，較多情形時亦適當拍攝該事件之風景等。

對於如此所拍攝之動畫，例如，在房屋內，可使用動畫再生裝置於其顯示器上再生。例如，在要瀏覽以自己的孩子為中心而拍攝之動畫時，將主要包含自己孩子的動畫再生。然而，當再生時間較長時，若繼續瀏覽同一對象之動畫，則隨著再生時間之經過，瀏覽者對於再生步驟中之動畫之興趣會降低。因此，為提高瀏覽者之興趣，考慮顯示與當前正在顯示之圖像相關聯之其他圖像等。

例如，提出一種與動畫一起，按照該動畫之行進來滾動顯示視訊檢索(video index)(靜止圖像)之圖像顯示方法(例如，參照日本專利特開平11-289517號公報(圖7))。

根據上述之先前技術，由於將以動畫為基準之過去、現在及未來之靜止圖像作為視訊檢索而顯示，故可與當前正在顯示之動畫一起，瀏覽過去、現在及未來之靜止圖像。因此，例如，在瀏覽小朋友上幼稚園之幼稚園之事件中所拍攝的動畫時，即便將自己的孩子作為當前之動畫而顯示，有時亦會將與當前之動畫相關聯之事件之風景等顯示為過去或者未來之靜止圖像。於該情形時，可一面看到自己孩子之動向，一面亦看到該事件之風景等，故可容易掌握該事件之動向，從而提高瀏覽者之趣味。

然而，於上述之先前技術中，在將自己的孩子作為當前之動畫而顯示時，有時並不將該事件之風景等作為過去或者未來之靜止圖像而顯示，而是顯示與當前之動畫大致相同之內容。於上述情形時，重要的是維持對於動畫之瀏覽者之趣味。

因此，為了能夠一面瀏覽作為拍攝對象之中心人物等，一面適當掌握該中心人物周圍之動向，考慮使構成該動畫之各圖像根據攝像裝置之動作資訊而轉換，並將該轉換後之圖像一面依序合成一面再生。如此，在將構成該動畫之各圖像一面合成一面再生之情形時，會在與使通常之動畫再生之情形相比更廣之範圍內顯示合成圖像。如此，當在較廣範圍內顯示合成圖像時，於再生步驟中圖像之一部分會隱藏，從而認為有無法掌握該動畫之內容之虞。因此，重要的是，再生步驟中適切地顯示圖像，由此容易掌握該動畫之內容。

本發明之目的在於在瀏覽由攝像裝置所拍攝之動畫時容易掌握該動畫之內容。

本發明係為解決上述問題而完成者，其第1側面係一種圖像處理裝置及其處理方法以及使電腦執行該方法之程式，該圖像處理裝置之特徵在於包括：動畫記憶機構，其係記憶由攝像裝置所拍攝之攝像動畫；轉換資訊記憶機構，其係對每一個第2攝像圖像，記憶用於以構成上述攝像動畫之第1攝像圖像作為基準而轉換在上述攝像動畫之時間軸上位於上述第1攝像圖像之後之上述第2攝像圖像的轉換資訊；圖像保持機構，其係保持包含在上述時間軸上位於上述第2攝像圖像之前之各攝像圖像之履歷圖像；配置資訊計算機構，其係計算由根據構成上述攝像動畫之各攝像圖像之上述轉換資訊而被轉換之上述各攝像圖像所形成之顯示範圍，並根據該該顯示範圍而計算上述各攝像圖像中之至少1個攝像圖像即第3攝像圖像於上述圖像保持機構中的配置資訊；圖像轉換機構，其係根據上述轉換資訊而轉換上述第2攝像圖像；及圖像合成機構，其係將上述轉換後之第2攝像圖像合成至包含根據上述計算出的配置資訊而配置於上述圖像保持機構上之上述第3攝像圖像的上述履歷圖像上，並作為新的履歷圖像而保持於上述圖像保持機構上。藉此，帶來如下作用：根據各攝像圖像之轉換資訊而計算由各攝像圖像所形成之顯示範圍，並根據該顯示範圍而計算特定之攝像圖像於圖像保持機構中之配置資訊，根據轉換資訊來轉換攝像圖像，並將該轉換後之攝像圖像合成至履歷圖像上作為新的履歷圖像。

又，於該第1側面中，上述動畫記憶機構可記憶第1攝像動畫及第2攝像動畫作為上述攝像動畫；上述轉換資訊記憶機構可對每一攝像圖像，記憶上述第1攝像動畫之上述轉換資訊即第1轉換資訊、及上述第2攝像動畫之轉換資訊即第2轉換資訊；該第1側面之圖像處理裝置可進而包括：相對關係資訊記憶機構，其係記憶表示構成上述第1攝像動畫之至少1個攝像圖像、及構成上述第2攝像動畫之至少1個攝像圖像之相對位置關係的相對關係資訊；及對象圖像轉換資訊計算機構，其係在以構成上述第1攝像動畫之至少1個攝像圖像作為基準圖像且以構成上述第2動畫之各攝像圖像作為對象圖像時，根據上述相對關係資訊、上述第1轉換資訊及上述第2轉換資訊而計算上述對象圖像之轉換中所使用之對象圖像轉換資訊；上述圖像轉換機構根據上述對象圖像轉換資訊及上述第2轉換資訊而轉換上述對象圖像，同時根據上述第1轉換資訊而轉換構成上述第1攝像動畫之攝像圖像；上述配置資訊計算機構根據上述對象圖像轉換資訊、上述第1轉換資訊及上述第2轉換資訊而計算上述顯示範圍，並根據該顯示範圍而計算上述配置資訊；上述圖像合成機構將構成上述轉換後之上述第1攝像動畫之攝像圖像及上述對象圖像合成至上述履歷圖像上。藉此，帶來如下作用：根據相對關係資訊、第1轉換資訊及第2轉換資訊而計算對象圖像之轉換中所使用之對象圖像轉換資訊，並根據對象圖像轉換資訊及第2轉換資訊而轉換對象圖像，同時根據第1轉換資訊而轉換構成第1攝像動畫之攝像圖像，根據對象圖像轉換資訊、第1轉換資訊及第2轉換資訊而計算顯示範圍，根據該顯示範圍而計算配置資訊，並將構成轉換後之第1攝像動畫之攝像圖像及對象圖像合成至履歷圖像上。

又，於該第1側面中，上述動畫記憶機構可記憶包括上述第1攝像動畫及上述第2攝像動畫之複數個攝像動畫；該第1側面之圖像處理裝置可進而包括：顯示機構，其係顯示上述新的履歷圖像；操作受理機構，其係受理從記憶於上述動畫記憶機構之攝像動畫之中選擇至少1個攝像動畫之選擇操作；及顯示控制機構，其係在利用上述操作受理機構受理了選擇上述第1攝像動畫或者上述第2攝像動畫之選擇操作之情形時，使對於上述第1攝像動畫及上述第2攝像動畫可利用上述圖像合成機構進行合成之要旨顯示於上述顯示機構上。藉此，帶來如下作用：在受理了選擇第1攝像動畫或者第2攝像動畫之選擇操作之情形時，顯示可對第1攝像動畫及第2攝像動畫進行合成之要旨。

又，於該第1側面中，上述顯示控制機構可對每一攝像動畫，使表示記憶於上述動畫記憶機構中之攝像動畫之標記顯示於上述顯示機構上，且在由上述操作受理機構受理了選擇上述第1攝像動畫之選擇操作之情形時，使表示上述第2攝像動畫之標記顯示為與其他標記不同之態樣，在由上述操作受理機構受理了選擇上述第2攝像動畫之選擇操作之情形時，使表示上述第1攝像動畫之標記顯示為與其他標記不同之態樣。藉此，帶來如下作用：使示表攝像動畫之標記對應每一攝像動畫而顯示，且在受理了選擇第1攝像動畫之選擇操作之情形時，使表示第2攝像動畫之標記顯示為與其他標記不同之態樣，在受理了選擇第2攝像動畫之選擇操作之情形時，使表示第1攝像動畫之標記顯示為與其他標記不同之態樣。

又，於該第1側面中，上述配置資訊計算機構可根據上述圖像保持機構中之保持區域大小及上述顯示範圍而計算上述配置資訊。藉此，帶來如下作用：根據圖像保持機構中之保持區域大小及顯示範圍而計算配置資訊。

又，於該第1側面中，上述配置資訊計算機構以上述顯示範圍小於上述圖像保持機構中之保持區域大小的方式，計算上述圖像保持機構中之上述第3攝像圖像之配置位置及大小。藉此，帶來如下作用：以顯示範圍小於圖像保持機構中之保持區域大小的方式，計算圖像保持機構中之特定攝像圖像的配置位置及大小。

又，本發明之第2側面係一種圖像處理裝置及其處理方法以及使電腦執行該方法之程式，該圖像處理裝置之特徵在於包括：圖像合成機構，其係根據攝像時之攝像裝置之動作資訊而合成構成由上述攝像裝置所拍攝之攝像動畫之攝像圖像作為合成圖像；顯示機構，其係將上述合成圖像顯示於特定之顯示區域上；及配置資訊計算機構，其係根據上述動作資訊而計算上述攝像圖像中之至少1個攝像圖像於上述顯示區域中之配置資訊；上述圖像合成機構根據上述計算出的配置資訊而合成上述攝像圖像。藉此，帶來如下作用：根據攝像時之攝像裝置之動作資訊，合成構成攝像動畫之攝像圖像作為合成圖像，根據動作資訊而計算特定攝像圖像之顯示區域中之配置資訊，並根據該計算出的配置資訊而合成攝像圖像。

又，本發明之第3側面係一種動畫再生裝置及其處理方法以及使電腦執行該方法之程式，該動畫再生裝置之特徵在於包括：動畫記憶機構，其係記憶由攝像裝置所拍攝之攝像動畫；轉換資訊記憶機構，其係對每一第2攝像圖像，記憶用於以構成上述攝像動畫之第1攝像圖像作為基準而轉換在上述攝像動畫之時間軸上位於上述第1攝像圖像之後之上述第2攝像圖像之轉換資訊；圖像保持機構，其係保持包含在上述攝像動畫之時間軸上位於上述第2攝像圖像之前之各攝像圖像之履歷圖像；配置資訊計算機構，其係計算由根據構成上述攝像動畫之各攝像圖像之上述轉換資訊而被轉換之上述各攝像圖像所形成之顯示範圍，並根據該顯示範圍而計算上述各攝像圖像中之至少1個攝像圖像即第3攝像圖像於上述圖像保持機構中的配置資訊；圖像轉換機構，其係根據上述轉換資訊而轉換上述第2攝像圖像；圖像合成機構，其係將上述轉換後之第2攝像圖像合成至包含根據上述計算出的配置資訊而配置於上述圖像保持機構上之上述第3攝像圖像的上述履歷圖像上，並作為新的履歷圖像而保持於上述圖像保持機構上；及顯示控制機構，其係使上述新的履歷圖像依序顯示於顯示機構上。藉此，帶來如下作用：根據各攝像圖像之轉換資訊而計算由各攝像圖像所形成之顯示範圍，根據該顯示範圍而計算特定攝像圖像於圖像保持機構中之配置資訊，根據轉換資訊來轉換攝像圖像，將該轉換後之攝像圖像合成至履歷圖像上作為新的履歷圖像，使該新的履歷圖像依序顯示。

根據本發明，可取得如下優異效果：在瀏覽由攝像裝置所拍攝之動畫時，可容易掌握該動畫之內容。

其次，將一面參照圖式，一面對本發明之實施形態進行詳細的說明。

圖1表示本發明之實施形態之圖像處理裝置100之功能構成例的方塊圖。圖像處理裝置100包括：動畫輸入部110、鏡頭運動(camera work)檢測部120、記錄控制部130、檔案取得部140、圖像轉換部150、操作受理部160、一致點選擇部170、相對關係資訊計算部180、對象圖像轉換資訊計算部190、動畫記憶部200、元資料記憶部210、相對關係資訊記憶部220、配置資訊計算部230、圖像合成部240、圖像記憶體250、顯示區域取出部260、顯示用記憶體270、顯示控制部280、顯示部290、及一致點檢索部340。圖像處理裝置100可由個人電腦而實現，該個人電腦對於例如由數位攝影機等之攝像裝置所拍攝之動畫，可藉由影像解析而提取特徵量，並使用上述所提取之特徵量而實施各種圖像處理。

動畫輸入部110係將由數位攝影機等之攝像裝置(以下，僅稱為「攝像機」)所攝像之動畫進行輸入之動畫輸入部，並將所輸入之動畫輸出至鏡頭運動檢測部120。

鏡頭運動檢測部120係對從動畫輸入部110所輸出之動畫加以解析，並檢測拍攝時之攝像機之動作資訊(鏡頭運動)者，其將根據該攝像機之動作資訊所計算之仿射轉換參數(affine transformation parameter)(鏡頭運動參數)輸出至記錄控制部130。即，鏡頭運動檢測部120從構成動畫之各圖像中提取特徵點，同時提取相對於該特徵點之光流(optical flow)(變動向量)，並對相對於上述所提取之特徵點之光流加以解析以對顯示出支配性變動之特徵點進行選擇，再根據相對於顯示出該支配性變動之特徵點之光流而推定攝像機之變動。此處，所謂支配性變動，係指在相對於複數個特徵點之光流中，比較多的光流所顯示之規則性變動。再者，對於鏡頭運動檢測部120，將參照圖2進行詳細的說明。

記錄控制部130係將從動畫輸入部110所輸出之動畫作為動畫檔案而記錄於動畫記憶部200中，同時將從鏡頭運動檢測部120所輸出之仿射轉換參數與對應之動畫及幀建立關聯並作為元資料檔案而記錄於元資料記憶部210者。又，記錄控制部130將從相對關係資訊計算部180所輸出之仿射轉換參數與對應於該仿射轉換參數之動畫及幀建立關聯而記錄於相對關係資訊記憶部220中。

動畫記憶部200係根據記錄控制部130之控制而將從動畫輸入部110所輸出之動畫作為動畫檔案而記憶者。又，動畫記憶部200根據來自檔案取得部140之要求而將動畫檔案供給至檔案取得部140，並根據來自一致點檢索部340之要求而將至少2個動畫檔案供給至一致點檢索部340。再者，關於記憶於動畫記憶部200中之動畫檔案，將參照圖4及圖5進行詳細的說明。

元資料記憶部210係根據記錄控制部130之控制而將從鏡頭運動檢測部120所輸出之仿射轉換參數作為元資料檔案而記憶者。又，元資料記憶部210根據來自檔案取得部140之要求而將元資料檔案供給至檔案取得部140。再者，關於記憶於元資料記憶部210中之元資料檔案，將參照圖4進行詳細的說明。

相對關係資訊記憶部220係根據記錄控制部130之控制，將從相對關係資訊計算部180所輸出之仿射轉換參數、及與此相對應之動畫與幀建立關聯並作為相對關係元資料檔案而記憶者。又，相對關係資訊記憶部220根據來自檔案取得部140之要求，將相對關係元資料檔案供給至檔案取得部140。再者，關於記憶於相對關係資訊記憶部220中之相對關係元資料檔案，將參照圖5進行詳細的說明。

檔案取得部140係與由操作受理部160已受理之操作輸入相對應而取得動畫記憶部200、元資料記憶部210、或者相對關係資訊記憶部220中所記憶之各檔案之至少1，並將所取得之各檔案之資訊供給至各部分者。具體而言，對於檔案取得部140，在由操作受理部160受理了將表示動畫之代表圖像進行顯示之指示操作時，取得元資料記憶部210中所記憶之元資料檔案，並將記憶於該元資料中之代表圖像輸出至顯示控制部280。又，檔案取得部140在由操作受理部160受理了對顯示於顯示部290上之代表圖像進行選擇之選擇操作之情形時，取得與所選擇之代表圖像建立關聯而記憶於動畫記憶部200中之動畫檔案、與該動畫檔案建立關聯而記憶於元資料記憶部210中之元資料檔案、及與該動畫檔案建立關聯而記憶於相對關係資訊記憶部220中之所有的相對關係元資料檔案，並將所取得之動畫檔案之動畫及元資料檔案之仿射轉換參數輸出至圖像轉換部150。又，將所取得之元資料檔案及相對關係元資料檔案之內容輸出至對象圖像轉換資訊計算部190及配置資訊計算部230。又，將已取得之相對關係元資料檔案中包含之其他的動畫ID輸出至顯示控制部280。又，檔案取得部140在由操作受理部160受理了對動畫進行通常再生之指示操作之情形時，取得被指示的記憶於動畫記憶部200中之動畫檔案，並將該動畫檔案之動畫輸出至一致點選擇部170及顯示用記憶體270。

圖像轉換部150係對於構成從檔案取得部140所輸出之動畫檔案之動畫的圖像，使用與該圖像相對應之仿射轉換參數來對每一幀實施仿射轉換，並將仿射轉換後之圖像輸出至圖像合成部240。此處，在選擇了複數個動畫之合成再生時，或者，於動畫之合成再生步驟中選擇了其他的動畫時，圖像轉換部150將作為再生之對象之複數個動畫中的1個動畫作為基準動畫，並對於該基準動畫，使用與構成該基準動畫之圖像相對應之仿射轉換參數，針對每一幀而實施仿射轉換。另一方面，對於作為再生之對象之複數個動畫中的基準動畫以外之其他動畫，使用由對象圖像轉換資訊計算部190所計算之對象圖像轉換資訊(仿射轉換參數)、及與構成動畫之圖像相對應之仿射轉換參數，針對每一幀而實施仿射轉換。再者，關於該等圖像轉換，將參照圖11至圖21等進行詳細的說明。又，關於複數個動畫之轉換方法，將參照圖24等進行詳細的說明。

操作受理部160具備包含各種輸入鍵之鍵盤及滑鼠(指向裝置)，且其係在由該等滑鼠等受理了操作輸入後將所受理之操作輸入之內容輸出至檔案取得部140、一致點選擇部170、圖像合成部240、顯示區域取出部260、或者一致點檢索部340者。再者，亦可將操作受理部160之至少一部分與顯示部290作為觸控面板而構成為一體。此處，作為滑鼠之操作，例如，所謂「左擊」，係指將滑鼠之左側按鈕按下僅1次，所謂「右擊」，係指將滑鼠之右側按鈕按下僅1次，所謂「雙擊」，係指連續2次按下滑鼠之左側按鈕。又，所謂「左拖拽」，係指持續按下滑鼠之左側按鈕並移動滑鼠，所謂「右拖拽」，係指持續按下滑鼠之右側按鈕並移動滑鼠，所謂「鬆開」，係指拖拽後放開按鈕，使拖動中之對象移動等。

一致點選擇部170係在由操作受理部160受理了指定一致點之指定操作之操作輸入的情形時，選擇構成由檔案取得部140所輸出之動畫檔案之動畫之圖像中的一致點者，在1個圖像中選擇了至少3個一致點時，將該已選擇的一致點之位置及選擇順序與選擇對象之圖像輸出至相對關係資訊計算部180。可對複數個圖像同時進行該一致點之選擇操作，亦可針對每1個動畫而依序進行。

一致點檢索部340係在由操作受理部160受理了作成關於動畫記憶部200中所記憶之複數個動畫檔案中之至少2個動畫的相對關係資訊之信息之操作輸入時，對構成所指定之複數個動畫之各圖像之至少3個一致點進行檢索者，並將包含該檢索之一致點之位置的各圖像輸出至相對關係資訊計算部180。該一致點之檢索可使用例如與圖像之大小無關的可認識圖像中含有之物體之一般物體認識等的技術(例如，參照日本專利特開2002-65399號)而實現。又，關於一致點檢索部340，將參照圖3進行詳細的說明。

相對關係資訊計算部180係根據從一致點選擇部170或者一致點檢索部340所輸出之至少2個圖像及該等圖像中之至少3個一致點，來計算與該等圖像相關的作為相對關係資訊之仿射轉換參數者，並將所計算出的仿射轉換參數與該仿射轉換參數之計算中所使用之動畫之動畫ID及圖像之幀編號輸出至記錄控制部130。再者，關於與該等圖像相關之仿射轉換參數之計算，將參照圖9及圖10進行詳細的說明。又，於本發明之實施形態中，對使用仿射轉換參數來作為相對關係資訊之例進行說明，但亦可使用投影轉換參數等之其他的圖像轉換資訊。再者，仿射轉換參數可使用3點之向量而計算求出，投影轉換參數可使用4點之向量而計算求出。

對象圖像轉換資訊計算部190係在選擇了複數個動畫之合成再生時，或者在動畫之合成再生步驟中選擇了其他的動畫時，根據檔案取得部140所輸出之元資料檔案及相對關係元資料檔案之仿射轉換參數，在以構成作為再生之對象之複數個動畫中之1個動畫的至少1個圖像作為基準圖像、並以構成其他動畫之各圖像作為對象圖像之情形時，計算該對象圖像之轉換中所使用之對象圖像轉換資訊者。並且，將所計算出的對象圖像轉換資訊輸出至圖像轉換部150。對於1個動畫中之基準圖像，例如可使用與構成1個動畫之圖像中之前頭幀相對應之圖像。又，對象圖像轉換資訊例如係相對於基準圖像之對象圖像之轉換中所使用之仿射轉換參數。再者，關於對象圖像轉換資訊之計算，將參照圖24等進行詳細的說明。

配置資訊計算部230係在選擇了1個動畫之合成再生時，根據從檔案取得部140所輸出之元資料檔案之仿射轉換參數，來計算由作為再生之對象之1個動畫所作成的合成圖像之大小(合成圖像之顯示範圍)，並根據該計算出的合成圖像之大小，來計算構成作為再生之對象之1個動畫之至少1個圖像的圖像記憶體250中之配置資訊者。又，配置資訊計算部230在選擇了複數個動畫之合成再生時，或者在動畫之合成再生步驟中選擇了其他的動畫時，根據從檔案取得部140所輸出之元資料檔案及相對關係元資料檔案之仿射轉換參數，計算由作為再生之對象之複數個動畫所作成的合成圖像之大小，並根據該計算出的合成圖像之大小而計算構成作為再生之對象之複數個動畫之至少1個圖像的圖像記憶體250中之配置資訊。然後，將所計算出的圖像記憶體250中之配置資訊輸出到圖像合成部240。作為計算配置資訊之對象之圖像，例如可使用構成1個動畫之圖像中之與前頭幀相對應之圖像。又，於本發明之實施形態中，作為配置資訊，以圖像之圖像記憶體250中之配置位置及大小為例進行說明。再者，關於基準圖像之配置位置及大小之計算，將圖25、圖26等進行詳細的說明。

圖像合成部240係將圖像轉換部150進行了仿射轉換後之圖像覆寫到與圖像記憶體250中即將保持之前的各幀相對應之合成圖像上從而合成圖像，並將所合成之新的合成圖像保存於圖像記憶體250者。又，圖像合成部240在選擇了複數個動畫時，以基準圖像為基準，將由圖像轉換部150進行了仿射轉換之各圖像覆寫到與圖像記憶體250中即將保持之前的各幀相對應之合成圖像上從而合成圖像，並將所合成之新的合成圖像保存於圖像記憶體250中。再者，圖像合成部240根據從顯示區域取出部260所輸出之顯示區域中之當前圖像的位置，將圖像轉換部150進行了仿射轉換後之當前圖像覆寫到保持於顯示用記憶體270中之合成圖像上從而合成。又，對於選擇複數個動畫之情形亦同樣地，圖像合成部240根據從顯示區域取出部260所輸出之顯示區域中之各當前圖像的位置，將圖像轉換部150進行了仿射轉換後之各當前圖像覆寫到保持於顯示用記憶體270中之合成圖像上從而合成。此處，關於顯示用記憶體270中所合成之當前圖像之大小，根據顯示倍率之值而決定。再者，關於顯示用記憶體270中之當前圖像之合成，將參照圖21等進行詳細的說明。再者，關於複數個動畫之再生開始位置，根據由配置資訊計算部230所計算出的配置位置及大小而分別決定。再者，關於該等圖像合成，將參照圖11至圖26等進行詳細的說明。此處，圖像合成部240將圖像轉換部150進行了仿射轉換後之圖像壓縮並覆寫到保持於圖像記憶體250中之合成圖像上，將覆寫到保持於顯示用記憶體270中之合成圖像上的當前圖像作為相較非壓縮圖像或者壓縮後之履歷圖像而具有更高解析度之攝像圖像。藉此，可將輸出合成圖像時之履歷圖像作為壓縮圖像，且將當前圖像作為相較非壓縮圖像或者壓縮後之履歷圖像而具有更高解析度之攝像圖像。

圖像記憶體250係將由圖像合成部240所合成之合成圖像加以保持的工作緩衝區，且其係將所保持之合成圖像供給至圖像合成部240或者顯示區域取出部260者。即，圖像記憶體250係對履歷圖像加以保持之圖像記憶體。

顯示區域取出部260係從保持於圖像記憶體250中之合成圖像中取出作為顯示之對象之區域的顯示區域之範圍內所存在之圖像者，並將所取出之圖像保持於顯示用記憶體270中。再者，關於該顯示區域之範圍內所含有之圖像之取出，將參照圖20、圖21等進行詳細的說明，關於顯示區域中之當前圖像之位置的計算，將參照圖21等進行詳細的說明。

顯示用記憶體270係將由顯示區域取出部260從圖像記憶體250中取出之圖像加以保持的顯示用緩衝區，並將所保持之圖像顯示於顯示部290上。

顯示控制部280係使保持於顯示用記憶體270中之合成圖像之每一幀依序顯示於顯示部290者。又，顯示控制部280根據從檔案取得部140所輸出之元資料檔案之內容，使表示各動畫之代表圖像顯示於顯示部290。又，顯示控制部280根據從檔案取得部140所輸出之相對關係元資料檔案之內容，於代表各動畫之代表圖像中，對與當前再生中之動畫共通而儲存於相對關係元資料檔案中之動畫ID相對應之代表圖像附以粗框等之標記而顯示。

顯示部290係根據顯示控制部280之控制而顯示於顯示用記憶體270中所保持之合成圖像及代表圖像之一覽者。例如，可由個人電腦或者電視之顯示器而實現。再者，關於合成圖像之顯示例，將參照圖42至圖46等進行詳細的說明。此處，在選擇構成動畫之圖像中之一致點時，如圖9(a)及(b)所示，在顯示於顯示部290上之畫面上，顯示有根據滑鼠之變動而移動之光標(滑鼠指標)。

圖2係表示本發明之實施形態之鏡頭運動檢測部120之功能構成例的方塊圖。鏡頭運動檢測部120包括：特徵點提取部121、光流計算部122、及鏡頭運動參數計算部123。

特徵點提取部121係從與構成自動畫輸入部110所輸出之動畫之幀相對應的圖像中提取特徵點，並將所提取之特徵點輸出至光流計算部122者。此處，特徵點提取部121對於構成從動畫輸入部110輸出之動畫之幀中的前頭之幀，從圖像全體中提取特徵點，對於除前頭以外之幀，與前一幀相對應之圖像進行比較後從新拍攝之區域部分提取特徵點。再者，作為特徵點，例如可提取縱向或者橫向上之邊緣斜率較強之點(一般稱為「角點」，以下，稱為「角點」)。該角點係光流之計算中較強的特徵點，可使用邊緣檢測而求出。再者，關於該角點之提取，將參照圖6及圖7進行詳細的說明。又，於該例中，特徵點提取部121對於前頭之幀，從圖像全體中提取特徵點，而對於除前頭以外之幀，則與前一圖像進行比較後從新拍攝之區域部分提取特徵點，但根據處理能力等，對於除前頭以外之各幀，亦可從圖像全體中提取特徵點。

光流計算部122係計算相對於從特徵點提取部121所輸出之各特徵點之光流者，並將計算所求出之光流輸出至鏡頭運動參數計算部123中。具體而言，將與構成從動畫輸入部110所輸出之動畫之連續的2個幀(當前幀及其前一幀)相對應之各圖像加以比較，由此求出與對應於前一幀之圖像中之各特徵點相對應之光流，並作為當前幀之光流。又，光流係針對構成動畫之每一幀而求出。再者，作為檢測光流之檢測方法，可使用斜率法或方塊匹配方法等之檢測方法。再者，關於該光流之計算，將參照圖6及圖7進行詳細的說明。

鏡頭運動參數計算部123係使用與從光流計算部122所輸出之各特徵點相對應之光流，來進行計算鏡頭運動參數之鏡頭運動參數計算處理者，並將計算出的鏡頭運動參數輸出至記錄控制部130中。此處，於本發明之實施形態中，將構成作為再生之對象之複數個動畫之各圖像隨著攝像機之變動而分別轉換顯示。為進行該圖像之轉換，使用由光流計算部122所計算之光流來提取攝像機之變動，並根據該提取之變動而計算鏡頭運動參數(轉換參數)。再者，於本發明之實施形態中，關於將構成作為再生之對象之動畫之圖像加以轉換的圖像轉換方法，以使用仿射轉換為例進行說明。又，作為鏡頭運動參數，以與根據光流所計算之仿射轉換參數之矩陣之反矩陣相對應之仿射轉換參數為例進行說明。即，於本發明之實施形態中，將用作轉換資訊之仿射轉換參數定義為，並非表示連續的圖像間之特徵點之變動的仿射矩陣，而係表示在以連續的圖像中之1個圖像作為基準圖像之情形時，與該基準圖像之下一圖像移動至何處之仿射矩陣相對應的仿射轉換參數。又，作為鏡頭運動參數，以使用仿射轉換參數為例進行說明，但亦可使用投影轉換等之其他的圖像轉換方法。再者，仿射轉換參數可使用3點之向量而計算求出。又，投影轉換參數可藉由使用4點之向量而計算求出。此處，鏡頭運動參數係以構成攝像動畫之攝像圖像中之至少1個攝像圖像作為基準而用以將其他的攝像圖像加以轉換之轉換資訊，其係含有至少攝像機之座標系中所記述之位置資訊及姿勢資訊者。即，鏡頭運動參數係包含與拍攝者進行拍攝時之攝像機之位置及姿勢相關的資訊者。又，根據由鏡頭運動參數計算部123所求出的仿射轉換參數，例如可推定放大、縮小、左右搖攝、上下搖攝、旋轉等之拍攝者之操作所引起的攝像機之變動。再者，關於仿射轉換參數之計算，將參照圖6及圖7進行詳細的說明。

圖3係表示本發明之實施形態之一致點檢索部340之功能構成例的方塊圖。一致點檢索部340包括：動畫取得部141、多重解析度生成部341、特徵點提取部342、特徵量提取部343、模式字典註冊部344、多重解析度生成部345、特徵點提取部346、特徵量提取部347、kd樹構築部348及特徵量比較部349。而且，一致點檢索部340係對構成複數個動畫之幀間之部分的一致度進行計算，並根據所計算出的一致度而將複數個動畫自動地建立關聯者。

動畫取得部141係與來自操作受理部160之動畫取得之操作輸入相對應而取得記憶於動畫記憶部200中之2個動畫檔案者，並將構成已取得之1個動畫檔案之圖像對應每一幀而輸出至多重解析度生成部341中。又，將構成其他動畫檔案之圖像對應每一幀而輸出至多重解析度生成部345中。

多重解析度生成部341係針對從動畫取得部141所輸出之圖像，以預先規定之比例使其解析度降低，由此將複數個不同之解析度之圖像所組成之多重解析度圖像以相較認識時更細緻的精度而生成者，且將已生成之多重解析度圖像輸出至特徵點提取部342。

特徵點提取部342係針對從多重解析度生成部341所輸出之多重解析度圖像之各個解析度圖像而提取特徵點者，並將已提取之特徵點輸出至特徵量提取部343中。該特徵點之提取方法例如可使用與圖2所示之特徵點提取部121之特徵點提取方法相同之方法。

特徵量提取部343係提取從特徵點提取部342所輸出之特徵點中之至少2個局部的特徵量者，且其係使已提取之特徵量註冊到模式字典註冊部344者。此處，由特徵量提取部343所提取之2個局部的特徵量中，作為第1類型之特徵量，提取特徵點附近之濃度斜率之方向柱狀圖，作為第2類型之特徵量，提取維數退化濃度斜率向量。

模式字典註冊部344係將從特徵量提取部343所輸出之特徵量加以註冊者，並將所註冊之特徵量供給至kd樹構築部348中。

多重解析度生成部345係對於從動畫取得部141所輸出之圖像，以預先規定之比例使其解析度下降，從而將由複數個不同之解析度之圖像所組成之多重解析度圖像以相較學習時更粗的精度而生成者，且將已生成之多重解析度圖像輸出至特徵點提取部346。

特徵點提取部346係對於從多重解析度生成部345所輸出之多重解析度圖像之各個解析度圖像而提取特徵點者，並將已提取之特徵點輸出至特徵量提取部343中。該特徵點之提取方法例如可使用與特徵點提取部342相同之方法。

特徵量提取部347係提取從特徵點提取部342所輸出之特徵點中之至少2個局部的特徵量者，且其係將已提取之特徵量輸出至特徵量比較部349者。該特徵量提取例如可使用與特徵量提取部343相同之方法。

kd樹構築部348係根據註冊到模式字典註冊部344中之各特徵量來構築在特徵量比較部349進行的特徵量之比較中所使用之kd樹者，並將已構築之kd樹輸出至特徵量比較部349中。此處，在由特徵量比較部349對特徵量進行比較時，將從特徵量提取部347所提取之各特徵點特徵量、及註冊到模式字典註冊部344中之各特徵點特徵量加以比較，並檢索從類似的特徵量提取部347所提取之特徵點特徵量與註冊到模式字典註冊部344中之特徵點特徵量之組合。作為該特徵量比較方法，最簡單的方法為全探索。即，最簡單的方法為，相對於特徵量提取部347所提取之各特徵點特徵量，進行與註冊到模式字典註冊部344中之各特徵點特徵量之特徵量間類似度的計算，並根據該計算出的類似度而選擇類似的特徵點特徵量之組合之方法。然而，全探索之方法中，處理時間變長。因此，於本發明之實施形態中，對於以下示例進行說明，即，為了從大量的資料群中高速地檢索資料，使用以kd樹之資料構造之樹探索手法(J. H. Friedman,J. L. Bentley,R. A. Finkel:"An algorithm for finding best matches in logarithmic expected time,"ACM Transactions on Mathematical Software,Vol.3,No.3,pp.209-226,September 1977.)。Kd樹係指k維之木構造之樹。再者，於本發明之實施形態中，分別構築類型1之特徵量之36d樹(k=36)與類型2之特徵量之18d樹(k=18)。於已構築之樹之各葉(終端節點)上，一併保持有1個特徵點特徵量可參照如下信息的標籤等之資訊，即，關於該特徵量係從哪一幀之多重解析度圖像群之哪一圖像的什麼範圍所提取之怎樣的特徵點之特徵量等。

特徵量比較部349將從特徵量提取部347所提取之各特徵點特徵量、與作為由kd樹構築部348構築之Rd樹所呈現的各特徵點特徵量進行比較，探索k-NN(k Nearest Neighbor，k最近鄰居)，以此計算類似度並檢索類似的特徵點特徵量之組合，將與已檢索之特徵點特徵量之組合相對應之特徵點之位置作為一致點而輸出至相對關係資訊計算部180中。此處，亦可將與1個或者複數個動畫相關的特徵量預先註冊到模式字典註冊部344中，並由動畫取得部141依序取得記憶於動畫記憶部200中之其他的動畫檔案，再對已註冊之動畫與其他的動畫之一致點進行依序檢索。又，一致點檢索部340亦可依序取得記憶於動畫記憶部200中之各動畫檔案，並自動地依序檢索與記憶於動畫記憶部200中之各動畫檔案相關的一致點。再者，關於作為檢索之對象之一致點，將參照圖10進行詳細的說明。

圖4係示意性表示本發明之實施形態之動畫記憶部200及元資料記憶部210中所記錄之各檔案的示圖。圖4(a)中，顯示有記憶於動畫記憶部200中之動畫檔案201至204、與動畫檔案201至204建立關聯而記憶於元資料記憶部210中之元資料檔案211至213。此處，用以識別記憶於動畫記憶部200中之各動畫檔案之識別資訊即動畫ID被賦予各動畫檔案。例如，對動畫檔案201賦予「#1」，對動畫檔案202賦予「#2」，對動畫檔案204賦予「#n」。

圖4(b)係示意性表示記憶於動畫記憶部200中之動畫檔案201、及與動畫檔案201建立關聯而記憶於元資料記憶部210中之元資料檔案211。此處，動畫檔案201係由n張幀所構成之動畫之檔案，該等n張幀表示為幀「1」205至「n」208。

又，將動畫ID214、代表圖像215、幀編號216及仿射轉換參數217建立關聯而儲存於元資料檔案211中。

動畫ID214係對所對應之動畫檔案賦予之動畫ID，例如，儲存有對動畫檔案201所賦予之「#1」。

代表圖像215係表示對應之動畫檔案之動畫的圖像，例如儲存有從動畫檔案中所提取之至少1個圖像。例如，提取與構成動畫檔案之前頭之幀相對應之前頭圖像，並將該前頭圖像作為代表圖像而儲存。再者，作為代表圖像，可儲存表示動畫之其他的標記(例如，藉由動畫所作成之圖標)，亦可儲存從動畫檔案中提取之複數個圖像。於本發明之實施形態中，將對顯示該代表圖像並選擇所期望之動畫之例進行說明。

幀編號216係構成對應之動畫檔案之動畫之各幀的連貫編號，例如，儲存有與構成動畫檔案201之動畫之幀「1」205至「n」208相對應的「1」至「n」。

仿射轉換參數217係針對與幀編號216相對應之動畫之各幀而計算之仿射轉換參數。再者，與幀編號216之「1」相對應之仿射轉換參數217「a1，b1，c1，d1，e1，f1」係單位矩陣之仿射轉換參數。又，與幀編號216之「m(m為2以上之整數)」相對應之仿射轉換參數217之「am，bm，cm，dm，em，fm」係與幀「m」之前一幀「m-1」相對應之仿射轉換參數。

圖5係示意性表示記憶於本發明之實施形態之動畫記憶部200及相對關係資訊記憶部220中之各檔案的示圖。該例係示意性表示記憶於動畫記憶部200中之動畫檔案201至204、及與動畫檔案201至204建立關聯而記憶於相對關係資訊記憶部220中之相對關係元資料檔案221至223的示圖。於該例中，將對如下示例進行說明，即，將構成動畫檔案(#1)201之幀「5」361及幀「8」362、構成動畫檔案(#2)202之幀「7」363及幀「9」364、及構成動畫檔案(#3)203之幀「3」365及幀「10」366，與記憶於相對關係資訊記憶部220中之相對關係元資料檔案221至223建立關聯而記憶。再者，關於記憶於動畫記憶部200中之各動畫檔案，與圖4所示之動畫檔案相同，故省略此處之說明。

將動畫ID224、幀編號225、仿射轉換參數226建立關聯並分別儲存於相對關係元資料檔案221至223中。

動畫ID224係對與相互包含至少3個一致點之2個圖像相對應之2個動畫檔案所賦予的動畫ID，例如，在相對關係元資料檔案221中，儲存有對動畫檔案201所賦予之「#1」及對動畫檔案202所賦予之「#2」。

幀編號225係對與相互包含至少3個一致點之2個圖像相對應之2個幀之連貫編號，例如，於相對關係元資料檔案221中，儲存有構成動畫檔案201之動畫之幀的幀編號「5」、及構成動畫檔案202之動畫之幀的幀編號「7」。

仿射轉換參數226係對與動畫ID224及幀編號225相對應之至少2個圖像所計算之仿射轉換參數，例如，於相對關係元資料檔案221中，儲存有與構成動畫檔案201之動畫之幀「5」及構成動畫檔案202之動畫之幀「7」相對應的作為仿射轉換參數之「ao，bo，co，do，eo，fo」。再者，於本發明之實施形態中，仿射轉換參數226係在將與對應之2個動畫ID224及幀編號225中之圖5所示之下側之幀編號相對應的圖像作為基準圖像、且將上側作為對象圖像之情形時的仿射轉換參數。例如，儲存於相對關係元資料檔案221中之仿射轉換參數226係構成動畫檔案(#1)201之動畫之幀「5」361相對於構成動畫檔案(#2)202之動畫之幀「7」363的仿射轉換參數。

其次，參照圖式，對圖像轉換中所使用之仿射轉換參數進行檢測之檢測方法加以詳細的說明。

圖6(a)至(c)係與構成動畫之幀相對應之圖像之一例的示圖。圖7(a)係表示將與圖6所示之圖像300相對應之幀之1幀前的幀所對應之圖像之背景等省略而簡化的圖像之示圖。又，圖7(b)及(c)係表示將圖6所示之圖像300之背景等省略而簡化之圖像的示圖。

於圖6及圖7所示之圖像300、320、330中，包含有人正在騎的馬的像301、321、331、及設置於該馬的像301、321、331之近前之蛇的像302、322、332。又，如圖6所示，該等像之背景中存在有旗子及椅子等，該旗子正在隨風飄揚。

圖7(a)所示之圖像320係將與圖6(a)至(c)及圖7(b)及(c)所示之圖像300、330相對應之幀之1幀前的幀所對應之圖像簡化後之圖像。又，與2個連續之幀相對應之圖像320及330係在畫面內之被拍攝體逐漸變大時之變化的圖像。即，於該拍攝時，進行讓畫面內之被拍攝體逐漸變大之操作即放大操作。

於本發明之實施形態中，以從構成動畫之圖像中檢測特徵點、且使用與該特徵點相對應之光流來計算仿射轉換參數之方法作為示例進行說明。又，於該例中，對於使用角點作為特徵點之情形加以說明。

此處，於圖7(a)至(c)中，以使用與從圖像320及330中所檢測出的3個角點相對應之光流來計算仿射轉換參數之方法作為示例加以說明。

例如，圖7(a)所示之圖像320中，將馬的像321中之口部附近之角點323、馬的像321中之人的臀部附近之角點324、及蛇的像322中之口部附近之角點325作為特徵點來檢測。於該情形時，於圖7(b)所示之圖像330中，藉由斜率法及方塊匹配法等而檢測相對於圖像320之角點323、324及325之光流337、338及339。然後，根據該檢測出的光流337、338及339而檢測與圖像320中之角點323、324及325相對應之角點333、334及335。

此處，例如，圖7(a)及(b)所示之圖像320及330中含有之馬的像321、331及蛇的像322、332並非由於其係設置於地面上者從而為與攝像機之變動無關係地變動者。因此，根據針對馬的像321、331及蛇的像322、332而檢測之角點所求出之光流，可正確地推定攝像機之變動。例如，如圖7(c)所示，根據圖像330中所檢測出的3個光流337至339，可推定圖像330係以點336為中心而將圖像320放大所成者。藉此，可判斷在圖像330之拍攝時之攝像機之變動係以點336為中心的放大動作。如此，對於並非與攝像機之變動無關係地變動之物體檢測其角點，並根據針對該角點所求出之光流，可正確地檢測出具有一定的規則性之攝像機之變動。因此，使有針對該等角點所求出之光流，可計算求出仿射轉換參數。

然而，考慮如隨風飄揚之旗子等的與攝像機之變動無關係地變動之物體包含於圖像內之情形。例如，在圖6所示之圖像300中，含有正在隨風飄揚的旗子。在對於如此之與攝像機之變動無關係地變動之物體檢測其角點、並使用針對該角點所求出之光流而推定攝像機之變動之情形時，可正確地推定攝像機之變動。

例如，將圖6(b)所示之圖像300中所檢測出的光流用箭頭來表示，且將根據該光流所檢測之角點用箭頭之前端為中空的圓來表示。此處，角點303至305係與圖7(b)及(c)所示之角點333至335相對應之角點。又，角點306至311係對馬的像301之背景中存在之旗子所檢測出的角點。並且，由於該等旗子正在隨風飄揚，故將在風之影響下的旗子之變動作為光流而檢測。即，與角點306至311相對應之各光流係針對與攝像機之變動無關係地變動之旗子而檢測者。因此，當計算仿射轉換參數時所使用之3個光流中含有與角點306至311中之至少1個角點相對應之光流時，無法檢測出正確的攝像機之變動。於該情形時，無法計算出正確的仿射轉換參數。

如上所示，例如，有時相對於與攝像機之變動無關係地變動之物體之光流(與圖6(b)所示之角點306至311相對應之各光流)、及在與攝像機之變動之關係方面具有一定的規則性之光流(與圖6(b)所示之角點306至311相對應之各光流以外之光流)會從拍攝圖像中被檢測出。

因此，於本發明之實施形態中，將對如下示例進行說明，即，進行複數次的根據3個光流而計算仿射轉換參數之仿射轉換參數計算處理，求出複數個仿射轉換參數，並從該等複數個仿射轉換參數之中選擇最佳的仿射轉換參數。再者，於該例中，構成動畫之各圖像中包含的運動物體之大小係相對於圖像之面積而言較小者。

此處，對仿射轉換進行簡單的說明。於二維上，將移動的源位置設為(x，y)，且將仿射轉換後之移動的目標位置設為(x'，y')，此時情形時仿射轉換之矩陣式可由式1來表示：

[式1]

★

此處，a至f為仿射轉換參數。又，可由下式來表示該仿射轉換參數之仿射矩陣AM。又，關於X方向之變焦成分XZ、Y方向之變焦成分YZ、X方向之平移成分XT、Y方向之平移成分YT、旋轉成分R，可分別由下式而求出。再者，對於單位矩陣之情形時，a=e=1，b=c=d=f=0。

[式2]

★

其次，對仿射轉換參數之計算方法進行說明。

最初，在與構成動畫之幀中之1個幀即當前幀相對應之圖像中，從被檢測出了光流之特徵點中選擇3個特徵點。例如，於圖6(b)所示之圖像300中所檢測出的角點(以中空之圓表示)中隨機地選擇3個角點。再者，在將投影轉換參數用作鏡頭運動參數時，隨機地選擇4個特徵點。

繼而，使用與已選擇之3個特徵點相對應之3個光流來計算仿射轉換參數。例如，使用與從圖6(b)所示之圖像300中之角點(以中空的圓表示)中所選擇的3個角點相對應之光流(以連接於中空的圓的箭頭表示)來計算仿射轉換參數。該仿射轉換參數可使用式1求出。

接著，根據已求出的仿射轉換參數而計算仿射轉換參數之得分。具體而言，使用已求出之仿射轉換參數，求出與當前幀之前一幀相對應之圖像中之所有的特徵點之移動的目標位置。然後，將使用該仿射轉換參數所求出的特徵點之位置與當前幀中已檢測出的特徵點之位置進行比較，針對每一特徵點來計算相互對應的2個特徵點之位置之差分值。作為差分值，例如，計算相互對應之2個特徵點之位置間之絕對距離。隨後，針對每一特徵點，將已計算出的差分值與預先設定之臨限值加以比較，將該差分值比臨限值小的特徵點之個數作為仿射轉換參數之得分而求出。如此，將從被檢測出了光流之特徵點中隨機地選擇3個特徵點、並根據與該等特徵點相對應之光流來計算仿射轉換參數之得分的處理反覆地進行特定次數，以對仿射轉換參數之得分進行複數次計算。該特定次數可根據作為比較對象之圖像之種類及圖像處理裝置100之處理能力等而適當設定，亦可使用固定值。作為該特定次數，例如可考慮圖像處理裝置100之處理能力而設定為20次左右。

例如，考慮從圖6(b)所示之圖像300中檢測出的角點之中選擇3個除角點306至311以外之角點。使用與以此方式選擇的3個角點相對應之3個光流來計算仿射轉換參數後，如上所述，由於該3個光流具有一定的規則性，故可求出將與前一幀相對應之圖像按照一定的規則進行轉換之仿射轉換參數。因此，對於使用仿射轉換參數所求出的角點之位置、及與當前幀中檢測出的角點之位置，與除角點306至311以外之角點相關而求出的差分值計算為相對較小的值。因此，仿射轉換參數之得分成為較大的值。

另一方面，考慮從圖6(b)所示之圖像300中所檢測出的角點之中選擇包含角點306至311中之至少1個的3個角點之情形。使用與如此所選擇之3個角點相對應之3個光流來計算仿射轉換參數時，如上所述，由於該3個光流中包含不具有一定的規則性之光流，故可求出並未將與前一幀相對應之圖像按照一定的規則進行轉換的仿射轉換參數。因此，對於使用仿射轉換參數而求出的角點之位置、及於當前幀中檢測出的角點之位置所求出的差分值，計算出在任意之角點為相對較大的值。因此，仿射轉換參數之得分成為較小的值。

接著，於已求出的複數個仿射轉換參數之得分之中，將得分值最大的仿射轉換參數選作代表仿射轉換參數。然後，計算出相對於所選擇的代表仿射轉換參數之矩陣之反矩陣，並將該反矩陣之仿射轉換參數與當前幀建立關聯而記錄於元資料記憶部210中。藉此，在將構成動畫之圖像進行仿射轉換時，可使用最佳的仿射轉換參數進行仿射轉換。

如上所示，當構成動畫之各圖像中含有人或車等之正在運動的物體(運動物體)時，在該運動物體之大小相對於圖像之面積而言比較小的情形時，可不受運動物體之影響而提取攝像機之變動。

又，可藉由提取攝像機之變動而推定設法讓拍攝者進行放大、縮小、左右搖攝、上下搖攝、旋轉等之移動的變動。

其次，參照圖式，對本發明的實施形態之圖像處理裝置100之動作加以說明。

圖8係表示本發明之實施形態之圖像處理裝置100的仿射轉換參數檢測處理之處理順序的流程圖。

最初，將動畫檔案輸出至動畫輸入部110中(步驟S900)。接著，將輸入至動畫輸入部110中之動畫檔案進行解碼，並按時間序列之順序取得1個幀之圖像(步驟S901)。然後，判斷所取得的1個幀是否為輸入至動畫輸入部110中之動畫檔案之前頭之幀(步驟S902)。當所取得的1個幀為前頭之幀情形時(步驟S902)，從與該前頭之幀相對應之圖像之全體中提取特徵點(步驟S903)。例如，如圖6(b)所示，於圖像中提取複數個角點。繼而，將單位矩陣之仿射轉換參數選作仿射轉換參數(步驟S904)，並轉到步驟S914。

另一方面，當所取得的1個幀並非為前頭之幀情形時時(步驟S902)，從以與前一幀相對應之圖像作為基準之新拍攝的區域中提取特徵點(步驟S905)。即，關於在與前一幀相對應之圖像中既已提取之特徵點，可藉由與該特徵點相對應之光流而求出，故在與當前幀相對應之圖像中未提取。

繼而，計算相對於從與前一幀相對應之圖像中已提取之各特徵點之光流(步驟S906)。即，如圖6(b)所示，計算相對於各角點之光流。

隨後，將變數i初始化為「1」(步驟S907)。其次，從已被檢測出了光流之特徵點之中選擇M個特徵點(步驟S908)。例如，在將仿射轉換參數用作鏡頭運動參數時，隨機地選擇3個特徵點。又，在將投影轉換參數用作鏡頭運動參數時，隨機地選擇4個特徵點。繼而，根據與已選擇之M個特徵點相對應而計算出的M個光流來計算仿射轉換參數(步驟S909)。

接著，根據已計算求出的仿射轉換參數而計算仿射轉換參數之得分(步驟S910)。具體而言，使用已計算求出的仿射轉換參數，求出與前一幀相對應之圖像中之所有的特徵點之移動的目標位置。然後，將使用該仿射轉換參數所求出的特徵點之位置、及步驟S906中計算光流時所求出的與當前幀相對應之圖像之特徵點的位置加以比較後，針對每一特徵點，計算相互對應的2個特徵點之位置之差分值。作為差分值，例如，計算相互對應之2個位置間的絕對距離。隨之，針對每一特徵點，將所計算出的差分值與預先設定的臨限值進行比較，將上述差分值比臨限值小的特徵點之個數作為仿射轉換參數之得分而求出。

繼而，將變數i加上「1」(步驟S911)，判斷變數i是否大於定數N(步驟S912)。當變數i為定數N以下時(步驟S912)，返回到步驟S908，反覆執行仿射轉換參數之得分計算處理(步驟S908至S910)。例如，可使用20來作為定數N。

另一方面，當變數i大於定數N時(步驟S912)，在已求出的仿射轉換參數之得分中，將得分值最大的仿射轉換參數選作代表仿射轉換參數(步驟S913)。繼而，將相對於已選擇之代表仿射轉換參數之矩陣之反矩陣的仿射轉換參數與當前幀建立關聯而記錄於元資料記憶部210中(步驟S914)。再者，在當前幀為前頭之幀的情形時，將已選擇的單位矩陣之仿射轉換參數與前頭之幀建立關聯而記錄於元資料記憶部210中。然後，將與當前幀相對應之圖像及該圖像中之特徵點加以覆寫保存(步驟S915)。

繼而，判斷當前幀是否為輸入到動畫輸入部110中之動畫檔案之最後之幀(步驟S916)。在當前幀並非為最後之幀情形時時(步驟S916)，返回到步驟S901，反覆執行仿射轉換參數檢測處理(步驟S901至S915)。另一方面，在當前幀為最後之幀情形時時(步驟S916)，結束仿射轉換參數檢測處理。

於本發明之實施形態中，作為鏡頭運動參數之檢測，以根據構成動畫之圖像中已被檢測出的光流而檢測仿射轉換參數作為示例進行了說明，但亦可將加速度感測器或陀螺感測器等之感測器或者在實施變焦操作時所使用之變焦按鈕設置於攝像機上，利用該感測器或變焦按鈕來檢測拍攝時的攝像機之移動量，並根據該攝像機之移動量而求出鏡頭運動參數。再者，關於該等拍攝時所檢測出的攝像機之移動量，可在判斷由鏡頭運動參數計算部123所求出的鏡頭運動參數是否正確時使用。又，亦可利用鏡頭運動參數計算部123來檢測複數個鏡頭運動參數，並根據拍攝時所檢測出的攝像機之移動量，從該複數個鏡頭運動參數之中選擇1個鏡頭運動參數。

圖9係概略地表示藉由選擇圖像中含有之一致點而計算與2個圖像相關的仿射轉換參數之仿射轉換參數計算方法、及根據上述已選擇的一致點而使2個圖像合成之情形之示圖。於圖9(a)中，顯示有構成作為基準之1個動畫之基準圖像之一例即圖像370，於圖9(b)中，顯示有構成作為比較對象之其他的動畫之比較對象圖像之一例即圖像376。圖9(a)及(b)所示之圖像370及376係表示使包含圖像370或者376之任一者之2個動畫於顯示部290中之再生步驟中停止之狀態的圖像。於該例中，概略地表示於顯示部290中使動畫停止之狀態下，以手動的方式指定該動畫停止時所顯示之圖像中之一致點的選擇方法。於圖9(c)中，顯示有使用於圖像370及376中所選擇之各一致點來計算仿射轉換參數時所使用之光流之檢測例。又，於圖9(d)中，顯示有根據在圖像370及376中所選擇之各一致點而使圖像370及376合成之情形之一例。

於圖9(a)及(b)所示之圖像370及376中，含有作為同一對象物之房屋371。此處，在利用使用者之手動操作而作成與含有圖像370之動畫、及含有圖像376之動畫相關的相對關係元資料檔案時，藉由使用者之手動操作使得該等2個動畫再生，且使含有同一對象物之圖像顯示於顯示部290上。例如，使含有作為同一對象物之房屋371之圖像370及376於顯示部290上顯示。於該情形時，可使圖像370及376該2個圖像顯示於顯示部290上之同一畫面上，亦可依序顯示1個圖像。

例如，在將圖9(a)所示之圖像370顯示於顯示部290上之狀態下，於操作受理部160中使用者進行操作輸入，由此使用光標375來指定房屋371之屋頂之上部分372、房屋371之下側之角部分373及374。例如，在讓光標375與應指定之部分相重疊之狀態下進行左擊操作，以此可指定所期望之部分。在如此進行了指定操作之情形時，如圖9(a)所示，例如，可對被指定操作之部分附以圓標記從而讓使用者認識該部分。又，對於圖9(b)所示之圖像376，同樣地指定房屋371之屋頂之上部分377、房屋371之下側之角部分378及379。在由使用者進行了該等指定操作後，一致點選擇部170將上述已指定之位置選作圖像中之一致點，並將上述所選擇之一致點之位置及所指定之順序連同圖像一併輸出至相對關係資訊計算部180中。

如圖9(a)及(b)所示，於2個圖像370及376中分別選擇了3個一致點之情形時，相對關係資訊計算部180根據該等一致點而計算向量，並使用該計算出的向量而計算仿射轉換參數。該向量之計算例如係根據已指定之一致點之順序而選擇2個圖像中相對應之一致點之組合，並利用該一致點之組合而計算出。例如，於圖像370中，以房屋371之屋頂之上部分372、房屋371之下側之角部分373、374之順序進行指定操作，進而，於圖像376中，在以房屋371之屋頂之上部分377、房屋371之下側之角部分378、379之順序進行了指定操作的情形時，對圖像370中之上部分372、圖像376中之上部分377之向量進行計算，並對圖像370中之角部分373及圖像376中之角部分378之向量進行計算，對圖像370中之角部分374及圖像376中之角部分379之向量進行計算。如此，將根據圖像370及376中已選擇之各一致點所計算出的向量於圖9(c)中以箭頭381至383表示。再者，於圖9(c)所示之圖像380中，以虛線表示圖9(a)所示之圖像370中含有之線，以實線表示圖9(b)所示之圖像376中含有之線。使用以此計算出的向量來計算仿射轉換參數。關於該仿射轉換參數之計算，與圖6及圖7所示之計算方法相同。再者，於本發明之實施形態中，對於將與使用一致點所計算之仿射轉換參數之矩陣之反矩陣相對應的仿射轉換參數用作相對關係元資料之例進行說明。即，將用作相對關係元資料之仿射轉換參數定義為，在以2個圖像中之1個圖像作為基準圖像之情形時與表示其他圖像向哪里移動之仿射矩陣相對應之仿射轉換參數，而並非由求出了一致點之2個圖像間之向量所表示的仿射矩陣。

再者，相對關係資訊計算部180亦可不使用已指定之順序來計算仿射轉換參數。例如，於各圖像中，對於已選作一致點之3點之各個組合而計算向量。當於2個圖像中分別選擇3個一致點時，考慮6組之組合來作為各圖像中之一致點之組合。繼而，使用對該6組之組合所計算出的各向量而計算6組之仿射轉換參數。然後，以2個圖像中之一方之圖像作為基準圖像，以另一方之圖像作為比較對象圖像，使用已計算出的6組之仿射轉換參數而將比較對象圖像依序進行仿射轉換。藉此，作成1個基準圖像及6個仿射轉換後之比較對象圖像。隨後，將基準圖像中之以3個一致點為頂點之三角形之內部所存在的像素、及仿射轉換後之比較對象圖像中之以3個一致點為頂點的三角形之內部所存在之像素加以比較，依序計算存在於各三角形之內部之像素的亮度值之差分值。藉此，計算與6組之仿射轉換參數相對應之6個差分值之平方的共計值。繼而，從所計算出的6個差分值之中選擇值最小的差分值之仿射轉換參數，並將上述已選擇之仿射轉換參數作為與經一致點之指定操作之2個圖像相關的仿射轉換參數而決定。

又，例如，在使用根據於圖像370及376中所選擇之各一致點而計算出的仿射轉換參數來將圖像370進行仿射轉換並於圖像376上進行了覆寫合成的情形時，作成圖9(d)所示之圖像384。如此，使用已計算出的仿射轉換參數來合成圖像370及376，從而作成在房屋371之周圍之背景比各圖像之背景更廣範圍內含有之合成圖像。

圖10係概略地表示藉由選擇圖像中含有之一致點而計算與2個圖像相關的仿射轉換參數之仿射轉換參數計算方法的示圖。此處，將對如下示例加以說明，即，利用圖1及圖3所示之一致點檢索部340來檢索圖像中含有之一致點，且使用上述檢索出的一致點來計算與2個圖像相關之仿射轉換參數。再者，圖10(a)至(c)所示之圖像370、376、380中，以圓來表示由一致點檢索部340檢索出的各特徵點，除此之外，與圖9(a)至(c)所示之圖像370、376、380為相同者。如上所述，一致點檢索部340計算構成動畫之幀間的部分一致度，並根據上述已計算出的一致度而將複數個圖像自動地建立關聯。當對2個動畫進行一致點之檢索時，例如，提取特徵點801至810、372至374來作為圖像370中之特徵點，並提取特徵點811至823、377至379來作為圖像376中之特徵點。然後，從已提取之特徵點之中選擇各圖像中類似之特徵點之組合。例如，於圖像370及376中，選擇特徵點805至810、372至374及特徵點818至823、377至379。於圖10(a)及(b)中，將該匹配之特徵點以粗圓表示。從如此所選擇之特徵點之中，將用於仿射轉換參數之計算之3個特徵點作為一致點而檢索。例如，於圖像370及376中，將特徵點372至374、特徵點377至379作為一致點而檢索。該一致點之檢索例如係選擇類似度之得分為最高得分的特徵點之組合。然後，根據上述檢索出的一致點而計算向量，並根據該向量而計算仿射轉換參數。再者，對於該等仿射轉換參數之計算，與圖9所示之計算方法相同。

其次，參照圖式，對於使用由鏡頭運動檢測部120所計算出的仿射轉換參數而對1個動畫進行再生顯示之情形進行詳細的說明。再者，為進行說明，將圖11至圖19所示之各圖像簡化，且使連續的2個幀間之移動量變大而顯示。

最初，對於在攝像機之拍攝時，倍率並未變更、但以攝像機之位置為中心而讓攝像機之鏡頭方向朝上下左右之任一方向移動的情形進行說明。

圖11係表示藉由攝像機所拍攝之動畫之變化之一例的示圖。圖11係表示以山為背景而拍攝人400之情形時的與動畫中含有之連續之幀相對應的圖像401至403之示圖。於該例中，顯示有拍攝者一面讓攝像機之鏡頭方向朝右及上側移動一面進行拍攝之情形。於該情形時，藉由攝像機所拍攝之動畫中含有的人400在構成其動畫之圖像中從右側向左側移動同時向下側移動。

圖12係將圖11所示之各圖像中的與前一幀相對應之圖像以虛線表示，且表示所檢測出的光流之一例之示圖。圖12(a)所示之圖像401係與圖11(a)所示之圖像401為相同者。又，圖12(b)所示之圖像402中之實線部分係與圖11(b)所示之圖像402為相同者，圖12(b)所示之圖像402中之虛線部分係與圖12(a)所示之圖像401之實線部分為相同者。又，圖12(b)所示之圖像402中之箭頭404至406係表示從圖像402所檢測出的光流之一例。同樣地，圖12(c)所示之圖像403中之實線部分係與圖11(c)所示之圖像403為相同者，圖12(c)所示之圖像403中之虛線部分係與圖12(b)所示之圖像402之實線部分為相同者。又，圖12(c)所示之圖像403中之箭頭407至409係表示從圖像403所檢測出之光流之一例。

如圖12(b)及(c)所示，隨著攝像機之移動，圖像中含有的人400及作為背景的山會移動。根據由該移動而檢測出的光流，可針對每一幀而求出仿射轉換參數。

圖13係表示對包含圖11所示之圖像401至403之動畫一面合成一面再生之情形時的圖像合成例之示圖。再者，於本發明之實施形態中，為了將構成2個動畫之各圖像加以合成，隨著再生時間之經過，顯示於顯示部290上之圖像會變得比通常圖像更大。因此，最初所顯示之圖像相對於顯示部290之顯示區域之大小會比較小地顯示。再者，亦可由使用者來指定最初顯示之圖像之大小及位置等。

如圖13(a)所示，最初，僅與前頭之幀相對應之圖像401被顯示。此處，將與圖像401相對應之仿射轉換參數之矩陣(3×3之矩陣)設為A1時，求出A1之值，並以前頭之幀之圖像401之位置及大小作為基準，藉由所求出的A1之矩陣而將圖像401進行仿射轉換。此處，由於A為單位矩陣，故圖像401之位置及大小未被轉換。繼而，在與其次之幀相對應之圖像402被顯示時，使用與該幀建立關聯之仿射轉換參數來將圖像402進行仿射轉換。具體而言，在將與圖像402相對應之仿射轉換參數之矩陣設為A2，且將與圖像401相對應之仿射轉換參數之矩陣設為A1時，求出A1×A2之值，並以前頭之幀之圖像401之位置及大小作為基準，藉由所求出的A1×A2之矩陣而將圖像402進行仿射轉換。在圖13(b)所示之圖像中，僅圖像402之位置被轉換。而且，將藉由仿射轉換參數進行仿射轉換後之圖像402以重疊的方式覆寫到與前一幀相對應之圖像401上。即，於圖像401之區域中，對於與圖像402相重疊之區域410，圖像402之圖像被覆寫。又，於圖像401之區域中，對於未與圖像402相重疊之區域411，圖像401之圖像被合成。即，當要顯示與第2個幀相對應之圖像402時，如圖13(b)所示，會顯示將圖像402之全體部分、及與圖像401中之區域411相對應之部分合成後的圖像。又，可使正在顯示之圖像中表示為最新之圖像的圖像框顯示在與當前幀相對應之圖像之周圍。於圖13(b)中，將圖像框顯示於圖像402中。又，將對圖像402進行了仿射轉換之仿射轉換參數保持於圖像轉換部150中。

繼而，當要顯示與其次之幀相對應之圖像403時，使用與該幀建立關聯之仿射轉換參數而將圖像403進行仿射轉換。即，藉由使用與圖像403相對應之仿射轉換參數之矩陣、及與前一仿射轉換中所使用之圖像402相對應之仿射轉換參數之矩陣所求出的仿射轉換參數，來將圖像403進行仿射轉換。具體而言，將與圖像403相對應之仿射轉換參數之矩陣設為A3，將與圖像402相對應之仿射轉換參數之矩陣設為A2，且將與圖像401相對應之仿射轉換參數之矩陣設為A1，在此情形時求出A1×A2×A3之值，並以前頭之幀之圖像401之位置及大小作為基準，藉由所求出的A1×A2×A3之矩陣而將圖像403進行仿射轉換。於圖13(c)所示之圖像中，僅圖像403之位置被轉換。而且，將藉由仿射轉換參數進行了仿射轉換之圖像403以重疊的方式覆寫到與此前之幀相對應之圖像401及402之合成圖像上。即，在圖像401及402之合成圖像之區域中，對於與圖像403相重疊之區域413及414，圖像403之圖像被覆寫。又，於圖像401及402之合成圖像之區域中，對於未與圖像403相重疊之區域411及412，圖像401及402之合成圖像被合成。即，當要顯示與第3個幀相對應之圖像403時，如圖13(c)所示，會顯示將圖像403之全體部分、與圖像401中之區域411相對應之部分、及與圖像402中之區域412相對應之部分合成後的圖像。又，當要使正在顯示之圖像中表示為最新之圖像的圖像框顯示在與當前幀相對應之圖像之周圍時，將圖像框顯示於圖13(c)所示之圖像403上。又，將對圖像403進行了仿射轉換之仿射轉換參數保存於圖像轉換部150中。即，將藉由與圖像402及403各自相對應之仿射轉換參數之矩陣之乘法運算所求出的仿射轉換參數保存於圖像轉換部150中。如此，在要將與當前幀相對應之圖像進行仿射轉換時，藉由使用與當前幀相對應之仿射轉換參數之矩陣、及與該前一幀之前的各幀相對應之仿射轉換參數之矩陣所求出的仿射轉換參數，來將與當前幀相對應之圖像進行仿射轉換。將該仿射轉換時所求出的仿射轉換參數保持於圖像轉換部150中，並於其次的仿射轉換中使用。又，關於圖16及圖19之情形亦相同。

其次，對於在攝像機之拍攝時，攝像機之鏡頭方向並未移動、但倍率有所變更之情形加以說明。

圖14係表示藉由攝像機所拍攝之動畫之變化之一例的示圖。於圖14中，顯示有以山為背景來拍攝人420之情形時的與動畫中含有之連續之幀相對應的圖像421至423。於該例中，顯示有拍攝者一面讓攝像機之鏡頭之倍率上升一面進行拍攝之情形。於該情形時，由攝像機所拍攝之動畫中含有的人420在構成其動畫之圖像中逐漸變大。再者，有時會在使倍率上升時攝像機之位置有若干移動，但於該例中，關於攝像機之位置之移動並未考慮而進行說明。

圖15係對圖14所示之各圖像中的與前一幀相對應之圖像以虛線表示，且其係表示所檢測出的光流之一例之示圖。圖15(a)所示之圖像421係與圖14(a)所示之圖像421為相同者。又，圖15(b)所示之圖像422中之實線部分係與圖14(b)所示之圖像422為相同者，圖15(b)所示之圖像422中之虛線部分係與圖14(a)所示之圖像421之實線部分為相同者。又，圖15(b)所示之圖像422中之箭頭424至426表示從圖像422所檢測出的光流之一例。同樣地，圖15(c)所示之圖像423中之實線部分係與圖14(c)所示之圖像423為相同者，圖15(c)所示之圖像423中之虛線部分係與圖14(b)所示之圖像422之實線部分為相同者。又，圖15(c)所示之圖像423中的箭頭427至429表示從圖像423所檢測出的光流之一例。

如圖15(b)及(c)所示，隨著倍率之變更，圖像中含有的人420及作為背景的山之大小會有所變更。根據由該變更所檢測出的光流，可針對每一幀而求出仿射轉換參數。

圖16係表示對包含圖14所示之圖像421至423之動畫進行再生時之顯示例的示圖。

如圖16(a)所示，最初，僅與前頭之幀相對應之圖像421被顯示。繼而，在顯示與其次之幀相對應之圖像422時，使用與該幀建立關聯之仿射轉換參數將圖像422進行仿射轉換。於圖16(b)所示之圖像中，僅圖像422之大小被轉換。而且，將藉由仿射轉換參數進行了仿射轉換之圖像422以重疊的方式覆寫到與前一幀相對應之圖像421上。即，於圖像421之區域中，對於與圖像422相重疊之區域，圖像422之圖像被覆寫。於該情形時，由於圖像421與圖像422之所有區域相重疊，故圖像422之所有圖像被覆寫到圖像421上。又，於圖像421之區域中，對於未與圖像422相重疊之區域431，圖像421之圖像被合成。即，當要顯示與第2個幀相對應之圖像422時，如圖16(b)所示，會顯示將圖像422之全體部分、及與圖像421中之區域431相對應之部分合成後的圖像。又，可使正在顯示之圖像中表示為最新之圖像的圖像框顯示在與當前幀相對應之圖像之周圍。於圖16(b)中，將圖像框顯示於圖像422中。又，將對圖像422進行了仿射轉換之仿射轉換參數保存於圖像轉換部150中。

繼而，在要顯示與其次之幀相對應之圖像423時，使用與該幀建立關聯之仿射轉換參數而將圖像423進行仿射轉換。即，藉由將與圖像423相對應之仿射轉換參數之矩陣、及與前一仿射轉換中所使用之圖像422相對應之仿射轉換參數之矩陣進行乘法運算所求出的仿射轉換參數，來將圖像423進行仿射轉換。於圖16(c)所示之圖像中，僅圖像423之大小被轉換。而且，將仿射轉換後之圖像423以重疊的方式覆寫到與此前之幀相對應之圖像421及422之合成圖像上。即，在圖像421及422之合成圖像之區域中，對於與圖像423相重疊之區域，圖像423之圖像被覆寫。於該情形時，由於圖像423係與圖像421及422之所有區域相重疊，故圖像423之所有圖像被覆寫到圖像421及422之合成圖像上。又，在圖像421及422之合成圖像之區域中，對於未與圖像423相重疊之區域432及433，圖像421及422之合成圖像被合成。即，當要顯示與第3個幀相對應之圖像423時，如圖16(c)所示，會顯示將圖像423之全體部分、與圖像421中之區域432相對應之部分、及與圖像422中之區域433相對應之部分合成後的圖像。又，當要使正在顯示之圖像中表示為最新之圖像的圖像框顯示在與當前幀相對應之圖像之周圍時，將圖像框顯示於圖16(c)所示之圖像423中。又，將對圖像423進行了仿射轉換之仿射轉換參數保存於圖像轉換部150中。即，將使用與圖像422及423各自相對應之仿射轉換參數所求出的仿射轉換參數保存於圖像轉換部150中。

其次，對於攝像機之拍攝時，攝像機之鏡頭之方向及倍率並未變更、但以拍攝方向作為旋轉中心而使攝像機旋轉之情形加以說明。

圖17係表示藉由攝像機所拍攝的動畫之變化之一例的示圖。於圖17中，顯示有以山為背景來拍攝人440之情形時的與動畫中含有之連續之幀相對應的圖像441至443。於該例中，顯示有拍攝者一面讓攝像機以拍攝方向作為旋轉中心而旋轉一面進行拍攝之情形。於該情形時，由攝像機所拍攝之動畫中含有之人440在構成其動畫之圖像中會旋轉。再者，有時會藉由攝像機之旋轉而使攝像機之位置有若干移動，但於該例中，關於攝像機之位置之移動並未考慮而進行說明。

圖18係將圖17所示之各圖像中的與前一幀相對應之圖像以虛線表示，且其係表示所檢測出的光流之一例之示圖。圖18(a)所示之圖像441係與圖17(a)所示之圖像441為相同者。又，圖18(b)所示之圖像442中之實線部分係與圖17(b)所示之圖像442為相同者，圖18(b)所示之圖像442中之虛線部分係與圖17(a)所示之圖像441之實線部分為相同者。又，圖18(b)所示之圖像442中之箭頭444至446表示從圖像442所檢測出的光流之一例。同樣地，圖18(c)所示之圖像443中之實線部分係與圖17(c)所示之圖像443為相同者，圖18(c)所示之圖像443中之虛線部分係與圖17(b)所示之圖像442之實線部分為相同者。又，圖18(c)所示之圖像443中之箭頭447至449表示從圖像443所檢測出的光流之一例。

如圖18(b)及(c)所示，隨著攝像機之旋轉，圖像中含有的人440及作為背景的山會旋轉移動。可根據由該旋轉移動而檢測出的光流來針對每一幀而求出仿射轉換參數。

圖19表示對包含圖17所示之圖像441至443在內的動畫進行再生時之顯示例之示圖。

如圖19(a)所示，最初，僅與前頭之幀相對應之圖像441被顯示。繼而，在顯示與其次之幀相對應之圖像442時，使用與該幀建立關聯之仿射轉換參數而將圖像442進行仿射轉換。在圖19(b)所示之圖像中，僅圖像442之角度被轉換。而且，將藉由仿射轉換參數進行了仿射轉換之圖像442以重疊的方式覆寫到與前一幀相對應之圖像441上。即，在圖像441之區域中，對於與圖像442相重疊之區域450，圖像442之圖像被覆寫。又，在圖像441之區域中，對於未與圖像442相重疊之區域451及452，圖像441之圖像被合成。即，當要顯示與第2個幀相對應之圖像442時，如圖19(b)所示，會顯示將圖像442之全體部分、及與圖像441中之區域451及452相對應之部分合成後的圖像。又，可使正在顯示之圖像中表示為最新之圖像的圖像框顯示在與當前幀相對應之圖像之周圍。於圖19(b)中，將圖像框顯示於圖像442中。又，將對圖像442進行了仿射轉換之仿射轉換參數保存於圖像轉換部150中。

繼而，在顯示與其次之幀相對應之圖像443時，使用與該幀建立關聯之仿射轉換參數而將圖像443進行仿射轉換。即，藉由使用與圖像443相對應之仿射轉換參數之矩陣、及與前一仿射轉換中所使用之圖像442相對應之仿射轉換參數之矩陣所求出的仿射轉換參數，來將圖像443進行仿射轉換。於圖19(c)所示之圖像中，僅圖像443之角度被轉換。而且，將進行了仿射轉換之圖像443以重疊的方式覆寫到與此前之幀相對應的圖像441及442之合成圖像上。即，於圖像441及442之合成圖像之區域中，對於與圖像443相重疊之區域453至457，圖像443之圖像被覆寫。又，在圖像441及442之合成圖像之區域中，對於未與圖像443相重疊之區域458至461，圖像441及442之合成圖像進一步被合成。即，當要顯示與第3個幀相對應之圖像443時，如圖19(c)所示，會顯示將圖像443之全體部分、與圖像441中之區域459相對應之部分、及與圖像442中之區域458及460相對應之部分合成後的圖像。又，當要使正在顯示之圖像中表示為最新之圖像的圖像框顯示在與當前幀相對應之圖像之周圍時，將圖像框顯示於圖19(c)所示之圖像443中。又，將對圖像443進行了仿射轉換之仿射轉換參數保存於圖像轉換部150中。即，將使用分別對應於圖像442及443之仿射轉換參數所求出的仿射轉換參數保存於圖像轉換部150中。

圖20係示意性表示本發明之實施形態之動畫記憶部200中所記憶的動畫檔案之各幀與顯示區域之關係的示圖。此處，僅對操作受理部160、元資料記憶部210及圖像記憶體250進行圖示，而對於除該等以外之構成則省略圖示。又，將對如下情形之示例進行說明，即，對於構成圖4(b)所示之動畫檔案201之幀「1」至「3」，使用記憶於元資料檔案211中之仿射轉換參數217而於圖像記憶體250中作成合成圖像。再者，於圖20中，例示有將1個動畫保持於圖像記憶體250中之情形，對於將複數個動畫保持於圖像記憶體250中之情形亦同樣地合成。

於圖20(a)中，顯示有將構成圖4(b)所示之動畫檔案201之幀中的最初之幀即幀1(205)保存於圖像記憶體250中之情形。例如，如圖20(a)所示，將與動畫檔案201之幀1(205)相對應之圖像471保存於圖像記憶體250中。此處，將與最初之幀相對應之圖像471保持於圖像記憶體250中之位置及大小設為由配置資訊計算部230所計算出的配置位置及大小。再者，以下，將配置於圖像記憶體250上的圖像471之左上之位置作為原點，並將橫向(橫軸)設為x軸，將縱向(縱軸)設為y軸而進行說明。

如圖20(a)所示，將圖像記憶體250上配置有圖像471時之顯示區域設為顯示區域470。顯示區域470例如可在進行了仿射轉換之圖像被壓縮而保持於圖像記憶體250中之情形時，將圖像記憶體250之全體決定為顯示區域。即，由配置資訊計算部230來計算顯示部290之顯示區域中的圖像471之配置位置及大小。另一方面，顯示區域470例如可在進行了仿射轉換之圖像未被壓縮而保持於圖像記憶體250中之情形時，根據配置資訊計算部230所計算出的配置位置及大小，以包含由當前正在再生之動畫所作成的最終的合成圖像之全體之方式而決定顯示區域。再者，亦可根據由操作受理部160所受理之顯示倍率之值而決定顯示區域。例如，與圖像471相對應之顯示區域470之位置可根據仿射轉換參數而決定。即，在指定將當前圖像縮小之「0.5倍」之顯示倍率時，使用讓x方向及y方向之變焦成分成為2倍之仿射轉換參數來設定顯示區域。又，在相對於當前圖像而使顯示區域平行移動時或者旋轉時，亦可使用仿射轉換參數來決定顯示區域之位置及範圍。

於圖20(b)中，顯示有將構成圖4(b)所示之動畫檔案201之幀中的幀2(206)保存於圖像記憶體250中之情形。於該情形時，如上所述，使用與幀編號216之「1」及「2」建立關聯而記憶於元資料檔案211中之仿射轉換參數217來將與幀2(206)相對應之圖像472進行轉換，並於圖像471進行覆寫合成。

於圖20(c)中，顯示有將構成圖4(b)所示之動畫檔案201之幀中的幀3保存於圖像記憶體250中之情形。於該情形時，亦如上所述，使用與幀編號216「1」至「3」建立關聯而記憶於元資料檔案211中之仿射轉換參數217來將與幀3相對應之圖像473進行轉換，並於圖像471及472上覆寫合成。

如上所示，藉由使配置於圖像記憶體250上之顯示區域之範圍內所存在之圖像顯示，而可依序顯示再生步驟中之合成圖像。此處，在將當前圖像進行仿射轉換而於圖像記憶體250中合成時，會實施轉換為較低之解析度之解析度轉換處理及壓縮處理等的畫質之轉換。因此，在提高顯示倍率而使當前圖像放大顯示時，認為含有當前圖像之合成圖像會變得模糊。因此，於該例中，對於當前正在再生之當前圖像，使用於圖像記憶體250中合成之前的圖像來顯示合成圖像。以下，將參照圖式來對該顯示方法進行詳細的說明。

圖21係示意性表示本發明之實施形態之動畫記憶部200中所記憶的動畫檔案之各幀流的示圖。此處，僅對操作受理部160、動畫記憶部200、元資料記憶部210、圖像記憶體250及顯示用記憶體270間的關係進行圖示，而對於除該等以外之構成則省略圖示。再者，於圖21中，例示有使1個動畫顯示於顯示部290之情形，對於使複數個動畫顯示於顯示部290之情形亦同樣地合成。

於圖21(a)中，簡化顯示有圖4(b)所示之動畫檔案201及元資料檔案211。以下，對於將與構成動畫檔案201之幀i(207)相對應之圖像加以顯示之例進行說明。即，對於與構成動畫檔案201之幀1至「i-1」相對應之圖像，設為被作成合成圖像者。

於圖21(b)中，示意性表示將與構成動畫檔案201之各幀相對應之圖像合成後的合成圖像加以保持之圖像記憶體250。如圖20(b)所示，將與構成動畫檔案201之幀1(661)相對應之圖像471最初保持於圖像記憶體250中。然後，在將圖像471保持於圖像記憶體250之後，使用與幀2至「i-1」分別建立關聯而記憶於元資料檔案211中之仿射轉換參數217之值，來將與構成動畫檔案201之幀2至「i-1」相對應之各圖像依序進行仿射轉換，再將進行了仿射轉換之圖像依序覆寫並保持於圖像記憶體250中。而且，顯示區域取出部260從保持於圖像記憶體250中之合成圖像中，對應每一幀而取出顯示區域內所存在之圖像。

在將與幀1至「i-1」相對應之各圖像之合成圖像保持於圖像記憶體250中之狀態下，使用與幀1至i建立關聯而記憶元資料檔案211中之仿射轉換參數217，將與構成動畫檔案201之幀i(207)相對應之圖像進行仿射轉換，再將仿射轉換後之當前圖像474覆寫並保持於圖像記憶體250中。然後，顯示區域取出部260從保持於圖像記憶體250中之合成圖像中取出顯示區域470內所存在之圖像，並將已取出之圖像如圖21(c)所示例如保持於顯示用記憶體270中。

於圖21(c)中，示意性表示將由顯示區域取出部260所取出之圖像加以保持的顯示用記憶體270。此處，對於與由顯示區域取出部260所取出之圖像中之當前幀相對應的當前圖像475，並非使用由顯示區域取出部260從圖像記憶體250中取出的當前圖像474，而是使用從動畫記憶部200中取得且由圖像轉換部150進行了仿射轉換之圖像。此處，顯示用記憶體270中之當前圖像475之保存位置可根據圖像記憶體250中之當前圖像474之位置及大小、圖像記憶體250中之顯示區域470之位置及大小而決定。例如，將與幀編號216之「1」至「i」建立關聯而記憶於元資料檔案211中之仿射轉換參數之矩陣分別設為A1、...、Ai，且將用以決定顯示區域470之仿射轉換參數之矩陣(例如，以圖像記憶體250作為基準之矩陣)設為C，於該情形時，以圖像471之位置作為基準，使用Inv(C)×A1×...×Ai，由此可決定顯示用記憶體270中之當前圖像475之保存位置。

如圖21(c)所示，將由顯示區域取出部260所取出之圖像保持於顯示用記憶體270中，同時將從動畫記憶部200取得並由圖像轉換部150進行了仿射轉換之圖像覆寫到由顯示區域取出部260所取出之圖像上，並保持於顯示用記憶體270中。然後，將保持於顯示用記憶體270中之圖像於顯示部290上顯示。如此，對於當前圖像，藉由使用於仿射轉換後實施縮小等之處理而保持於圖像記憶體250之前之狀態的圖像，從而可顯示比較漂亮的當前圖像。又，對於經使用者之操作而進行了放大等之情形時，亦能將當前圖像以漂亮的狀態顯示。

如上所示，對於當前圖像，可取代保持於圖像記憶體250中之合成圖像而使用從動畫記憶部200中取得並進行了仿射轉換之圖像，因此可看到比較漂亮的圖像。關於該顯示例，參照圖22及圖23來進行詳細的說明。

圖22(a)係表示在對由攝像機所拍攝之動畫進行再生時之顯示例之示圖。於該例中，將一面讓攝像機主要朝左右方向移動一面來拍攝正在較大建築物即草坪之廣場上玩耍的母子的動畫顯示為正在再生之圖像480。此處，於圖像480中，將藉由與構成動畫之各幀相對應之圖像所合成之圖像481形成為全景狀。又，圖像480中之與當前幀相對應之圖像為當前圖像482。

此處，將對由框483所包圍之圖像區域進行放大顯示之情形加以說明。在對顯示於顯示部290上之圖像進行放大縮小顯示時，使用者於操作受理部160對顯示倍率指定鍵進行操作，由此可指定所期望之顯示倍率。例如，如圖22(a)所示，當顯示部290上顯示有圖像480之情形時，在要對由框483所包圍之圖像區域進行放大顯示時，使用者於操作受理部160對顯示倍率指定鍵進行操作以指定顯示倍率，同時指定位置，由此可將由框483所包圍之圖像區域進行放大顯示。

圖22(b)係表示將圖像480中之當前圖像482進行仿射轉換之前之狀態的圖像484的示圖。

圖23(a)係表示將由圖22(a)所示之框483所包圍之圖像區域進行了放大顯示時的圖像485之示圖。圖23(a)所示之圖像485係將仿射轉換後之當前圖像於圖像記憶體250中保存之前之狀態下在顯示用記憶體270中合成後之圖像。如此，於當前圖像486之區域中，顯示有於圖像記憶體250中保存之前之狀態的比較的精細的圖像。因此，在將當前圖像486與除該區域以外之區域進行比較後，可看到比其他區域更漂亮的當前圖像486。另一方面，圖23(b)所示之圖像487係在將仿射轉換後之當前圖像保存於圖像記憶體250中之狀態下顯示用記憶體270中所保存之圖像。在如上所述進行顯示時，對於當前圖像488之區域，亦可顯示與其他區域之圖像相同程度之圖像。即，根據本發明之實施形態，在進行圖像合成顯示時，保持於顯示用記憶體270中之履歷圖像有時會被壓縮，但對於當前(現在)之圖像，可使用非壓縮之圖像或者比履歷圖像具有更高解析度之圖像，故可實現高畫質之圖像合成顯示。

以上，以將構成1個動畫之各圖像加以合成之情形為例進行了說明，以下，將參照圖式，對將2個動畫之各圖像加以合成時之合成例進行詳細的說明。

圖24係示意性表示將2個動畫合成時之合成例的示圖。於該例中，對於將構成動畫500之圖像501至508、及構成動畫510之圖像511至515加以合成之情形作說明。又，於內部以斜線表示之圖像505及513係作為與和動畫500及510相關之相對關係元資料中含有之幀編號相對應之圖像。

於圖24(a)中，顯示有使用與各幀建立關聯而記憶之仿射轉換參數來將構成動畫500之圖像501至508依序進行仿射轉換且於圖像記憶體250上加以合成之情形。例如，最初，將與前頭幀相對應之圖像501保持於圖像記憶體250中。接著，以圖像501作為基準將圖像502至508依序進行仿射轉換且於圖像記憶體250中加以合成。將該仿射轉換所產生的當前圖像流以箭頭509表示。即，以沿箭頭509之方式依序合成圖像501至508。

於圖24(b)中，顯示有使用與各幀建立關聯而記憶之仿射轉換參數來將構成動畫510之圖像511至515依序進行仿射轉換且於圖像記憶體250上加以合成之情形。又，於圖24(c)中，顯示有藉由與動畫500及510相關之相對關係元資料中含有之仿射轉換參數，以圖像501作為基準圖像而將圖像513進行了仿射轉換時的圖像505及圖像513之相對關係位置。此處，圖24(b)所示之合成圖像係表示以圖24(c)所示之圖像505及圖像513之相對關係位置作為基準來合成圖像511至515之情形者。將此時之仿射轉換所產生的當前圖像流以箭頭516表示。即，以沿箭頭516之方式依序合成圖像511至515。如此，將以圖24(c)所示之圖像505及圖像513之相對關係位置作為基準而將圖24(a)所示之合成圖像及圖24(b)所示之合成圖像加以合成時的合成例顯示於圖24(d)中。再者，於圖24(d)所示之例中，顯示有將圖像505及513於同時刻進行再生之情形，其表示於同時刻所再生之各圖像中，動畫510比動畫500在更上方被覆寫合成之示例。

此處，對於與具體的各動畫之配置資訊相關之計算方法加以說明。最初，由配置資訊計算部230計算構成複數個動畫中之1個動畫之至少1個動畫的位置。例如，計算與構成動畫500之前頭幀相對應之圖像501的位置。接著，計算構成其他動畫之圖像中之至少1個圖像的配置位置。例如，將與圖像501至505、511至515建立關聯之仿射轉換參數之矩陣分別設為A1至A5、A11至A15，將與動畫500及510相關之相對關係元資料檔案中含有之仿射轉換參數之矩陣設為AM3。此處，基準圖像設為圖像501。在以圖像記憶體250上之圖像501之配置位置作為基準時，圖像505之配置位置藉由A1至A5之乘法運算而計算。即，使用A1×...×A5來計算。又，在以圖像記憶體250上之圖像501之配置位置作為基準時，圖像513之配置位置藉由A1至A8與AM3之乘法運算而計算。即，使用A1×...×A5×AM3來計算。此處，例如，在計算與動畫520之前頭幀相對應之圖像511的配置位置時，可藉由A1至A8與AM3、及A11至A13之反矩陣之乘法運算而計算。即，可使用「A1×...×A5×AM3×Inv(A11×...×A13)」來計算圖像513之配置位置。又，關於構成動畫510之其他圖像之配置位置亦同樣地，可使用A1至A8與AM3、及A11至A13之反矩陣或者A14至A15而計算。

又，在將構成含有基準圖像之動畫以外之動畫的圖像進行仿射轉換時，使用與前頭幀相對應之圖像之配置位置之計算中所用的矩陣、及與圖像建立關聯之仿射轉換參數而進行。例如，在將動畫510之圖像512進行仿射轉換時，使用與圖像512相對應之矩陣A12，藉由「A1×...×A5×AM3×Inv(A13)」之矩陣而轉換。又，例如，在將動畫510之圖像515進行仿射轉換時，使用與圖像515相對應之矩陣A15，藉由「A1×...×A5×AM3×A14×A15」之矩陣而轉換。同樣地，將動畫520之各圖像進行轉換。

如此，在對複數個動畫進行合成並再生時，在決定了1個動畫之基準圖像於圖像記憶體250中之位置及大小之後，可使用與各動畫分別建立關聯之元資料檔案、及與各動畫建立關聯之相對關係元資料檔案來計算各圖像之位置及大小。因此，在對複數個動畫進行合成並再生時，從各動畫之任一位置均可再生。例如，對於圖24(d)所示之合成圖像，其表示在將構成動畫500之圖像501至503合成之後，將構成動畫510之圖像511加以合成之例。即，將圖像503及511同時合成，繼而，將圖像504及512同時合成。以下亦同樣地合成。再者，於該例中，表示於同時刻所再生之各圖像中，動畫510比動畫500在更上方被覆寫合成之例，但亦可於操作受理部160中指定要覆寫之動畫。

其次，參照圖式，對於將與前頭之幀相對應之圖像加以保持之位置及大小所相關的計算方法進行詳細的說明。

圖25係表示對藉由構成動畫之各圖像之合成所作成的合成圖像之大小進行計算的合成圖像之大小計算方法之概略的示圖。將對以下示例進行說明：於該合成圖像之大小計算方法中，使用與構成1個動畫之各圖像建立關聯之仿射轉換參數，將前頭圖像之4個頂點依序進行仿射轉換，以此來計算將該動畫作成的合成圖像之大小。再者，圖25所示之符號501至508係表示藉由圖24所示之圖像501之4個頂點經仿射轉換後之各點所形成之矩形的符號，但該等矩形之大小與圖24所示之圖像501至508之大小相同，故對該等矩形附以與圖像501至508相同之符號進行說明。

如圖25(a)所示，在計算將1個動畫作成的合成圖像之大小時，將構成動畫之圖像中之1個圖像作為基準圖像。然後，設定xy座標，該xy座標係以基準圖像之至少1個頂點作為原點，且將與該原點相對應之頂點相連的基準圖像之2邊分別設為x軸及y軸。例如，設定以基準圖像之左上之頂點為原點、以基準圖像之上端之邊為x軸、以左端之邊為y軸的xy座標。於該xy座標上，將基準圖像之y軸方向之最大值設為基準圖像之上端之邊之位置，將最小值設為基準圖像之下端之邊之位置。同樣地，將基準圖像之x軸方向之最大值設為基準圖像之右端之邊之位置，將最小值設為基準圖像之左端之邊之位置。

繼而，使用與構成動畫之各圖像建立關聯之仿射轉換參數，使基準圖像之4個頂點於xy座標上依序進行仿射轉換，並依序作成將基準圖像之4個頂點作為始點、仿射轉換後之4個點作為終點之向量(位移向量)。然後，根據該依序作成的位移向量之終點之位置，對x軸方向及y軸方向之最大值及最小值進行依序更新，計算該xy座標上之合成圖像之大小。

例如，在以與構成圖24(a)所示之動畫500之前頭之幀相對應的圖像501作為基準圖像時，如圖25(a)所示，設定以圖像501之左上之頂點為原點的xy座標，並在該xy座標上與圖像501之4個頂點相對應之位置上設定位移向量之始點541至544。例如，當圖像501之解析度為640×480像素時，將始點541之座標設為(0，0)，始點542之座標設為(640，0)，始點543之座標設為(640，480)，始點544之座標設為(0，480)。於該情形時，x軸方向之最大值為「640」，x軸方向之最小值為「0」，y軸方向之最大值為「480」，y軸方向之最小值為「0」。即，於該xy座標上，y軸方向之下側為正。

於如此設定之xy座標上，使用與基準圖像501及下一個圖像502建立關聯之仿射轉換參數，將基準圖像501之4個頂點進行仿射轉換。例如，將與圖像501建立關聯之仿射轉換參數之矩陣設為A1(單位矩陣)，將與圖像502建立關聯之仿射轉換參數之矩陣設為A2時，使用A1×A2之矩陣，將圖像501之4個頂點進行仿射轉換。如圖25(b)所示，藉由該仿射轉換，基準圖像501之4個頂點被轉換到與圖像502之4個頂點相對應之位置。然後，將該仿射轉換後之4個點作為終點545至548，作成來自始點541至544之位移向量549至552。

繼而，根據位移向量549至552，對x軸方向及y軸方向之最大值及最小值進行更新。例如，位移向量549至552之終點545至548位於比圖像501之上端之邊更靠近下側，因此y軸之最小值未被更新。又，在位移向量549至552之終點545至548中，終點547及548位於比圖像501之下端之邊更靠近下側，終點547成為存在於最下側之點。因此，y軸方向之最大值被更新為位移向量551之終點547之y軸的值。進而，由於位移向量549至552之終點545至548位於比圖像501之左端之邊更靠近右側，因而x軸之最小值未被更新。又，於位移向量549至552之終點545至548中，終點546及547位於比圖像501之右端之邊更靠近右側，終點546成為存在於最右側之點。因此，x軸方向之最大值被更新為位移向量550之終點546之x軸的值。

又，同樣地，於xy座標上，使用與基準圖像501至503建立關聯之仿射轉換參數，將基準圖像501之4個頂點進行仿射轉換。例如，將與圖像501至503建立關聯之仿射轉換參數之矩陣分別設為A1、A2、A3時，使用A1×A2×A3之矩陣將圖像501之4個頂點進行仿射轉換。如圖25(c)所示，藉由該仿射轉換，基準圖像501之4個頂點被轉換到與圖像503之4個頂點相對應之位置上。然後，將該仿射轉換後之4個點作為終點553至556，作成來自始點541至544之位移向量557至560。

接著，根據位移向量557至560，對x軸方向及y軸方向之最大值及最小值進行更新。例如，位移向量557至560之終點553至556位於比圖像501之上端之邊更靠近下側，故y軸之最小值未被更新。又，於位移向量557至560之終點553至556中，終點555及556位於比圖像502之點547更靠近下側，故終點555成為存在於最下側之點。因此，y軸方向之最大值被更新為位移向量559之終點555之y軸的值。進而，位移向量557至560之終點553至556位於比圖像501之左端之邊更靠近右側，故x軸之最小值未被更新。又，於位移向量557至560之終點553至556中，終點554及555位於比圖像502之點546更靠近右側，終點554成為存在於最右側之點。因此，x軸方向之最大值被更新為位移向量558之終點554之x軸的值。

又，於圖像504以後，亦同樣地，在xy座標上，使用與作為對象之各圖像建立關聯之仿射轉換參數，對基準圖像501之4個頂點進行仿射轉換，並將基準圖像501之4個頂點依序轉換到與作為對象之圖像之4個頂點相對應之位置。然後，將該仿射轉換後之4個點作為終點，依序作成來自始點541至544之位移向量。接著，根據該位移向量，對x軸方向及y軸方向之最大值及最小值進行依序更新。

例如，對於圖像501至508，在反覆執行了上述的最大值及最小值之更新處理之情形時，如圖25(d)所示，由於x軸方向之最小值未被更新，故x軸方向之最小值成為圖像501之左端之2個頂點中之任一點(例如，點561)之x軸的值(即「0」)。又，由於圖像508之頂點563成為存在於最右側之點，故x軸方向之最大值被更新為頂點563之x軸的值。進而，由於圖像505之頂點562成為存在於最上側之點，故y軸方向之最小值被更新為頂點562之y軸的值。又，由於圖像503之頂點564(即，始點555)成為存在於最下側之點，故y軸方向之最大值被更新為頂點564之y軸的值。

由如此計算出的x軸方向及y軸方向之最大值及最小值所形成之矩形，作為將動畫500作成的合成圖像之顯示範圍而計算。例如，如圖25(d)所示，計算出合成圖像顯示範圍570。

圖26係表示對藉由構成動畫之各圖像之合成所作成的合成圖像之大小進行計算的合成圖像之大小計算方法之概略的示圖。將對以下示例進行說明：於該合成圖像之大小計算方法中，使用與構成2個動畫之各動畫之各圖像建立關聯之仿射轉換參數、及與各動畫相關的相對關係元資料檔案中所儲存之仿射轉換參數，將前頭圖像之4個頂點依序進行仿射轉換，以此來計算將該等動畫作成的合成圖像之大小。再者，關於圖26所示之符號501至508、511至515，亦附以與圖像501至508、511至515相同之符號進行說明。

如圖26(a)所示，對於圖像501至505，反覆執行與圖25所示之更新處理相同之處理。此處，圖像505係與動畫500及510相關的相對關係元資料檔案中所含有之幀編號相對應之圖像。因此，為了對動畫510進行更新處理，使用與圖像501至505建立關聯之仿射轉換參數、及與動畫500及510相關的相對關係元資料檔案中含有之仿射轉換參數，將基準圖像501之4個頂點進行仿射轉換。例如，在將與圖像501至505建立關聯之仿射轉換參數之矩陣分別設為A1至A5，將與動畫500及510相關的相對關係元資料中含有之仿射轉換參數之矩陣設為AM3時，使用A1×A2×...×A5×AM3之矩陣，將圖像501之4個頂點進行仿射轉換。如圖26(a)所示，藉由該仿射轉換，基準圖像501之4個頂點被轉換到與圖像513之4個頂點相對應之位置。然後，以該仿射轉換後之4個點作為終點565至568，作成來自始點541至544之位移向量569至572。繼而，根據位移向量569至572，對x軸方向及y軸方向之最大值及最小值進行更新。

繼而，對圖26(b)所示之圖像513之前的圖像511、512及圖像513之後的圖像514、515反覆執行與圖25所示之更新處理相同之處理。於該情形時，可對圖像513前後之圖像逐個地同時進行更新處理，亦可對圖像513前後之圖像逐個交替地進行更新處理。又，在對圖像513之前之圖像逐個進行了更新處理之後，可對圖像513之後之圖像逐個進行更新處理，亦可調換前後之順序而進行。例如，將與圖像501至505、511至515建立關聯之仿射轉換參數之矩陣分別設為A1至A5、A11至A15，且將與動畫500及510相關的相對關係元資料中含有之仿射轉換參數之矩陣設為AM3，當要對圖像512進行仿射轉換時，使用A1×A2×...×A5×AM3×Inv(A12)之矩陣，將圖像501之4個頂點進行仿射轉換。另一方面，當要對圖像514進行仿射轉換時，使用A1×A2×...×A5×AM3×A14之矩陣，將圖像501之4個頂點進行仿射轉換。

繼而，在對圖像513前後之各圖像511、512、514、515之更新處理結束時，對與動畫500及510相關的相對關係元資料之圖像505之下一個圖像506進行更新處理。即，在對動畫510之更新處理結束時，返回到動畫500，反覆執行對動畫500之更新處理。即，對圖像506至508執行更新處理。

接著，在對圖像501至508、511至515反覆執行了上述的最大值及最小值之更新處理之情形時，如圖26(c)所示，動畫510之圖像511之頂點573成為存在於最上側之點，故y軸方向之最小值被更新為頂點573之y軸的值。再者，對於y軸方向之最大值、x軸方向之最大值及最小值，與圖25(d)所示者相同。由如此計算出的x軸方向及y軸方向之最大值及最小值所形成之矩形，作為將動畫500及510作成的合成圖像之顯示範圍而計算。例如，如圖26(c)所示，計算出合成圖像顯示範圍574。根據如此計算出的合成圖像顯示範圍及圖像記憶體250之大小，來計算構成作為再生之對象之動畫之各圖像的縮小率等。例如，當所計算出的合成圖像顯示範圍比圖像記憶體250之大小更大時，將構成作為再生之對象之動畫的各圖像壓縮而縮小，以使計算出的合成圖像顯示範圍在圖像記憶體250之範圍內。即，以使計算出的合成圖像顯示範圍在圖像記憶體250之範圍內之方式，來計算構成作為再生之對象之動畫的各圖像之縮小率，並根據該縮小率而計算前頭之幀之圖像的大小及配置位置。又，於動畫之合成再生步驟中，當選擇了其他的動畫之合成再生時，根據計算出的基準圖像之配置位置及大小來計算既已合成之圖像之縮小率，並根據該縮小率，將既已合成之圖像縮小。然後，對作為既已合成再生之對象之動畫及新選擇的動畫進行合成再生。

另一方面，當計算出的合成圖像顯示範圍比圖像記憶體250之大小更小時，不進行對構成作為再生之對象之動畫的各圖像的縮小處理。如此，當作為再生之對象之各圖像未被縮小時，以使將動畫作成的合成圖像於顯示區域中為適度之大小之方式而變更顯示倍率。

以上，對於使用與2個動畫相關的相對關係元資料檔案中所儲存之仿射轉換參數，來計算將2個動畫作成的合成圖像之大小之例進行了說明，但可將與3個以上之動畫相關的仿射轉換參數儲存於1個相對關係元資料檔案中，並使用該等仿射轉換參數而計算將3個以上之動畫作成的合成圖像之大小。以下，參照圖式，對將3個以上之動畫作成的合成圖像之大小進行計算之示例加以詳細的說明。

圖27係示意性表示本發明之實施形態之動畫記憶部200及相對關係資訊記憶部220中所記錄的各檔案之示圖。該例係示意性表示記憶於動畫記憶部200中之動畫檔案(#12)651至(#14)653、及與動畫檔案(#12)651至(#14)653建立關聯而記憶於相對關係資訊記憶部220中之相對關係元資料檔案660的示圖。於該例中，將對在1個相對關係元資料檔案660中儲存有與3個動畫檔案(#12)651至(#14)653相關的仿射轉換參數之示例進行說明。再者，關於動畫記憶部200中所記憶之各動畫檔案之構成，與圖4及圖5等所示之動畫檔案相同，故省略此處之說明。又，關於相對關係資訊記憶部220中所記憶之相對關係元資料檔案之構成，在1個相對關係元資料檔案中儲存有與3個以上之動畫相關的仿射轉換參數，除此以外之構成與圖5所示之相對關係元資料檔案相同，故省略此處之說明。

將動畫ID224、幀編號225、仿射轉換參數226建立關聯而儲存於相對關係元資料檔案660中。又，在構成動畫檔案(#12)651至(#14)653之各圖像中，將分別與2個各圖像之相對關係相關的仿射轉換參數儲存於相對關係元資料檔案660中。具體而言，將對構成以構成動畫檔案(#12)651之幀「2」654作為基準時的動畫檔案(#13)652之幀「5」656之位置進行計算的仿射轉換參數「at，bt，ct，dt，et，ft」、及對構成以構成動畫檔案(#12)651之幀「9」655作為基準時的動畫檔案(#14)653之幀「6」657之位置進行計算的仿射轉換參數「au，bu，cu，du，eu，fu」，儲存於相對關係元資料檔案660中。藉此，在將3個動畫一面合成一面再生時，可對考慮了3個動畫之相對關聯性的動畫進行再生。

圖28係示意性表示對3個動畫進行合成時之合成例之示圖。於該例中，對於將構成動畫500之圖像501至508、構成動畫510之圖像511至515、及構成動畫520之圖像521至526合成之情形進行說明。又，於內部以斜線表示之圖像505及513、圖像507及523係作為與和動畫500、510、520相關的相對關係元資料中含有之幀編號相對應之圖像。

圖28(a)與圖24(a)相同，其表示使用與各幀建立關聯而記憶之仿射轉換參數而將構成動畫500之圖像501至508依序進行仿射轉換，並於圖像記憶體250上合成之情形。

於圖28(b)中，表示使用與各幀建立關聯而記憶之仿射轉換參數將構成動畫520之圖像521至526依序進行仿射轉換，並於圖像記憶體250上合成之情形。此處，於內部以斜線表示之圖像523表示藉由與動畫500及520相關的相對關係元資料中含有之仿射轉換參數，將圖像501作為基準圖像進行了仿射轉換之情形。又，圖28(b)所示之合成圖像係表示將於內部以斜線表示之圖像507及圖像523之相對關係位置作為基準而合成圖像521至526之情形者。以箭頭527表示該情形時的仿射轉換所產生的當前圖像流。即，以沿箭頭527之方式依序合成圖像521至526。如此，將圖像505及圖像513之相對關係位置、圖像507及圖像523之相對關係位置作為基準而將動畫500、510、520合成時之合成例顯示於圖28(c)中。再者，於圖28(c)所示之例中，顯示有將圖像505及513於同時刻進行再生之後將圖像507及523於同時刻進行再生之情形，其表示於同時刻再生之各圖像中，動畫510比動畫500在更上方被覆寫合成、且動畫520比動畫510在更上方被覆寫合成之示例。再者，當不存在與作為再生之對象之複數個動畫相關的相對關係元資料時，亦可使用與其他動畫相關的相對關係元資料，將作為再生之對象之複數個動畫加以合成並再生。例如，於圖28(c)所示之動畫500、動畫510、及動畫520中，在使動畫510及動畫520合成時，可使用與動畫500及510相關的相對關係元資料、及與動畫500及520相關的相對關係元資料，來計算以動畫510及動畫520之任一者作為基準動畫時的其他動畫之位置。例如，在以動畫510作為基準動畫時，可使用圖像505及圖像513之相對關係位置來計算構成動畫500之圖像505之位置。又，根據圖像505可計算圖像507之位置。而且，可使用圖像507及圖像523之相對關係位置來計算以圖像501作為基準時的構成動畫520之各圖像之位置。如此，對於不存在有共通之相對關係元資料的動畫510及動畫520，亦可以由動畫500而合成並再生。又，對於經由2個以上之動畫而將複數個動畫加以合成並再生之情形，亦可同樣適用。

圖29係表示將對藉由構成動畫之各圖像之合成所作成的合成圖像之大小進行計算的合成圖像之大小計算方法之概略的示圖。將對以下示例進行說明：於該合成圖像之大小計算方法中，使用與構成3個動畫之各動畫之各圖像建立關聯之仿射轉換參數、及與各動畫相關的相對關係元資料中所儲存之仿射轉換參數，將前頭圖像之4個頂點依序進行仿射轉換，以此來計算將該等動畫作成的合成圖像之大小。再者，關於圖29所示之符號501至508、511至515、521至526，附以與圖像501至508、511至515、521至526相同之符號進行說明。

如圖29(a)所示，對於圖像501至507、圖像511至515，反覆執行與圖26所示之更新處理相同之處理。此處，圖像507係與動畫500及520相關的相對關係元資料中所含有之幀編號相對應之圖像。因此，為了對動畫520進行更新處理，使用與圖像501至507建立關聯之仿射轉換參數、及與動畫500及520相關的相對關係元資料中所含有之仿射轉換參數，將基準圖像501之4個頂點進行仿射轉換。例如，在將與圖像501至507建立關聯之仿射轉換參數之矩陣分別設為A1至A7，將與動畫500及520相關的相對關係元資料中含有之仿射轉換參數之矩陣設為AM4時，使用A1×A2×...×A7×AM4之矩陣，將圖像501之4個頂點進行仿射轉換。如圖29(a)所示，藉由該仿射轉換，基準圖像501之4個頂點被轉換到與圖像523之4個頂點相對應之位置。然後，以該仿射轉換後之4個點作為終點，作成來自始點541至544之4個位移向量。繼而，根據4個位移向量，對x軸方向及y軸方向之最大值及最小值進行更新。

繼而，與圖26(b)所示之更新處理同樣地，對圖像523之前的圖像521、522及圖像523之後的圖像524至526反覆執行更新處理。繼而，在對圖像523之前後的各圖像521、522、524至526之更新處理結束時，對與動畫500及520相關的相對關係元資料之圖像507之下一個圖像508進行更新處理。即，在對動畫520之更新處理結束時，返回到動畫500，反覆執行對動畫500之更新處理。

接著，在對圖像501至508、511至515、521至526反覆執行了上述的最大值及最小值之更新處理之情形時，如圖29(b)所示，由於動畫520之圖像521之頂點577係存在於最下側之點，故y軸方向之最大值被更新為頂點577之y軸的值。又，由於動畫520之圖像526之頂點576係存在於最右側之點，故x軸方向之最大值被更新為頂點576之x軸的值。再者，關於y軸方向之最小值、x軸方向之最小值，與圖26(c)所示者相同。由如此計算出的x軸方向及y軸方向之最大值及最小值所形成之矩形，作為將動畫500、510、520作成的合成圖像之顯示範圍而計算。例如，如圖29(b)所示，計算出合成圖像顯示範圍575。

圖30係示意性表示將4個動畫合成時之合成例的示圖。於該例中，對於將構成動畫500之圖像501至508、構成動畫510之圖像511至515、構成動畫520之圖像521至526、及構成動畫530之圖像531至535合成之情形加以說明。又，於內部以斜線表示之圖像505及513、圖像507及523、圖像525及532係作為與和動畫500、510、520、530相關的相對關係元資料中含有之幀編號相對應之圖像者。

與圖28(b)同樣地，圖30(a)表示使用與各幀建立關聯而記憶之仿射轉換參數來將構成動畫520之圖像521至526依序進行仿射轉換，且於圖像記憶體250上合成之情形。

於圖30(b)中，表示使用與各幀建立關聯而記憶之仿射轉換參數來將構成動畫530之圖像531至535依序進行仿射轉換，且於圖像記憶體250上合成之情形。此處，於內部以斜線表示之圖像532表示藉由與動畫520及530相關的相對關係元資料中含有之仿射轉換參數，將圖像501作為基準圖像進行了仿射轉換之情形。又，圖30(b)所示之合成圖像係表示將於內部以斜線表示之圖像525及圖像532之相對關係位置作為基準，將圖像531至535合成後之情形者。以箭頭536表示此時之仿射轉換所產生的當前圖像流。即，以沿箭頭536之方式依序合成圖像531至535。如此，以圖像505及圖像513之相對關係位置、圖像507及圖像523之相對關係位置、圖像525及圖像532之相對關係位置作為基準而將動畫500、510、520、530合成時之合成例顯示於圖30(c)中。再者，於圖30(c)所示之例中，表示在將圖像505及513於同時刻再生、且將圖像507及523於同時刻再生之後，將圖像525及532於同時刻進行再生之情形，且表示於同時刻再生之各圖像中，動畫510比動畫500在更上方被覆寫合成、動畫520比動畫510在更上方被覆寫合成、且動畫530比動畫520在更上方被覆寫合成之示例。

圖31係表示對藉由構成動畫之各圖像之合成所作成的合成圖像之大小進行計算的合成圖像之大小計算方法之概略的示圖。將以下示例進行說明：於該合成圖像之大小計算方法中，使用與構成4個動畫之各動畫之各圖像建立關聯之仿射轉換參數、及與各動畫相關的相對關係元資料中所儲存之仿射轉換參數，將前頭圖像之4個頂點依序進行仿射轉換，以此來計算將該等動畫作成的合成圖像之大小。再者，關於圖31所示之符號501至508、511至515、521至526、531至535，附以與圖像501至508、511至515、521至526、531至535相同之符號進行說明。

如圖31(a)所示，對圖像501至507、圖像511至515、及圖像521至525反覆執行與圖29所示之更新處理相同之處理。此處，圖像525係與動畫520及530相關的相對關係元資料中含有之幀編號相對應之圖像。因此，為了對動畫530進行更新處理，使用與圖像501至507建立關聯之仿射轉換參數、與動畫500及520相關的相對關係元資料中含有之仿射轉換參數、與圖像523至525建立關聯之仿射轉換參數、及與動畫520及550相關的相對關係元資料中含有之仿射轉換參數，將基準圖像501之4個頂點進行仿射轉換。例如，將與圖像501至507、523至525建立關聯之仿射轉換參數之矩陣分別設為A1至A7、A23至A25，將與動畫500及520相關的相對關係元資料中含有之仿射轉換參數之矩陣設為AM4，將與動畫520及530相關的相對關係元資料中含有之仿射轉換參數之矩陣設為AM5，此時使用A1×A2×...×A7×AM4×B4×B5×AM5之矩陣，將圖像501之4個頂點進行仿射轉換。如圖31(a)所示，藉由該仿射轉換，基準圖像501之4個頂點被轉換到與圖像523之4個頂點相對應之位置。而且，將該仿射轉換後之4個點作為終點，作成來自始點541至544之4個位移向量。繼而，根據該4個位移向量而更新x軸方向及y軸方向之最大值及最小值。

繼而，與圖26(b)所示之更新處理同樣地，對圖像532之前的圖像531及圖像532之後的圖像533至535反覆執行更新處理。然後，在對圖像532之前後的各圖像531、533至535之更新處理結束時，對與動畫520及530相關的相對關係元資料之圖像525之下一個圖像526進行更新處理。如此，在對動畫530之更新處理結束時，返回到動畫520，執行對動畫520之更新處理。又，在對動畫520之更新處理結束時，返回到動畫500，反覆執行對動畫500之更新處理。即，在對基準動畫以外之動畫之更新處理結束時，返回到剛剛執行了更新處理之前一個動畫，反覆執行對該動畫之更新處理。而且，在對基準動畫之最後之幀的更新處理結束之前，反覆執行更新處理。

然後，在對圖像501至508、511至515、521至526、及531至535反覆執行了上述的最大值及最小值之更新處理後，如圖31(b)所示，由於動畫530之圖像535之頂點579係存在於最下側之點，故y軸方向之最大值被更新為頂點579之y軸的值。又，由於動畫530之圖像535之頂點578係存在於最右側之點，故x軸方向之最大值被更新為頂點578之x軸的值。再者，關於y軸方向之最小值、x軸方向之最小值，與圖26(c)所示者相同。由如此計算出的x軸方向及y軸方向之最大值及最小值所形成之矩形，作為將動畫500、510、520、530作成的合成圖像之顯示範圍而計算。例如，如圖31(b)所示，計算出合成圖像顯示範圍580。

圖32係概略地表示代表動畫之代表圖像與將該動畫作成的合成圖像之關係、及將複數個動畫作成的合成圖像之示圖。圖32(a)至(c)係表示動畫之代表圖像606、614、624及由該等各動畫所作成合成圖像600、610、620之示圖。

於圖32(a)中，顯示有1個動畫之代表圖像606及由該動畫所作成之合成圖像600。代表圖像606例如係與該動畫之前頭之幀相對應之圖像。又，於合成圖像600上，框601表示與前頭之幀相對應之圖像的位置。即，框601內之圖像對應於代表圖像606。又，於合成圖像600上，框602表示含有與圖32(b)所示之合成圖像610相對應之圖像之一致點的圖像之位置。例如將房屋604之屋頂部分及下部分2個部位之3個部位(以白色圓表示之位置)選作一致點。即，可使用與框602內之圖像相關之相對關係元資料檔案將合成圖像600及610加以合成。又，於合成圖像600上，框603表示含有與圖32(c)所示之合成圖像620相對應之圖像之一致點的圖像之位置。例如將房屋605之屋頂部分及下部分2個部位之3個部位(以白色圓表示之位置)選作一致點。即，可使用與框603內之圖像相關之相對關係元資料檔案將合成圖像600及620加以合成。

於圖32(b)中，顯示有1個動畫之代表圖像614、及由該動畫所作成之合成圖像610。代表圖像614例如係與該動畫之前頭之幀相對應之圖像。又，於合成圖像610上，框611表示與前頭之幀相對應之圖像之位置。即，框611內之圖像對應於代表圖像614。又，於合成圖像610上，框612表示含有與圖32(a)所示之合成圖像600相對應之圖像之一致點的圖像之位置。例如將房屋613之屋頂部分及下部分2個部位之3個部位(以白色圓表示之位置)選作一致點。即，可使用與框612內之圖像相關的相對關係元資料檔案將合成圖像600及610加以合成。

於圖32(c)中，顯示有1個動畫之代表圖像624、及由該動畫所作成之合成圖像620。代表圖像624例如係與該動畫之前頭之幀相對應的圖像。又，於合成圖像620上，框621表示與前頭之幀相對應之圖像的位置。即，框621內之圖像對應於代表圖像624。又，於合成圖像620上，框622表示含有與圖32(a)所示之合成圖像600相對應之圖像之一致點的圖像之位置。例如將房屋623之屋頂部分及下部分2個部位之3個部位(以白色圓表示之位置)選作一致點。即，可使用與框622內之圖像相關的相對關係元資料檔案將合成圖像600及620加以合成。

於圖32(d)中，顯示有使用與圖32(a)至(c)所示之合成圖像600、610、620相對應之各動畫所相關的相對關係元資料檔案而使合成圖像600、610、620合成後之合成圖像630。再者，圖32(d)所示之合成圖像630係使合成圖像600、610、620合成後之圖像縮小者。於合成圖像630上，框601、611、621表示與各動畫相關的代表圖像之位置，框602、603、612、622表示相對關係元資料檔案之圖像之位置。即，將框602內之圖像及框612內之圖像重疊合成，同時將框603內之圖像及框622內之圖像重疊合成。如此，在對複數個動畫進行圖像合成後，與使1個動畫合成之情形相比較，合成圖像變大。因此，即便在可將1個動畫作成之合成圖像之全部顯示於顯示部290上時，亦要考慮無法將複數個動畫作成之合成圖像之全部以相同之大小顯示於顯示部290上之情形。因此，使用上述的合成圖像顯示範圍來預先計算出最終顯示之合成圖像之大小，並使該計算出的大小之合成圖像之全部顯示於顯示部290上，以此方式進行縮小處理等，並記錄於圖像記憶體250中。

其次，參照圖式，對根據所計算出的顯示範圍而顯示之合成圖像之顯示例加以詳細的說明。

圖33至圖39係表示在本發明之實施形態之顯示部290上所顯示之顯示畫面之一例的示圖。於圖33至圖39所示之顯示畫面上，設置有代表圖像一覽顯示區域640及合成再生顯示區域651。

代表圖像一覽顯示區域640係將記憶於元資料記憶部210中之元資料檔案中含有的代表圖像加以顯示之區域，例如，顯示有代表圖像641至648。再者，代表圖像642對應於圖32(c)所示之代表圖像624，代表圖像645對應於圖32(a)所示之代表圖像606，代表圖像647對應於圖32(b)所示之代表圖像614。又，於代表圖像一覽顯示區域640中設有滾動條653，使用光標652使滾動條653朝上下方向移動，由此可使顯示於代表圖像一覽顯示區域640上之代表圖像朝上下方向移動，且可於代表圖像一覽顯示區域640中顯示其他代表圖像。又，於各代表圖像之下部分，設有check按鈕，在使光標652與check按鈕之部分相重疊之狀態下，對滑鼠進行左擊操作，由此使check按鈕上顯示check符號。於圖33中，顯示有於代表圖像645之check按鈕649上顯示有check符號之示例。

合成再生顯示區域651係使與顯示於代表圖像一覽顯示區域640上之代表圖像相對應之動畫一面合成一面顯示的區域。此處，對於在合成再生顯示區域651中所合成再生之作為對象之動畫加以選擇之選擇方法進行說明。當選擇於合成再生顯示區域651中所合成再生之作為對象之動畫時，對代表圖像一覽顯示區域640上所顯示之代表圖像執行選擇操作。例如，執行使check符號顯示於與所期望之動畫相對應之代表圖像之check按鈕上的操作輸入，由此可選擇所期望之動畫。又，例如，使光標652重疊在與所期望之動畫相對應之代表圖像之區域上之狀態下，執行左拖操作直至代表圖像一覽顯示區域640為止，且於代表圖像一覽顯示區域640內執行鬆開操作，由此可選擇所期望之動畫。再者，於圖33至圖39所示之合成再生顯示區域651中，以虛線表示將所選擇之動畫作成的合成圖像之全體，且省略顯示再生步驟中之合成圖像。

例如，對於顯示於圖33所示之代表圖像一覽顯示區域640上之代表圖像641至648，當與所期望之動畫相對應之代表圖像為代表圖像645時，使用光標652而使check符號顯示於check按鈕649上。或者，當光標652重疊於代表圖像645之區域之狀態下，如圖33所示之箭頭般，執行左拖操作直至代表圖像一覽顯示區域640為止，且於代表圖像一覽顯示區域640內執行鬆開操作。藉由執行該等選擇操作，從而對於與所選擇之代表圖像相對應之動畫，將各圖像進行仿射轉換後一面合成一面再生。如此，將選擇後的合成圖像之顯示例顯示於圖34中。

於圖34所示之顯示畫面中，簡化表示對代表圖像645執行選擇操作、且對與代表圖像645相對應之動畫進行再生之情形。再者，於同圖所示之合成再生顯示區域651中，以虛線表示將與代表圖像645相對應之動畫作成的合成圖像600之全體，且省略表示再生步驟中之合成圖像。此處，在對所選擇之動畫進行再生時，如上所述，將對所選擇之動畫所作成的合成圖像之大小作為合成圖像顯示範圍而計算，並根據該合成圖像顯示範圍，將構成作為再生之對象之動畫的各圖像進行縮小處理等，故於合成再生顯示區域651中顯示有合成圖像之全體。又，在進行了對作為再生對象之動畫之選擇操作時，檔案取得部140從記憶於相對關係資訊記憶部220中之相對關係元資料檔案之中，檢索出已選擇的動畫之相對關係元資料檔案。然後，取得已檢索之相對關係元資料檔案中含有的其他動畫之動畫ID，並對與該動畫ID相對應之代表圖像附以特定之標記。

例如，如圖33所示，在選擇了代表圖像645之情形時，檢索與代表圖像645相對應之動畫之相對關係元資料檔案。此處，如圖32所示，於相對關係資訊記憶部220中，記憶有與代表圖像645相對應之動畫及與代表圖像642相對應之動畫所相關的相對關係元資料檔案、與代表圖像645相對應之動畫及與代表圖像647相對應之動畫所相關的相對關係元資料檔案。因此，於該檢索出的代表圖像645之相對關係元資料檔案中，含有與代表圖像642及647相對應之動畫ID。因此，在顯示於代表圖像一覽顯示區域640上之代表圖像641至648之中，對代表圖像642及647之周圍附以粗框而顯示。藉此，使用者能容易地認識可於當前正在再生之動畫上進行合成之動畫。再者，亦可於代表圖像一覽顯示區域640中，僅顯示可與當前正在再生之動畫上進行合成的動畫相對應之代表圖像。又，對於已選擇之代表圖像645，亦可進行與其他代表圖像所不同之顯示。例如，於圖34中，以虛線表示代表圖像645周圍之框。再者，對於該等已選擇之代表圖像之顯示方法及標記之顯示方法，除根據框之粗細及虛線等而與其他代表圖像進行識別以外，還可藉由變更代表圖像之框之顏色或穿透率而識別。

圖35所示之顯示畫面簡化表示在對與代表圖像645相對應之動畫進行再生之狀態下選擇代表圖像647之情形。如此，即便在進行動畫之合成再生時，亦可選擇其他的動畫，且與合成再生步驟中之動畫加以合成。再者，代表圖像647之選擇操作與圖33所示之選擇操作相同，故省略此處之說明。

如圖35所示，當正在進行動畫之合成再生之狀態下，在進行了其他動畫之選擇操作時，與進行了最初之動畫選擇之情形相同，將已選擇之動畫及對再生步驟中之動畫所作成的合成圖像之大小作為合成圖像顯示範圍而計算。然後，根據已計算出的合成圖像顯示範圍，對構成作為再生之對象之複數個動畫的各圖像進行縮小處理等。於該情形時，對於在進行該選擇操作之前所合成且保持於圖像記憶體250中之代表圖像645所對應的合成圖像亦實施縮小處理等。例如，將構成與代表圖像645相對應之動畫之前頭圖像作為基準圖像，計算該基準圖像之配置位置及大小。接著，在構成與代表圖像645相對應之動畫之各圖像中，使用與既已保持於圖像記憶體250中之各圖像建立關聯之仿射轉換參數，根據所計算出的基準圖像之配置位置及大小而計算當前之合成圖像之壓縮率，並藉由該當前之合成圖像之壓縮率而使保持於圖像記憶體250中之合成圖像縮小。

如此，計算將複數個動畫作成的合成圖像之全體之大小，並根據該大小而決定構成複數個動畫之各圖像之配置位置及大小，故於合成再生顯示區域651上，顯示有合成圖像之全體。又，與最初選擇了動畫之情形相同，當複數次執行了作為再生對象之動畫之選擇操作時，檔案取得部140從記憶於相對關係資訊記憶部220中之相對關係元資料檔案之中，檢索已選擇之動畫之相對關係元資料檔案。然後，取得已檢索的相對關係元資料檔案中含有之其他動畫之動畫ID，並對與該動畫ID相對應之代表圖像附以特定之標記。

如此，將在對與代表圖像645相對應之動畫進行合成再生之狀態下選擇了代表圖像647時的合成圖像之顯示例顯示於圖36中。如圖36所示，將與代表圖像645及647相對應之各動畫所作成的合成圖像631之全體顯示於合成再生顯示區域651上。

圖37所示之顯示畫面簡化表示在對與代表圖像645及647相對應之各動畫進行再生之狀態下選擇代表圖像642之情形。再者，代表圖像642之選擇操作與圖33所示之選擇操作相同，故省略此處之說明。又，在進行動畫之合成再生之狀態下，對於進行了其他動畫之選擇操作時的合成圖像之大小計算方法及相對關係元資料檔案中含有之其他的動畫之檢索方法，與圖35所示之情形相同，故省略此處之說明。

如此，將在對與代表圖像645及647相對應之動畫進行合成再生之狀態下選擇代表圖像642而作成的合成圖像之顯示例顯示於圖38中。如圖38所示，將與代表圖像642、645及647相對應之各動畫所作成的合成圖像630之全體顯示於合成再生顯示區域651上。

以上，對於如下示例進行了說明：在1個動畫進行合成再生步驟中選擇了其他動畫時，使其他動畫依序重疊於進行了該選擇操作時之合成再生中之動畫上，並繼續進行合成再生，但與再生對象之動畫相關的相對關係元資料檔案中含有之幀編號所對應之圖像彼此亦可於同時刻再生。

又，以上，對於如下示例進行了說明：在選擇了作為最初之動畫之第1動畫之後選擇作為其他動畫的第2動畫，且使第2動畫於將第1動畫既已作成的合成圖像上進行合成並再生，但對於同時選擇第1動畫及第2動畫並加以合成顯示之情形亦可同樣適用。例如，可適用於同時選擇代表圖像642、645及647，且使與代表圖像642、645及647相對應之各動畫同時再生之情形。又，對於同時選擇之複數個動畫，如上所述，亦可以使與該等動畫相關的相對關係元資料檔案中含有之幀編號所對應之圖像彼此於同時刻再生之方式，來設定各動畫之再生開始時期。又，以上，作為代表動畫之代表圖像，於構成動畫之圖像中，對於以與前頭幀相對應之圖像作為代表圖像之示例進行了說明，例如，亦可將對動畫所作成的合成圖像用代表圖像。例如，將對動畫所作成的合成圖像儲存於元資料檔案中並記憶於元資料記憶部210中，且可使用該合成圖像而選擇所期望之動畫。將該顯示例顯示於圖39中。

圖39所示之顯示畫面簡化表示在使與圖32(a)至(c)所示之合成圖像600、610、620相對應之代表圖像661至663顯示於代表圖像一覽顯示區域640中之狀態下選擇代表圖像661之情形。再者，代表圖像661之選擇操作與圖33至圖38所示之選擇操作相同，故省略此處之說明。如此，藉由將合成圖像用作代表圖像，而容易掌握應選擇之動畫之全體。

其次，參照圖式，對將2個動畫加以合成之圖像合成方法進行詳細的說明。

圖40係示意性表示將2個動畫合成時的合成例之示圖。於圖40(a)中，顯示有構成動畫670之圖像671至677之變化，於圖40(b)中，顯示有構成動畫680之圖像681至687之變化，於圖40(c)中，顯示有將動畫670及680合成後的合成圖像即圖像691至697之變化。再者，動畫670及680係作為於時刻t1至t7所記錄之動畫。又，時刻t3時之圖像673及683係與圖9所示之圖像370及376相對應之圖像，其係作為對圖像673及683進行圖9所示之一致點之選擇操作者。又，其係作為使用由該選擇操作所計算出的相對關係元資料而將動畫670及680加以合成者。

圖41係表示將圖40所示之合成圖像顯示於顯示部290上時的顯示例之示圖。圖像581至587係表示由動畫670及680所合成的合成圖像之變化之圖像，實線表示當前圖像，虛線表示當前圖像之前的各圖像之區域。如圖41所示，以圖9所示之房屋371為中心且以使房屋371周圍之背景變大之方式顯示。如此，將於大致相同地點以不同的攝像機所攝像之動畫670及680同時進行再生時，藉由將動畫670及680加以合成而可看到於通常之動畫中無法始終看到的背景等，同時可看到2個動畫再生。又，藉由將動畫670及680加以合成而可容易掌握動畫670及680之攝像地點之相對關係。於該例中，顯示有對於同時刻所攝像之圖像，將構成動畫680之圖像覆寫合成至構成動畫670之圖像上的示例，但根據來自操作受理部160之操作輸入，亦可選擇對任一者進行覆寫。又，對於攝像時刻相同且按時刻而合成之示例進行了說明，但亦可對不同時刻彼此之圖像從與來自操作受理部160之操作輸入相對應之位置依序進行合成。

其次，顯示將實際上由攝像機所拍攝的複數個動畫加以合成再生時之顯示例。於以下所示之顯示例中，表示在顯示部290之顯示區域中，僅在與構成複數個動畫之至少任一者之當前幀及此前之幀相對應的圖像所顯示之區域上顯示有合成圖像，而使其他區域為黑。又，在與當前幀相對應之圖像之周圍顯示有框。即，顯示有作為再生之對象之動畫之數量的框。再者，於以下所示之顯示例中，顯示有2個動畫正在再生之中途之顯示例。又，實際上對應每一幀而依序顯示合成圖像，但在以下所示之圖中，顯示有以特定數量之幀間隔為單位之顯示例，而省略於該幀間所顯示之合成圖像之圖示。因此，與當前幀相對應之框之移動成為同圖中較大者。

圖42至圖46係表示由攝像機所拍攝的複數個動畫之變化之一例的示圖。於同圖中，顯示有圖像730至744，該等圖像構成讓2個攝像機一面移動一面於同時刻對公園之廣場上正在玩耍的一家人進行拍攝之動畫。於該例中，對於讓同一拍攝時刻之動畫於同一時刻進行再生之示例進行說明，但亦可與攝像時刻無關而使再生時刻錯開以進行再生。

於同圖所示之圖像730至744中，與當前幀相對應之圖像係圖像750及751。再者，於同圖所示之圖像730至744中，即便合成圖像不同時亦以相同符號750及751來表示當前圖像。如同圖所示，將所拍攝之圖像中含有之拍攝對象物(公園之廣場等)固定於畫面中，使與當前幀相對應之圖像750及751隨著攝像機之變動而在畫面上移動。藉由如此之顯示，從而可在使顯示部290變黑顯示之顯示區域中，使與當前幀相對應之2個圖像以對應於2個攝像機之變動而行進之方式讓瀏覽者看到。又，根據相對關係資訊而將2個動畫建立關聯並合成，故將由2個動畫所作成之合成圖像以由1個動畫構成之方式而顯示。又，將當前圖像於合成圖像上移動時，亦以使合成圖像上之位置與當前圖像之位置相吻合之方式而移動。進而，可使由2個動畫所作成的合成圖像之全體顯示於顯示部290之顯示區域之範圍內，故對於觀看者而言容易看到。

其次，參照圖式，對本發明之實施形態之圖像處理裝置100之動作加以說明。

圖47係表示本發明之實施形態之圖像處理裝置100之動畫的再生處理之處理順序之流程圖。於該例中，對如下示例進行說明：將代表記憶於動畫記憶部200中之各動畫的代表圖像於圖34等所示之代表圖像一覽顯示區域640中顯示之情形。

最初，判斷操作受理部160是否受理了對顯示於代表圖像一覽顯示區域640上之代表圖像加以選擇的選擇操作(步驟S941)。當未受理代表圖像之選擇操作時(步驟S941)，監控代表圖像之選擇操作直至被受理為止。當受理了代表圖像之選擇操作時(步驟S941)，檔案取得部140從記憶於相對關係資訊記憶部220中之相對關係元資料檔案之中，檢索包含與已選擇之代表圖像相對應之動畫ID之相對關係元資料檔案(步驟S942)。繼而，判斷記憶於相對關係資訊記憶部220中之相對關係元資料檔案之中，是否存在包含與已選擇之代表圖像相對應之動畫ID的相對關係元資料檔案(步驟S943)。當記憶於相對關係資訊記憶部220中之相對關係元資料檔案之中存在有包含與已選擇之代表圖像相對應之動畫ID的相對關係元資料檔案時(步驟S943)，將包含與已選擇之代表圖像相對應之動畫ID的相對關係元資料檔案中所儲存的與其他動畫ID相對應之代表圖像，以與其他代表圖像所不同之態樣而顯示(步驟S944)。例如，對代表圖像之周圍附以粗線之框，使用為對象之代表圖像可識別地顯示。

繼而，判斷已選擇之代表圖像是否係以與其他代表圖像所不同之態樣而顯示之代表圖像(步驟S945)。再者，於步驟S941中最初選擇了代表圖像時，並不存在以與其他代表圖像不同之態樣所顯示之代表圖像。另一方面，當已選擇之代表圖像係以與其他代表圖像所不同之態樣而顯示之代表圖像時，有時存在有既已選擇之其他代表圖像。

當已選擇之代表圖像係以與其他代表圖像所不同之態樣而顯示之代表圖像時(步驟S945)，檔案取得部140從動畫記憶部200中取得與本次及本次之前所選擇之各代表圖像相對應之各動畫檔案，並取得與該等各動畫檔案建立關聯而記憶於元資料記憶部210中之元資料檔案，同時從相對關係資訊記憶部220中取得各代表圖像所共通之相對關係元資料檔案(步驟S946)。另一方面，當已選擇之代表圖像並非係以與其他代表圖像所不同之態樣而顯示之代表圖像時(步驟S945)，檔案取得部140從動畫記憶部200中取得與本次所選擇之代表圖像相對應之各動畫檔案，並取得與該動畫檔案建立關聯而記憶於元資料記憶部210中之元資料檔案(步驟S947)。

繼而，根據已取得之各檔案之內容，執行配置資訊計算處理(步驟S950)。對於該配置資訊計算處理，將參照圖47進行詳細的說明。接著，根據已計算出的配置資訊，執行動畫之合成再生處理(步驟S980)。對於該動畫之合成再生處理，將參照圖49進行詳細的說明。

隨後，於動畫之合成再生步驟中，判斷操作受理部160是否受理了對顯示於代表圖像一覽顯示區域640上之代表圖像加以選擇的選擇操作(步驟S948)。當於動畫之合成再生步驟中受理了代表圖像之選擇操作時(步驟S948)，返回到步驟S942。另一方面，當於動畫之合成再生步驟中並未受理代表圖像之選擇操作時(步驟S948)，判斷已選擇之各動畫之合成再生是否結束(步驟S949)。即，對於已選擇之各動畫，判斷直至最後之幀，合成再生是否結束。當所選擇之各動畫之合成再生已結束時(步驟S949)，結束動畫之合成再生處理之動作。另一方面，當所選擇之各動畫之合成再生未結束時(步驟S949)，返回到步驟S980，反覆執行動畫之合成再生處理。

圖48係表示本發明之實施形態之圖像處理裝置100之動畫的再生處理之處理順序中之配置資訊計算處理順序(圖47所示之步驟S950之處理順序)的流程圖。於該例中，對於以構成作為再生之對象之動畫之圖像中的前頭之圖像作為基準圖像之示例進行說明。

最初，將變數i初始化為「1」(步驟S951)。繼而，設定以基準圖像之至少1個頂點為原點、且以與該原點相對應之頂點相連之基準圖像之2邊分別為x軸及y軸的xy座標，並將基準圖像之4個頂點設定為位移向量之始點(步驟S952)。接著，使用與從基準圖像至作為對象之圖像為止的各圖像建立關聯之仿射轉換參數，將基準圖像之4個頂點於xy座標上進行仿射轉換(步驟S953)。然後，計算以基準圖像之4個頂點為始點、以仿射轉換後之4個點為終點的位移向量(步驟S954)。繼而，根據所計算出的位移向量之終點之位置，對x軸方向及y軸方向之最大值及最小值進行更新(步驟S955)。

其後，關於基準動畫，判斷是否到達相對關係元資料檔案中含有的幀編號之圖像之位置(步驟S956)。當已到達相對關係元資料檔案中含有的幀編號之圖像之位置時(步驟S956)，將變數i加上「1」(步驟S957)，並使用與從基準圖像至相對關係元資料檔案之圖像為止的各圖像建立關聯之仿射轉換參數、及相對關係元資料檔案中含有之仿射轉換參數，將基準圖像之4個頂點於xy座標上進行仿射轉換(步驟S958)。此後，計算以基準圖像之4個頂點為始點、以仿射轉換後之4個點為終點的位移向量(步驟S959)。繼而，根據所計算出的位移向量之終點之位置，對x軸方向及y軸方向之最大值及最小值進行更新(步驟S960)。

繼而，使用在基準動畫中與從基準圖像至相對關係元資料檔案之圖像為止的各圖像建立關聯之仿射轉換參數、相對關係元資料檔案中含有之仿射轉換參數、及動畫i中與從相對關係元資料檔案之圖像至作為對象之圖像為止的各圖像建立關聯之仿射轉換參數，將基準圖像之4個頂點於xy座標上進行仿射轉換(步驟S961)。即，於動畫i中，朝向與基準動畫共通之相對關係元資料檔案中含有的幀編號之圖像之前後方向，將基準圖像之4個頂點於xy座標上依序進行仿射轉換。再者，動畫i係基準動畫以外之動畫，其係與基準動畫共通之相對關係元資料檔案所存在之動畫。接著，計算以基準圖像之4個頂點為始點、以仿射轉換後之4個點為終點的位移向量(步驟S962)。然後，根據所計算出的位移向量之終點之位置，對x軸方向及y軸方向之最大值及最小值進行更新(步驟S963)。

然後，關於動畫i，判斷是否到達相對關係元資料檔案中含有之幀編號之圖像之位置(步驟S964)。作為該判斷之對象之圖像的位置係與步驟S958中之轉換後之圖像之位置所不同的位置。關於動畫i，當已到達相對關係元資料檔案中含有的幀編號之圖像之位置時(步驟S964)，返回到步驟S957，對動畫i及基準動畫以外之其他的動畫進行最大值及最小值之更新處理。另一方面，關於動畫i，當未到達相對關係元資料檔案中含有之幀編號之圖像之位置時(步驟S964)，對構成動畫i之所有的圖像，判斷是否進行了最大值及最小值之更新處理(步驟S965)。當並未對構成動畫i之所有的圖像進行最大值及最小值之更新處理時(步驟S965)，返回到步驟S961，反覆執行對於動畫i之最大值及最小值之更新處理。另一方面，當已對構成動畫i之所有的圖像進行了最大值及最小值之更新處理時(步驟S965)，將變數i減去「1」(步驟S966)，並判斷變數i是否為「1」(步驟S967)。當變數i不為「1」時(步驟S967)，返回到步驟S961，反覆執行對於動畫i之最大值及最小值之更新處理。

另一方面，當變數i為「1」時(步驟S967)，對構成基準動畫之所有的圖像，判斷是否進行了最大值及最小值之更新處理(步驟S968)。當並未對構成基準動畫之所有的圖像進行了最大值及最小值之更新處理時(步驟S968)，返回到步驟S953，反覆執行對於基準動畫之最大值及最小值之更新處理。

另一方面，當對構成基準動畫之所有的圖像進行了最大值及最小值之更新處理時(步驟S968)，根據與各動畫相關的更新處理所計算出的x軸方向及y軸方向之最大值及最小值，來計算選擇的1個或者複數個動畫之合成再生結束時的合成圖像之大小(步驟S969)。繼而，根據已計算出的合成圖像之大小與圖像記憶體250之大小，來計算構成各動畫之至少1個圖像之配置位置及被保持時之大小與顯示倍率(步驟S970)。

圖49係表示本發明之實施形態之圖像處理裝置100之動畫的再生處理之處理順序中之動畫之合成再生處理順序(圖47所示之步驟S980之處理順序)的流程圖。

最初，判斷是否已計算出新的配置位置及大小(步驟S981)。當未計算出新的配置位置及大小時(步驟S981)，轉到步驟S984。另一方面，當已計算出新的配置位置及大小時(步驟S981)，圖像合成部240根據新計算出的配置位置及大小，來變更保持於圖像記憶體250中之合成圖像之位置及大小(步驟S982)。然後，對象圖像轉換資訊計算部190根據步驟S946中所取得之各檔案之內容，計算對象圖像轉換資訊(步驟S983)。

接著，檔案取得部140對動畫檔案進行解碼，取得構成動畫檔案之1個幀即當前幀(步驟S984)。再者，於選擇複數個動畫時，取得各動畫之當前幀。繼而，檔案取得部140從元資料檔案中取得與當前幀相對應之仿射轉換參數(步驟S985)。

隨後，圖像轉換部150使用所取得之仿射轉換參數，將與當前幀相對應之當前圖像進行仿射轉換(步驟S986)。再者，於選擇複數個動畫時，對各當前動畫進行仿射轉換。繼而，圖像合成部240將進行了仿射轉換之當前圖像覆寫到圖像記憶體250中所保持之合成圖像上並加以保存(步驟S987)。

然後，顯示區域取出部260根據已計算出的顯示倍率而決定顯示區域之位置及大小(步驟S988)。繼而，顯示區域取出部260從圖像記憶體250中取出顯示區域中含有之合成圖像(步驟S989)。接著，顯示區域取出部260將從圖像記憶體250中所取出之合成圖像保存於顯示用記憶體270中(步驟S990)。隨後，圖像合成部240使用當前圖像之轉換中所用之仿射轉換矩陣、及顯示區域之決定中所用之仿射轉換矩陣之反矩陣，來計算當前圖像之位置(步驟S991)。繼而，根據所計算出的當前圖像之位置，將經仿射轉換而保持於圖像記憶體250之前的當前圖像覆寫合成至保持於顯示用記憶體270中之合成圖像上(步驟S992)。繼而，顯示控制部280使保存於顯示用記憶體270中之合成圖像於顯示部290上顯示(步驟S993)。

其次，參照圖式，對利用多核心處理器而進行本發明實施形態之特徵點提取處理及光流計算處理之情形加以詳細的說明。

圖50係表示本發明實施形態之多核心處理器800之一構成例的示圖。多核心處理器800係於1個CPU(Central Processing Unit，中央處理單元)封包上配置有複數個不同種類之處理器核心之處理器。即，於多核心處理器800上，為了維持各處理器核心單體之處理性能同時成為簡單之構成，配置有複數個如下2種類之處理器核心，即，所謂的與用途(實際應用)相對應之1種類之核心、及於特定之用途中大致最佳化的其他種類之核心。

多核心處理器800包括：控制處理器核心801、運算處理器核心(#1)811至(#8)818及匯流排802，且與主記憶體781相連接。又，多核心處理器800例如與圖形元件782及I/O元件783等之其他元件相連接。作為多核心處理器800，可採用例如由本案申請人等所開發的微處理器即「Cell(Cell：Cell Broadband Engine，Cell寬頻引擎)」。

控制處理器核心801係主要進行如操作系統之類頻繁的線程切換等之控制處理器核心。再者，對於控制處理器核心801，將參照圖51進行詳細的說明。

運算處理器核心(#1)811至(#8)818係擅長於多媒體系統之處理之簡單且小型的運算處理器核心。再者，對於運算處理器核心(#1)811至(#8)818，將參照圖52進行詳細的說明。

匯流排802係被稱作EIB(Element Interconnect Bus，元件互連匯流排)之高速的匯流排，其上分別連接有控制處理器核心801及運算處理器核心(#1)811至(#8)818，各處理器核心之資料存取經由匯流排802而進行。

主記憶體781係連接於匯流排802、並儲存有應加載於各處理器核心上之各種程式及各處理器核心之處理中所必要之資料同時儲存有經各處理器核心所處理之資料的主記憶體。

圖形元件782係連接於匯流排802之圖形元件，I/O元件783係連接於匯流排802之外部輸入輸出元件。

圖51係表示本發明實施形態之控制處理器核心801之一構成例的示圖。控制處理器核心801包括控制處理器單元803及控制處理器存儲系統806。

控制處理器單元803係作為控制處理器核心801進行運算處理之核的單元，其包括以微處理器之體系結構為基礎之指令組，且配置有作為一次快取之指令快取804及資料快取805。指令快取804例如係32KB之指令快取，資料快取805例如係32KB之資料快取。

控制處理器存儲系統806係對從控制處理器單元803向主記憶體781之資料存取加以控制之單元，為了使來自控制處理器單元803之記憶體存取實現高速化而配置有512KB之二次快取807。

圖52係表示本發明實施形態之運算處理器核心(#1)811之一構成例的示圖。運算處理器核心(#1)811包括運算處理器單元820及記憶體流控制器822。再者，運算處理器核心(#2)812至(#8)818係與運算處理器核心(#1)811具有相同之構成，故省略此處之說明。

運算處理器單元820係作為運算處理器核心(#1)811進行運算處理之核的單元，其包括與控制處理器核心801之控制處理器單元803所不同的獨自之指令組。又，於運算處理器單元820上，配置有局部存儲器(LS：Local Store)821。

局部存儲器821係運算處理器單元820之專用記憶體，同時其係可從運算處理器單元820直接參照之唯一的記憶體。例如可使用容量為256K位元組之記憶體來作為局部存儲器821。再者，為了於主記憶體781或者其他的運算處理器核心(運算處理器核心(#2)812至(#8)818)上之局部存儲器上進行存取，運算處理器單元820必須利用記憶體流控制器822。

記憶體流控制器822係用以在主記憶體781及其他的運算處理器核心等之間進行資料之交換的單元，其係被稱為MFC(Memory Flow Controller，記憶體流控制器)之單元。此處，運算處理器單元820依賴於經由被稱為通道之介面而對記憶體流控制器822進行資料傳送等。

作為以上所示之多核心處理器800之程式模式，提出各種情形。作為該程式模式中之最基本的模式，可知為如下模式：於控制處理器核心801上執行主程式，並於運算處理器核心(#1)811至(#8)818上執行副程式。於本發明之實施形態中，將參照圖式，對使用有該模式之多核心處理器800之運算方法進行詳細的說明。

圖53係示意性表示本發明實施形態之多核心處理器800之運算方法的示圖。於該例中，圖示有如下例：當控制處理器核心801要使用資料785來執行任務784時，使用任務784之一部分即任務786之處理中所必要之資料787(資料785之一部)來使各運算處理器核心執行任務786之情形。

如同圖所示，在控制處理器核心801使用資料785來執行任務784時，使用任務784之一部分即任務786之處理時所必要的資料787(資料785之一部分)而使各運算處理器核心執行任務786。於本發明之實施形態中，利用各運算處理器核心來針對構成動畫之每一幀而進行運算處理。

如同圖所示，藉由讓多核心處理器800進行運算，從而可並列地利用運算處理器核心(#1)811至(#8)818，以相對較少的時間來進行較多的運算，同時可於運算處理器核心(#1)811至(#8)818上利用SIMD(Single Instruction/Multiple Data：單指令/多資料)運算，以更少的指令數而進行相對較多的運算處理。再者，關於SIMD運算，將參照圖57至圖60等進行詳細的說明。

圖54係示意性表示在由本發明之實施形態之多核心處理器800進行運算時的程式及資料流之示圖。此處，以運算處理器核心(#1)811至(#8)818中之運算處理器核心(#1)811為例進行說明，但對於運算處理器核心(#2)812至(#8)818亦可同樣地進行。

最初，控制處理器核心801將使儲存於主記憶體781中之運算處理器核心程式823加載到運算處理器核心(#1)811之局部存儲器821上的指示，發送至運算處理器核心(#1)811。藉此，運算處理器核心(#1)811將儲存於主記憶體781中之運算處理器核心程式823加載到局部存儲器821上。

繼而，控制處理器核心801指示運算處理器核心(#1)811來執行儲存於局部存儲器821中之運算處理器核心程式825。

接著，運算處理器核心(#1)811將儲存於局部存儲器821中之運算處理器核心程式825之執行處理時所必要的資料824，從主記憶體781傳送至局部存儲器821。

然後，運算處理器核心(#1)811根據儲存於局部存儲器821中之運算處理器核心程式825，對從主記憶體781所傳送之資料826進行加工，並執行與條件相對應之處理，將處理結果儲存於局部存儲器821中。

其後，運算處理器核心(#1)811將根據儲存於局部存儲器821中之運算處理器核心程式825所執行的處理結果，從局部存儲器821傳送至主記憶體781中。

繼而，運算處理器核心(#1)811將運算處理結束之信息通知控制處理器核心801。

其次，參照圖式，對使用多核心處理器800所進行的SIMD運算進行詳細的說明。此處，所謂SIMD運算，係指以1條指令針對複數個資料之處理的運算方式。

圖55(a)係示意性表示以各個指令分別執行針對複數個資料之處理的運算方式之概要之示圖。圖55(a)所示之運算方式為通常之運算方式，例如，稱為標量運算。例如，根據對資料「A1」及資料「B1」進行加法運算之指令而求出資料「C1」之處理結果。又，對於其他的3個運算，亦同樣地針對各個處理而執行將存在於同一列中之資料「A2」、「A3」、「A4」及資料「B2」、「B3」、「B4」進行加法運算之指令，並藉由該指令而對各列之值進行加算處理，再將該處理結果作為資料「C2」、「C3」、「C4」而求出。如此，於標量運算中，對於針對複數個資料之處理，必須分別對應來執行指令。

圖55(b)係示意性表示以1條指令來執行針對複數個資料之處理的運算方式即SIMD運算之概要的示圖。此處，SIMD運算用中統一成1個的資料(由虛線827及828所包圍之各資料)，有時被稱為向量資料。又，使用如此之向量資料所進行的SIMD運算，有時被稱為向量運算。

例如，藉由將以虛線827所包圍之向量資料(「A1」、「A2」、「A3」、「A4」)及以虛線828所包圍之向量資料(「B1」、「B2」、「B3」、「B4」)進行加法運算之1條指令，求出「C1」、「C2」、「C3」、「C4」之處理結果(由虛線829所包圍之資料)。如此，於SIMD運算中，可利用1條指令而執行針對複數個資料之處理，從而可迅速地執行運算處理。又，多核心處理器800之控制處理器核心801執行與該等SIMD運算相關之指令，並且對於針對該指令之複數個資料之運算處理，由運算處理器核心(#1)811至(#8)818進行並列處理。

另一方面，例如，關於資料「A1」與「B1」之加法運算、資料「A2」與「B2」之減法運算、資料「A3」與「B3」之乘法運算及資料「A4」與「B4」之除法運算的處理，無法於SIMD運算中進行。即，在對複數個資料分別進行不同之處理時，無法進行SIMD運算之處理。

其次，參照圖式，對進行特徵點提取處理及光流計算處理時的SIMD運算之具體之運算方法進行詳細的說明。

圖56係表示由本發明實施形態之控制處理器核心801或者運算處理器核心(#1)811所執行的程式之構成例之示圖。此處，僅圖示有運算處理器核心(#1)811，但對於運算處理器核心(#2)812至(#8)818，亦進行相同之處理。

控制處理器核心801執行作為解碼器851之解碼852、交錯853及調整大小854。解碼852係對動畫檔案進行解碼之處理。交錯853係對解碼後之各幀進行交錯除去之處理。調整大小854係對交錯除去後之各幀進行縮小之處理。

又，控制處理器核心801執行作為運算處理器核心管理856之指令發送857及859、結束通知接收858及860。指令發送857及859係發送相對於運算處理器核心(#1)811至(#8)818之SIMD運算之執行指令的處理，結束通知接收858及860係接收相對於上述指令之來自運算處理器核心(#1)811至(#8)818之SIMD運算的結束通知之處理。進而，控制處理器核心801執行作為鏡頭運動檢測861之鏡頭運動參數計算處理862。鏡頭運動參數計算處理862係根據由運算處理器核心(#1)811至(#8)818之SIMD運算所計算出的光流來針對每一幀而計算仿射轉換參數之處理。

運算處理器核心(#1)811執行作為特徵點提取處理863之索貝爾濾波(Sobel Filter)處理864、二次力矩矩陣(Second Moment Matrix)處理865、可分離濾波(Separable Filter)處理866、哈裏斯角點提取(Calc Harris)處理867、膨脹處理(Dilation)868以及排序處理(Sort)869。

索貝爾濾波處理864係對使用P2之濾波器(x方向)所獲得之x方向的值dx、及使用y方向之濾波器所獲得之y方向的值dy進行計算之處理。再者，關於x方向之值dx的計算，將參照圖57至圖60進行詳細的說明。

二次力矩矩陣處理865係使用由索貝爾濾波處理864所計算出的dx及dy來計算dx2、dy2、dx‧dy之各值的處理。

可分離濾波處理866係對由二次力矩矩陣處理865所計算出的dx2、dy2、dx‧dy之圖像實施高斯濾波(模糊處理)之處理。

哈裏斯角點提取處理867係藉由可分離濾波處理866，使用實施了模糊處理之dx2、dy2、dx‧dy之各值來計算哈裏斯角之得分的處理。該哈裏斯角之得分S例如根據下式而計算。

S=(dx2×dy2-dx‧dy×dx‧dy)/(dx2+dy2+ε)

膨脹處理868係對由哈裏斯角點提取處理867計算出的哈裏斯角之得分所構成之圖像進行模糊處理的處理。

排序處理869係將由哈裏斯角點提取處理867計算出的哈裏斯角之得分按由高到低之順序來排列像素，從該得分較高側讀取特定之數量，並以該讀取之點作為特徵點而提取之處理。

運算處理器核心(#1)811執行作為光流(Optical Flow)運算處理870之錐形圖像(Make Pyramid Image)處理871、光流計算(Calc Optical Flow)處理872。

錐形圖像處理871係根據攝像機在攝像時之畫面大小而依序作成縮小為特定數量等級之圖像的處理，所作成之圖像被稱為多重解析度圖像。

光流計算處理872係在由錐形圖像處理871所作成之多重解析度圖像中，對最小之圖像計算光流，並使用該計算結果來對1個以上之解析度之圖像再次計算光流的處理，反覆執行該一連串之處理，直至到達最大的圖像為止。

如上所述，例如，對於圖2等所示之由特徵點提取部121所進行的特徵點提取處理、及由光流計算部122所進行的光流計算處理，可使用多核心處理器800，藉由SIMD運算而進行並列處理，以此求出處理結果。再者，圖56等所示之特徵點提取處理及光流計算處理僅為一示例，亦可使用針對構成動畫之圖像之各種濾波器處理及臨限值處理等所構成之其他的處理，來進行多核心處理器800之SIMD運算。

圖57係概略地表示對於本發明實施形態之主記憶體781中所儲存之圖像資料(與構成由攝像機所攝像之動畫之1個幀相對應的圖像資料)，使用索貝爾濾波器830進行濾波處理時之資料構造及處理流的示圖。再者，對於同圖所示之主記憶體781中所儲存之圖像資料，將橫向之像素數簡化表示為32像素。又，索貝爾濾波器830係3×3之邊緣提取濾波器。如同圖所示，對於主記憶體781中所儲存之圖像資料，進行使用有索貝爾濾波器830之濾波處理，並輸出該濾波處理之結果。於該例中，對於使用SIMD運算而一次性獲得4個濾波結果之示例加以說明。

圖58係概略地表示對於本發明實施形態之主記憶體781中所儲存之圖像資料使用索貝爾濾波器830來進行SIMD運算時的資料流之示圖。最初，將包含主記憶體781中所儲存之圖像資料中之最初的線的特定數量之線(例如，3線)向運算處理器核心之局部存儲器821所具備之第一緩衝區831中進行DMA(Direct Memory Access)傳送，同時將向第一緩衝區831中進行了DMA傳輸之各線中向下錯開了1個的特定數量之線向第二緩衝區832中進行DMA傳輸。如此，藉由使用雙緩衝區而可隱藏DMA傳輸之遅延。

圖59係概略地表示使用本發明實施形態之索貝爾濾波器830進行濾波處理時，從儲存於第一緩衝區831中之圖像資料而作成9個向量之向量作成方法的示圖。如圖58所示，在進行了DMA傳輸之後，從儲存於第一緩衝區831中之圖像資料作成9個向量。具體而言，在儲存於第一緩衝區831中之圖像資料之1條線上從左角藉由4個資料而作成向量資料841，並藉由將該4個資料向右側錯開1個後的4個資料而作成向量資料842，同樣地，藉由將該4個資料向右側錯開1個後的4個資料而作成向量資料843。又，於2條線及3條線上亦同樣地藉由4個資料而作成向量資料844至849。

圖60係概略地表示在使用本發明實施形態之索貝爾濾波器830進行濾波處理時，使用SIMD指令來對向量資料841至849進行向量運算之向量運算方法的示圖。具體而言，對向量資料841至843依序進行SIMD運算，求出向量A。於該SIMD運算中，最初，執行『「-1」×「向量資料841」』之SIMD運算。然後，執行『「0」×「向量資料842」』之SIMD運算，『「1」×「向量資料843」』之SIMD運算。此處，對於『「0」×「向量資料842」』，因其運算結果確定為「0」，故可省略。又，對於『「1」×「向量資料843」』，因其運算結果確定為與「向量資料843」相同值，故可省略。

接著，藉由SIMD運算，將『「-1」×「向量資料841」』之運算結果與『「0」×「向量資料842」』之運算結果進行加算處理。繼而，藉由SIMD運算，將該加算處理之結果與『「1」×「向量資料843」』之運算結果進行加算處理。此處，例如，對於成為「向量資料1」×「向量資料2」＋「向量資料3」之資料構造之運算，可藉由SIMD運算而執行。因此，關於向量A之運算，例如亦可省略『「0」×「向量資料842」』及『「1」×「向量資料843」』之SIMD運算，利用一次性的SIMD運算而執行『「-1」×「向量資料841」＋「向量資料843」』。

又，同樣地，對向量資料844至846執行SIMD運算，求出向量B，並對向量資料847至849執行SIMD運算，求出向量C。

繼而，對於由SIMD運算所求出的向量A至C執行SIMD運算，求出向量D。如此，藉由執行SIMD運算而可集中獲得與向量之要素數相應(於該例中為4個資料)之結果。

在計算出向量D之後，對於圖58所示之第一緩衝區831中所儲存之圖像資料，一面讓取出的資料之位置向右側錯開1個，一面反覆執行相同之處理，依序進行各個向量D之計算。然後，在直至圖58所示之第一緩衝區831中所儲存之圖像資料之右端為止的處理結束時，將處理結果向主記憶體781進行DMA傳輸。

繼而，在儲存於主記憶體781中之圖像資料中，將向第二緩衝區832進行了DMA傳輸之各線中向下錯開了1個的特定數量之線向第一緩衝區831進行DMA傳輸，同時對儲存於第二緩衝區832中之圖像資料反覆執行上述處理。隨後，直至到達儲存於主記憶體781中之圖像資料之各線中的下端之線為止，反覆執行相同之處理。

同樣地，藉由SIMD運算而進行特徵點提取與光流計算之大部分之處理，由此可實現高速化。

圖61係以時間序列概略地表示本發明實施形態之鏡頭運動參數計算處理流的示圖。如上所述，例如，使用多核心處理器800進行SIMD運算，由此可並列進行對於動畫之解碼及解析處理。因此，可將構成動畫之1幀之解析時間縮短為比解碼時間更短。

例如，於同圖中，t1表示控制處理器核心801對於構成動畫之1幀之解碼處理所需的時間，t2表示運算處理器核心(#1)811至(#8)818對於構成動畫之1幀之特徵點提取處理所需的時間，t3表示運算處理器核心(#1)811至(#8)818對於構成動畫之1幀之光流計算處理所需的時間，t4表示控制處理器核心801對於構成動畫之1幀之鏡頭運動檢測處理所需的時間。再者，t5表示控制處理器核心801及運算處理器核心(#1)811至(#8)818針對構成動畫之1幀而進行鏡頭運動檢測處理所需的時間。又，t6表示控制處理器核心801對於運算處理器核心(#1)811至(#8)818之管理處理所需的時間。例如，可將t1設為「25.0ms」，t2設為「7.9ms」，t3設為「6.7ms」，t4設為「1.2ms」，t5設為「15.8ms」。

其次，參照圖式，對使用有本發明之實施形態之元資料檔案的動畫內容進行再生之情形加以詳細的說明。

圖62(a)係示意性表示作為記錄媒體之一例之藍光光碟(Blu-ray Disc(註冊商標))880的上表面圖，圖62(b)係示意性表示記錄於藍光光碟880中之各資料881至884的示圖。於藍光光碟880中，記錄有例如由攝像機等所攝像之動畫即動畫內容882、動畫內容882之字幕883、及對動畫內容882解析所取得之元資料(例如，圖4(b)所示之元資料檔案，圖5所示之相對關係元資料檔案)884，同時記錄有本發明實施形態之動畫再生之Java(註冊商標)程式881。

圖62(c)係示意性表示使藍光光碟880可再生的藍光再生機(Blu-ray Disc Player)890之內部構成的示圖。此處，使藍光光碟可再生的藍光再生機890係與CPU891及OS892一併標準地配置有Java(註冊商標)VM(Java(註冊商標)虛擬機器)及庫893，故可執行Java(註冊商標)程式。因此，將藍光光碟880安裝於藍光再生機890上，從而藍光再生機890可加載並執行Java(註冊商標)程式881。藉此，在藍光再生機890將動畫內容882進行再生時，可使用元資料884來進行本發明實施形態之動畫再生。即，不使用專用之PC軟體等即可於所有的藍光再生機上實現本發明實施形態之動畫再生。

如上所示，於本發明之實施形態中，當對複數個動畫進行再生時，將比當前正在顯示之圖像更靠前之幀所對應的各圖像一面合成至當前之圖像上一面進行顯示，故可容易瀏覽作為拍攝之中心之對象物、及於至少一部分時間帶所拍攝之背景等。因此，例如當欲再觀看於至少一部分時間帶所拍攝之背景等時，即便不進行倒帶操作或檢索操作等，亦可與當前正在顯示之圖像同時看到其背景等。又，在瀏覽由攝像機所拍攝之動畫時，可容易掌握該動畫之內容。進而，例如，在對含有同一對象物之動畫進行再生時，於該對象物之一部分上，使複數個動畫重疊顯示，故可容易掌握複數個動畫之相對的關係。又，由於與前面之幀相對應之圖像被固定，故瀏覽者可容易認識空間上的擴大。又，可使對動畫作成的合成圖像之全體顯示於顯示部290上，故在將動畫進行合成再生時可使圖像以適切之大小而圖像。藉此，可防止於合成再生之中途未顯示合成圖像之一部分的情形，故可容易掌握該動畫之內容。

即，可靈活運用過去之幀，將複數個動畫進行空間性展開並鑒賞。藉此，例如可提供一種一面讓複數個動畫再生一面完成全景圖像之鑒賞方法，從而瀏覽者可饒有趣味地觀賞動畫。又，對於當前圖像，由於可使保存於圖像記憶體250之前之狀態的圖像依序顯示，故可顯示相對較漂亮的圖像。

又，於本發明之實施形態中，對於使用已預先檢測之仿射轉換參數來進行再生顯示之示例進行了說明，但亦可於再生時計算仿射轉換參數，並使用該計算出的仿射轉換參數來進行再生顯示。例如，藉由使用有多核心處理器之SIMD運算來計算仿射轉換參數，由此可於1幀之解碼之處理時間內計算1幀之仿射轉換參數。藉此，當對未計算出仿射轉換參數之動畫進行再生時，可一面計算仿射轉換參數一面進行動畫再生，故可對動畫迅速地進行空間性展開之鑒賞。

又，於本發明之實施形態中，對於如下示例進行了說明，即，將複數個動畫檔案記憶於動畫記憶部200中，同時將與該動畫相對應這仿射轉換參數與對應之動畫及幀建立關聯並作為元資料檔案而記憶於元資料記憶部210中，進而，將與複數個動畫相關的相對關係資訊記憶於相對關係資訊記憶部220中，但亦可將動畫、與該動畫相對應之仿射轉換參數、及與該動畫相關的相對關係資訊建立關聯並作為動畫檔案而記錄於動畫記憶部中，於再生時，可從動畫檔案中提取使用各資訊。

又，例如，對於高畫質電視(Television)，當要鑒賞以SD(Standard Definition，標準清晰度)畫質所拍攝之動畫時，或者要鑒賞使用數位靜態攝像機(digital still camera)或行動電話之動畫保存功能等所拍攝之動畫時，若在原始之圖像大小之狀態下顯示，則有時不會有效利用高畫質電視之像素數。又，若進行放大顯示，則圖像粗糙現象明顯較多。因此，藉由本發明之實施形態中所說明之顯示，可使圖像之粗糙現象不明顯，從而可鑒賞到高畫質電視之像素數得以有效利用之圖像。

再者，亦可將由圖像合成部240所合成的合成圖像記錄於記錄媒體等中，並於其他的再生顯示中應用。而且，於本發明之實施形態中，說明了使與當前幀之前的幀相對應之合成圖像進行顯示之示例，但對於該合成圖像，亦可隨著時間之經過而依序消失。於該情形時，可實施使殘像殘存後消失之類的設置。又，亦可進行如下設置：對與當前幀相對應之圖像進行彩色顯示，同時對與當前幀之前的幀相對應之合成圖像，隨著時間之經過而從彩色顯示變更為深棕色顯示。

又，於本發明之實施形態中，對由圖像合成部所合成之圖像顯示於顯示部上的圖像處理裝置之示例進行了說明，但可將本發明之實施形態應用於設置有圖像輸出機構之圖像處理裝置中，上述圖像輸出機構係輸出用以使圖像合成部所合成之圖像顯示於其他的圖像顯示裝置上之圖像資訊。進而，可將本發明之實施形態應用於可再生動畫之動畫再生裝置或者可再生已拍攝之動畫之數位攝影機等的攝像裝置等中。

又，於本發明之實施形態中，對於由攝像機所攝像之動畫進行了說明，但是對於例如將由攝像機所攝像之動畫進行了編輯的編輯後之動畫或者動畫等加以合成所得的動畫等，亦可應用本發明之實施形態。又，於本發明之實施形態中，對於顯示履歷圖像之一部分或者全部之示例進行了說明，但亦可僅顯示轉換後的複數個當前圖像。即，亦可僅依序顯示最後保持於圖像記憶體中之複數個當前圖像。

再者，本發明之實施形態係表示用以使本發明具體化之一示例者，其與以下所示之申請專利範圍中的發明特定項分別具有對應關係，但並非限定於此，在不脫離本發明之要旨之範圍內可實施種種變形。

即，於請求項1中，動畫記憶機構對應於例如動畫記憶部200。又，轉換資訊記憶機構對應於例如元資料記憶部210。又，圖像保持機構對應於例如圖像記憶體250。又，配置資訊計算機構對應於例如配置資訊計算部230。又，圖像轉換機構對應於例如圖像轉換部150。又，圖像合成機構對應於例如圖像合成部240。

又，於請求項2中，相對關係資訊記憶機構對應於例如相對關係資訊記憶部220。又，對象圖像轉換資訊計算機構對應於例如對象圖像轉換資訊計算部190。

又，於請求項3中，顯示機構對應於例如顯示部290。又，操作受理機構對應於例如操作受理部160。又，顯示控制機構對應於例如顯示控制部280。

又，於請求項7中，圖像合成機構對應於例如圖像轉換部150及圖像合成部240。又，顯示機構對應於例如顯示部290。又，配置資訊計算機構對應於例如配置資訊計算部230。

又，於請求項8中，動畫記憶機構對應於例如動畫記憶部200。又，轉換資訊記憶機構對應於例如元資料記憶部210。又，圖像保持機構對應於例如圖像記憶體250。又，配置資訊計算機構對應於例如配置資訊計算部230。又，圖像轉換機構對應於例如圖像轉換部150。又，圖像合成機構對應於例如圖像合成部240。又，顯示控制機構對應於例如顯示控制部280。

又，於請求項9或10中，配置資訊計算順序對應於例如步驟S950。又，圖像轉換順序對應於例如步驟S986。又，圖像合成順序對應於例如步驟S986。

再者，本發明之實施形態中所說明之處理順序可作為具有該等一連串之順序的方法而掌握，而且，亦可作為用以使電腦執行該等一連串之順序的程式或者記憶該程式之記錄媒體而掌握。

100．．．圖像處理裝置

110．．．動畫輸入部

120．．．鏡頭運動檢測部

121．．．特徵點提取部

122．．．光流計算部

123．．．鏡頭運動參數計算部

130．．．記錄控制部

140．．．檔案取得部

141．．．動畫取得部

150．．．圖像轉換部

160．．．操作受理部

170．．．一致點選擇部

180．．．相對關係資訊計算部

190．．．對象圖像轉換資訊計算部

200．．．動畫記憶部

201~204、651~653．．．動畫檔案

210．．．元資料記憶部

211~213、221~223．．．元資料檔案

214、224．．．動畫ID

215．．．代表圖像

216、225．．．幀編號

217、226．．．仿射轉換參數

220．．．相對關係資訊記憶部

230．．．配置資訊計算部

240．．．圖像合成部

250．．．圖像記憶體

260．．．顯示區域取出部

270．．．顯示用記憶體

280．．．顯示控制部

290．．．顯示部

300、320、330、370、376、384、401~403、441~443、471、472、475、480、481、482、484、486、487、488、501~508、511~515、521~526、531~535．．．圖像

301、321、331．．．馬的像

302、322、332．．．蛇的像

303~305、306~311、323、324、325、333、334、335．．．角點

336．．．點

340．．．一致點檢索部

341．．．多重解析度生成部

342．．．特徵點提取部

343．．．特徵量提取部

344．．．模式字典註冊部

345．．．多重解析度生成部

346．．．特徵點提取部

347．．．特徵量提取部

348．．．kd樹構築部

349．．．特徵量比較部

371、623．．．房屋

372、377．．．上部分

373、374、378、379．．．角部分

375、652．．．光標

381~383、404~409、509、516、527、536．．．箭頭

400、440．．．人

450~460．．．區域

470．．．顯示區域

475、482．．．當前圖像

483、602、603、612、621、622．．．框

500、510、520、530．．．動畫

549~552、557~560、569~572．．．位移向量

545~548、565~568．．．終點

541~544、555．．．始點

562、563、564、578、579．．．頂點

574、580．．．合成圖像顯示範圍

600、610、620．．．合成圖像

606、614、624、641~648．．．代表圖像

640．．．代表圖像一覽顯示區域

649．．．check按鈕

651．．．合成再生顯示區域

653．．．滾動條

660．．．相對關係元資料檔案

781．．．主記憶體

782．．．圖形元件

783．．．I/O元件

784、786．．．任務

785、787、824、826．．．資料

800．．．多核心處理器

801．．．控制處理器核心

802．．．匯流排

803．．．控制處理器單元

804．．．指令快取

805．．．資料快取

806．．．控制處理器存儲系統

807．．．二次快取

811~818．．．運算處理器核心

820．．．運算處理器單元

821．．．局部存儲器

822．．．記憶體流控制器

823、825．．．運算處理器核心程式

827、828．．．虛線

830．．．索貝爾濾波器

831．．．第一緩衝區

832．．．第二緩衝區

844~849．．．向量資料

851．．．解碼器

852．．．解碼

853．．．交錯

854．．．調整大小

856．．．運算處理器核心管理

857、859．．．指令發送

858、860．．．結束通知接收

861．．．鏡頭運動檢測

862．．．鏡頭運動參數計算處理

863．．．特徵點提取處理

864．．．索貝爾濾波處理

865．．．二次力矩矩陣處理

866．．．可分離濾波處理

867．．．哈裏斯角點提取處理

868．．．膨脹處理

869．．．排序處理

870．．．光流運算處理

871．．．錐形圖像處理

872．．．光流計算處理

880．．．藍光光碟

881．．．Java程式

882．．．動畫內容

883．．．字幕

884．．．元資料

890．．．藍光再生機

891．．．CPU

892．．．OS

893．．．庫

A~D．．．向量

S900~S916、S941~S950、S951~S970、S980~S993．．．步驟

t1~t7．．．時刻

圖1係表示本發明之實施形態之圖像處理裝置100之功能構成例的方塊圖。

圖2係表示本發明之實施形態之鏡頭運動檢測部120之功能構成例的方塊圖。

圖3係表示本發明之實施形態之一致點檢索部340之功能構成例的方塊圖。

圖4(a)、(b)係示意性表示本發明之實施形態之動畫記憶部200及元資料記憶部210中所記錄之各檔案的示圖。

圖5係示意性表示本發明之實施形態之動畫記憶部200及相對關係資訊記憶部220中所記錄之各檔案的示圖。

圖6(a)-(c)係表示與構成動畫之幀相對應之圖像之一例的示圖。

圖7(a)-(c)係表示將與構成動畫之幀相對應之圖像之背景等省略而簡化之圖像的示圖。

圖8係表示本發明之實施形態之圖像處理裝置100的仿射轉換參數檢測處理之處理順序之流程圖。

圖9(a)-(d)係概略地表示藉由選擇圖像中含有之一致點而計算與2個圖像相關之仿射轉換參數的仿射轉換參數計算方法、及根據上述已選擇之一致點而使2個圖像合成之情形的示圖。

圖10(a)-(c)係概略地表示藉由選擇圖像中含有之一致點而計算與2個圖像相關之仿射轉換參數的仿射轉換參數計算方法的示圖。

圖11(a)-(c)係表示由攝像機所拍攝之動畫之變化之一例的示圖。

圖12(a)-(c)係以虛線表示圖11所示之各圖像中與前一幀相對應之圖像，且表示檢測出的光流之一例之示圖。

圖13(a)-(c)係表示對包含圖11所示之圖像401至403之動畫進行再生時之顯示例的示圖。

圖14(a)-(c)係表示由攝像機所拍攝之動畫之變化之一例的示圖。

圖15(a)-(c)係以虛線表示圖14所示之各圖像中與前一幀相對應之圖像，且表示檢測出的光流之一例之示圖。

圖16(a)-(c)係表示對包含圖14所示之圖像421至423之動畫進行再生時之顯示例的示圖。

圖17(a)-(c)係表示由攝像機所拍攝之動畫之變化之一例的示圖。

圖18(a)-(c)係以虛線表示圖17所示之各圖像中與前一幀相對應之圖像，且表示檢測出的光流之一例之示圖。

圖19(a)-(c)係表示對包含圖17所示之圖像441至443之動畫進行再生時之顯示例的示圖。

圖20(a)-(c)係示意性表示本發明之實施形態之動畫記憶部200中所記憶的動畫檔案之各幀與顯示區域之關係的示圖。

圖21(a)-(c)係示意性表示本發明之實施形態之動畫記憶部200中所記憶的動畫檔案之各幀流的示圖。

圖22(a)、(b)係表示對由攝像機所拍攝之動畫進行再生時的顯示例(圖像480)、及將圖像480中之當前圖像482進行仿射轉換前之狀態之圖像484的示圖。

圖23(a)、(b)係表示在將由圖22所示之框483所包圍之圖像區域放大顯示之情形時的圖像485、及在將仿射轉換後之當前圖像保存於圖像記憶體250中之狀態下顯示用記憶體270中所保存之圖像487的示圖。

圖24(a)-(d)係示意性表示將2個動畫合成時之合成例的示圖。

圖25(a)-(d)係表示對藉由構成動畫之各圖像之合成所作成的合成圖像之大小進行計算的合成圖像之大小計算方法之概略的示圖。

圖26(a)-(c)係表示對藉由構成動畫之各圖像之合成所作成的合成圖像之大小進行計算的合成圖像之大小計算方法之概略的示圖。

圖27係示意性表示本發明之實施形態之動畫記憶部200及相對關係資訊記憶部220中所記錄的各檔案之示圖。

圖28(a)-(c)係示意性表示將3個動畫合成時之合成例之示圖。

圖29(a)、(b)係表示在藉由構成動畫之各圖像之合成所作成的合成圖像之大小進行計算的合成圖像之大小計算方法之概略的示圖。

圖30(a)-(c)係示意性表示將4個動畫合成時之合成例的示圖。

圖31(a)、(b)係表示對藉由構成動畫之各圖像之合成所作成的合成圖像之大小進行計算的合成圖像之大小計算方法之概略的示圖。

圖32(a)-(d)係概略地表示代表動畫之代表圖像與對該動畫所作成的合成圖像之關係、以及對複數個動畫所作成的合成圖像之示圖。

圖33係表示本發明之實施形態之顯示部290上所顯示之顯示畫面之一例的示圖。

圖34係表示本發明之實施形態之顯示部290上所顯示之顯示畫面之一例的示圖。

圖35係表示本發明之實施形態之顯示部290上所顯示之顯示畫面之一例的示圖。

圖36係表示本發明之實施形態之顯示部290上所顯示之顯示畫面之一例的示圖。

圖37係表示本發明之實施形態之顯示部290上所顯示之顯示畫面之一例的示圖。

圖38係表示本發明之實施形態之顯示部290上所顯示之顯示畫面之一例的示圖。

圖39係表示本發明之實施形態之顯示部290上所顯示之顯示畫面之一例的示圖。

圖40(a)-(c)係示意性表示將2個動畫合成時之合成例之示圖。

圖41係表示將圖40所示之合成圖像顯示於顯示部290時之顯示例的示圖。

圖42(a)-(c)係表示由攝像機所拍攝之複數個動畫之變化之一例的示圖。

圖43(a)-(c)係表示由攝像機所拍攝之複數個動畫之變化之一例的示圖。

圖44(a)-(c)係表示由攝像機所拍攝之複數個動畫之變化之一例的示圖。

圖45(a)-(c)係表示由攝像機所拍攝之複數個動畫之變化之一例的示圖。

圖46(a)-(c)係表示由攝像機所拍攝之複數個動畫之變化之一例的示圖。

圖47係表示由本發明之實施形態之圖像處理裝置100所進行的動畫之再生處理之處理順序的流程圖。

圖48係表示由本發明之實施形態之圖像處理裝置100所進行的配置資訊計算處理順序之流程圖。

圖49係表示由本發明之實施形態之圖像處理裝置100所進行的動畫之合成再生處理順序之流程圖。

圖50係表示本發明之實施形態之多核心處理器800之一構成例的示圖。

圖51係表示本發明之實施形態之控制處理器核心801之一構成例的示圖。

圖52係表示本發明之實施形態之運算處理器核心(#1)811之一構成例的示圖。

圖53係示意性表示本發明之實施形態之多核心處理器800之運算方法的示圖。

圖54係示意性表示藉由本發明之實施形態之多核心處理器800進行運算時的程式及資料流之示圖。

圖55(a)、(b)係示意性表示分別利用指令來對複數個資料進行處理之運算方式之概要、及利用1個指令來對複數個資料進行處理之SIMD運算之概要的示圖。

圖56係表示藉由本發明之實施形態之控制處理器核心801或者運算處理器核心(#1)811所執行的程式之構成例之示圖。

圖57係概略地表示使用索貝爾濾波器830來對本發明之實施形態之主記憶體781中所儲存之圖像資料進行濾波處理時的資料構造及處理流之示圖。

圖58係概略地表示使用索貝爾濾波器830來對本發明之實施形態之主記憶體781中所儲存之圖像資料進行SIMD運算時的資料流之示圖。

圖59係概略地表示使用本發明之實施形態之索貝爾濾波器830進行濾波處理時，由儲存於第一緩衝區831中之圖像資料而作成9個向量之向量作成方法的示圖。

圖60係概略地表示使用本發明之實施形態之索貝爾濾波器830進行濾波處理時，利用SIMD指令來對向量資料841至849進行向量運算之向量運算方法的示圖。

圖61係以時間序列概略地表示本發明之實施形態之鏡頭運動參數計算處理流的示圖。

圖62(a)-(c)係示意性表示作為記錄媒體之一例之藍光光碟880、記錄於藍光光碟880中之各資料881至884、以及可再生藍光光碟880之藍光再生機890之內部構成的示圖。