TWI362886B - Image storage device, imaging device, image storage method, and image processing program - Google Patents

Description

1362886 九、發明說明 【發明所屬之技術領域】 本發明，係有關於影像記憶裝置，特別是有 被攝體之臉孔影像的記錄之影像記億裝置，及進 之攝像裝置，以及在此些中之處理方法、還有在 行該方法之程式。 【先前技術】 由於臉孔辨識技術以及表情辨識技術之進步 ，係成爲能夠辨識被攝體是否爲人的臉孔，又， 夠辨識該臉孔之表情係爲何種表情。於此，.所謂 識，係指對被攝體之影像資料是否與包含有眼、 之臉孔影像資料一致一事作判別。又，所謂表情 係指對影像資料與表示笑臉、哭臉、生氣的臉等 影像資料有多大程度之近似一事作解析。此些， 所致之處理作爲前提，而亦成爲可適用於攝像裝 例如，係提案有：辨識出被攝體之臉孔的方 臉孔朝向特定之方向時，將被攝體之影像資料作 像機（例如，參考專利文獻1 )。

[專利文獻1]日本特開200 1 -5 1 3 3 8號公報（I 【發明內容】 [發明所欲解決之課題] 然而，在上述之習知技術中，由於係從被攝 關於進行 行該攝像 電腦上實 ，在近年 亦成爲能 臉孔之辨 鼻、嘴等 之辨識， 之表情的 係以電腦 置中。 向，並在 記錄的攝 B 1 ) 體之影像 -4- 1362886 資料與特定之表情的影像資料成爲一致的時間點起，才開 始影像之記錄處理，因此，在表情成爲一致的時間點，與 記錄處理結束的時間點之間，會產生有時間差。亦即是， 攝像之時機係會延遲，而使使用者所期望之表情成爲未被 記錄。因此，可以想見，欲將特別是笑臉等之瞬間表情的 影像作記錄一事，係爲困難。 而，本發明，係以從以時間系列而變化之影像資料中 ，對該變化作推測，並將使用者所意識之影像作記錄一事 爲目的。 [用以解決課題之手段] 本發明，係爲了解決上述課題而進行者，其第1側面 ，係爲一種影像記憶裝置，其特徵爲，具備有：表情相關 判定手段，係將被包含於以時間系列而變化之影像資料中 的臉孔影像之表情的與特定之基準表情間的相關程度，作 爲表情相關度而進行判定：和表情推測手段，係對於在特 定期間內前述臉孔影像之表情成爲與前述特定之基準表情 間具有一定之相關關係一事，經由前述表情相關度之變遷 而推測並檢出；和影像記憶控制手段，係以使從前述檢出 被進行起，經過前述特定期間經過後之前述影像資料殘留 在影像資料記憶手段中的方式，而作控制。藉由此，在影 像記憶裝置中，可以達成：從臉孔影像之表情相關度的變 遷來推測出在特定期間內之表情的變化，並根據此推測而 使特定期間內之影像資料殘留在影像資料記憶手段中的作 -5- 1362886 用。 又，在此第1側面中，前述表情推測手段，係亦可當 前述表情相關度超過了特定之程度時，檢測出其係成爲具 有前述一定之相關關係。藉由此，能夠達成：以特定之程 度爲基準，而從表情相關度之變遷來推測出表情的作用。 又，在此第1側面中，前述表情推測手段，係亦可當 前述表情相關度之變化的斜率超過了特定之値、且前述表 情相關度超過了特定之程度的情況時，檢測出其係成爲具 有前述一定之相關關係。藉由此，能夠達成：以特定之程 度以及變化之斜率爲基準，而從表情相關度之變遷來推測 出表情的作用。 又，在此第1側面中，前述影像記憶控制手段，係亦 可將從前述檢測被進行起，經過前述特定期間後之前述影 像資料記憶在影像資料記憶手段中。藉由此，可以達成： 根據表情之推測，而將特定期間內之影像資料記憶於影像 資料記憶手段中的作用。 又’在此第1側面中，前述影像記憶控制手段，係亦 可以記憶新的前述影像資料的方式而在前述影像記億手段 中進行更新，而在從前述檢測被進行起，經過前述特定期 間後’將前述更新中止。藉由此，關於影像資料之記憶控 制，係可達成：在依序記憶新的影像資料，並將最前面的 影像資料廢棄的過程中，進行記憶手段之影像資料的更新 ，並在特定期間後，使該更新中止的作用。 又，在此第1側面中，前述影像記憶控制手段，係亦 -6- 1362886 可以使從則述檢測被進行起’經過前述特定時間後之複數 - 的則述影像資料殘留在影像資料記憶手段中的方式來作控 制。藉由此，可以達成：根據表情之推測，而使特定期間 內之複數的影像資料殘留於影像資料記憶手段中的作用。 又’在此第1側面中’係亦可更進而具備有··將前述 •影像資料作爲動畫像資料而記憶的動畫像資料記憶手段， 且’前述影像記憶控制手段，係亦可將從前述檢測被進行 # 起’經過前述特定期間後之前述影像資料’從前述動畫像 資料記憶手段而退避至前述影像資料記憶手段中。藉由此 ，可以達成：一面將影像資料作爲動畫像資料而記憶，一 • 面根據表情之推測，而將特定期間內之動畫像資料從動畫 . 像資料記億手段而退避至影像資料記億手段中的作用。 又’本發明之第2側面’係爲一種影像記憶裝置，其 特徵爲，具備有：臉孔影像檢測手段，係檢測出被包含於 以時間系列而變化之影像資料中的臉孔影像；和表情相關 判定手段，係將則述被檢測出之臉孔影像的表情之與特定 之基準表情間的相關程度，作爲表情相關度而進行判定； ^ 和表情推測手段，係對於在特定期間內前述臉孔影像之表 情成爲與前述特定之基準表情間具有一定之相關關係一事 ' ，經由前述表情相關度之變遷而推測並檢測出；和影像記 憶控制手段，係以使從前述檢出被進行起，經過前述特定 期間後之前述影像資料殘留在影像資料記憶手段中的方式 ，而作控制。藉由此，在影像記憶裝置中，可以達成：從 所檢測出之臉孔影像之表情相關度的變遷來推測出在特定 1362886 期間內之表情的變化，並根據此推測而使特定期間內之影 像資料殘留在影像資料記憶手段中的作用。 又，本發明之第3側面，係爲一種影像記億裝置，其 特徵爲’具備有：臉孔影像檢測手段，係檢測出被包含於 以時間系列而變化之影像資料中的複數之臉孔影像；和臉 孔確率評價手段，係針對前述所檢測出之複數臉孔影像， 而評價臉孔確率；和表情相關判定手段，係將前述複數臉 孔影像中之前述臉孔確率爲最高的臉孔影像之表情的與特 定之基準表情間的相關程度，作爲表情相關度而進行判定 :和表情推測手段，係對於在特定期間內前述臉孔確率爲 最高的臉孔影像之表情成爲與前述特定之基準表情間具有 一定之相關關係一事，經由前述表情相關度之變遷而推測 並檢測出；和影像記憶控制手段，係以使從前述檢出被進 行起，經過前述特定時間後之前述影像資料殘留在影像資 料記憶手段中的方式，而作控制。藉由此，可以達成：從 臉孔確率最高之臉孔影像之表情相關度的變遷，來推測出 在特定期間內之表情的變化，並根據此推測而使特定期間 內之影像資料殘留在影像資料記憶手段中的作用。 又，本發明之第4側面，係爲一種影像記憶裝置，其 特徵爲，具備有：臉孔影像檢測手段，係檢測出被包含於 以時間系列而變化之影像資料中的複數之臉孔影像；和選 擇接收手段，係接收對於從前述所檢測出之複數臉孔影像 之中成爲判定對象之臉孔影像的選擇；和表情相關判定手 段，係將前述所選擇的臉孔影像之表情的與特定之基準表 -8 - 1362886 情間的相關程度，作爲表情相關度而進行判定；和 測手段，係對於在特定期間內前述所選擇的臉孔影 情成爲與前述特定之基準表情間具有一定之相關關 ’經由前述表情相關度之變遷而推測並檢測出：和 憶控制手段，係以使從前述檢出被進行起，經過前 期間後之前述影像資料殘留在影像資料記億手段中 ’而作控制。藉由此，可以達成：從所選擇之臉孔 表情相關度的變遷，來推測出在特定期間內之表情 ’並根據此推測而使特定期間內之影像資料殘留在 料記憶手段中的作用。 又，本發明之第5側面，係爲一種攝像裝置， 爲’具備有：攝像手段，係對以時間系列而變化之 進行攝像，並作爲影像資料而輸出；和表情相關判 ’係將被包含於前述影像資料中的臉孔影像之表情 定之基準表情間的相關程度，作爲表情相關度而進 :和表情推測手段，係對於在特定期間內前述臉孔 表情成爲與前述特定之基準表情間具有一定之相關 事’經由前述表情相關度之變遷而推測並檢測出； 記憶控制手段，係以使從前述檢測被進行起，經過 定期間後之前述影像資料殘留在影像資料記憶手段 式，而作控制。藉由此，可以達成：從所攝像之臉 之表情相關度的變遷，來推測出在特定期間內之表 化’並根據此推測而使特定期間內之影像資料殘留 資料記憶手段中的作用。 表情推 像之表 係一事 影像記 述特定 的方式 影像之 的變化 影像資 其特徵 被攝體 定手段 的與特 行判定 影像之 關係一 和影像 前述特 中的方 孔影像 情的變 在影像 -9- 1362886 [發明之效果] 若藉由本發明，則係可得到：從以時間系列而變化之 影像資料中’對該變化作推測，並將使用者所意識之影像 作記錄之優秀的效果。 【實施方式】 接下來’參考圖面’針對本發明之實施形態作詳細說 明。 圖1，係爲展示本發明之實施形態中的攝像裝置1〇〇 之功能構成例之圖。此攝像裝置1 00，係具備有：攝像部 1 1 0、和訊號處理部1 2 0、和匯流排1 3 0、和影像記憶部 140、和控制部150、和保持部160、和使用者介面170、 和影像壓縮解壓縮部1 80、和影像保存部1 90、和臉孔檢 測部2 0 0、和臉孔確率評價部2 9 0、和表情檢測部3 0 0、和 表情推測部390。 攝像部11〇，係爲對被攝體進行攝像並作爲影像資料 而輸出者。此攝像部1 1 〇，係具備有光學系111以及攝像 元件112。此光學系111，係具備有對焦透鏡或伸縮透鏡 等之透鏡群，而捕捉有被攝體之射入光，係成爲通過此些 之透鏡群。通過此些之透鏡群的射入光，係到達攝像元件 1 1 2。而，在攝像元件1 1 2中，射入光係結像，並被變換 爲電性訊號。此變換後之電性訊號，係被輸出至訊號處理 部 120。 -10- 1362886 訊號處理部120’係對於從攝像元件u2所輸出之電 性訊號施加各種的訊號處理，並作爲影像資料而對攝像裝 置1〇〇內之各部作供給者。在此訊號處理部12〇中之訊號 處理’係包含有：雜訊減輕、準位修正、A/D變換（從 類比訊號變換至數位訊號）以及色彩修正等。具體而言， 該影像資料’係被供給至影像記憶部1 40、臉孔檢測部 200、使用者介面170、以及影像壓縮解壓縮部180。另外 ，在此訊號處理部120中之上述的處理，係經由從控制部 1 50而來之控制訊號而被控制。 匯流排Π0，係爲用以傳送影像資料之共有的傳送路 徑。此匯流排130，係爲將訊號處理部120、和影像記憶 部140、和影像壓縮解壓縮部180、和臉孔檢測部200、以 及表情檢測部3 00之間彼此作結合者。 影像記億部1 40，係將在攝像裝置1 00中成爲處理對 象之影像資料作記憶者。被記憶於此影像記憶部1 40中之 影像資料，係經由匯流排1 3 0，而被從訊號處理部1 20、 影像壓縮解壓縮部1 80、臉孔檢測部200、表情檢測部300 以及使用者介面170所存取。 影像壓縮解壓縮部180，係將從攝像裝置100之各部 所供給之影像資料作壓縮並供給至影像保存部1 90，又， 將從影像保存部1 90所供給之影像資料作解壓縮並供給至 攝像裝置1〇〇之各部者。作爲此影像壓縮解壓縮部180所 致之壓縮形式，例如係可採用JPEG ( Joint Photographic Experts Group)开多式。 -11 - 1362886 影像保存部190，係將從影像壓縮解壓縮部180所供 給之壓縮後影像資料作保存者。又，被保存於此影像保存 部190中之壓縮後影像，係可經由影像壓縮解壓縮部180 而被解壓縮。 臉孔檢測部200，係爲從影像資料而檢測出臉孔影像 者。此臉孔檢測部200，係從訊號處理部120、影像記憶 部140又或是影像壓縮解壓縮部180，而被供給成爲被檢 測對象之影像資料。在臉孔影像之檢測中，係藉由將被包 含於影像資料中之成爲臉孔影像的評價對象之要素（例如 ，面積、座標、適合度、正面度以及傾斜度等）作組合， 而從綜合性的觀點來判定臉孔確率。另外，對於成爲評價 對象之各要素所施加的權重附加係數，係從控制部1 50而 作供給。而，經由此臉孔檢測部200中所產生的臉孔確率 ，係被供給至控制部1 5 0。 臉孔確率評價部290，係爲對於經由臉孔檢測部200 所算出之臉孔確率而進行評價者。經由此臉孔確率評價， 例如，係評價出何者係爲臉孔確率最高的臉孔影像。此臉 孔確率評價部290，係從控制部150而被供給有成爲被評 價對象之臉孔確率。此臉孔確率評價部290，係將根據臉 孔確率所得之臉孔確率評價結果，供給至控制部1 5 0。 使用者介面170，係爲提供對於使用攝像裝置100之 使用者的介面者。此使用者介面170，係具備有顯示部 171以及選擇接收部172。 顯示部171，係將從訊號處理部120以及影像壓縮解 -12- I362886 壓縮部180而來之影像資料作顯示者。進而，此顯示部 171，係因應於臉孔確率評價部290所致之評價結果，而 對於該臉孔影像進行表示臉孔之位置的框之重疊顯示。例 如，當存在有複數之臉孔的情況時，對於臉孔確率最高之 臉孔影像，該框係被作視覺性的強調並顯示，而其他框係 被作通常顯示。 選擇接收部172，係爲接收使用者對在顯示部171中 所顯示之臉孔所做的選擇之指示輸入者。例如，當複數之 臉孔被顯示於顯示部117中時，使用者藉由使被進行重疊 顯示之框移動，而能夠對任一之臉孔作任意之選擇。此選 擇結果，係被供給至控制部1 5 0。 表情檢測部3 0(3，係爲根據從影像記億部1 40所供給 而來之影像資料（被檢測出有臉孔影像之影像資料），而 進行表情之檢測者。關於應檢測出何種之表情一事，係作 爲表情種類指定資訊，而由控制部1 5 0所指定。於此，針 對將「笑臉」作爲表情種類指定資訊的情況時之檢測例作 說明。表情檢測部3 00，係將臉孔影像與「笑臉」之基準 資料（基準表情）作比較，並將其與基準表情間之相關程 度作爲表情相關度而判定。亦即是，若是臉孔影像越接近 基準表情’則表情相關度係成爲越高。經由此表情檢測部 3 〇〇所產生的表情相關度，係被供給至控制部1 5 〇。 表情推測部3 9 0，係爲根據表情檢測部3 0 0所致之表 情相關度’而進行表情之時間系列變化的推測者。此表情 推測部3 90 ’係從表情相關度之變遷，而檢測出於特定期 -13- 1362886 間中在影像資料中之臉孔影像的表情成爲與前述特定之基 準表情間具有一定之相關關係一事者。例如，將表情相關 度與基準表情臨限値作比較，並當表情相關度超過了基準 表情臨限値時，判定在影像資料中之表情係於特定期間內 接近基準表情一事。 又，作爲其他推測之例子，當影像資料之時間系列變 化的前後之表情相關度的差分超過了基準差分値，且表情 相關度超過了基準表情臨限値時，判定在影像資料中之表 情係於特定期間內接近基準表情一事。 另外，此表情推測部390，係從控制部150而被供給 有在表情之推測中所必要的表情相關度、基準標準臨限値 以及基準表情差分値，並進行上述推測，而將該推測結果 供給至控制部1 5 0。 控制部1 5 0，係爲對攝像裝置1 〇〇內之攝像部〗丨〇、 訊號處理部120、影像壓縮解壓縮部180、臉孔檢測部200 、表情檢測部3 00、臉孔確率評價部2 90以及表情推測部 3 90的處理作控制者。在進行此些之控制時，作爲參數又 或是處理之對象資料，在攝像裝置1 00內之攝像部丨丨〇、 訊號處理部120 '影像壓縮解壓縮部180 '臉孔檢測部200 、表情檢測部3 00、臉孔確率評價部290以及表情推測部 390中，係成爲分別需要對焦値與光圈値、資料輸出目標 、壓縮解壓縮率、臉孔確率算出用權重附加係數（臉孔檢 測參數）、表情種類指定資訊（表情檢測參數）、被評價 對象之影像資料以及被推測對象之臉孔影像。因此，控制 -14- 1362886 部150’係將此些之參數供給至上述之各部中。 首先，此控制部150，係對於攝像部110，進行攝像 之控制。具體而言，對於光學系111，進行光圈與對焦之 控制。進而’此控制部150，係對於訊號處理部120，進 行訊號處理之控制以及影像訊號輸出目標之指示。 又，控制部1 50，係對於臉孔檢測部200以及表情檢 測部300 ’進行檢測處理之控制。在此檢測處理時，作爲 檢測參數’係需要臉孔確率算出用權重附加係數以及表情 種類指定資訊。因此，控制部150，係將臉孔確率算出用 權重附加係數供給至臉孔檢測部200，並將表情種類指定 資訊供給至表情檢測部300。進而，控制部1 50，係對臉 孔檢測部200以及表情檢測部3 00指示檢測處理之開始與 停止。此控制部1 50，係從臉孔檢測部200以及表情檢測 部3 00而被供給有檢測結果資料。在此些之檢測結果資料 中，將從臉孔檢測部200而來之臉孔檢測資料（臉孔確率 )供給至臉孔確率評價部290，並將從表情檢測部300而 來之表情檢測資料（表情相關度）供給至表情推測部3 90 中。 又，控制部150，係對於影像壓縮解壓縮部18〇，進 行被保存在影像保存部190中之影像資料的壓縮與解壓@ 之控制。 保持部160，係將在攝像裝置100中所使用之各種資 料作保持者。被保持在此保持部160中之資料，係大冑g 分別爲檢測結果資料以及設定參數。作爲檢測結果資g， -15- 1362886 係包含有臉孔確率161以及表情相關度162。又，作爲設 定參數，係包含有臉孔檢測模式163、基準差分値164、 基準臨限値1 6 5以及連拍間隔時間1 66。 臉孔確率161，係爲將被包含於影像資料中之臉孔影 像的臉孔確率作保持之區域。此臉孔確率，係爲在臉孔檢 測部200中所算出之値。 表情相關度1 62，係爲將對應於被包含於影像資料中 之各別的臉孔影像之表情相關度作保持的區域。此表情相 關度，係爲在表情檢測部3 00中，判定與基準表情之相關 程度所得之値。 臉孔檢測模式1 63，係爲記憶代表是否實行臉孔檢測 之臉孔檢測模式的區域。當此臉孔檢測模式表示「實行臉 孔之檢測」的內容時，從影像資料中來檢測出臉孔影像。 基準差分値164，係爲將經由使用者而設定之成爲基 準的差分値作保持之區域。此値之比較對象，係爲當表情 相關度以時間系列而變化時之在變化前後的表情相關度間 的差分値。另外，此基準之差分値，係在表情推測部390 所致之處理中被參考。 基準臨限値1 6 5，係爲將經由使用者而設定之成爲基 準的臨限値作保持之區域。此臨限値，係爲成爲表情相關 度之比較對象者，在表情推測部3 90所致之處理中，用以 檢測出影像資料與基準資料間的相關度變高一事。 連拍間隔時間1 66 ’係爲將以連拍來進行攝像時之攝 像時間點與下一個攝像時間點間的時間設定作保持者。 -16- 1362886 上限枚數167’係爲將作爲使用者進行連拍時之特定 攝像枚數的上限値而設定之値作保持之區域。 圖2，係爲展示本發明之實施形態中的臉孔檢測部 2 00之功能構成例之圖。此臉孔檢測部200，係具備有： 影像訊號輸入部210、和影像擴大縮小部220、和影像保 持部23 0、和基準資料保持部240、和判定部250、和影像 訊號輸出部260、和控制部2 70、以及檢測結果輸出部280 〇 影像訊號輸入部210，係接收從攝像裝置100內之各 部所供給（輸入）而來的影像資料，並供給至影像擴大縮 小部22 0中者。此影像訊號輸入部210，係從訊號處理部 120、影像壓縮解壓縮部180以及影像記憶部140而被供 給影像資料。 影像擴大縮小部220，係對從影像訊號輸入部2 1 0所 供給之影像資料進行擴大又或是縮小者。此影像擴大縮小 部2 20 ’係進行用以將包含有多種大小之臉孔影像的影像 資料設定爲特定之倍率的擴大縮小處理。另外，此影像擴 大縮小部220，係從控制部270而被供給有在擴大縮小處 理中所需要的擴大率又或是縮小率之値。結束此影像擴大 縮小部220所致之擴大縮小處理後的影像資料，係被供給 至影像保持部230。 影像保持部23 0，係將從影像擴大縮小部220所供給 之影像資料暫時作保存者。另外，此影像保持部230，係 從控制部270而被供給有在將影像資料作保持時的影像保 -17 - 1362886 持部230內之位址。被保持在此影像保持部23〇中之影像 資料，係被供給至判定部25 〇以及影像訊號輸出部260。 基準資料保持部2 40，係預先將臉孔的基準資料作保 持’並將此臉孔之基準資料供給至判定部250處者。此臉 孔之基準資料’係爲在判定部250之臉孔確率的判定中作 爲基準而利用的資料。另外，此基準資料之臉孔尺寸係被 固定’在臉孔確率之判定時，係有必要以與此基準資料之 臉孔尺寸成爲一致的方式，來將成爲比較對象之影像資料 的臉孔尺寸作切出。 判定部250，係根據從影像保持部23 0所供給之影像 資料’進行臉孔確率之判定者。在此臉孔確率之判定時， 係需要臉孔之基準資料以及臉孔確率算出用權重附加係數 。因此，判定部2 5 0，係將此些之參數分別從基準資料保 持部240以及控制部270來作供給。另外，在上述之影像 資料的供給時，判定部2 5 0，係進行用以使臉孔之基準資 料的臉孔尺寸與影像資料之臉孔尺寸成爲一致的定型尺寸 切出處理。 於此，針對臉孔確率之判定作說明。在此臉孔確率之 判定中。藉由將成爲評價對象之要素作組合，而從綜合性 之觀點來算出臉孔確率。作爲成爲評價對象之要素，例如 ，係可考慮有面積、座標、適合度、正面度以及傾斜度等 。面積之要素，係指在影像資料之全體區域中的臉孔之佔 有區域，若是此面積相對性地成爲較大之値，則臉孔確率 亦相對性地成爲較高之値。座標之要素，係指在影像資料 -18- 1362886 • 之全體區域中的臉孔之座標値，若是此座標値越接近中央 • ' 位置’則臉孔確率亦相對性地成爲較高之値。適合度之要 素’係指根據臉孔之基準資料而表示臉孔近似度的値，若 是此値相對性地成爲較高之値，則臉孔確率亦相對性地成 爲較高之値。正面度之要素，係指根據臉孔之基準資料而 • 表示臉孔之朝向正面方向之程度的値，若是臉孔越朝向接 近正面方向之方向，則此値係相對性地成爲較高之値，而 φ 臉孔確率亦相對性地成爲較高之値。傾斜度之要素，係指 根據臉孔之基準資料而表示臉孔之傾斜度的値，若是沒有 傾斜度，則相對性地成爲較高之値，而臉孔確率亦相對性 - 地成爲較高之値。藉由將此些之要素如下式一般地乘上權 . 重附加係數並進行加算，而能夠進行所意圖之臉孔檢測。 臉孔確率=(臉孔面積權重附加係數）χ(臉孔區域之面積値） + (臉孔座標權重附加係數）X (臉孔區域之座標値） + (臉孔適合度權重附加係數）x(臉孔之適合程度的値） Φ +(正面度權重附加係數）x(朝向正面之程度的値） + (傾斜度權重附加係數）X (臉孔之傾斜程度的値） 另外，在成爲評價對象之各要素所乘上的權重附加係 數’係從控制部270而作供給。而，經由此判定部250中 所產生的臉孔確率，係被供給至檢測結果輸出部2 8 0。 影像訊號輸出部260，係接收從影像保持部230所供 給而來的影像資料，並供給（輸出）至影像記憶部140者 。另外，在上述之影像資料的供給時，影像訊號輸出部 -19- 1362886 260，係與判定部250同樣的，進行定型尺寸切出處理。 控制部270，係對於臉孔檢測部200內之影像擴大縮 小部220、影像保持部230以及判定部250的處理作控制 者。在此些之控制時，在影像擴大縮小部220、影像保持 部230以及判定部250中，係分別需要擴大縮小率、記億 位址以及臉孔確率算出用之權重附加係數。因此，控制部 2 70，係將此些之參數供給至上述之各部中。另外，控制 部270，係從攝像裝置100之控制部150而被供給有臉孔 確率算出用之權重附加係數。 檢測結果輸出部28 0，係接收從判定部2 5 0所供給而 來的臉孔確率，並供給（輸出）至攝像裝置1〇〇之控制部 150者。此臉孔確率，係被保持於臉孔確率161。 圖3 ’係爲展示本發明之實施形態中的表情檢測部 3 00之功能構成例之圖。此表情檢測部3 00，係具備有·· 影像訊號輸入部310、和影像擴大縮小部320、和影像保 持部3 3 0、和基準資料保持部340 '和判定部3 5 0 '和影像 訊號輸出部360、和控制部370、以及檢測結果輸出部380 〇 影像訊號輸入部310，係接收從攝像裝置10〇內之各 部所供給（輸入）而來的影像資料，並供給至影像擴大縮 小部320中者。此影像訊號輸入部31〇，係從訊號處理部 120、影像壓縮解壓縮部180以及影像記憶部14〇而被供 給影像資料。 影像擴大縮小部320’係對從影像訊號輸入部31〇所 -20- 1362886 ' 供給之影像資料進行擴大又或是縮小者。此影像擴大縮小 •' 部320 ’係進行用以將包含有多種大小之臉孔影像的影像 資料設定爲特定之倍率的擴大縮小處理。另外，此影像擴 大縮小部320，係從控制部370而被供給有在擴大縮小處 理中所需要的擴大率又或是縮小率之値。結束此影像擴大 縮小部3 2 0所致之擴大縮小處理後的影像資料，係被供給 至影像保持部330。 • 影像保持部3 3 0，係將從影像擴大縮小部3 20所供給 之影像資料暫時作保存者。另外，此影像保持部330，係 從控制部3 70而被供給有在將影像資料作保持時的影像保 ' 持部330內之位址。被保持在此影像保持部330中之影像 - 資料，係被供給至判定部3 5 0以及影像訊號輸出部3 60。 基準資料保持部340，係預先將表情的基準資料（基 準表情）作保持，並將此表情之基準資料供給至判定部 350處者。此表情之基準資料，係爲在判定部350之表情 ® 相關度的判定中作爲基準而利用的資料，並存在於每一種 表情中。另外，此基準資料之臉孔尺寸係被固定，在表情 相關度之判定時，係有必要以與此基準資料之臉孔尺寸成 爲一致的方式，來將成爲比較對象之影像資料的臉孔尺寸 作切出。 判定部35 0，係根據從影像保持部33〇所供給之影像 資料’進行表情相關度之判定者。在此表情相關度之判定 時’係需要表情之基準資料以及表情種類指定資訊。因此 ，判定部350’係將此些之參數分別從基準資料保持部 -21 - 1362886 340以及控制部3 70來作供給。另外，在上述之影像資料 的供給時，判定部350，係進行用以使表情之基準資料的 臉孔尺寸與影像資料之臉孔尺寸成爲一致的定型尺寸切出 處理。 於此，針對表情相關度之判定作說明。在此表情相關 度之判定中，係因應於以表情種類指定資訊之內容所指定 的表情種類（例如「笑臉」），而將影像資料中之臉孔影 像與表情之基準資料（例如「笑臉」基準資料）作比較， 並將其與基準表情之相關程度作爲表情相關度而判定。亦 即是’若是臉孔影像越接近表情之基準資料，則表情相關 度係成爲越高。在表情相關度之判定中成爲必要的表情種 類指定資訊’係從控制部3 7 0而被供給。又，經由此判定 部3 5 0中所產生的表情相關度，係被供給至檢測結果輸出 部 3 80。 影像訊號輸出部360，係接收從影像保持部33〇所供 給而來的影像資料’並供給（輸出）至影像記憶部〗4〇者 。另外’在上述之影像資料的供給時，影像訊號輸出部 360，係與判定部350同樣的，進行定型尺寸切出處理。 控制部370 ’係對於表情檢測部3〇〇內之影像擴大縮 小部3 2 0、影像保持部3 3 0以及判定部3 5 0的處理作控制 者。在此些之控制時’在影像擴大縮小部32〇、影像保持 部3 3 0以及判定部3 5 0中，係分別需要擴大縮小率、記憶 位址以及表情種類指定資訊，因此控制部3 7 〇，係將此些 之參數供給至上述之各部中。另外，控制部37〇，係從攝 -22- 1362886 像裝置100之控制部150而被供給有表情種類指定資訊。 檢測結果輸出部380,係接收從判定部350所供給而 來的表情相關度，並供給（輸出）至攝像裝置100之控制 部150者。此表情相關度，係被保持於表情相關度丨62。 圖4，係爲展示本發明之實施形態中的畫面顯示之其 中一例之圖。此顯示，係經由在攝像裝置100之使用者介 面170中的顯示部171，而對使用者提供者。於此圖中， 係因應於臉孔確率評價部290所致之評價結果，而進行有 對於3人之人物的臉孔影像之框的重疊顯示，對於臉孔確 率之評價最高的臉孔影像之框，係被作視覺性的強調顯示 ，而其他框係被作通常顯示。另外，臉孔確率，係藉由將 成爲評價對象之各要素（例如，面積、座標、適合度、正 面度以及傾斜度等）作組合，而從綜合性的觀點來判定者 ，且亦會被各要素之附加權重所影響。但是，對於將何者 之框作強調顯示一事，係可因應於從選擇接收部172而來 之使用者的選擇而作變更。而，在此顯示中，係包含有： 左端人物401、通常框402、中央人物403、強調框4 04、 右端人物405以及通常框406。 左端人物40 1係爲存在於顯示區域之左位置，而該臉 孔朝向橫方向的人物。通常框402，係爲對於左端人物 401之臉孔影像而被作重疊顯示的框。此通常框402，係 表示左端人物401的臉孔影像係並非爲3人之中臉孔確率 的評價最高之臉孔影像。 中央人物403係爲存在於顯不區域之中央位置’而該 -23- 1362886 臉孔朝向正面方向的人物。強調框4 04，係爲對於 物40 3之臉孔影像而被作重疊顯示的框。此強調框 係表示中央人物403的臉孔影像，係爲3人之中臉 的評價最高之臉孔影像。 右端人物4 05係爲存在於顯示區域之右位置， 孔爲傾斜的人物。通常框406，係爲對於右端人物 臉孔影像而被作重疊顯示的框。此通常框406，係 端人物405的臉孔影像係並非爲3人之中臉孔確率 最高之臉孔影像。 圖5，係爲展示本發明之實施形態中的畫面顯 外一例之圖。此顯示，係經由在攝像裝置100之使 面170中的顯示部171，而對使用者提供者。與圖 的，於此圖中，亦係因應於臉孔確率評價部290所 價結果，而進行有對於3人之人物的臉孔影像之框 顯示，對於臉孔確率之評價最高的臉孔影像之框， 視覺性的強調顯示，而其他框係被作通常顯示。但 由從選擇接收部172而來之使用者的選擇，被作強 之框，係可移動至其他之被通常顯示的框之位置。 此顯示中，係包含有：左端人物411、強調框412 人物413、通常框414、右端人物415以及通常框4 在圖5中，係顯示有要素之權重附加的影響。 ，在臉孔確率之評價中，若是臉孔影像之座標値越 央，則臉孔確率亦會成爲相對性較高的値，但是藉 孔座標權重附加係數所致的權重附加設定爲較低， 中央人 404， 孔確率 而該臉 405之 表不右 的評價 示之另 用者介 4相同 致之評 的重疊 係被作 是’藉 調顯示 而，在 、中央 16。 亦即是 接近中 由將臉 亦會有 -24- 1362886 如以下所示一般之其他的臉孔影像的臉孔確率變高的情況 • 〇 左端人物411係爲存在於顯示區域之左位置，而該臉 孔朝向正面方向的人物。強調框412，係爲對於左端人物 411之臉孔影像而被作重疊顯示的框。此強調框412，係 表示左端人物411的臉孔影像係爲3人之中臉孔確率的評 價最高之臉孔影像。 • 中央人物413係爲存在於顯示區域之中央位置，而該 臉孔朝向橫方向的人物。通常框414，係爲對於中央人物 413之臉孔影像而被作重疊顯示的框。此通常框414，係 • 表示中央人物413的脸孔影像係並非爲3人之中臉孔確率 - 的評價最高之臉孔影像。 右端人物415係爲存在於顯示區域之右位置，而該臉 孔爲傾斜的人物。通常框416，係爲對於右端人物415之 臉孔影像而被作重疊顯示的框。此通常框416，係表示右 ® 端人物415的臉孔影像係並非爲3人之中臉孔確率的評價 最高之臉孔影像。 _ 圖6，係爲展示本發明之實施形態中的畫面顯示之另 外其他一例之圖。此顯示，係經由在攝像裝置100之使用 者介面170中的顯示部171，而對使用者提供者。與圖4 以及圖5相同的，於此圖中，係因應於臉孔確率評價部 2 90所致之評價結果，而進行有對於多數之人物的臉孔影 像之框的重疊顯示，對於臉孔確率之評價最高的臉孔影像 之框，係被作視覺性的強調顯示，而其他框係被作通常顯 -25- 1362886 示。但是，藉由從選擇接收部172而來之使用者的選擇， 被作強調顯示之框，係可移動至其他之被通常顯示的框之 位置。而，於此顯示中，係包含有特定人物421以及強調 框 422。 在圖6中，係顯示有被作強調顯示之框的移動效果。 亦即是，在臉孔確率之評價中，若是臉孔之座標値越接近 中央，則臉孔確率亦會成爲相對性較高的値（無視其他要 素之影響，而將各要素之權重附加係數設定爲相等的情況 時），但是，在如下述所說明一般之「特定人物421之臉 孔，係爲此顯示區域內之人物的臉孔中臉孔確率之評價爲 最高的臉孔」一事，係表示當初位於中央位置之人物的臉 孔處的強調框422，係藉由其後之使用者的選擇，而被移 動至特定人物42 1之臉孔處。 特定人物421，係爲存在於顯示區域之下部位置的人 物。強調框422，係爲對於此特定人物421之臉孔影像而 被作重疊顯示的框。此強調框422，係表示特定人物421 的臉孔，係爲此顯示區域內之人物中臉孔確率的評價最高 之臉孔》 圖7，係爲展示本發明之實施形態中的表情相關度變 遷43 0之其中一例之圖。此表情相關度變遷43 0，係針對 表情種類指定資訊爲「笑臉」的情況時，將臉孔之表情與 在該表情中之表情相關度的變化之模樣作3階段顯示者。 在此表情相關度變遷43 0中，係包含有認真臉孔（a )、 微笑（b)以及笑臉（c)。 -26- 1362886 認真臉孔（a)，係爲身爲表情之被判定對象的臉孔 ' ，該表情係爲認真臉孔。因此’認真臉孔（a)之資料， 係成爲從「笑臉」之表情基準資料而遠離，表情相關度係 變低。 微笑（b)，係爲身爲表情之被判定對象的臉孔，該 表情係爲微笑。因此，微笑（b)之資料，係成爲接近於 「笑臉j之表情基準資料，表情相關度係變高》 # 笑臉（c)，係爲身爲表情之被判定對象的臉孔，該 表情係爲笑臉。因此，笑臉（C)之資料，係成爲一致於 「笑臉」之表情基準資料，表情相關度係變爲最高値。 ' 圖8，係爲展示本發明之實施形態中的時間系列表情 - 相關度變化曲線圖之其中一例之圖。在此例中，係爲展示 時間性的表情相關度之變化者。於此之中，係明示有在攝 像裝置1 00中之連拍指示的指示時機以及連拍間隔時間。 另外，橫軸係爲時間T ( Time )，從tl起至t5爲止之各 ® 時間間隔係爲一定，縱軸係爲表情相關度，將此作爲評價 値E (Evaluation)而表記。又，在縱軸中，係展示有評 .價臨限値 E — th( Evaluation threshold)以及評價差分値 Δ E ( delta Evaluation)。此評價臨限値E _ th，係爲在表 情之推測中被作爲基準之値。另外，評價値e 1、e4以及 e5 ’係分別相當於圖7之認真臉孔（a )、微笑（b )以及 笑臉（c )。 根據此曲線，對從表情推測起直到影像記憶爲止的流 程作說明。作爲用以進行表情推測之資料，將從時間11 -27- 1362886 起至時間t5爲止之各時間點中的評價値e 1至e5分別以白 色圓形來作表示。在時間11處之評價値e 1，係經過評價 値e2，而變化爲在時間t3處之評價値e3。在此變化之過 程中，檢測出評價値係超越了評價臨限値E_th —事，並 將此檢測結果作爲觸發（trigger )，在時間t3中下達連拍 指示。於此之連拍指示，係爲指示連續性之影像記憶者。 根據於此之連拍指示，而將包含有在時間t4以及時間t5 附近之表情的影像分別作記憶。此些影像之被記憶的時間 點，係以黑色圓形而表示。另外，於此，係展示將影像之 上限枚數的設定設爲3枚時之情況。此些之影像，係被記 憶於攝像裝置100之影像記億部140中。 又，作爲其他實施例，可考慮：當檢測出在時間11 處之評價値e 1與在時間t2處之評價値e2間的差分値到達 評價差分値△ E，且在時間t3處之評價値e3超越了評價 臨限値E_th —事時，將此作爲連拍指示之觸發。於此情 況，係亦可將評價臨限値E_th設定爲較低。 圖9，係爲展示本發明之實施形態中的時間系列表情 相關度變化曲線圖之另外一例之圖。在此例中，係明示更 新停止指示之時間點以及連拍間隔時間。另外，關於圖表 上之表記以及軸之名稱，係和圖8相同。 關於在此曲線中之表情推測，雖係和圖8爲相同，但 在影像記憶之方法上係爲相異。於圖9中，係從較時間11 更之前的時間點起而定期的將影像作記憶，而若是該影像 到達了攝像裝置1 〇〇之影像記憶部1 40的最大記憶容量， -28- 1362886 則從最先所記憶之影像開始依序地廢棄，而以使最新的影 像殘存的方式來作控制。將此種控制稱爲影像更新。作爲 對應於圖8之連拍指示者，在圖9中，係在時間t3的時 間點中被進行影像更新之停止指示，並依照此停止指示， 而使包含有時間t3以後之表情的影像分別殘存。此些影 像之被記憶的時間點，係以黑色圓形而表示。另外，於此 ’係展示使影像記憶部140之最大記憶容量相當於影像資 料3枚時之例。 圖1〇’係爲展示作爲本發明之實施形態的變形例之影 像記憶裝置600的其中一例之圖。此影像記憶裝置600， 係具備有：攝像基部610、和記憶部620、和處理部630、 和控制部640、和使用者介面650。 攝像機部610，係爲對被攝體進行攝像並產生動畫資 料者。此攝像機部610，係具備有：縮放透鏡611、和光 圈612、和影像感測器613、以及A/D變換614。縮放透 鏡係爲對被攝體進行攝像之透鏡群，並接收從控制部640 而來之控制訊號，而改變透鏡相互之距離並使焦點深度作 連續變化者。捕捉有被攝體之射入光，係成爲通過此透鏡 群。光圈612，係與縮放透鏡611同樣的接收從控制部 640而來的控制訊號，並調整縮放透鏡61 1之射入光的量 者。影像感測器613，係使通過縮放透鏡611以及光圈 612的射入光結像，並將該被攝體像作爲動畫資料而輸出 的感測器。A/ D變換6 1 4，係將從影像感測器6 1 3而來 之動畫資料從類比訊號而變換爲數位訊號者。經由此攝像 -29- 1362886 機部610所產生的動畫資料，係被供給至記 記憶部620，係接收從攝像機部610所 畫資料，並因應於從控制部640而來之控制 動畫資料作暫時記憶者。此記憶部620， 621、記憶體622以及切換接點623。此些之 切換接點623之開閉，係經由控制部640而 此控制，從攝像機部610而來的動畫資料， 623而被供給至處理部630。又，藉由接點 ，而在將從攝像機部610而來的動畫資料， 憶體622之後，再供給至處理部630。 接點621，係接收從控制部640而來之 行開閉之電性的接觸點。若是此接點關閉， 被供給至記憶體622。切換接點62 3，係接叱 而來之控制訊號而進行切換之電性的接觸點 之切換，從記憶體622而來的動畫資料又或 換614而來之動畫資料，係擇一地被供給至 處理部63 0，係因應於從控制部640而 用又或是靜止畫記錄用之控制訊號，而對於 所供給之動畫資料進行動畫記錄用之影像處 畫記錄用之影像處理，並作爲動畫又或是靜 錄者。另外，此些之記錄，係爲擇一性之處 同時進行之處理。於此，將在此處理部630 錄的影像處理到靜止畫記錄之影像處理的處 中一例，於以下作展示。 億部620。 供給而來的動 訊號，而將該 係具備有接點 接點621以及 被控制。藉由 係從切換接點 621之被關閉 暫時記憶在記 控制訊號而進 則動畫資料係 〔從控制部640 。藉由此接點 是從A/D變 處理部630。 來之動畫記錄 從記憶部620 理又或是靜止 止畫而分別記 理，而並非爲 中之從動畫記 理之切換的其 -30- 1362886 若是從使用者而被指示有動畫記錄之開始，並成爲動 畫記錄中，則從攝像機部610所輸出的動畫資料，係並不 經由記億部620之記億體622，而從切換接點62 3來供給 至處理部630。而，處理部630，係對於此動畫資料，進 行動畫記憶用之影像處理。與此動畫記憶用之影像處理並 行’處理部63 0 ’係進行臉孔檢測以及表情檢測，並作表 情推測之判定。在此判定中，若是判定表情爲接近基準表 情的情況時，則處理部63 0，係將該判定資訊供給至控制 部640。藉由此，控制部640係控制記憶部620，而關閉 接點621。藉由，從攝像機部610而來的動畫資料，係被 暫時地記憶在記憶體622中。 進而，若是從使用者而被進行有動畫記錄之停止指示 並將動畫記錄停止，則在從表情推測之判定時起直到動畫 記錄停止爲止之期間中被記憶於記億體622之動畫資料， 係被供給至處理部630。此處理部630，係對於從記憶部 620之記憶體622所供給而來之動畫資料，進行靜止畫記 憶用之影像處理，並作爲靜止畫而記錄。另外，接點621 以及切換接點623之開閉，係經由控制部640而被控制， 此些之接點的開閉係相互獨立進行。例如，接點6 2 1，係 根據動畫記錄之開始後的表情推測之判定而被關閉，並在 動畫記錄停止後被開啓。切換接點623，係藉由動畫記錄 之開始以及動畫記錄停止中之記憶體622內的動畫資料之 有無而被切換。 處理部63 0，係具備有攝像機訊號處理電路63 5、動 -31 - 1362886 畫記錄裝置631以及靜止畫記錄裝置63 2。此攝像機訊號 處理電路63 5，係具備有臉孔檢測部200、臉孔確率評價 部2 90、表情檢測部3 00以及表情推測部3 90。 攝像機訊號處理電路63 5，係對於從記憶部620所供 給而來之動畫資料，進行迦瑪修正或是AGC( Auto Gain Control)等之處理，同時，進行特定之動畫編碼處理（例 如，MPEG ( Moving Picture Experts Group)編碼處理） 者。藉由此，動畫資料，係成爲例如準據於DV( Digital Video )規格者。此些之處理係爲動畫記錄用之影像處理 ，被編碼後之動畫資料，係被供給至動畫記錄裝置63 1。 與此處理互爲排他性的，攝像機訊號處理電路635，係對 於從記憶部620所供給而來之動畫資料，同樣的進行迦瑪 修正或是AGC (Auto Gain Control)等之處理，同時，進 行特定之靜止畫編碼處理。進而，進行壓縮處理，例如， 使動畫資料成爲準據於 JPEG ( Joint Photographic Expert Group )規格者。此些之處理係爲靜止畫記錄用之影像處 理，被編碼後之靜止畫資料，係被供給至靜止畫記錄裝置 632 ° 動畫記錄裝置63 1，係爲動畫編碼資料專用之記億媒 體。靜止畫記錄裝置632，係爲靜止畫編碼資料專用之記 憶媒體。此些之記億媒體，例如，係爲記憶磁帶、DVD ( Digital Versatile Disc)又或是硬碟。 使用者介面650，係爲提供對於使用影像記憶裝置 600之使用者的介面者。將從使用者而來之指示內容供給 -32 - 1362886 至控制部640，並對於使用者而顯示從處理部所供給 之動畫資料。此使用者介面65 0，係具備有：靜止畫 鍵651、和動畫記錄開始/停止鍵652、和效果選擇錢 、和縮放開關654、和畫質設定鍵65 5、以及液晶面技 靜止畫記錄鍵651，係爲從使用者而接收靜止畫 錄指示者。例如，若是在動畫記錄中此靜止畫記錄鍵 被壓下，則所攝像之動畫資料，係在處理部63 0中被 動畫記錄之處理，同時與此並行地，亦被暫時地記錄 憶部620之記憶體622中。而，若是動畫記錄之處理 ，則被暫時記憶在記憶體622中之動畫資料，係被作 畫記錄之處理。 動畫記錄開始/停止鍵652，係爲從使用者而接 畫記錄之處理的開始以及停止之指示者。首先，若是 止畫記錄鍵651被壓下，則開始動畫記錄之處理，接 ，若是此靜止畫記錄鍵651被壓下，則停止動畫記錄 效果選擇鍵65 3，係爲從使用者而接收效果變更 求者。於此，所謂的效果，係指影像表示效果，作爲 類，係有「油畫風格」、「老照片風格」等。 縮放開關654，係爲從使用者而接收透鏡焦點深 更之指示者。使用者，係一面壓下此縮放開關654， 將縮放透鏡611變更爲任意之焦點深度。 畫質設定鍵65 5，係爲從使用者而接收畫質之为 設定之要求者。例如，使用者，係一面壓下此畫質誃 而來 記錄 653 656 之記 65 1 進行 在記 休止 靜止 收動 此靜 下來 〇 之要 其種 度變 -面 準的 定開 -33- 1362886 關655，一面將影像設定爲高畫質、中畫質、低畫質中之 任意的畫質。 液晶面板656，係爲利用有液晶之顯示器的顯示部， 並爲對於使用者而顯示影像者。例如，在動畫記錄中，此 液晶面板656係顯示記錄中之動畫。 控制部640，係控制攝像機部61 0、記億部620以及 處理部63 0之處理者。此控制部640，係具備有微處理器 641、透鏡驅動器642以及螺旋感測器（Gyrosensor) 643 。微處理器641’係爲具備有中央處理裝置以及記億裝置 之小型的資料處理裝置，而爲將資料之輸入、計算、加工 以及輸出自動進行者。透鏡驅動器642，係爲對縮放透鏡 6 1 1以及光圈6 1 2作控制之軟體。螺旋感測器643，係爲 計測攝像時之搖動者。 首先’此控制部640，係對於攝像部6〗〇，進行攝像 之控制。具體而言，在變更縮放透鏡611之焦點深度，而 進行從全景起至特寫（close-up)爲止的攝像區域之變更 ’同時’調整光圈6 1 2 ’來對攝像時之射入光的量作限制 。進而，此控制部640，係對於記憶部620，進行記憶之 控制。具體而言’係對接點621以及切換接點623之接點 作開閉’來對是否將從攝像機部610而來之動畫資料記憶 於記憶體6 2 2中作控制。 又’控制部640’係對於處理部630，進行動畫資料 處理之控制。具體而言，控制部040，係針對動畫記憶用 又或是靜止畫記憶用之影像處理，而將對各別之處理的內 -34- 1362886 容作規定之參數供給至處理部63 0。而後，控制部640, 係因應於表情推測部390之表情推側的判定結果，進行對 記憶部620之控制。藉由此’接點621係被關閉，從攝像 機部610而來的動畫資料，係被記憶在記憶體622中。 又，控制部640，係接收從使用者介面650而來之操 作指示。因應於此指示之內容，而對攝像機部610、記億 部620以及處理部630作控制。例如，若是縮放開關654 ***作’則控制部64G，係對於攝像部6 1 0，進行變更焦 點深度之控制。又，若是靜止畫記錄鍵6 5 1***作，則控 制部6 4 0係對記憶部6 2 0而進行用以將動畫資料作暫時記 憶之控制，並對於處理部63 0供給靜止畫記憶用之影像處 理參數。 另外，控制部640，係因應於從螺旋感測器643而來 之輸入，來檢測出攝影時之手振動量。此被檢測出之手振 動量，例如，係被利用於將因爲手之振動而使得位置偏離 之被攝體回復到本來的位置之修正的修正量算出中。 圖11，係爲展示在本發明之實施形態中的攝像裝置 1 〇〇之電腦所致的處理（主常式）之其中一例的流程圖。 首先，進行是否爲臉孔檢測模式之判斷（步驟S90 1 )， 若是爲臉孔檢測模式，則進行臉孔檢測（步驟S 9 1 0 )， 若是並非爲臉孔檢測模式，則結束此處理。接下來，在臉 孔檢測（步驟S9 1 0 )之結束後，進行是否被檢測出有臉 孔之判斷（步驟S 9 0 2 )，若是被檢測出有臉孔，則進行 被攝體選擇（步驟920 )以及表情評價（步驟S93 0 ) ’並 -35- 1362886 結束此處理。另外，在此是否被檢測出臉孔之判斷（步驟 S9 02 )時，若是未被檢測出有臉孔，則在該時間點，結束 此處理。 圖12，係爲展示本發明之實施形態中的臉孔檢測（步 驟S910)之處理程序的流程圖。此係爲在攝像裝置1〇〇 中之處理（主常式）之中所被實施的次常式。 首先，從影像記億部140，取得成爲臉孔檢測之被檢 測對象的影像資料（步驟S91 1 )。接下來，進行用以將 包含有多種大小之臉孔的影像資料設定爲特定之倍率的擴 大縮小（步驟S9 1 2 )。而後，進行用以使臉孔基準資料 的臉孔尺寸與影像資料之臉孔尺寸一致的定型尺寸切出（ 步驟S913)。 而後，從臉孔檢測部200之基準資料保持部240，來 取得臉孔基準資料（步驟S 9 1 4 )。根據此臉孔基準資料 以及上述之影像資料，來判定臉孔確率，此判定結果，係 被供給至保持部160之臉孔確率161 (步驟S915)。 圖13，係爲展示本發明之實施形態中的被攝體選擇（ 步驟S920)之處理程序的流程圖。此係爲在攝像裝置1〇〇 中之處理（主常式）之中所被實施的次常式。 首先，根據從保持部160之臉孔確率161所取得之臉 孔確率的判定結果，而對每一影像資料進行對於臉孔確率 之評價（步驟S921 )，該評價結果，係被供給至控制部 150。於此所謂的評價，係爲臉孔確率之評價，例如，係 評價出何者係爲臉孔確率最高的臉孔影像。因應於此評價 -36- 1362886 結果，在顯示部171上，進行對於上述影像資料之評價結 果的重疊顯示（步驟S922 )。另外，在此重疊顯示中， 例如，當存在有複數之臉孔的情況時，臉孔確率最高之臉 孔影像的框係被作視覺性的強調並顯示，而其他框係被作 通常顯示。進而，藉由使被重疊顯示之框移動，使用者係 可對任一之臉孔作任意的選擇。 具體而言，係對於選擇接收部172，判斷是否有框之 移動的指示（步驟S923 )，當接收有指示時，則成爲指 示對象之臉孔係被選擇（步驟S924 )。另一方面，當對 於選擇接收部172並未有框之移動的指示時，則根據評價 結果而選折特定之臉孔（步驟S925 )。此特定之臉孔， 例如，係爲臉孔確率最高之臉孔，在實行了上述之重疊顯 示（步驟S 922 )時，係爲被作視覺性的強調顯示者。 圖1 4，係爲展示本發明之實施形態中的表情檢測評價 (步驟S 93 0 )之處理程序的流程圖。此係爲在攝像裝置 1〇〇中之處理（主常式）之中所被實施的次常式。 首先，從影像記憶部1 4 〇，取得成爲表情檢測之被檢 測對象的影像資料（步驟S 9 3 1 )。接下來，進行用以將 包含有多種大小之臉孔的影像資料設定爲特定之倍率的擴 大縮小（步驟S932)。而後，進行用以使表情基準資料 的臉孔尺寸與影像資料之臉孔尺寸一致的定型尺寸切出（ 步驟S 93 3 )。 而後，從表情檢測部3 00之基準資料保持部340，來 取得表情之基準資料（基準表情）（步驟S 93 4 )。根據 -37-

1362886 此基準表情以及上述之影像資料，來判定針對所指定 情種類（例如’ 「笑臉」）的表情之相關度，此判定 (表情相關度），係被供給至保持部160之表情相 162 (步驟 S93 5 )。 而後’記算出在影像資料之時間系列變化的前後虔 表情相關度的差分値（步驟S936)。接下來，從保拷 160之基準差分値164而參考基準差分値（步驟S937) 對表情相關度之差分値以及基準差分値的關係作判定（ 驟S938)，當表情相關度之差分値超越了基準差分個 情況時，則接著參考基準臨限値（步驟S939 )。另-面，當表情相關度之差分値並未超越基準差分値時，貝I 該時間點回到主常式中。 在從保持部160之基準臨限値165而參考了基準睦 値（步驟S 9 3 9 )之後，判定表情相關度以及基準臨阳 的關係（步驟S 94 1 )，當表情相關度超越了基準臨阳 的情況時，則進而將攝像處理（步驟S 9 5 0 )作爲次涛 而叫出。另一方面，當表情相關度並未超越基準臨限個 ，則在該時間點回到主常式中。 圖1 5，係爲展示本發明之實施形態中的攝像處理（ 驟S950 )之處理程序的流程圖。此係爲在攝像裝置 中之處理（主常式）之中所被實施的次常式。 首先，攝像枚數計數器係被重置（步驟S951)， 持部1 60之連拍間隔時間丨66係被參考，直到經過該疾 爲止，係成爲攝影時間等待。（步驟S952 )。在經适 :表 i果 I度 ί之 E部 〇 步 ί的 -方 J在 5限 [値 [値 丨式 【時 :步 100 保 f間 4 了 -38- 1362886 連拍間隔時間後，係被進行有攝像控制之指示（步驟 * S953 )。於此之所謂的攝像控制，係指將攝像部1 10所輸 出之影像資料，經由訊號處理部120而將其記憶在影像記 憶部140中一事。在此攝像控制之後，攝像枚數係被計數 (count)(步驟 S 954 )。 ' 而後，保持部160之上限枚數係被參考，並判定攝像 枚數之計數値以及上限枚數之關係（步驟S95 5 )。當此 # 攝像枚數之計數値超越了上限枚數的情況時，於上述之攝 像控制指示（步驟S953 )中被記憶在影像記憶部140中 之影像資料，係被供給至影像壓縮解壓縮部180，並於該 • 處被壓縮（步驟S956 )。 - 當判定攝像枚數之計數値以及上限枚數之關係（步驟 S955)時，當攝像枚數之計數値並未超越上限枚數的情況 時，則於該時間點，回到上述之攝影時間等待（步驟 S 9 5 2 )中。 Φ 在上述之影像資料的壓縮（步驟S956)後，該被壓 縮之影像資料係被供給至影像保存部190，並被保存於該 處（步驟S957 )。 圖1 6，係爲展示本發明之實施形態中的定期攝像（步 驟S9 60 )之處理程序的流程圖。此係爲與攝像裝置1〇〇 中之處理（主常式）相互獨立所被實施的迴圈。 首先，保持部1 6 0之連拍間隔時間1 6 6係被參考，直 到經過該連拍間隔時間爲止，係成爲攝影時間等待（步驟 S 96 1 )。在經過了連拍間隔時間後，係被進行有攝像控制 -39- 1362886 之指示（步驟S962 )。在此之所謂的攝像控制之指示， • ^ 係與圖1 5中之攝像控制指示（步驟S953 )爲相同。另外 ，對於經由此定期攝像（步驟S960 )而被記憶於影像記 憶部14〇中之影像資料，係被進行有上述之影像更新。亦 即是，若是此些之影像資料的容量之總計達到了影像記憶 部140之最大記億容量，則從最先被記憶之影像起而依序 作廢棄，並殘留最新的影像。 • 圖17，係爲展示本發明之實施形態中的保存攝像（步 驟S970 )之處理程序的流程圖。此係爲將在攝像裝置100 中之處理（主常式）內的圖15之攝像處理（步驟S950) 之一部分以其他形態來實施的處理。。另外，成爲處理之 - 對象的影像資料，係爲經由圖16之定期攝像（步驟S960 )而被記憶於影像記憶部1 40中者。 首先，在攝像裝置100之影像記憶部140中，係被指 示有影像更新之停止（步驟S971 )。藉由此，使用者所 • 意圖之影像資料，係被殘留於影像記憶部1 40中。接下來 ，被殘留在影像記憶部1 40中之影像資料，係被供給至影 像壓縮解壓縮部180，並於該處被壓縮（步驟S972)。該 被壓縮之影像資料，係被供給至影像保存部190，並於該 處被保存（步驟S973 ) » 圖1 8，係爲展示作爲本發明之實施形態的變形例之攝 像裝置600的電腦所致的處理（主常式）之其中一例的流 程圖。 首先，進行對於影像記憶裝置600之攝像機部6 1 0的 -40- 1362886 控制（步驟S981 )，此控制之內容，例如，係爲對於縮 放透鏡611之焦點深度的變更以及對光圈612之射入光的 量之限制。接下來，對於使用者介面650之動畫記錄開始 /停止鍵6 5 2，判定從使用者而來之指示（步驟S982 )。 當並未有此指示的情況時，則係爲並未從使用者而被指示 有開始又或是停止之兩者。另一方面，當有此指示的情況 時，則係爲從使用者而被指示有開始又或是停止之任一者 。當上述之並未有指示的情況時，則係被判斷爲表情推測 之判定（步驟S98 3 )。所謂此表情推測之判定，係指在 特定期間內於動畫資料中之表情是否有接近基準表情一事 〇 在此表情推測之判定的判斷（步驟S 9 8 3 )中，若是 判定表情係接近於基準表情，則接下來判斷是否爲在動畫 記錄中（步驟S 9 8 4 )。在此判斷中，若是並非爲動畫記 錄中，則動畫資料係被作爲靜止畫而記錄（步驟S 985 ) 。具體而言，在攝像機部610所產生的動畫資料，在記憶 部620中，係並不會被記憶在記憶體622中，而被供給至 處理部630。而，處理部630，係對於此動畫資料，進行 靜止畫記憶用之影像處理，並作爲靜止畫來記錄（步驟 S985)。另一方面，在是否爲動畫記錄中的判斷（步驟 S984)中，若是判定係爲動畫記錄中，則進行動畫資料之 記憶（步驟S986)。具體而言，在攝像機部610所產生 的動畫資料，係被暫時記憶在記憶體622中。 在此表情推測之判定的判斷（步驟S 9 83 )中，若是 -41 - 1362886 並未被判定表情係接近於基準表情’則在該時間點，進行 對攝像機部610之控制（步驟S981 )。 在對於使用者介面650之動畫記錄開始/停止鍵652 而判斷從使用者而來之指示（步驟S9 82 )中，若是從使 用者而被指示有開始又或是停止之任一的指示，則接下來 判斷是否爲在動畫記錄中（步驟S98 7 )。在此判斷中， 若是並非爲動畫記錄中，則開始動畫資料之動畫記錄（步 驟S988)。具體而言，在攝像機部610所產生的動畫資 料，在記憶部620中，係並不會被記憶在記億體622中， 而被供給至處理部63 0。而，處理部63 0，係對於此動畫 資料，進行動畫記憶用之影像處理，並作爲動畫來開始記 錄。另一方面，在是否爲動畫記錄中的判斷（步驟S9 87 )中，若是判定係爲動畫記錄中，則處理部630，係進行 停止動畫記錄（步驟S989 )。而後，動畫記錄係成爲休 止狀態。 若是此動畫記錄成爲休止狀態，則判斷在攝像機部 6 10所產生的動畫資料是否被記憶在記憶體622中（步驟 S991)。若是此動畫資料之記憶結束，則處理部63 0，係 進行靜止畫之暫避記錄（步驟S992)。具體而言，被記 憶於記憶體622的動畫資料，係被供給至處理部630。而 ，處理部630’係對於此動畫資料，進行靜止畫記憶用之 影像處理，並作爲靜止畫來記錄。 如此這般’若藉由本發明之實施形態，則在攝像裝置 1 00中’係可以推測出於特定期間中在影像資料中之表情 -42 - 1362886 成爲與基準表情間具有一定之相關關係一事。根據此推測 ，而能夠將包含有最爲接近基準表情之表情的影像資料作 記憶。 亦即是，成爲可從以時間系列而變化之影像資料中， 對該變化作推測，並將使用者所意識之影像作記錄。 另外，在本發明之實施形態中，對於被檢測對象，雖 係針對影像資料之臉孔的表情之變化而作了說明，但是， 此被檢測對象，係並不被限定爲臉孔之表情，例如，亦可 爲人的形態。 如此這般，若藉由本發明之實施形態，則關於影像資 料之臉孔的表情，係在表情檢測部3 00中進行表情相關度 之判定，同時，在表情推測部3 90中，推測出在特定期間 內該表情相關度與基準表情成爲具有一定之相關關係一事 ，並根據該推測，而將上述特定期間內之影像資料記憶於 影畫記憶部140中，藉由此，使用者係可將所意圖之影像 資料作記錄。 另外，本發明之實施形態，係爲展示用以將本發明具 體化的其中一例者，而如以下所示一般，與在申請專利範 圍中之發明特定事項分別具有對應關係，但是，本發明係 並不被限定於此，在不脫離本發明之要旨的範圍之內，可 作各種之變形。 亦即是，在申請項1、申請項8、申請項9、申請項 1 〇又或是申請項1 1中，表情相關判定手段，例如係對應 於表情檢測部3 0 0。又，表情推測手段，例如係對應於表 -43- 1362886 情推測部3 90。又’影像資料記憶手段，例如係對應於影 • 像記憶部1 4 0。又，影像記憶控制手段，例如係對應於控 制部1 5 0。 又，在申請項7中，動畫像資料記憶手段，例如係對 應於記憶體622。 又，在申請項8、申請項9又或是申請項10中，臉孔 影像檢測手段，例如係對應於脸孔檢測部200。 • 又’在申請項9中’臉孔確率評價手段，例如係對應 於臉孔確率評價部290。 又，在申請項1〇中，選擇接收手段，例如係對應於 • 選擇接收部172。 - 又，在申請項1 1中，攝像手段，例如係對應於攝像 部 1 1 0。 又，在申請項12又或是申請項13中，表情相關判定 程序，例如係對應於步驟S93 5。又，表情推測手段例如 ® 係對應於步驟S93 8，而，例如係對應於步驟S93 8以及步 驟S941。又，影像記憶控制手段例如係對應於步驟S953 .，而，例如係對應於步驟S962以及步驟S971。 另外，在本發明之實施形態中所說明之處理程序，係 可將其視爲具備有此些之一連串的程序之方法，又，亦可 將其視爲用以將此些之一連串的程序在電腦上作實行的程 式、乃至被記憶有該程式之記錄媒體。 【圖式簡單說明】 -44 - 1362886 [圖i]展示本發明之實施形態中的攝像裝置10〇之功 能構成例之圖。 [圖2 ]展示本發明之實施形態中的臉孔檢測部2 〇 〇之 功能構成例之圖。 [圖3]展示本發明之實施形態中的表情檢測部3〇〇之 功能構成例之圖。 [圖4]展示本發明之實施形態中的畫面顯示之其中一 例之圖。 [圖5]展示本發明之實施形態中的畫面顯示之其他例 之圖。 [圖6]展示本發明之實施形態中的畫面顯示之另外其 他例之圖。 [圖7]展示本發明之實施形態中的表情相關度變遷43〇 之其中一例之圖。 [圖8 ]展示本發明之實施形態中的時間系列表情相關 度變化曲線圖之其中一例之圖。 [圖9]展示本發明之實施形態中的時間系列表情相關 度變化曲線圖之其他例之圖。 [圖1 〇]展示作爲本發明之實施形態的變形例之影像記 憶裝置600的其中一例之圖。 [圖11]展示在本發明之實施形態中的攝像裝置100之 電腦所致的處理（主常式）之其中一例的流程圖。 [圖1 2]展示本發明之實施形態中的臉孔檢測（步驟 S910)之處理程序的流程圖。 -45- 1362886 [圖13]展不本發明之實施形態中的被攝體選擇（步驟 • · S92〇)之處理程序的流程圖。 [圖14]展不本發明之實施形態中的表情檢測評價（步 驟S930)之處理程序的流程圖。 [圖丨〗]展示本發明之實施形態中的攝像處理（步驟 • S950)之處理程序的流程圖。 [圖16]展示本發明之實施形態中的定期攝像（步驟 Φ S96〇)之處理程序的流程圖。 [圖17]展示本發明之實施形態中的保存攝像（步驟 S970)之處理程序的流程圖。 ' [圖1 8]展示作爲本發明之實施形態的變形例之影像記 • 億裝置600的電腦所致的處理（主常式）之其中一例的流 程圖。 【主要元件符號說明】 100 :攝像裝置 • 11 〇 :攝像部 111 :光學系 . 1 1 2 :攝像元件 120 :訊號處理部 1 3 0 :匯流排 140 :影像記憶部 1 5 0 :控制部 160 :保持部 170 :使用者介面 -46 - 1362886 17 1： 172 ： 180 ： 190 ： 200 ： 210 : 220 ：

240 ： 25 0 ： 260 ： . 270 ： 280 ： 290 ： 3 00 ： Φ 310 : 320 ： 3 3 0 ： 340 ： 3 50 ： 3 60 ： 3 70 ： 3 80 ： 3 90 ： 顯不部 選擇接收部 影像壓縮解壓縮部 影像保存部 臉孔檢測部 影像訊號輸入部 影像擴大縮小部 影像保持部 基準資料保持部 判定部 影像訊號輸出部 控制部 檢測結果輸出部 臉孔確率評價部 表情檢測部 影像訊號輸入部 影像擴大縮小部 影像保持部 基準資料保持部 判定部 影像訊號輸出部 控制部 檢測結果輸出部 表情推測部 -47

Claims (1)

1362886 第096139856請專利範圍修正本 民國100年5月^日修正本· 十、申請專利範圍 1. 一種影像記億裝置，其特徵爲，具備有.： 表情相關判定手段’係將被包含於以時間系列而變化 之影像資料中的臉孔影像之表情的與特定之基準表情間的 相關程度’作爲表情相關度而進行判定：和 · 表情推測手段’係對於在特定期間內前述臉孔影像之 表情成爲與前述特定之基準表情間具有一定之相關關係一 事，經由前述表情相關度之變遷而推測並檢測出；和 影像記憶控制手段，係以使從前述檢測被進行起，經 過前述特定期間後之前述影像資料殘留在影像資料記憶手 段中的方式，而作控制。 2-如申請專利範圍第1項所記載之影像記憶裝置， 其中，前述表情推測手段，係當前述表情相關度超過了特 定之程度時，檢測出其係成爲具有前述一定之相關關係。 3. 如申請專利範圍第1項所記載之影像記億裝置.， 其中，前述表情推測手段，係當前述表情相關度之變化的 斜率超過了特定之値、且前述表情相關度超過了特定之程 度時，檢測出其係成爲具有前述一定之相關關係。 4. 如申請專利範圍第1項所記載之影像記憶裝置， 其中，前述影像記憶控制手段，係將從前述檢測被進行起 ，經過前述特定期間後之前述影像資料，記億在影像資料 記憶手段中。 1362886 5.如申請專利範圍第1項所記載之影像記憶裝置， 其中’前述影像記億控制手段，係以記憶新的前述影像資 料的方式而在前述影像資料記憶手段中進行更新，而在從 前述檢測被進行起，經過前述特定期間後，將前述更新中 止。 6. 如申請專利範圍第1項所記載之影像記憶裝置， 其中’前述影像記憶控制手段，係以使從前述檢測被進行 起’經過前述特定期間後之複數的前述影像資料，殘留在 影像資料記憶手段中的方式，而作控制。 7. 如申請專利範圍第1項所記載之影像記憶裝置， 其中，係更進而具備有： 將前述影像資料作爲動畫像資料而記憶的動畫像資料 記憶手段， 前述影像記憶控制手段’係將從前述檢測被進行起， 經過前述特定期間後之前述影像資料，從前述動畫像資料 記億手段而退避至前述影像資料記憶手段中。 8. —種影像記憶裝置’其特徵爲，具備有： 臉孔影像檢測手段，係檢測出被包含於以時間系列而 變化之影像資料中的臉孔影像；和 表情相關判定手段，係將前述被檢測出之臉孔影像的 表情之與特定之基準表情間的相關程度，作爲表情相關度 而進行判定；和 表情推測手段，係對於在特定期間內前述臉孔影像之 表情成爲與前述特定之基準表情間具有一定之相關關係一 -2 - 1362886 事，經由前述表情相關度之變遷而推測並檢測出；和 .影像記憶控制手段，係以使從前述檢測被進行起，經 過前述特定期間後之前述影像資料殘留在影像資料記憶手 段中的方式，而作控制。 9. 一種影像記憶裝置，其特徵爲，具備有： 臉孔影像檢測手段，係檢測出被包含於以時間系列而 變化之影像資料中的複數之臉孔影像；和 φ 臉孔確率評價手段，係針對前述所檢測出之複數臉孔 影像，而評價臉孔確率；和 表情相關判定手段，係將前述複數臉孔影像中之前述 臉孔確率爲最高的臉孔影像之表情的與特定之基準表情間 的相關程度，作爲表情相關度而進行判定；和 表情推測手段，係對於在特定期間內前述臉孔確率爲 最高的臉孔影像之表情成爲與前述特定之基準表情間具有 一定之相關關係一事，經由前述表情相關度之變遷而推測 φ 並檢測出：和 影像記憶控制手段，係以使從前述檢測被進行起，經 過前述特定期間後之前述影像資料殘留在影像資料記億手 段中的方式，而作控制。 10. 一種影像記億裝置，其特徵爲，具備有： 臉孔影像檢測手段，係檢測出被包含於以時間系列而 變化之影像資料中的複數之臉孔影像；和 選擇接收手段，係接收對於從前述所檢測出之複數臉 孔影像之中成爲判定對象之臉孔影像的選擇；和 -3- 1362886 表情相關判定手段，係將前述所選擇的臉孔影像之表 情的與特定之基準表情間的相關程度，作爲表情相關度而 進行判定；和 表情推測手段，係對於在特定期間內前述所選擇的臉 孔影像之表情成爲與前述特定之基準表情間具有一定之相 關關係一事，經由前述表情相關度之變遷而推測並檢測出 :和 影像記憶控制手段，係以使從前述檢測被進行起，經 過前述特定期間後之前述影像資料殘留在影像資料記憶手 段中的方式，而作控制。 11. 一種攝像裝置，其特徵爲，具備有： 攝像手段，係對以時間系列而變化之被攝體進行攝像 ，並作爲影像資料而輸出：和 表情相關判定手段，係將被包含於前述影像資料中的 臉孔影像之表情的與特定之基準表情間的相關程度，作爲 表情相關度而進行判定；和 表情推測手段，係對於在特定期間內前述臉孔影像之 表情成爲與前述特定之基準表情間具有一定之相關關係一 事，經由前述表情相關度之變遷而推測並檢測出；和 影像記憶控制手段，係以使從前述檢測被進行起，經 過前述特定期間後之前述影像資料殘留在影像資料記憶手 段中的方式，而作控制。 12. —種影像記億方法，其特徵爲，具備有： 表情相關判定程序’係將被包含於以時間系列而變化 -4 - 1362886 之影像資料中的臉孔影像之表情的與特定之基準表情間的 相關程度，作爲表情相關度而進行判定；和 表情推測程序，係對於在特定期間內前述臉孔影像之 表情成爲與前述特定之基準表情間具有一定之相關關係一 事，經由前述表情相關度之變遷而推測並檢出；和 影像記憶控制程序，係以使從前述檢出被進行起，經 過前述特定期間後之前述影像資料殘留在影像資料記憶手 段中的方式，而作控制。 13. —種影像處理程式，其特徵爲，使電腦實行： 表情相關判定程序，係將被包含於以時間系列而變化 之影像資料中的臉孔影像之表情的與特定之基準表情間的 相關程度，作爲表情相關度而進行判定；和 表情推測程序，係對於在特定期間內前述臉孔影像之 表情成爲與前述特定之基準表情間具有一定之相關關係一 事，經由前述表情相關度之變遷而推測並檢出；和 影像記憶控制程序，係以使從前述檢出被進行起，經 過前述特定期間後之前述影像資料殘留在影像資料記億手 段中的方式，而作控制。 -5-