TWI513321B - An image processing apparatus, an information processing apparatus, an information processing system, and a frame data output synchronization method - Google Patents

Description

攝像裝置、資訊處理裝置、資訊處理系統及幀資料輸出同步化方法

本發明係關於將照相機用於輸入介面之資訊處理技術。

近年，即時傳送網絡攝像機等所攝影之影像資料並顯示於顯示器上之技術已被用於廣泛領域。例如，如視頻會話或監視照相機般原樣顯示攝影之影像者之外，已知之一種博弈係以視頻攝像機攝影使用者之頭部等身體之一部分，抽出眼、口、手等特定區域並以其他圖像予以置換，繼而顯示於顯示器上(例如專利文獻1)。

[先前技術文獻] [專利文獻]

[專利文獻1]歐洲專利申請公開第0999518號說明書。

如上述般之技術中，照相機與顯示器為非同步之情形時，於連接照相機與顯示器之主機終端準備有同步用緩衝器，以幀單位調整輸出時序。該態樣中，需根據調整而捨棄多餘之幀或2次顯示同一幀。如此之同步處理引起不穩定以致產生較大延遲時間，除自照相機輸入至顯示之應答性降低之外，因須使用同步用緩衝器而有壓迫記憶區域等問題。介面為非同步且未共有時脈之USB照相機方面則更難進行同步處理。

本發明係鑒於如此之問題而完成者，其目的在於提供一 種圖像處理技術，其可易於同步進行照相機輸入與顯示器輸出。

本發明之一態樣係關於一種攝像裝置。該攝像裝置之特徵在於具備：輸出控制部，其以垂直同步信號之頻率，依照掃描線順序輸出攝像元件所攝像之動態圖像之各幀資料；及垂直同步信號調整部，其於輸出控制部所輸出之幀資料之輸出時刻與基於即時顯示動態圖像之顯示器之輸出頻率之基準輸出時刻之偏差超過特定臨限值時，變更垂直同步信號之產生時序之設定。

本發明之另一態樣係關於一種資訊處理裝置。該資訊處理裝置之特徵在於具備：偏差時間監視部，其取得自連接之攝像裝置依次輸入之各幀資料之輸入時刻，而監視與基於該幀資料之輸出目的地之顯示器之輸出頻率之基準輸入時刻之偏差；及動作同步調整部，其於偏差超過特定臨限值時，向攝像裝置發送調整攝像裝置之垂直同步信號之產生時序之要求信號。

本發明之另一態樣係關於一種資訊處理系統。該資訊處理系統之特徵在於具備：攝像裝置，其攝影動態圖像，及資訊處理裝置，其依次取得該動態圖像之幀資料並向顯示器輸出；資訊處理裝置具備：偏差時間監視部，其取得自攝像裝置輸入之各幀資料之輸入時刻，而監視與基於顯示器之輸出頻率之基準輸入時刻之偏差；及動作週期調整部，其於偏差超過特定臨限值時，將調整攝像裝置之垂直 同步信號之產生時序之要求信號發送至攝像裝置；攝像裝置具備：垂直同步信號調整部，其於幀之最終掃描線中，將具有像素值之輸出頻率之像素時脈之邊緣數作為像素計數值而進行計數，於取得要求信號時，變更使垂直同步信號產生之像素計數值之設定。

本發明之另一態樣係關於一種幀資料輸出同步化方法。該幀資料輸出同步化方法之特徵在於，其係使即時顯示攝像裝置所攝影之動態圖像之顯示器之幀資料輸出處理與攝像裝置自身之幀資料輸出處理同步之方法，其包含以下步驟：以垂直同步信號之頻率，依照掃描線順序輸出各幀資料；及於輸出之幀資料之輸出時刻與基於顯示器之輸出頻率之基準輸出時刻之偏差超過特定臨限值時，變更垂直同步信號之產生時序之設定。

再者，即使於方法、裝置、系統、電腦程式、及記錄電腦程式之記錄媒體之間變換以上構成要素之任意組合及本發明之表現者，其作為本發明之態樣仍有效。

根據本發明，可易於同步進行照相機輸入與顯示器輸出。

圖1表示可適用本實施形態之資訊處理系統之構成例。資訊處理系統10包含：視頻攝影使用者1等對象物之攝像裝置12；控制所攝影之動態圖像資料之顯示之主機終端20；及顯示動態圖像之顯示器16。亦可組裝攝像裝置12、 主機終端20、顯示器16之中之任2個或全部予以一體裝備。且，攝像裝置12可並非一定設置於顯示器16上。進而，使用者1亦可並非人物，其之數量亦並未限定。

攝像裝置12係具備CCD(Charge Coupled Device：電荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互補型金屬氧化半導體)等攝像元件之數位攝影機。攝像裝置12所攝影之動態圖像之幀資料逐次發送給主機終端20。主機終端20相應顯示器16之輸出時序，將經發送之幀資料向顯示器16輸出。再者，主機終端20亦可利用幀資料進行圖像輸出控制以外之特定處理。例如，藉由人物化使用者1之形象而生成假想世界之圖像並顯示於顯示器16，從而可實現博弈等；因如此之技術可適當應用通常之技術，故此處不予以論述。

顯示器16將主機終端20控制下輸入之幀資料作為圖像而顯示。顯示器16可為具有輸出圖像之顯示器及輸出聲音之揚聲器之電視，例如液晶電視、電漿電視、及PC顯示器等。

本實施形態中，如此之資訊處理系統10之攝像裝置12之照相機輸入與顯示器16之視頻輸出為非同步之情形時，可低成本且易於取得同步。首先，為明瞭本實施形態之效果，就可適用於如此之情形之同步處理之既知技術進行說明。

圖2表示實現照相機輸入與視頻輸出之同步處理之先前技術之系統構成。再者，雖因該圖係表示先前技術之構 成，作為攝像裝置12a、主機終端20a與本實施形態之各裝置有所區別，但其連接形態與圖1所示者相同。主機終端20a需以顯示器16之輸出頻率輸出自攝像裝置12以攝像裝置之輸出頻率輸入之幀資料。

因此，主機終端20a中除相應顯示器16之輸出頻率而改寫之幀記憶體26外，仍具備同步用緩衝器22，其用於於攝像裝置12a與幀記憶體26之間緩衝幀資料並進行時序調整。進而，主機終端20a具備顯示控制部24，其控制自幀記憶體26至顯示器16之幀資料之輸出。

圖3表示由圖2所示之構成進行幀資料輸出時序之調整時之來自攝像裝置12a之輸出資料(上段)、同步用緩衝器22之資料(中段3行)、及幀記憶體26之資料(下段2行)之變遷。例如，設攝像裝置12a以60 fps之幀率進行攝影及資料輸入，顯示器16以59.94 fps之幀率進行動態圖像顯示。於該情形時，自攝像裝置12a至主機終端20a之幀資料輸入週期為每幀16.0 msec；自主機終端20a至顯示器16之輸出週期為每幀16.7 msec。

該圖中橫軸表示經過時間，1個矩形表示與1個幀程度對應之期間。矩形內之文字表示幀序號。如該圖上端之凡例所示，矩形內之實線及虛線之斜線分別表示對掃描線進行掃描之資料之輸出期間(scan out)及輸入期間(scan in)。且，影線所示之矩形表示資料保持期間。

首先，攝像裝置12a於時刻t0開始第n幀之攝像及輸出。如此，於主機終端20a之同步用緩衝器22之第1緩衝器22a 中，自時刻t1起依照攝像結束之掃描線順序存儲第n幀之資料。截至存儲完所有第n幀之資料之時刻t2為止之時間係上述之16.0 msee。顯示控制部24自將前一幀即第(n-1)幀之資料對幀記憶體26存儲完畢之時刻t3起，向幀記憶體26之第1區域26a開始存儲第n幀之資料。

再者，具有同步用緩衝器22之矩形行之下所示之△t之寬度之標記，係表示其上之矩形所表示之幀資料之讀出期間。於第n幀之讀出期間、即自時刻t3起△t之期間，無法對該緩衝器讀入其他資料。對幀記憶體26之第1區域26a寫入之第n幀之資料自前一第(n-1)幀之顯示結束之時刻t4起向顯示器16輸出，從而顯示圖像。自第n幀之顯示開始時刻t4至結束時刻t5之時間如上所述係16.7 msec。

針對相應攝像裝置12a之攝影進展而取得之各幀資料同樣地進行如此之處理。即，攝像裝置12a及同步用緩衝器22將16.0 msec作為每幀之處理週期而進行動作，幀記憶體26及顯示器16以16.7 msec作為每幀之處理週期而進行動作。如該圖所示，幀記憶體26分為存儲對顯示器16輸出中之幀資料之區域，與存儲其後之幀之區域，藉由交替使用第1區域26a、第2區域26b而進行流暢之圖像顯示。

另一方面，同步用緩衝器22存儲完某幀之資料之時序與讀出其之時序會因攝像裝置12a與顯示器16之動作頻率之差異而逐漸有所偏差。結果，幾乎於所有期間內，存儲幀資料時成為未讀完其前2個幀資料之狀況。例如，於開始存儲第(n+2)幀之資料之時刻T仍在讀出前2個第n幀之資料。

因此，無法將存儲有第n幀之資料之第1緩衝器22a作為第(n+2)幀之資料之存儲目的地。如此，於開始存儲某幀資料時出現未讀完前2個幀之資料之狀況之情形中，作為同步用緩衝器22，需準備第1緩衝器22a、第2緩衝器22b、第3緩衝器22c之3個緩衝器以供循環使用。

於使用3個緩衝器之情形時，基本上各幀之資料保持期間除存儲處理期間外均為2週期。即，同步用緩衝器22中可保持相同之幀資料之期間依存於緩衝器之個數而為有限。但，顯示器16側之動作週期長於攝像裝置12a側之動作週期之情形時，相對於同步用22之各幀資料之保持期間，讀出其之期間會逐漸向後偏差。因此讀出期間最終將超過資料保持期間。如此，不論資料是否存儲於同步用緩衝器22，都會產生顯示器16顯示不完之幀。於該情形時，不得不捨棄該幀資料，而讀出並顯示其後之幀資料。

圖3之例中，讀出應位於結束讀出第(n+6)幀之時刻t6之後之第(n+7)幀之期間超過第(n+7)幀之資料保持期間。因此，跳過第7幀而於時刻t7開始讀出存儲完畢之第(n+8)幀之資料。該例中，因顯示器16側之動作週期長於攝像裝置12a側之基本週期，故剩餘之幀資料未消耗即被捨棄，但若動作週期之大小關係相反，則顯示所需之幀資料不足，從而不得不以2週期程度顯示同一幀。

如此，於攝像裝置12a與顯示器16非同步進行動作之情形時，需比較同步用緩衝器22之幀資料之保持期間與讀出其之期間，根據其結果而需進行資料捨棄或2次顯示等複 雜之處理。且，根據動作週期之差異，作為同步用緩衝器，所需之緩衝區域之數量增加。

進而，於與顯示器16之頻率同步並由主機終端進行圖像處理之情形時，可認為，捨棄1個成為處理對象之幀將引起異常。例如，於追蹤被寫體之一部分之情形時，若與之前之幀之時間間隔較大，則因可動範圍增大而需增加搜索區域。因此，追蹤處理所需之時間增加以致成為延遲時間增加之要因。

即使攝像裝置與顯示器之設定動作頻率相同，根據內設之振盪電路之精度仍可能產生相同之偏差。因此，本實施形態中，藉由以像素計數單位調整攝像裝置12內部之垂直同步信號之時序，而將來自攝像裝置12之資料輸入與對顯示器16之資料輸出之週期之偏差規制於特定範圍，從而使其至少不產生1幀程度之時間差。

圖4表示攝像裝置與顯示器同步時之來自攝像裝置之輸出資料(上段)、輸入緩衝器之資料(中段2行)、幀記憶體之資料(下段2行)之變遷。雖圖式之表示方法與圖3相同，但該情形時，存儲來自攝像裝置之輸入資料之記憶體並非「同步用緩衝器」，而係作為用於主機終端20內部之處理之「輸入緩衝器」發揮功能。攝像裝置與顯示器之動作週期例如皆為16.0 msec。

於該情形時，如該圖所示，對幀記憶體讀出幀資料始終自向輸入緩衝器存儲完該資料後開始，其2個時刻並未有偏差。結果，輸入緩衝器亦與幀記憶體同樣地，僅由用於 寫入自攝像裝置輸入之幀資料之緩衝器與用於向幀記憶體讀出之緩衝器構成。且，如上所述，因無需調整蓄積偏差之幀單位，故可簡化處理，從而抑制突發之延遲時間之增加。

本實施形態中，即使攝像裝置與顯示器之動作頻率相異，仍成為與圖4所示之同步動作相近之狀況。具體而言，攝像裝置12中，以像素計數單位調整定義為一幀程度之時間即垂直同步信號(VSyns)之間隔，進行以顯示器之一幀之顯示週期為目標之動作週期之對應。該態樣即使相對振盪電路之精度引起之偏差仍有效。圖5表示本實施形態之攝像裝置12與主機終端20之構成。

圖5所示之各功能區塊，於硬體方面，由CPU(Central Processing Unit：中央處理單元)、RAM(Random Access Memory：隨機存取記憶體)、ROM(Read Only Memory：唯讀記憶體)、計數電路等之構成實現；於軟體方面，由發揮資料輸入輸出功能、資料保持功能等諸功能之程式實現。因此，對本領域之技術人員而言，應理解為，該等功能區塊僅由硬體、軟體、或該等之組合可以各種形式予以實現，並非限定於任一形式者。

主機終端20包含：輸入緩衝器32，其暫時存儲自攝像裝置12輸入之幀資料；幀記憶體38，其暫時存儲向顯示器16輸出之幀資料；及顯示控制部40，其控制自輸入緩衝器32向幀記憶體38之幀資料之寫入，及自幀記憶體38向顯示器16之幀資料之輸出。

輸入緩衝器32、幀記憶體38、及顯示控制部40具有與圖2所示之主機終端20a之同步用緩衝器22、幀記憶體26及顯示控制部24相同之功能。但，與就圖4之說明同樣地，因本實施形態亦無需進行使用同步用緩衝器之調整，故代替同步用緩衝器22而具備輸入緩衝器32。輸入緩衝器32係與圖4所示者同樣地，只要具備2個緩衝區域即可。

主機終端20進而包含：偏差時間監視部34，其監視來自攝像裝置12之幀資料之輸入時序與自顯示器16之輸出頻率所得之該幀資料之理想輸入時序之偏差；及動作週期調整部36，其根據輸入時序之偏差之大小，發送調整攝像裝置12之每一幀之動作週期之要求信號。

攝像裝置12包含攝像元件31與橋接部30。攝像元件31如上述係CCD或CMOS等感測器。橋接部30包含：輸出控制部41，其控制幀資料之向主機終端20之輸出；H計數部42，其以攝像裝置12之垂直同步信號為起點計數水平同步信號(HSync)之輸出，以特定掃描線產生信號；及VSync調整計數部44，其以來自H計數部42之信號為起點，計數像素時脈，以相對像素時脈而設定之數值產生垂直同步信號。

輸出控制部41將攝像元件31所攝影之結果所得之幀之資料經由USB等介面，依照掃描線順序向主機終端20送出。進而，分離幀資料所包含之各種同步信號之資訊，並適當供給至H計數部42、VSync調整計數部44。因輸出控制部44所執行之處理可適用通常之技術，故其詳細內容不予以 論述。H計數部42及VSync調整計數部44與主機終端20之偏差時間監視部34及動作週期調整部36之詳細動作將於下文敍述。

接著，利用圖5所示之構成，說明使來自攝像裝置12之輸入與向顯示器16之輸出同步之原理。圖6係用於說明攝像裝置12中產生之信號的圖。再者，該等之信號係由一般攝像裝置所產生之信號，本實施形態中可利用之。該圖中，右方向表示各掃描線之像素單位之經過時間；下方向表示掃描線單位之經過時間。該圖中央之矩形之中，空白區域表示像素值之輸入輸出期間，影線區域則表示水平返馳期間(HBlank)及垂直返馳期間(VBlank)。

首先，橫向所示之各掃描線之經過時間如圖式之上端所示，以像素時脈(PCLK)之上升邊緣週期PT(=1/PCLK)為1單位。像素時脈具有像素值之輸出頻率。又，每掃描線產生表示像素值之輸出期間之資料賦能信號(DE)及表示掃描線之終點時序之水平同步信號(HSync)。圖式之縱向所示之掃描線單位之經過時間以水平同步信號之輸出週期為1單位。又，每幀產生表示具有數值之掃描線之輸出期間之資料賦能信號(DE)及表示幀之終點時序之垂直同步信號(VSync)。

此處，若設截止包含水平返馳期間之後一條掃描線之像素時脈之計數值為HTotal，截止包含垂直返馳期間之後一個幀之掃描線之計數值為VTotal，則攝像裝置12所攝影向主機終端20輸入之幀之幀率R(fps)係： R(fps)=PCLK(Hz)/(HTotal×VTotal)即，每幀之輸入週期Tint(sec)係：Tint(sec)=1/R(fps)=(HTotal×VTotal)/PCLK(Hz)=HTotal×VTotal×PT(sec)。

本實施形態中，藉由使自攝像裝置12輸入之幀資料之每幀之輸入週期Tint對應顯示器16之每一幀之輸出週期，而成為與同步動作相近之狀況。因此，本實施形態中，首先調整HTotal及VTotal，以掃描線數單位進行大致對應對後，監視實際時間之偏差，以調整結果決定之幀之最後掃描線之輸入期間之像素計數之單位進行微調整。

掃描線數單位之調整於設顯示器16之輸出幀率為目標幀率TA時，以滿足以下算式地，藉由設定HTotal及VTotal而進行。

PCLK/(HTotal×VTotal)<TA<PCLK/HTotal×(VTotal-1)

取得如上算式之各項之倒數，若以週期進行比較則成為如下算式：PT×HTotal×(VTotal-1)<1/TA<PT×HTotal×VTotal

即，自垂直同步信號隨後之幀之起點至倒數第2條掃買線掃描完畢所需之像素時脈單位之時間「PT×HTotal×(VTotal-1)」與自該起點至最後之掃描線掃描完畢所需之時間「PT×HTotal×VTotal」之間，以輸入顯示器16之每幀之輸出週期地，調整HTotal及VTotal。藉此，像素計數單位之微調整可限定於最後之掃描線之掃描時間內。

圖7係用於說明攝像裝置12之垂直同步信號之產生時序 之調整原理的圖。該圖之矩形係與圖6同樣地表示包含水平同步信號、垂直同步信號之一幀之輸入期間。又，自左向右橫切該矩形之箭頭標記係示意性顯示掃描線。此處，顯示器16中，若結束一幀之顯示之時刻與線50對應，則由上述算式決定之最後之掃描線上，嚴密而言，VTotal-1之計數與VTotal之計數之間之時間中，線50位於其上。

因HTotal及VTotal之調整係掃描線單位者，故根據顯示器16之輸出頻率而預設。例如，攝像裝置12或主機終端20之內部記憶體中準備有使顯示器之輸出頻率與適當之HTotal及VTotal之數值賦予對應關係之表格；連接顯示器16時，亦可根據實際之輸出頻率，參照表格後予以決定。根據情形亦可將像素時脈自身作為如上算式之調整對象。

如此，一旦決定HTotal及VTotal，則其後一面監視實際之時間偏差，一面進行像素計數單位之微調整。該調整定形而言係成為將作為應位於最後之掃描線上之該幀之終點即圖7之最後之箭頭標記52之前端靠近線50之調整。若於調整所得之終點產生垂直同步信號，開始其後之幀之攝像，則來自攝像裝置12之每一幀之輸入週期與向顯示器16之每一幀之輸出週期變得大致相同。

像素計數單位之時間計測中，若考慮相對嚴密之計測時間產生四捨五入誤差、攝像裝置或顯示器之頻率中分別存在偏差及處理負荷等，則有效的是，於時間偏差蓄積有特定量之時間點，於箭頭標記52之長度即最後之掃描線中，調整產生垂直同步信號之前之像素計數值。其後，將如此 之像素計數值稱作「最後線期間」。

實際之調整處理以於最後之掃描線中預設比截止線50之距離短之最終線期間MF，及比截止線50之距離長之最終線期間MS，藉由替換該等而進行。較短一方之最終線期間MF及較長一方之最終線期間MS係滿足下一算式之數值。

PT×(HTotal×(VTotal-1)+MF)<1/TA<PT<(HTotal×(VTotal-1)+MS)

又，藉由於來自攝像裝置12之輸入比向顯示器16之輸出過快時設置較長之最終線期間MS，於過慢時設定較短之最終線期間MF，而調整來自攝像裝置12之每一幀之輸入週期。

若將2個最終線期間MF及MS設為挾持線50所示之顯示器16之一幀之結束輸出時刻之鄰接之整數值，則MF及MS可由以下之算式決定。

MF=floor(FIT/PT-HTotal(VTotal-1)) MS=ceil(FIT/PT-HTotal(VTotal-1))

此處，floor(x)係輸出x以下之最大整數之函數，ceil(x)係輸出x以上之最小整數之函數。且，FIT係以1/TA賦予之顯示器16之一幀之顯示週期。

進而，亦可考慮攝像裝置12及顯示器16之動作頻率之偏差寬度，如下般決定2個最終線期間MF及MS，以增大兩者之差。

MF=floor(FIT/PT-HTotal(VTotal-1))-dz/2 MS=ceil(FIT/PT-HTotal(VTotal-1))+dz/2

此處，dz係考慮到偏差寬度之校正值且被預設。

接著，顯示利用圖5所示之構成實現如上之調整時之處理程序。圖8係顯示本實施形態之調整來自攝像裝置12之每一幀之輸入週期之處理程序的流程圖。該流程圖中，使用者相對主機終端20指示包含動態圖像攝影與利用其之圖像顯示之功能之執行，於主機終端20對攝像裝置20要求開始攝影時開始處理。

首先，攝像裝置20中，於最終線期間M設定初始值M0(S10)。初始值M0亦可為自0至HTotal之任意值，亦可為MF或MS。接著，攝像裝置12開始動態攝影(S12)。又，輸出控制部41向幀序號N代入0後(S14)，依照掃描線順序將第0幀之資料輸入主機終端20(S16)。此時，H計數部42接收垂直同步信號之產生而設計數值為0後，藉由計數水平同步信號之輸出，監視輸入完畢之掃描線之數量H。

主機終端20取得自攝像裝置12輸入之資料，藉由開始向顯示器16之輸出，而於顯示器16上顯示動態圖像(S18)。攝像裝置12於向主機終端20輸入完畢之掃描線之數H未到達VTotal-1期間，繼續各掃描線之資料輸出(S20之N、S16)。若輸出完畢之掃描線之數H到達VTotal-1(S20之Y)，則將最後之掃描線VTotal之資料輸入主機終端20。此時，VSync調整計數部44自H計數部42接收掃描線之數H到達VTotal-1並設計數值為0後，計數像素時脈之上升邊緣。

像素計數值P未到達最終線期間M之期間時繼續資料輸入(S24之N、S22)。像素計數值P一旦到達最終線期間 M(S24之Y)，則VSync調整計數部44將垂直同步信號向攝像元件31及H計數部42輸出(S26)。

主機終端20之偏差時間監視部34於每次自攝像裝置12輸入一幀程度之資料時，取得接收時之時戳。又，判斷自第0幀之資料輸入開始至第N幀之資料輸入完畢之實際時間與以顯示器16之輸出頻率進行輸入動作時之假設時間之差即偏差是否超過預設之臨限值(S30)。於超過臨限值之情形時(S30之Y)，於攝像裝置12之VSync調整計數部44所保持之最終線期間M重設MF或MS之值。

偏差量D例如由下式求得。

D=|time_stump(N)-FIT×N|

此處，time_stump(N)係自第0幀之輸入開始至第N幀之輸入完畢之時戳之差。藉由以主機終端20輸出之視頻時脈之頻率控制用電壓VCT計測該時戳，可基於主機終端20內所控制之FIT之實際時間進行正確比較。

如上所述，若偏差量D大於臨限值dw，則重設最終線期間M。此時，若time_stump(N)-FIT×N為正數值，則因來自攝像裝置12之輸入較慢，故設定較短一方之最終線期間MF。若為負數值，則因來自攝像裝置12之輸入較快，故設定較長一方之最終線期間MF。攝像裝置12之最終線期間之更新，實際上亦可於將最終之掃描線以外之資料輸入主機終端20之處理步驟S16、S20之期間中予以進行。偏差量D未超過臨限值dw時保持原設定(S30之N)。

無需根據來自使用者之指示輸入等結束處理之期間(S34 之N、S38之N)，攝像裝置12中，一面遞增幀序號(S36)，一面重複以上之處理。此期間，攝像裝置12之攝影、向主機終端20之幀資料輸入、向顯示器16之幀資料輸出、及顯示器16之動態圖像之顯示繼續進行。若需結束處理，則於攝像裝置12及主機終端20兩者中結束處理(S34之Y、S38之Y)。

圖9表示利用本實施形態調整來自攝像裝置12之輸入週期時之來自攝像裝置12之輸出資料(上段)、輸入緩衝器32之資料(中段2行)、幀記憶體38之資料(下段2行)之變遷。圖式之表示方法與圖4相同。且，該圖中，表示攝像裝置12之輸出對象之幀之各矩形之上顯示有相對該幀之最終線期間M之設定值。

首先，於自攝像裝置12輸出第n幀之時刻t0，於最終線期間M中設定有較短一方之最終線期間MF。根據該設定，來自攝像裝置12之每一幀之資料輸入週期成為比向顯示器16之每一幀之資料輸出週期稍短之狀態。

如以圖4所說明般，若來自攝像裝置12之輸入與向顯示器16之輸出完全同步，則向輸入緩衝器32結束存儲之幀資料隨即向顯示器16輸出。本實施形態亦如上述般，係於調整VTotal、HTotal後，以像素時脈單位進行向顯示器之輸出頻率之對應，故取得與圖4相近之狀態。

另一方面，隨著幀處理進展，則來自攝像裝置12之輸入週期與向顯示器16之輸出週期之微妙偏差逐漸累積。該圖中，將向輸入緩衝器32存儲完各幀之資料之時刻與開始對 幀記憶體38讀出該資料之時刻之偏差時間以D0、D1、D2、...表示。例如，自向輸入緩衝器32存儲完第n+1幀之資料之時刻t1起至開始讀出該資料之時刻t2之時間偏差為D1。

該時間偏差係起因於來自攝像裝置12之每一幀之輸入週期與向顯示器16之每一幀之輸出週期之差，且與偏差時間監視部34進行臨限值判定之值對應。如上所述，作為最終線期間M而設定較小一方之值MF之情形時，因來自攝像裝置12之輸入週期短於向顯示器16之輸出週期，故資料輸入結束之時刻比開始讀出其之時刻向前偏差，於D0、D1、D2、D3其值增大，而於D4超過臨限值dw。

動作週期調整部36接收該結果，以將VSync調整計數部44所保持之最終線期間M重設為較長一方之最終線期間MS之方式發送要求信號(S40)。根據該設定，因來自攝像裝置12之輸入週期長於向顯示器16之輸出週期，故偏差時間於其後之D5轉為減少，於D6、D7、D8、D9逐漸減少。進而，若幀處理持續進展，則因偏差時間最終向來自攝像裝置12之輸入較慢之方向增加，故於超過臨限值dw之時間點，將最終線期間M重設為較短一方之最終線期間MF(未圖示)。

如此，因即使結束存儲來自攝像裝置12之幀資料之時刻、與開始向顯示器16輸出之時刻之差最大，仍可抑制在臨限值dw左右，故不會發生一幀份之資料多餘或不足之情況。結果，無需為求一致而捨棄資料或將同一幀顯示2 次，從而可抑制產生不穩定之延遲時間。進而，如圖9所示，輸入緩衝器32僅有2個緩衝區域即足夠。

本實施形態之攝像裝置12只要不更新最終線期間M之設定，則與既存之非同步攝像裝置同樣地進行動作。因此，亦可根據用途而切換同步/非同步。圖10表示如圖2所示般於主機終端20中設置有同步用緩衝器22之狀態下連接本實施形態之攝像裝置12時之來自攝像裝置12之輸出資料(上段)、同步用緩衝器22之資料(中段3行)、幀記憶體26之資料(下段2行)之變遷。

如圖3所示，僅有同步用緩衝器22之運用中，於顯示器16側之動作週期長於攝像裝置12側之情形時，相對同步用緩衝器22之各幀之資料保持期間，讀出其之期間逐漸向後偏差。反之，於短於其之情形時，則逐漸向前偏差。藉由導入本實施形態而適當設定最終線期間M，如該圖所示，於同步用緩衝器22之資料保持期間之中之大致前半部分期間可讀出各幀之資料。

結果，即使進行與顯示器16之頻率對應之資料讀出，仍可依照原先之幀順序確實向資料儲存，無需進行多餘處理。且，因未發生捨棄未顯示完之幀之資料之狀況，故可穩定保持幀之時間間隔。藉此，即使利用讀出之幀資料進行追蹤等處理之情形時，仍不會發生因捨棄幀而引起之處理之負荷或精度之變動。

根據上述之本實施形態，於將攝像裝置所攝影之動態圖像即時顯示於顯示器之系統中，以使自攝像裝置向主機終 端之幀資料之輸入週期接近自主機終端向顯示器之輸出週期地，調整垂直同步信號之產生時序。因此，首先，事先進行掃描線長度及數量之調整，一面監視實際之時間偏差，一面以像素計數單位調整最後之掃描線之垂直同步信號之產生時序。

藉此，可以低成本實現像素時脈之上升邊緣週期能級即顯示器之輸出週期之一百萬分之一左右之時間調整。僅調整掃描線之數量之情形時，因幀差異致使攝影時間變動相對變大，從而於具有滾動快門之攝像元件中可能引起露出變動，但若如本實施形態般進行微小時間之調整，則對露出之影響成為可忽略之程度。

又，調整係僅於時間偏差累積有特定量之時間點重新更新設定值，故對處理成本之影響較小。進而，因利用2個最終線期間之差分或相對時間偏差之臨限值，可進行吸收裝置自身所具有之動作頻率之偏差之時序調整，故不會產生頻繁進行無謂之調整以致需要額外之處理負荷之異常。結果，可低成本且降低對處理負荷之影響地以低延遲時間及較好之應答性執行自動態攝影至顯示。

以上，已基於實施形態說明了本發明。上述實施形態係例示，對本領域之技術人員而言，應理解為，該等之各構成要素或各處理過程之組合可存在各種變化例，且其變化例亦包含於本發明之範圍。

例如，雖本實施形態之攝像裝置包含一眼攝像元件，但亦可為具備立體照相機等複數個照相機之構成。於該情形 時，藉由對所有照相機賦予自VSync調整計數部產生之垂直同步信號，可易於使來自複數個照相機之影像與顯示器之輸出同步。

[產業上之可利用性]

如上，本發明可用於電腦、博弈裝置、照相機、圖像顯示裝置等之資訊處理裝置及資訊處理系統。

10‧‧‧資訊處理系統

12‧‧‧攝像裝置

16‧‧‧顯示器

20‧‧‧主機終端

30‧‧‧橋接部

32‧‧‧輸入緩衝器

34‧‧‧偏差時間監視部

36‧‧‧動作週期調整部

38‧‧‧幀記憶體

40‧‧‧顯示控制部

41‧‧‧輸出控制部

42‧‧‧H計數部

44‧‧‧VSync調整計數部

圖1係表示可適用本實施形態之資訊處理系統之構成例的圖。

圖2係表示實現照相機輸入與視頻輸出之同步處理之先前技術之系統構成的圖。

圖3係表示由圖2所示之構成進行幀資料輸出時序調整時之來自攝像裝置之輸出資料、同步用緩衝器之資料、幀記憶體之資料之變遷的圖。

圖4係表示攝像裝置與顯示器同步時之來自攝像裝置之輸出資料、輸入緩衝器之資料、幀記憶體之資料之變遷的圖。

圖5係表示本實施形態之攝像裝置與主機終端之構成的圖。

圖6係用於說明本實施形態之攝像裝置中所產生之信號的圖。

圖7係用於說明本實施形態之攝像裝置之垂直同步信號之產生時序之調整原理的圖。

圖8係表示本實施形態之調整來自攝像裝置之每一幀之 輸入週期之處理程序的流程圖。

圖9係表示本實施形態之調整來自攝像裝置之輸入週期時之來自攝像裝置之輸出資料、輸入緩衝器之資料、幀記憶體之資料之變遷的圖。

圖10係表示主機終端中設置有同步用緩衝器之狀態下，連接本實施形態之攝像裝置時之來自攝像裝置之輸出資料、同步用緩衝器之資料、幀記憶體之資料之變遷的圖。

12‧‧‧攝像裝置

16‧‧‧顯示器

20‧‧‧主機終端

30‧‧‧橋接部

31‧‧‧攝像元件

32‧‧‧輸入緩衝器

34‧‧‧偏差時間監視部

36‧‧‧動作週期調整部

38‧‧‧幀記憶體

40‧‧‧顯示控制部

41‧‧‧輸出控制部

42‧‧‧H計數部

44‧‧‧VSync調整計數部

Claims (9)

1. 一種攝像裝置，其特徵在於包含：輸出控制部，其以垂直同步信號之頻率，依照掃描線順序輸出攝像元件所攝像之動態圖像之各幀資料；及垂直同步信號調整部，其於上述輸出控制部輸出之幀資料之輸出時刻與基於即時顯示動態圖像之顯示器之輸出頻率之基準輸出時刻之偏差超過特定臨限值時，變更垂直同步信號之產生時序之設定；且上述垂直同步信號調整部於幀之最終掃描線上，將具有像素值之輸出頻率之像素時脈之邊緣數作為像素計數值進行計數，而使產生垂直同步信號之像素計數值之設定改變。
2. 如請求項1之攝像裝置，其中表示幀之各掃描線之掃描週期之像素計數值與幀之掃描線之數，係以使基於上述顯示器之輸出頻率之每一幀之掃描時間之基準結束時刻於上述攝像裝置之幀之最終掃描線之掃描期間內到達之方式設定。
3. 如請求項2之攝像裝置，其係進而具備記憶體，該記憶體保持將顯示器之輸出頻率、與相對於其所應設定之表示上述掃描線之掃描週期之像素計數值與上述幀之掃描線之數量賦予對應關係之表格；且上述像素計數值與掃描線之數量係根據實際連接之顯示器之輸出頻率，參照上述表格而設定。
4. 如請求項1之攝像裝置，其中上述垂直同步信號調整部 根據上述幀資料之輸出時刻與上述基準輸出時刻之前後關係，將比預設之基於上述顯示器之輸出頻率之每一幀之掃描時間之基準結束時刻晚之時序之像素計數值，與比該基準結束時刻早之時序之像素計數值作為使垂直同步信號產生之像素計數值而切換設定。
5. 一種資訊處理裝置，其特徵在於包含：偏差時間監視部，其取得自連接之攝像裝置依次輸入之各幀資料之輸入時刻，而監視與基於該幀資料之輸出目的地之顯示器之輸出頻率之基準輸入時刻之偏差；及動作週期調整部，其於上述偏差超過特定臨限值時，將變更被設定作為上述攝像裝置中垂直同步信號之產生時序之像素計數值之要求信號發送至上述攝像裝置，該像素計數值係上述攝像裝置所計數之幀之最終掃描線上之具有像素值之輸出頻率之像素時脈之邊緣數之像素計數值之中者。
6. 一種資訊處理系統，其特徵在於：其係包含攝影動態圖像之攝像裝置，及依次取得該動態圖像之幀資料並向顯示器輸出之資訊處理裝置者；且上述資訊處理裝置具備：偏差時間監視部，其取得自上述攝像裝置輸入之各幀資料之輸入時刻，而監視與基於上述顯示器之輸出頻率之基準輸入時刻之偏差；動作週期調整部，其於上述偏差超過特定臨限值時，將調整上述攝像裝置之垂直同步信號之產生時序之要求 信號發送至上述攝像裝置；上述攝像裝置具備：垂直同步信號調整部，其於幀之最終掃描線中，將具有像素值之輸出頻率之像素時脈之邊緣數作為像素計數值而進行計數，且於取得上述要求信號時，變更使垂直同步信號產生之像素計數值之設定。
7. 一種幀資料輸出同步化方法，其特徵在於：其係使即時顯示攝像裝置所攝影之動態圖像之顯示器之幀資料輸出處理與攝像裝置自身之幀資料輸出處理同步之方法，其包含以下步驟：以垂直同步信號之頻率，依照掃描線順序輸出各幀資料；於幀之最終掃描線中，將具有像素值之輸出頻率之像素時脈之邊緣數作為像素計數值而進行計數；及於輸出之幀資料之輸出時刻與基於上述顯示器之輸出頻率之基準輸出時刻之偏差超過特定臨限值時，變更產生上述垂直同步信號之像素計數值之設定。
8. 一種電腦程式，其特徵在於：其使電腦實現以下功能：取得自連接之攝像裝置依次輸入之各幀資料之輸入時刻，而監視與基於該幀資料之輸出目的地之顯示器之輸出頻率之基準輸入時刻之偏差；及於上述偏差超過特定臨限值時，將變更被設定作為上述攝像裝置中垂直同步信號之產生時序之像素計數值之要求信號發送至上述攝像裝置，該像素計數值係上述攝 像裝置所計數之幀之最終掃描線上之具有像素值之輸出頻率之像素時脈之邊緣數之像素計數值之中者。
9. 一種記錄有電腦程式之記錄媒體，其特徵在於：其使電腦實現以下功能：取得自連接之攝像裝置依次輸入之各幀資料之輸入時刻，而監視與基於該幀資料之輸出目的地之顯示器之輸出頻率之基準輸入時刻之偏差；及於上述偏差超過特定臨限值時，將變更被設定作為上述攝像裝置中垂直同步信號之產生時序之像素計數值之要求信號發送至上述攝像裝置，該像素計數值係上述攝像裝置所計數之幀之最終掃描線上之具有像素值之輸出頻率之像素時脈之邊緣數之像素計數值之中者。