TWI333787B - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
TWI333787B
TWI333787B TW095123169A TW95123169A TWI333787B TW I333787 B TWI333787 B TW I333787B TW 095123169 A TW095123169 A TW 095123169A TW 95123169 A TW95123169 A TW 95123169A TW I333787 B TWI333787 B TW I333787B
Authority
TW
Taiwan
Prior art keywords
image data
image
branch
coefficient
pixels
Prior art date
Application number
TW095123169A
Other languages
English (en)
Other versions
TW200715854A (en
Inventor
Tetsujiro Kondo
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW200715854A publication Critical patent/TW200715854A/zh
Application granted granted Critical
Publication of TWI333787B publication Critical patent/TWI333787B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Description

1333787 九、發明說明: 【發明所屬之技術領域】 本發明係關於影像處理裝置、影像處理方法及程式,且 更特定言之,本發明係關於能使使用者接收高品質影像資 料之影像處理裝置、影像處理方法及程式。 【先前技術】 在現有地面模擬廣播中,廣播的是具有對應於遵照國際 電視系統委員會(NTSC)之組合訊號之4:3的縱橫比的標準 清晰度(SD)影像。 近年來,除了現有地面模擬廣播,已開始了地面數位廣 播。在地面數位廣播中,具有16:9之縱橫比之SD影像(所 謂”D1影像”)或高清晰度(HD)影像係以分量訊號之形式廣 播,且因此可提供與地面模擬廣播提供之影像相比更高品 質之影像。 廣播裝備(諸如用於捕獲具有16:9之縱橫比之SD影像(下 文稱為”D1影像")或HD影像之攝影機)是昂貴的,所以此等 昂貴的廣播裝備廣泛用於廣播站尚需要時間。 因此,在一些廣播站,將待於地面模擬廣播中廣播之組 合訊號影像轉換為分量訊號影像,且接著藉由内插法增加 像素之數目而上轉換分量訊號影像。藉由此操作,僅所得 影像之格式變得與在地面數位廣播中廣播之D1影像或HD 影像的格式一樣。 藉由將組合訊號影像轉換為分量訊號影像且藉由上轉換 分量訊號影像而具有與D1影像或HD影像相同之格式的影 109539-990209.doc 1333787 像在下文中稱為"準-01影像”或,,準·HD影像,, 換==像或準__像係藉由將組合訊號影像轉 (所二里色;生的,故在此類準影像中出現雜訊 像伟,由上韓松白)…由於準_D1影像或準-HD影 生τ= 訊號影像轉換之分量訊號影像而產 的’故由於上轉換’雜訊(所謂”串色” 更明顯。特定言之,在準_HD影像中,二, 插之像素數目大於準_D1影像中内插之像素^目,故雜: (所謂”串色•,或,,點蠕動,,)變得更明顯。 支雜況 =例=日本未審查專利申請公開案第ι〇_〇5⑽中已 的方法考慮組合訊號之特有特徵將影像轉換為高品質影像 【發明内容】 即使準.影像係藉由地面數位廣播而廣 tHD影像僅格式轉換為與卿像之格式相同,所以使^ 者難以藉由此等準.料純到“質料。 因此,使用者需要接收高品質影像。 處= 之—實施例,提供一影像處理裝置,其用於 “象資料以輸出具有比第一影像資料更高之品質 資料:Γ=。該影像處理裝置包括藉由減少輸入影像 J ’、 而下轉換輸入影像資料之下轉換構件,及 錯由使用下轉換構件下轉換之輸入影像資料作為第-影像 資料而將第—影像資料轉換為第二影像資料的影像轉換構 件。影像轉換構件包括預估分支操取構件,其自第一景 = 109539-990209.doc
1333787 資=㈣於㈣第二影像資料之主要像素(subjeet 的複個像素作為預估分支㈣⑴如⑽⑽;類別分支操 取構件,其自第—影像資料摘取將主要像素分類為複 類別之一者之複數個像素作為類別分支;分類構件, 於類別分支將主要傻夸八锢.及叔认, /、巷 福數個㈣丨輸出構件,其自對應於 ㈣=貞別之餘巾輸出―對應於主要録之 數♦,其中該等係數係藉由學習而預先判定’·及計算構件糸 = 於主要像素之類別的係數及預估分支來執 灯預估计异而判定主要像素。 上述影像處理裝置可進—步包㈣定輸人影像 型的判定構件。若狀構件㈣輸^彡像㈣型⑭ 由增加另-影像資料之像素數目而上轉換該影像資料獲得 的上轉換影像資料,則下轉換構件藉由減少輸人影像資料 之像素數目而下轉換輸入影像資料。 輪入影像資料可為廣播影像資料。 上述影像處理裝置可進一步包括選擇構件,其基於關於 廣播影像資料之頻道的頻道資訊自與上轉換中使用的複數 種相應上轉換技術相關的複數組係數中選擇一組係數。係 數輸出構件可自選擇構件選擇之該組係數中輸出對應於主 要像素之類別的係數。 根據本發明之另一實施例 料以輸出具有比第一影像資 的影像處理方法《影像處理 輸入影像資料之像素數目而 ,提供一用於處理第一影像資 料更高之品質的第二影像資料 方法包括以下步驟:藉由減少 下轉換輪入影像資料,及藉由 109539-990209.doc 1J33787 使用下轉換影像資料作為第_ 換為笫_马伤茗貝衧將第—影像資料轉 =第一…料。將第-影像資料轉換為第二影像資料 料之主mi . '、'象貧料擷取用於預估第二影像資 4之主要像素的複㈣像素作為㈣分支自第— 料擷取用於將主要像素分類”、 德去於达# , 夂双徊頦别之—者的複數個 象素作為類別分支’基於類別分支將主要像素分類自對 似於複數個類別之係數(該等係數孫藉由學習而預先判定) 2出-對應於主要像素之類別的係數,及藉由使用對應 、要像素之類別之係數及預估分支執行預估計算而判定 主要像素。 根據本發明之另—實施例’提供—允許電腦執行影像處 理之程式,其用於處理第—影像資料以輸出具有比第一影 像資,更高之品質的第二影像資料。該程式包括以下步 驟^糟由減少輸入影像資料之像素數目而下轉換輸入影像 貢料,及藉由使用下轉換影像資料作為第一影像資料將第 1影像資料轉換為第二影像資料。將第一影像資料轉換為 第二影像資料包括以下步驟:自第一影像資料擷取用於預 估第二影像資料之主要像素的複數個像素作為預估分支, 自第—影像資料擷取用於將主要像素分類為複數個類別之 '者的複數個像素作為類別分支,基於該等類別分支將主 要像素分類,自對應於複數個類別之係數(該等係數係藉 由學習而預先判定)中輸出對應於主要像素之類別的係 數’及藉由使用對應於主要像素之類別之係數及預估分支 執行預估計算而判定主要像素。 109539-990209.doc 根據本發明之另—杏 於處理第一影像資只:歹1 ’曰供一影像處理裝置,其用 質的第二影像出具有比第—影像資料更高之品 像資料之像素數目而下轉換輸入影像資匕2由減少輸入影 及藉由使用下轉換構件下轉換之:“科之下轉換構件, 像資料而將第、之輸入影像資料作為第一影 構侔P ^貝料轉換為第二影像資料的影像轉換 轉換構件包括―,其二: 保貝枓擷取用於預仕 日乐 ^ 素作為預估分支;類'料之主要像素的複數個像 操取將主要像t r構件,其自第一影像資料 為類別分支;分類構件,緣個像素作 類;產生構件,其自預定:::類別为支將主要像素分 數個m M t > 種子資料產生一對應於複 数個韻之母一者的係數 係藉由〃中種子貧料用作係數之種子且 之係數輸出構件,其自產生構件產生 別的2 類別之係數中輸出-對應於主要像素之類 及計算構件,其藉由使用對應於主要像素之類 卜及預估分支執行預估計算而判定主要像素。 ^ ^ 進步包括判定輸入影像資料之類 由^ 件。若判定構件判定輪入影像資料之類型為藉 曰力口另-影像資料之像素數目而上轉換該影像資料獲得 =換景 Μ 象資料,則下轉換構件可藉由減少輸 料之像素數目而下轉換輸人影像資料。 輪入影像資料可為廣播影像資料。 1使用關於廣播影像資料之頻道的頻道資訊作為預定 109539.990209.do, 1333787 每一者之係 參數,產生構件可產生對應於複數個 數。 根據本發明之另一實施例,提供一影像處理方法,其用 於處理第一影像資料以輸出具有比第一影像資料更高之品 質的第二影像資料。影像處理方法包括以下步驟:藉由減 少輸入影像資料之像素數目而下轉換輸入影像資料f及藉 由使用下轉換料資料作為第一影像資料將第—景H象資^ 轉換為第二影像資料。將第一影像資料轉換為第二影像資 2包括以下步驟:自第—影像資料操取用於預估第二影像 貝料之主要像素的複數個像素作為預估分支,自第一影像 資料擷取用於將主要像素分類為複數個類別之一者的複數 個像素作為類別分支,基於類別分支將主要像素分類,自 預定參數及種子資料(用作係數之種子且係藉由學習而預 先判定)產生一對應於複數個類別之每一者的係數,自所 產生之對應於複數個類別之係數(該等係數係藉由學習而 預先判定)中輸出-對應於主要像素的類別的係數,及藉 由使用對絲主要像权類狀係數及預估分支執行腳 計算而判定主要像素。 根據本發明m施例,提供—允許電腦執行影像處 理之程式,其用於處理第一影像資料以輸出具有比第一影 像資料更高之品質的第二影像資料。該程式包括以下步 驟二藉由減少輸入影像資料之像素數目而下轉換輸入影像 貧^及藉由使用下轉換影像資料作為第一影像資料將第 一衫像貢料轉換為第二影像資料。將第_影像資料轉換為 109539-990209.doc •10· 第二影像資料包括以下步 估第二影像資料之主一影像資料搁取用於預 ώ⑯ 像素的複數個像素作為預估分支, 2-影像資料揭取用於將主要像素分類為複數個類別之 的複數個像素作為類別分支,基於類別分支將主要像 2類’自預定參數及種子資料(用作係數之種子且係藉 由千習而預先判定)產生—對應於複數個類狀每一者的 ㈣’自之對應於複數個類別之係數(該等係數係 猎由學習而預先判定)中輸出—對應於主要像素的類別的 '、及藉由使用對應於主要像素之類別之係數及預估分 支執行預估計算而判定主要像素。 根據本發明之—實施例,使用者可接收到高品質影像資 料0 、 【實施方式】 在描述本發明之實施例之前,先在下文論述申請專利範 圍之特徵與本發明之—實施例之間的對應。此描述意欲保 證此說明書中描述支持請求專利之發明的實施例。因此,、 即使以下實施射t元件未描述為與本發明《某特徵有 關,亦未必意謂該元件與申請專利範圍之特徵無關。反 之,即使一元件在本文中描述為與申請專利範圍之某特徵 有關,亦未必意謂該元件與申請專利範圍之其他特徵無 關。 根據本發明之一實施例之影像處理裝置(例如,圖3中所 示之數位廣播接收器2)處理第一影像資料以輸出具有比 第一影像資料更高之品質的第二影像資料。該影像處理裝 109539-990209.doc 1333787 置包括藉由減少輸入影像資料之 像資料之下轉換構件(例如,圖3中象二數目而下轉換輸入影 藉由使用下轉換構件下轉換之輪人^之下轉換器45),及 資料而將第-影像資料轉換為帛資料作為第-影像 件(例如’圖所示之影像轉換^像資料的影像轉換構 預估分支掏取構件(例如,圖/ )。_影像轉換構件包括 〗61)’其自第一影像資料擷取用於預估之:支擷取早几 要像素的複數個像素作為預估第-衫像資料之主 (例如,圖5令所示之分支掏取^⑹類別分支操取構件 料祿取將主要像素分類為複數個類别之=自第—影像資 作為類別分支,·分類構件(例如,圖者之複數個像素 ⑹),其基於類別分切主要像素 =分類單元 如’圖5中所示之係數記憶體164)…:數輪出構件(例 別之係數中輸出-對應於 ”自對應於複數個類 等係數係藉由學習而預先判定,·及::別的係數’其中該 所示之預估單元⑹),其 。异構件(例如,圖5中 的係數及預估分支執行預估計算而m主= 象素之類別 影像處理裝置可進 要像素。 型之判定構件(例如圖定輸入影像資料之類 輸入衫像資料之類型為藉由增 心構 =目而上轉換該影像資料獲得的上轉換‘::料之像 換構件藉由減少輸入影像資料之像辛數:料,則下 影像資料。 〈像素數目而下轉換輸入 影像處理裝署I 4 了進一步包括選擇構件(例如,圖5中所示 109539-990209.doc •12- 1333787 =ΓΓ16°)’其基於關於廣播影像資料之頻道的頻 β 〃上轉換中使用之複數種相應上轉換技術相關的 複數組係數中選擇—組係數。係 你歡輸出構件自選擇構件選 擇之該组係數中輸出-對應於主要像素之類別的係數。 且:據本發明之一實施例之用於處理第一影像資料以輸出 有比苐一影像資料且有更古〇折认结 科八有更…的第二影像資料的影像 方法或程式包括以下步驟:藉由減少輸人影像資料之 象素數目下轉換輸入影像資料(例如,圖4中之步驟叫, 及#由使用下轉換影像資料作為第—影像資料將第一 育料轉換為第二影像資料(例如,圖4中之步㈣)。將 一影像資料轉換為第二影像資料包括以τ步驟:自第— 像資㈣㈣於預㈣二影像資料之主要像素的複數個$ 素作為預估分支(例如’圖6中之步驟31111)'自第—影像 資料掏取用於將主要像素分類為複數個類別之一者的=數 個像素作為類別分支(例如’圓6中之步㈣⑴)、基於類 別分支將主要像素分類(例如,圖6中之步驟sn⑺、自對 應於複數個類別之係數(該等係數係藉由學習而預先判定·) 中輸出-對應於主要像素的類別的係數(例如,圖6中^ 驟川⑺’及藉由使用對應於主要像素之類別之係數及預 估分支執行預估計算而判定主要像素(例如,圖6中之步 S1114)。 ^ 根據本發明之另一實施例之影像處理裝置(例如,圖3中 所示之一數位廣播接收器2)處理第—影像資料以輸出°且有 比第-影像資料更高之品質的第二影像資料。該影像處理 109539-990209.doc 13 1333787 裝置包括藉由減少輸入影像資料之像素數目而下轉換輪入 影像資料之下轉換構件(例如,圖3_所示之下轉換器4/), 及藉由使用下轉換構件下轉換之輸入影像資料作為第一, 像資料而將第-影像資料轉換為第二影像資料的影像轉= 構件(例如圖3中所示之影像轉換㈣)。影像轉換構件包括 預估分支擷取構件(例如,圖9中所示之分支擷取單元 m) ’其自第_影像"擷取用於預估第二影像資料之主 ^素的複㈣像素料預㈣支;類別分錢取構件 》,圖9中所示之分支榻取單元162),且 一 料摘取將主要像素分類 …“象育 作為_以1_件者之讀個像素 163) ^ 刀肩構件(例如,圖9十所示之分類單元 163) ’其基於類別分支蔣 圖9中所示之係數產生哭166 ^類、產生構件(例如, (用作係數之㈣ 自預定參數及種子資料 數個類別之每—者且之:由數學f而預先判定)產生-對應㈣ 示之係數記憶體164),乂 ::輸出構件(例如,圖9中所 類別之係數中輸出_對 心於產生構件產生之複數個 算構件(例如,圖9中所Γ要像素之類別的係數,及計 應於主要像素之類別的伟數^早心65),其藉由使用對 定主要像素。 ’、及預估分支執行預估計算而判 影像處理裝置可進—牛勺 型之判定構件(例如,乂 i用於判定輸入影像資料之類 件判定輸入影冑資圖^中所示之判定單元44)。若判定構 素數目上轉換該影 马藉由増加另一影像資料之像 貝洱而獲得的上轉換影像資料,則下 109539-990209.doc 轉換構件藉由減少輸人影像資料之像素數目而下轉換輸入 影像資料。 根據本發明之另—實施例之用於處理第—影像資料以輸 有比第衫像資料具有更高品質的第二影像資料的影 像處理方法或程式包括以下步驟:藉由減少輸入影像資料 之像素數目下轉換輸人影像資料(例如,圖4中之步驟 及藉由使用下轉換影像f料作為第—影像資料將第 -影像資料轉換為第二影像資料(例如,圖4中之步驟 ”)。將第—影像資料轉換為第二影像資料包括以下步 驟.自第一影像資料擁取用於預估第二影像資料之主要像 素的複數個像素作為預估分支(例如,圖1〇中所示之步驟 S1215)、自第—影㈣料擁取用於將主要像素分類為複數 個類別之-者的複數個像素作為類別分支(例如,圖_ :斤不之步驟S12l5)、基於類別分支將主要像素分類(例 ,圖10中所示之步驟S1216)、自預定參數及種子資料 L用作係數之種子㈣藉由學⑼先判定)產生—對應於複 數個類別之每—ΛΑ A./ ^ . 者的係數(例如,圖1〇中所示之步驟 713)、自所產生之對應於複數個類別之係數(該等係數 知情況預先判定)中輸出一對應於主要像素的類別 糸(例如’圖10中所示之步驟si2i7),及藉由使用對 ^主要像素之類別之係數及預估分支來執行預估計算而 R主要像素(例如,圖10中所示之步㈣218)。 下文參看附圖詳細描述本發明之一實施例。 圖1為說明根據本發明之-實施例之廣播系統的方塊 109539-990209.doc 1333787 圖。此處,該系統為複數個器件之一邏輯集合,且該等器 · 件無需在相同外殼中。 廣播站1藉由地面模擬廣播或地面數位廣播來廣播某節 目之影像或聲音。其他廣播站亦藉由地面模擬廣播或地面 . 數位廣播來廣播影像或聲音。下文僅給出由廣播站】廣播 之節目之影像的描述,且省略對相同節目之相關聲音之解 釋。 數位廣播接收器2藉由地面數位廣播接收自廣播站丨傳輸 之影像作為節目,且於一監視器(未圖示)上顯示該等接收 籲 影像。模擬廣播接收器3藉由地面模擬廣播接收自廣播站i 傳輸之影像作為節目,且於一監視器(未圖示)上顯示該等 接收影像。 圖2為說明圖1中所示廣播站1之主要部分之方塊圖。 廣播站1包括一用於捕獲具有4:3之縱橫比之SD影像的 SD攝影機n。在廣播站1中,與sd攝影機丨〗捕獲之分量訊 號相關之SD影像由NTSC編碼器21轉換(編碼)為NTSC組合 訊號’且轉換之NTSC組合訊號接著藉由地面模擬廣播而 鲁 廣播。 若廣播站1包括一用於捕獲D1影像之SD攝影機12或用於 捕獲HD影像之HD攝影機13(如圖2中之虛線所指示),則由 SD攝影機12捕獲之分量訊號D1影像或由HD攝影機13捕獲 之分量訊號HD影像藉由地面數位廣播在作為指派至廣播 _ 站1之頻帶的頻道中廣播。 - 若廣播站1不包括SD攝.影機12,則NTSC解碼器22將自 109539-990209.doc ⑧ 1333787 NTSC編碼器21輸出之NTSC組合訊號轉換(解碼)為分量訊 號,且將其供應至上轉換器23。上轉換器23接著上轉換該 分量訊號,以使得該分量訊號影像之格式變得與自SD攝影 機12輸出之D1影像的格式相同,且所得準-D1影像得以藉 由地面數位廣播而廣播。 若廣播站1不包括HD攝影機13,則NTSC解碼器22將自 NTSC編碼器21輸出之NTSC組合訊號轉換(解碼)為分量訊 號,且將其供應至上轉換器24。上轉換器24接著上轉換該 分量訊號,以使得該分量訊號影像之格式變得與自HD攝 影機13輸出之HD影像的格式相同,且所得準-HD影像得以 藉由地面數位廣播而廣播。 圖3為說明圖1中所示數位廣播接收器2之組態之方塊 圖。 調諧器4 1接收地面數位廣播訊號且擷取對應於使用者藉 由遙控器(remote commander)(未圖示)選擇之頻道的訊號分 量,且接著將擷取之訊號分量供應至多工解訊器42。多工 解訊器42將必要封包與自調諧器41輸出之訊號分量分開, 且將封包供應至解碼器43。解碼器43接著根據MPEG方法 將封包中含有之MPEG-編碼影像資料解碼,且將所得影像 資料供應至判定單元44。 雖然圖2未予描述,但是廣播站1 MPEG-編碼影像資料 且藉由地面數位廣播來廣播編碼影像資料。 判定單元44判定自解碼器43供應之影像資料之類型,且 基於判定結果將影像資料供應至下轉換器45、影像轉換器 109539-990209.doc -17- 1333787 46或影像轉換器47。 更具體言之,若發現自解碼器43供應之影像資料之類型 為準-HD影像資料(其為上轉換影像資料之一類型,係藉由 將一 NTSC組合訊號轉換為一分量訊號且藉由增加像素數 目上轉換該分量訊號而獲得),則判定單元44將該影像資 料(其為準-HD影像資料)供應至下轉換器45。 若發現來自解碼器43之影像資料之類型為準-D1影像資 料(其為上轉換影像資料之另一類型,係藉由將一 NTSC組 合訊號轉換為一分量訊號且藉由增加像素數目上轉換該分 量訊號而獲得),或若發現影像資料之類型為D 1影像資料, 則判定單元44將該影像資料(其為準-D1影像資料或D1影像 資料)供應至影像轉換器47。 若發現來自解碼器43之影像資料之類型為HD影像資 料,則判定單元44將該影像資料(其為HD影像資料)供應至 影像轉換器46。 可基於影像資料之格式(意即形成影像資料之一圖框之 像素的數目)來判定自解碼器43供應之影像資料是HD影像 資料還是準-HD影像資料或該影像資料是D1影像資料還是 準-D1影像資料。 可基於影像資料之活動性判定自解碼器43供應之影像資 料是HD影像資料還是準-HD影像資料。更具體言之,HD 影像資料之解析度高,而由於準-HD影像資料僅係藉由將 NTSC組合訊號轉換為分量訊號而獲得之影像資料,故其 解析度沒有那麼高。因此,若來自解碼器43之影像資料表 109539-990209.doc -18- ⑧ 現出具有某臨限值之活動性,則可發現影像資料為HD影 像資料。反之,若來自解碼器43之影像資料表現出小於某 臨限值之活動性,則可發現影像資料為準-HD影像資料。 HD影像資料及準-HD影像資料皆具有16:9之縱橫比。然 而,實際上,準-HD影像資料為藉由將具有4:3之縱橫比之 NTSC組合訊號影像轉換為分量訊號影像且藉由上轉換該 分量訊號以使得縱橫比可為16:9而獲得之影像資料。因 此,在所得之準-HD影像資料中,在4:3之影像資料之左及 右邊緣處添加了黑色。因此,可藉由判定是否可在影像資 料之左及右邊緣處觀察到黑色來判定來自解碼器43之影像 資料是HD影像資料還是準-HD影像資料。 在圖3所示實例中,由於無論自解碼器43供應之影像資 料是準-D1影像資料還是D1影像資料,該影像資料均係供 應至影像轉換器47,故無需判定該影像資料是準-D1影像 資料還是D1影像資料。然而,若完全進行此判定,則當判 定影像資料是HD影像資料還是準-HD影像資料時其可類似 地進行。 下轉換器45將自判定單元44供應之準-HD影像資料之像 素數目減少至自圖2中所示NTSC解碼器22輸出之分量訊號 影像之像素數目,且若需要,則下轉換器45進一步藉由使 用低通過濾器(LPS)過濾準-HD影像資料而將其下轉換,且 接著將所得SD影像資料供應至影像轉換器48。 影像轉換器46將自判定單元44供應之HD影像資料轉換 為更高品質之HD影像資料,且接著將所得HD影像資料供 109539-990209.doc -19- 應至影像輸出單元49。 影像轉換器47將自判定單元44供應之準-D1影像資料或 D1影像資料轉換為更高品質之HD影像資料,且接著將所 得HD影像資料供應至影像輸出單元49。 影像轉換器48將自下轉換器45供應之SD影像資料轉換為 更高品質之HD影像資料,且接著將所得HD影像資料供應 至影像輸出單元49。 影像輸出單元49將自影像轉換器46至48中之一者輸出之 HD影像資料供應至監視器(未圖示),且在監視器上顯示 HD影像資料。 以下參看圖4中之流程圖描述圖3中所示數位廣播接收器 2執行之操作。 在數位廣播接收器2中,步驟S1中,調諧器41接收地面 數位廣播訊號且擷取(選擇)對應於使用者藉由遙控器選擇 之頻道的訊號分量,且將擷取訊號分量供應至多工解訊器 42。多工解訊器42接著將必要封包與自調諧器4 1供應之訊 號分量分開,且將封包供應至解碼器43。接著在步驟S2 中,解碼器43根據MPEG方法將封包中含有之MPEG編碼影 像資料解碼,且將所得影像資料供應至判定單元44。 在步驟S3中,判定單元44判定自解碼器43供應之影像資 料之類型(格式),且基於判定結果將影像資料供應至下轉 換器45、影像轉換器46或影像轉換器47。 若在步驟S3中發現影像資料為HD影像資料,則判定單 元44將該影像資料(其為HD影像資料)供應至影像轉換器 109539-990209.doc •20· 46 ° 46 °1333787 接著在步驟S4中,影像轉換器46將自判定單元44供應之 HD影像資料設定為第一影像資料,且亦將HD影像資料(其 具有比第一影像資料更高之品質)設定為第二影像資料。 影像轉換器46接著將第一影像資料轉換為第二影像資料, 且將第二影像資料供應至影像輸出單元49。影像輸出單元 49接著將HD影像資料供應至一監視器。 若在步驟S3中發現來自解碼器43之影像資料為D1影像資 料或準-D1影像資料,則判定單元44將該影像資料供應至 影像轉換器47。 接著,在步驟S5中,影像轉換器47將自判定單元44供應 之D1影像資料或準-D1影像資料設定為第一影像資料,且 亦將HD影像資料(其具有比第一影像資料更高之品質)設定 為第二影像資料。影像轉換器47接著將第一影像資料轉換 為第二影像資料,且將所得高品質HD影像資料供應至影 像輸出單元49。影像輸出單元49接著將HD影像資料供應 至監視器。 若在步驟S3中發現來自解碼器43之影像資料為準-HD影 像資料,則判定單元44將該準-HD影像資料供應至下轉換 器45。 接著在步驟S6中,下轉換器45下轉換準-HD影像資料以 使得準-HD影像資料之像素數目減少至自圖2中所示NTSC 解碼器22輸出之分量訊號影像之像素數目,且將所得SD影 像資料供應至影像轉換器48。 109539-990209.doc -21 · 1333787 接著在步驟S7中,影像轉換器48將自下轉換器45供應之 SD影像資料設定為第一影像資料,且亦將HD影像資料(其 具有比第一影像資料更高之品質)設定為第二影像資料。 影像轉換器48接著將第一影像資料轉換為第二影像資料, 且將所得高品質HD影像資料供應至影像輸出單元49。影 像輸出單元49接著將HD影像資料供應至監視器。 影像轉換器48接收有關當前自調諧器41接收之頻道的頻 道資訊,意即有關其中廣播自下轉換器45供應至影像轉換 器48之SD影像資料上轉換之準-HD影像資料之頻道的頻道 資訊。影像轉換器48基於有關其中廣播自SD影像資料上轉 換之準-HD影像資料之頻道的頻道資訊而將SD影像資料轉 換為HD影像資料。 圖3中所示影像轉換器48執行之影像轉換處理如下。 影像轉換器48執行影像轉換以使得第一影像資料轉換為 第二影像資料,該第二影像資料具有比第一影像資料更高 之品質。 如上文所論述,影像轉換器48將自下轉換器45供應之SD 影像資料設定為第一影像資料,且亦將HD影像資料(其具 有比第一影像資料更高之品質)設定為第二影像資料,且 接著執行影像轉換處理以使得第一影像資料可轉換為第二 影像資料。根據此影像轉換處理,視第一及第二影像資料 如何界定可實施各種處理操作。 更具體言之,若將第二影像資料設定為高解析度影像資 料,且又,若將第一影像資料設定為藉由減小第二影像資 109539-990209.doc -22- 1333787 料之解析度而獲得之低解析度影像資料,則影像轉換處理 可為增強解析度之處理。若將第二影像資料設定為高訊雜 (S/Ν)影像資料且若第一影像資料為藉由減小第二影像資 料之S/N比而獲得之低S/N影像資料,則影像轉換處理可為 減小雜訊之處自。若將第二影像資料言史定為HD影像資料 且若第-影像資料為藉由減少像素數目及第二影像資料之
解析度而獲得之SD影像資料,則影像轉換處料為自sd 影像轉換為HD影像之處理。 圖5為說明執m述影像轉換處理之影像轉換器48之功 月色性組態之一實例的方塊圖。 影像轉換器48包括—係數選擇器】6〇、分支操取單元i6i 及162、分類單元163、係數記憶體164及預估單元165。 景> 像轉換器4 8接收自圖3中戶斤+ # T所不下轉換态45輸出之SD$ 像資料作為第一影傻皆祖 纪也 科。衫像轉換器4 8亦自調諧器 41(圖3)接收有關自下轉換 下轉換盗45輸出之SD影像資料之頻道 的頻道貝§fl,意即有關磨換淮 mu、 影像資料(其先前下轉換 至SD衫像貝料)之頻道的頻道資訊。 SD影像資料(1為笸—旦一 161„ 162 . . 衫像貢料)供應至分支擷取單元 161及162,而有關SD影像資料之 數選擇器16〇。 帛、的頻道資訊供應至係 係數選擇器160基於有關SD影像資粗 / 憶體164中儲存之複數組分 /’頻道資訊自係數記 、中選擇—組分支係數(其將 在後文中描述),且藉由(例如 定組之分支係數有效己憶體庫開關,,而使選 " 係數記憶體164自複數組分 109539-990209.doc -23- ^係數中讀取且輸出對應於自分類單元163供應之資訊的 刀支係數,且係數選擇器丨60選擇包括係數記憶體丨64讀取 之刀支係數的該組分支係數。係數記憶體164讀取之該組 刀支係數稱為"有效組分支係數"。 …分支擷取單元161將形成110影像資料(其用作自第一影像 貝料轉換之第二影像資料)之像素逐個順序設定為主要像 素,且亦擷取形成第一影像資料之若干像素作為預估主要 像素之像素值之預估分支。在此情況下,由於作為第二影 像資料之HD影像資料尚未經判定,故其係僅以假 而假設。 2具體言之,分支擷取單元161擷取空間定位上或時間 上靠近主要像素之若干像素(例如,定位於距離主要像素 最近處之像素及空間上在該最近像素四周之像素)。 刀支擷取單元162擷取形成第一影像資料之若干像素作 為用於將主要像素分類之類別分支,換言之,作為用於將 主要像素分組於該等類別之一者中之類別分支。 出於便於簡單描述之目的,現假設預估分支及類別分支 具有相同分支結構,意即其係由相同像素形成1而:預 估分支及類別分支可具有不同的分支結構。 由分支擷 165,同時由 單元163。 取單元161擷取之預估分支供應至預估單元 分支擷取單元i 6 2擷取之類別分支供應、至分類 分類單元163基於自分支操取單元162供應之類別分支將 主要像素π類’且將對應於敎類狀類別竭供應至係數 109539-990209.doc -24· 記憶體164。 關於分類方法,可採用例如適應性動態範圍編碼 (ADRC,adaptive dynamic range coding) 〇 在此方法中,形成類別分支之像素之像素值經受ADRC 處理,且主要像素之類別根據所得ADRC碼判定。 在K-位元ADRC中,偵測形成類別分支之像素的像素值 之最大值MAX及最小值MIN,且接著將DR=MAX-MIN設 定為形成類別分支之一組像素之局部動態範圍。基於該動 態範圍DR,將形成類別分支之像素之像素值重新量化為K 個位元。更具體言之,將形成類別分支之每一像素之像素 值減去最小值MIN,且所得值除(量化)DR/2K。接著,將形 成類別分支、以預定次序排列之K-位元像素值之位元串作 為ADRC碼輸出。若類別分支經受1-位元ADRC處理,貝將 形成類別分支之每一像素之像素值減去最小值MIN,且接 著,所得值除介於最大值MAX與最小值MIN之間差值的 1/2,以使得每一像素之像素值可二進位化(一位元)。接 著,將以預定次序排列之1 -位元像素值之位元串作為 ADRC碼予以輸出。 分類單元163可輸出形成類別分支之像素之像素值的位 階分佈樣式(level distribution pattern)作為類別碼。然而, 在此情況下,若類別分支係由N個像素所形成,且若K個 位元被指派至每一像素之像素值,則自分類單元1 63輸出 之類別碼之數目變得如(2N)K般巨大,其與指派至每一像素 之像素值的位元數目K成指數比例。 109539-990209.doc -25· ⑶ 3787 =,較佳的是,分類單元163在藉由上述顯。處理或 向里里化壓縮類別分支之資訊數量之後將主要像素分類。 係數記憶體164儲存已藉由學f (在下文描述)而判定之每 一類別之-組分支係、數,且自儲存之分支係數組輸出儲存 於對應於自分類單元163供應之類別碼的位址處的分支係 數’意即對應於自分類單元163供應之類別碼所表示之類 別之分支係數。 準-HD影像資料為轉換至SD影像資料前的影像資料, 影像資料用作待於影像轉換器48中經受影像轉換處理之第 一影像資料(此準-HD影像資料有時稱為”對應於SD影像資 料之準-HD影像資料")。如參看圖2所論述,廣播站1中已 藉由將組合訊號影像資料轉換為分量訊號影像資料且藉由 上轉換該分量訊號影像資料而獲得了準_HD影像資料。 在此情況下,可採用各種上轉換技術。舉例而言,具有 與待上轉換之影像資料相同之像素值的像素可内***分量 訊號影像資料中。另外,具有待上轉換之影像資料之複數 個像素之像素值的加權平均值之像素可内***分量訊號影 像資料中。 可能所採用之上轉換技術視廣播站而變化。 因此,在影像轉換器48中,係數記憶體164儲存與各種 上轉換技術相關之複數組分支係數,以使得不論採用了哪 一種獲得準-HD影像資料之上轉換技術,自準_HD影像資 料下轉換之SD影像資料均可適當地轉換為hd影像資料。 如上所述’上轉換技術視廣播站(意即視頻道)而變化。 109539-990209.doc -26· 1333787 因此,係數選擇器丨6〇基於與SD影像資料(其用作第一影像 資料)之頻道有關之頻道資訊自係數記憶體164中儲存之複 數’且刀支係數選擇—組分支係數。意即,係數選擇器1 選擇適合將對SD影像資料執行之影像轉換處理之分支係數 組且使得選定分支係數組有效,其中該SD影像資料為已 自藉由廣播站中採用之上轉換技術(與頻道資訊所表示之頻 道相關)而獲得之準-HD影像資料下轉換而來。
接著,係數記憶體164自該有效分支係數組輸出儲存於 對應於自分類單元163供應之類別碼之位址處的分支係 數,思即對應於主要像素之類別之分支係數。 因此,自係數記憶體164輸出之分支係數為適合待對影 像資料執行之影像轉換處理的分支係數,其中㈣像資料 為已自藉由廣播站中採用之上轉換技術(對應於頻道資訊所 表示之頻道)而獲得之準_HD影像資料下轉換而來。 分支係數為待於數位過渡器中所謂,,分支"處乘以輸入資 料之係數。
預估單元165接收來自分支躲單元161之預估分支則 自係數記憶體164之分支係S ’且藉由使用預估分支及; 支係數來執行預定預估計算以判定主要像素之真實值之^ 估值。因此,預估單元165判定主要像素之像素值⑽ 值)’思即形成第一影像資料之像素之像素值。 以下參看圖6中之流程圖描述圖5中 口〒所不影像轉換器48勃 行之影像轉換處理。 在步驟S1110中,基於自調諧器 咨41(圖3)接收之頻道資訊, 109539-990209.doc -27· 1333787 係數選擇器160在儲存於係數記憶體164中之複數組分支係數 · 中選擇適合待對SD影像資料執行之影像轉換處理的一組分 支係數,且使得選定分支係數組有效,其中SD影像資料已 自藉由廣播站中採用之上轉換技術(對應於頻道資訊所表示 之頻道)而獲得之準-HD影像資料下轉換而來。 同時,分支擷取單元161順序選擇形成HD影像資料(用作 第二影像資料)之對應於SD影像資料(用作第一影像資料, 自下轉換器45(圖3)供應)之像素作為主要像素。接著,在 步驟siiU*,分支擷取單元161及162分別擷取預估分支 籲 及類別分支以用於分支擷取單元丨6丨選擇之主要像素。分 支擷取單元161供應預估分支至預估單元165,同時分支擷 取單元163供應類別分支至分類單元163。 在步驟S1112中,-旦自分支榻取單元162接收到關於主 要像素之類別分支,分類單元163隨即基於接收之類別分 支將主要像素分類。分類單元163亦輸出表示主要像素之 判定類別之類別碼至係數記憶體164。 接著,在步驟S1113中,係數記憶體164自係數選擇器 籲 !6〇選擇之有效分支係數組讀取對應於自分類單元I。供應 之類別碼之分支係數’意即對應於主要像素之類別之分支 係數。係數記憶體164亦輸出分支係數至預估單元165。 接著,在步驟S1114中,藉由使用自分支擷取單元ΐ6ι輸 j之預估分支及自係數記憶體164輸出之分支係數,預估 · 單元165執行預定預估計算以判定主要像素之像素值,且 _ 將该判定之主要像素之像素值供應至影像輸出單元的(圖 109539-990209.doc -28- ⑧ 3)。 3)。上川787 2分支擷取單元161接著在步驟SU15中判定是否存在第二 影像資料之未選擇之像素。若在步驟§1115中發現未選擇 之像素,則分支擷取單元161將未選擇之像素設定為主要 像素且返回步驟S111〇e接著重複步驟111〇及後續步驟。 若在步驟sm5中判定不存在第二影像資料之未選擇之 像素,則處理完成。 以下詳細描述預估單元165執行之預估計算及儲存於係 數記憶體1 64中之分支係數的學習。 現假設在影像轉換處理中,將高品質影像資料設定為第 二=像資料且將藉由使用低通過滤器(LpF)過渡高品質影 像貝料降低其影像品質(解析度)而獲得之低品質影像資料 :疋為第-影像資料,且接著自低品質影像資料擷取預估 刀支,且使用預估分支及分支係數根據預定預估計算來判 定高品質影像像素之像素值。 在預疋預估計算中,可進行線性預估計算。因此,高品 質像素之像素值y可藉由以下線性方程式加以判定:
N y= Σ wnxn n=1 Ο) 、η表示形成相應尚品質像素之預估分支之低品質影像 2料(下文稱為,,低品質像素")的第η個像素,且%表示乘以 第η個低質像素的第讀分支係數。在方程式⑴中預估 刀支由Ν個低品質像素xi、x2、…、及χΝ形成。 问質像素之像素值y可由更高階方程式而非方程式(1) 109539-990209.doc •29· 1333787
表述之線性方程式來判定D 當第k個抽樣高品質像素之像素值之真實值由八指示 時,且當藉由方程式(1)獲得之真實值八之預估值由八,指= 時,可藉由方程式(2)判定預估誤差〜。 (2) ek=yk~yk 由於方程式(2)中之預估值yk,係由反程式⑴判定故將 方程式(2)中之yk’代入方程式⑴可得到方程式⑺: / M / u \ (3) 其中xn,k指示形成第k個抽樣高品質像素之預估分支之 個低品質像素。 將方私式(3)或(2)中之預估誤差〜設定為〇之分支係數从 為用於預估相應高品質像素之最佳分支係數。然而,—身 而言,很難判定所有高品質像素之此等分支係數。2 因此,若使用(例如)最 - _ # + m —笊法作為指示分支係數wj 佳之軚準’則可藉由最小化方 E來判定最佳分支係數%: 十方#差之禾
K :Iek2 k=1 (4) 其中K指示形成高品質 及低品質像素X丨,k、X2k、及支的高品質像素 樣本之數目)。 ,k ···、及⑽之樣本組的數目(學 方程式(4)中之平方誤 分支係數'之偏微分獲二的敢小值可藉由將_ 偏微刀獲传之結果設定為。之分支係數'彳 109539-990209.doc • 30 - ΙόόόΙ6Ι 定,如方程式(5)所表述: 9E 9et , ae〇 3wn 1 9wn 62'9^Γ+···+βΚ-|^-=〇 (n=lt2, ...,Ν) 藉由方程式(3)對分支係數%求偏微分,可獲得方程式
Xu’ ^Ή2Λ,···,|^=—XNk,(k = 12,…,κ) 自方知式(5)及方程式⑹可得到方程式⑺。
(6) lekx,.k=0, iekX2>k=0(. ^ekX^=〇 ⑺ 藉由將方程式(3)代入方程式⑺中之^,方程式⑺可由 方程式(8)表示之標準方程式表述。 (|xi,kXi.k) dxux2,k) - (ix1>kXN>k;
k=1 K
k=1 K (ZX2,kXl.k) ^X2,kX2,k) ··· (ix2.kXN.k) k= 1
(gxiuxu) (f XN.kX2.k)…(fXN kXN k) 1 K=| L=1 W1 (|>1屬) k=1 W2 (ix2,kyi<) k=1 WN (ΣΧΝ, kYk) 、k叫 _ (8) 方程式(8)中之標準方程式可藉由使用(例如)掃散法 (sweeping out method)(Gauss_J〇rdan 消去法)關於分支係數 wn求解。 藉由對每-類別求解方程式(8)中之標_方程 <,可判定 每一類別之最佳分支係數(其使平方誤差之和最小化沁。疋 圖5中所示影像轉換器48使用每一類別之分支係數W根據 J09539-990209.doc -31 - 1333787 方程式(1)執行計算以使得SD影像資料(用作第一影像資料) 可轉換為HD影像資料(用作第二影像資料)。 圖7為說明一學習器件之組態之一實例的方塊圖,該學 習器件進行學習以藉由求解方程式(8)中對每一類別之標準 方程式來判定分支係數wn。 用於學習分支係數wn之學習影像資料係輸入學習器件 中。可使用(例如)由HD攝影機13(圖2)獲得之HD影像資料 或更高品質之HD影像資料作為學習影像資料。 在學習器件中,學習影像資料供應至監督者資料產生器 (supervisor data generator) 171及學習者資料產生器(learner data generator)173 ° 監督者資料產生器m自學習影像資料產生監督者資料 (其對應於第二影像資料),且將監督者資料供應至監督者 資料儲存單元172。意即,監督者資料產生器171直接將 HD影像資料(其為學習影像資料)供應至監督者資料儲存單 元172作為監督者資料。 監督者資料儲存單元172儲存自監督者資料產生器171供 應之HD影像資料作為監督者資料。 學習者資料產生器173自學習影像資料產生學習者資料 (其對應於第一影像資料),且將學習者資料供應至學習者 資料儲存單元174。 更具體言之,學習者資料產生器1 73以類似於監督者資 料產生器171之方式自學習影像資料產生監督者資料(HD影 像資料),且接著下轉換HD影像資料以產生影像品質與自 109539-990209.doc •32·
1333787 ι機11 (圓2)輸出之SD影像資料品質相當之分量訊號 . 〜像寅料。學習者資料產生器1 73接著以類似於廣播站 (圖)之方式將分量訊號SD影像資料轉換為組合訊號8〇影 像資料 日从 且猎由將組合訊號SD影像資料再轉換為分量訊號 像資料而使其上轉換,從而產生準-HD影像資料。之 後,學習者資料產生器173以類似於下轉換器45(圖之方 j下轉換準-HD影像資料,且將所得SD影像資料供應至學 籲 習者資料儲存單元174作為學習者資料。 學習者寊料儲存單元174健存自學習者資料產生器Μ供 應之學習者資料。 刀支擷取單元175逐個順序將形成作為監督者資料儲存 於&督者資料儲存單元172中之肋影像資料之像素設定為 主要像素。#著分支操取單元175掘取形成作為儲存於學 ^資料儲存單元174中之學習者資料之晴像資料的預 定像素用於主要像素,從而判定具有與圖5中所示之分支 _#貞取單兀⑹獲得之預估分支相同的分支結構的預估分支 ⑽習者資料之位於相對於主要像素的位置關係與形成 圖5中所示分錢取單元161所獲得之預估分支的像素相對 於主要像素的位置關係一樣的像素組成之預估分支)。接 著,分支操取單元m將判定之預估分支供應至加法器 分支操取單元176擷取形成犯影像資料(其為學習者次 料’儲存於學習者資料儲存單元174中)之狀像素用^ 要像素’以判定具有與圖5中所示之分支操取單元162獲得 109539-990209.doc •33· 1333787 之類別分支相同之分支結構的類別 置+久接者’分支掏取 早176將預定類別分支供應至分類單元丨77。 分:單元177基於自分支類取單元176輪出 仙於圖5中所示分類單元163之方式執行分類,且將對廣 於判定之類別的類別碼輸出至加法器19〇。 ’ ·心 加法器削自監督者資料儲存單元172讀取主 對於自分類單元177供應之每—類別碼 禮 形志ό八*拖你。口- f主要像素與 成自刀錢取早疋⑺供應之預估分支 像素的求和運算。 ~者育枓的 之=者:ΓΓ接收健存於監督者資料儲存單元172中 元175幹出之預估八要:素的像素值八、形成自分支擷取單 輸出之預估刀支之學習者資料的像素的 單元177輸出之主要像素之類別的類別-接者加…0使用對應於自分類單元17 之母一類別的預估分支(學習者 類別碼 方…)中左側矩陣中之"二執= (^^^,幻及求和運算^。 古運鼻 加法器⑽亦使用對應於自分類單元m 每一類別的預估分支(學f H '、…類別碼之 行計算,諸如方程式) =):";及監督者〜執 V J T右側向5中之學習 監督者資料yk之乘法運算(Xn kyk)及求和運算⑵育枓^與 意即’加法器⑽將方程式(8)t左側… 以成.,,)及右側向量中之分量( 刀置 者資料之先前主要像素而判定附於内建 109539-990209.doc 1333787 :二广接者將使用監督者資料yk+1與學習者資料、…計 异之監督者資料之當前主要像素的相應分量xnk+ixn;k+i或
Xn,k+iyk+l 分別與分量X θ 置(lxn,kXn.,k)或分量(2:Xn,kyk)相加(由方 程式(8)中之求和運算表示之相加)。 一加法器19〇對儲存於監督者資料健存單元π中之 貝枓之所有像素執行上述加法運算,以為每一類別建立由
方程式⑻表述之標準方程式,且接著將該等標準方程式供 應至分支係數計算器191。 分支係數計算器191求解自加法器19〇供應之每一類別之 標準方程式以判定最佳分支係數%。 以下參看圖8中之流程圖描述圖7中所示學習器件執行之 學習處理。 在步驟S1121中,監督者資料產生器m及學習者資料產 生器173分別自學習影像資料產生監督者資料及學習者資 料0 更具體言之,監督者資料產生器171產生與(例如)藉由 HD攝影機13(圖2)獲得之肋影像資料品質相冑之影像資 料^輸出產生之影像資料作為監督者資料。帛習者資料 產生器173以類似於監督者資料產生器171之方式自學習影 像資料產生監督者資料_影像資料),且接著下轉干換H: 影像資料以產生影像品質與自犯攝影機u(圖2)輸出之SD 影像資料品質相當之分量訊號奶影像資料。學習者資料產 生器173接者以類似於廣播站ι(圖2)之 影像資料轉換為組合訊號SD影像資料, 方式將分量訊號SD 且藉由將組合訊號 109539-990209.doc -35- 1333787 SD影像資料再轉換為分量 … 里冗唬奶影像資料而使其上轉 換,攸而產生準-HD影像資料。 ⑺以類似於下轉換器::、者貧料產生器 料 )之方式下轉換準-HD影像資 =將所細影像資料供應至學f者資㈣
為學習者資料。 F 自監督者資料產生器171輪 ^w^ . ΟΒ 輸出之▲督者資料供應至監督 者貧科儲存早元172且儲存於其[自學習者資料產生号 - 輸出之學習者資料供應至學習者f料#-17 存於其中。 子备者貧科儲存早凡174且儲 接著,在步驟S1122中,分Φ昶而《 _ ,” 刀支擷取早兀175選擇儲存於監 督者貝料儲存單元i 72中之監督者眘 、登担、 又皿賢者貝科之一像素(其尚未被 選7擇)。分支擷取單元175亦自儲存於學習者資料儲存單元 預1、之學習者資料判定主要像素之預估分支,且將該等 =支供應至加法器19〇。分支操取單元176自館存於學 S者貢料儲存單元174中之學f者資㈣定 別分^且將該等類別分支供應至分類單元17卜、之類 -接著’在步驟S1123中’分類單元177基於自分支擷取單 =6供應之類別分支將主要像素分類,且將與判定類別 相關之類別碼輸出至加法器丨9〇。 “乂驟SU 24中,加法器190自監督者資料儲存單元172 要像素且根據為分類單元1 77所供應之類別碼 關聯之Θ別建立的標準方程式組成之方程式⑻對主要像素 〃形成分支擷取單元175所供應之預估分支之學習者 的像素執行加法運算。 ’ 109539-990209.doc 接著分W單元175W巾料h存在未選 之:存於監督者資料儲存單元172中之監督者資料的像 二°若在步驟S1125中發現未選擇之像素,則分支搁取單 =5將未選擇之像素設定為主要像素,且返回步驟 22。接著重複步驟SU22及後續步驟。 右在步驟S1125中判定不存在未選擇之監督者資料之像 障月則加法器190將為每一類別建立之方程式W之左側矩 車及右側向量供應至分支係數計算器丨^。 m由著在步驟SU26巾分支係數計算11191求解方程式 心:於加法盗190所供應之每-類別之標準方程式,以 …類別之-組分支係數'。接著處理完成。 =學習影像資料之數目不足,所以有些㈣可能難以 2求得分支係數所必需之標準方程式之足夠數目。對於 類別:。分支係數計算器191輸出—預設的分支係數。 在學習器件中,學習去咨也 干省者貝枓產生器173採用獲得在產生 傍Γ資料(其用作學習者資料)之過程中產生之準-HD影 :料的複數個上轉換技術,以獲得與複數個上轉換技術 相關之複數個學習者杳 貪科。糟由使用該複數個學習者資 淋’學習者資料產生器173判定對應於該複數個上轉換技 術之複數組分支係數。 ®中所不〜像轉換器48之係數記憶體1 64中,儲存如 上所述獲得之個別類別之複數組分支係數Wm。 圖3中所示影像轉換器46或47與圖5中所示影像轉換器μ 員似地形成。然而,由圖5中之虛線指示之係數選擇器16〇 109539-990209.doc •37- 1333787 並非為影像轉換器46或47提供,且儲存於影像轉換器46或 47之係數記憶體164中之分支係數組與影像轉換器48中不 同。 更具體言之,影像轉換器46將HD影像資料設定為第一 影像資料,且將更高品質之HD影像資料設定為第二影像 資料,且接著將第一影像資料轉換為第二影像資料。因 此,藉由使用第一影像資料作為學習者資料及使用第二影 像資料作為監督者資料來執行圖8中所示之學習處理而獲 得的分支係數組儲存於影像轉換器46之係數記憶體1 64 中〇 影像轉換器47將D1影像資料或準-D1影像資料設定為第 一影像資料,且將HD影像資料設定為第二影像資料,且 接著將第一影像資料轉換為第二影像資料。因此,藉由使 用第一影像資料作為學習者資料及使用第二影像資料作為 監督者資料來執行圖8中所示之學習處理而獲得的分支係 數組儲存於影像轉換器47之係數記憶體164中。 在圖8中所示之學習處理中,在學習者資料產生器1 73 中,將由下轉換準-HD影像資料獲得之SD影像資料用作學 習者資料。另外,與自SD攝影機11(圖2)輸出之SD影像資 料品質相當之分量訊號SD影像資料可藉由下轉換HD影像 資料(其為監督者資料)而獲得,且分量訊號SD影像資料可 轉換為組合訊號SD影像資料,且接著組合訊號SD影像資 料可再轉換為與圖2中所示之NTSC解碼器22輸出之影像資 料品質相當的分量訊號SD影像資料。接著,所得SD影像 109539-990209.doc -38- ⑤ 1333787 資料可用作學習者資料。 —圖9為說明圖3中所示影像轉換器48之功能性組態之另一 =例的方塊圖。纟圖9中,對應於圖5中之元件的元件用相 同參考數字表示’且因此省略其解釋。 圖9中所示之影像轉換器48類似於圖5中所示 器-,其中提供了分支榻取單元161及162、分.= 163、係數記憶體】64及預估單元165。然而,代替為圖蚪
所示之影像轉換器48提供之係數選擇器16〇,在圖9中所示 之影像轉換器48中提供了係數產生器166、係數種子記憶 體167及參數記憶體168。 係數產生盗166基於儲存於係數種子記憶體167中之係數 種子資料及儲㈣參數記憶體168巾之—參數產生每一類 別之-組分支係數,且接著藉由覆寫儲存於係數記憶體 ⑹中之先前分支係數組而將產生之分支係數組儲存於係 數記憶體164中。 、係數種子記憶體167將藉由進行係數種子資料的學習而 獲得之每一類別之係數種子資料儲存於其中其在下文+ 述。係數種子資料關詩產生分支係數的所^種^描 藉由覆寫儲存於參數記憶體168中之先前來數,參數飞 憶體⑽將自㈣器41(圖3)供應之頻道資訊料於其中^己 為用以產生分支係數之參數。 圖9中所示影像轉換器48 以下參看圖10中之流程圖描述 執行之影像轉換處理。 下轉換器45(圖3)供應 分支擷取單元161將形成對應於自 109539-990209.doc -39- 1333787 之作為第-影像資料之SD影像資料的作為第:影像資料之 肋影像資料之像素順序設定為主要像素。接著,在步驟 m中參數§己憶體168判定是否已自調譖器41(圖3)供應了 二田月』儲存於參數§己憶體168中之頻道資訊不同的新頻道資 Λ作為參數。若在步驟81211中判定已供應了新頻道資訊, 則處理進行至步驟Sl212,其中參數記憶體168藉由覆寫先前 的頻道資訊而儲存新的頻道資訊。 若在步驟S 12 11中去丨t火土 μ此~ , J疋尚未供應新的頻道資訊,則處理 跳過步驟S1212進行至步驟S12u。 因此,在參數記憶體168中,有關在將準_HD影像資料下 轉換為SD影像資料(其為第—影像資料,自下轉換器Μ(圖 3)供應至影像轉換器48)以前廣播準_hd影像資料之頻道的 頻道資訊作為參數儲存。 >在v驟S1213中,係數產生器166自係數種子記憶體ία 賣取每类員別之一組係數種子,且亦自參數記憶體⑹讀 取相應參數以基於絲種子資料及參數判定每-類別之— 、’·且刀支係數。接著,在步驟31214中係數產生器咖藉由 覆寫先前的分支係數組將每_類別之一組分支係數供庫至 係數記憶體164。 " 在^驟81215中,分支擷取單元161及162自SD影像資料 (用作第-影像資料,自下轉換器45(圖3)供應)分別梅取主 要像素之預估分支及類別分支。分支操取單元ΐ6ι將預估 /刀支供應至預估單元165,同時分支擷取單元M2將類別分 支供應至分類單元163。 109539-990209.doc 素在步驟S1216中’ 一旦自分支擷取單元162接收到主要像 素八類別分支,分類單元丨63隨即基於類別分支將主要像 刀類’且亦輸出表示判定類別之類別碼至係數記憶體 164 〇 、在步驟S1217中,係數記憶體164讀取及輸出儲存在對應 7自分類單元163供應之類別碼之位址處的分支係數,意 "、主要像素之類別相關之分支係數。係數記憶體〗64亦 輸出分支係數至預估單元165。 -接著在步驟S1218中,預估單元165使用自分支擷取單 疋161輪出之預估分支及自係數記憶體164獲得之分支係數 切預定預估計算來判定主要像素之像素值。 支擷取單元161接著在步驟S1219中判定是否存在未選 第景/像資料之像素。若在步驟S1219中發現未選擇 之像素,則分支擷取單元161將未選擇之像素設定為主要 素且返回步驟S12U。接著重複步驟S1211及後續步驟。 右在步驟S12 19中判定不存在未選擇之第二影像資料之 像素,則處理完成。 圖ίο之抓私圖中,可僅在先前參數被參數記憶體丨68 中之新參數覆寫時才執行步㈣213及81214,且若相反, 則省略步驟S1213及S1214。 1下論述預估單元165執行之預估計算係數產生器166 之刀支係數的產生及儲存於係數種子記憶體1 π中之係數 種子資料的學習。 如圖5中所示之影像轉換器48,圖9中所示之影像轉換器 109539-990209.doc 1333787 48將自下轉換器45(圖3)輸出之31)影像資料設定為第一影 像資料,且將HD影像資料設定為第二影像資料,且接著 使用每一類別之分支係數根據(例如)方程式(丨)表述之線性 預估計算將第一影像資料轉換為第二影像資料。 然而,在圖9中所示之影像轉換器48中,係數產生器166 自儲存於係數種子記憶體167中之係數種子資料及儲存於 參數記憶體168中之相應參數產生分支係數%。現假設係 數產生器166使用係數種子資料及參數根據(例如)方程式 (9)產生分支係數Wn : m-1
Wn= Σ ^m,nZ (9) f中β,’η表示用於判定第n個分支係數%之第爪個係數種子 資料且Z表示參數。在方程式(9)中,使用Μ個係數種子資 料β〗,η、β2,η'…、及βΜη來判定分支係數%。 用於自係數種子資料Pm,n及參數z判定分支係數wn之方程 式並不限於方程式(9)。 由方程式⑼中之參數z判定之值…由方程式(9)引入— 新變數tm*定義。 (10) 可得到方程式(11 )。 將方程式(10)代入方程式(9), Μ wn= Σ n^m m=1 根據方程式(u),分古 刀支係數wn可由係數種資 變數U之線性方程式得到。 109539-990209.doc 1333787 當第k個抽樣而品質像素 時’且當藉由方程式(1)獲得 時,可藉由方程式(12)(其類 之像素值之真實值由yk指示 之真實值yk之預估值由yk•指示 似於方程式(2))判定預估誤差 ek=yk~yk (12) 由於方程式(12)中之預估值,係 yk係由方程式(1)判定,故將 方程式(12)中之yk,由方程式(丨 θ )τ之了仔到類似於方程式 (3)之方程式(13) : ^ ek=yk-($wnxn,k) (13) 質像素之預估分支之第η 其中xn,k指示形成第k個抽樣高品 個低品質像素。 將方程式(11)代入方程式 )肀之Wn,可得到方程式 (14)。 ek=yk—知冰 (14) 將方程式Π4)中之預估誤差〜設定為q
Pm,n為用於預估相應高品 于貝科 炱像素之取佳係數種子資料。然 而 般而έ ’很難判定所有高σ暂你主 杳粗R < 質像素之此等係數種子 負衍Pm,n。 因此’若使用(例如)最小二乘 β # # ^ ^ ^ 作為扎不係數種子資料
Pm,n取佳之標準,則可與由畏^、几+ 誤差之W來射最佳餘料㈣^^5)表述之平方 109539-990209.doc -43· (15)1333787 κ
盆中Κ汾匕 一 /、τ ?曰不形成高品質像素yk之預估分支的高品質像素 及低品質傻去 B ^ L 、yk 1冬I Xl,k、X2,k、…、及XN,k之樣本組的數目(與 樣本之數目)。 千 方程式(15)中之平方誤差之和E的最小值可由將藉由求 和E對係數種子資料n之偏微分而獲得之結果設定為〇之 係數種子資料βιη,η判定’如方程式(16)所表述。 _〇L_= γ0 9ek Λ θ^ίη,η kt,2*aS^'ek = 〇 (16) 可得到方程式(17)。 將方程式(13)代入方程式(16), Σ tmx, kek= Σ tmxn, k (yk- ( Σ ( ί^, ntm) Xn, k)=〇 7 (17)
Xi,pJ,q與Yi,p分別由方程式(18)與方程式(19)定義。
K ^i, P. j. Σ Xi, k^Pxj, ktq k=1 (18) (19)
K
Yi p= Ixi.ktpyk ’ k=1 在此情況下,方程式(17)可使用與Yip由方程式 (20)中之標準方程式來表述。 109539-990209.doc -44· 1333787 M.1 ί. 1.2 ··· 1 , „ y η广、 X丨,2,U Χΐ.2,1,2 …Χ/2 J χ ·,2.丨…卜 t i : ... ’ ,Μ Χι,2,2,1 …Χι,2,Ν,μ| 石2,1
Χΐ,蚝 1,1 Χΐ,札 1, 2 …Χι μ , u ,: : I X2.U.1 *··^«.Ν.Μ Um. I : ' Λ2.Μ,2,1 ··· X2. HI, N, M jS i
Xn,M,U Xn,M,1,2 …XN M t w yi, ,: *·-: : ’,Xn,M,2,M …Xn,M.N,mJ[/m,, 巧式㈣表述之標準方g式可藉由使用(例 = 相對於係數種子資料Pmn求解。 放法 在圖9中所示之影像輟 為第二qn、/ 使用與HD影像資料(其 〃貝;。° f相當之影像的許多高品質像素yl、 yi 及力作為監督者資料,且使用與SD影像資料(其為 第一影像資料,自準— ' 〜像貧料下轉換而來)品質相當之 / 〇〇 丨,k,X2,k,···,及乍為學習者資料,將進行學 習而判定之用於解艾古 。方耘式(20)的係數種子資料pm,n儲存 於係數種子記憶體167中。# 4 g , 你数產生裔166根據方程式(9)自 係數種子貝料Pmn及儲存於參數記憶體⑹中之參數ζ產生 分支係數^。接著,㈣單元⑹使时Α係數 ' 及形成 主要像素之懸分支之第_影像㈣之像紅計算方程式 ⑴,以判定形成第二影像資料之主要像素之像素值的預估 值。 圖U為說明藉由求解方程式㈣所表述之標準方程式而 進行學習以判定係數種子資料I之學習器件之組態的另 一實例的方塊圖。在圖Μ,類似於圖7中之元件的元件 109539-990209.doc -45· 1333787 相同參考數子表示,其因此省略其解釋。 /於學習係數種子資料Pm n之學習影像資料係供應至學 件且更特疋§之,係供應至監督者資料產生器⑺ 及學習者資料產生器173。 如參看圖7所論述,監督者資料產生器171自學習影像資 料f生與HD影像資料(㈣第二影像資料)品質相當之監督 資料且將產生之監督者資料供應至監督者資料儲存單 元 172。 監督者資料儲存單元172儲存自監督者資料產生器Μ供 應之HD影像資料作為監督者資料。 如參看圖7所論述,學習者資料產生器173自學習影像資 料產生與S D影像資料(用作第一影像資料)品質相當之學習 者資料,且將產生之學習者資料供應至學習者資料儲存單 元 174。 然而’在圖11中所示之學習器件中,學習者資料產生器 173對應於自參數產生器18〇供應之參數冗產生學習 料。 意即’學習者資料產生器173不僅接收學習影像資料, 而且接收可判定為頻道資訊之若干值作為儲存於圖9中所 不參數记憶體168中之參數2。更具體言之,例如z=〇、^、 2、…、及Z自參數產生器18〇供應至學習者資料產生器 173。 如參看圖7所論述,學習者資料產生器173以類似於監督 者貧料產生器171之方式自學習影像資料產生監督者資 109539-990209.doc -46· 1333787 料,且接著下轉換HD影像資料以產 影機11(圖2)輸出之SD影像資料…* L、自SD攝 傻資料質相當之分量訊號犯影 …貧料產生器173接著以類似於廣播站】(圖2) 之方式將分量訊⑽料資料轉換為組合訊物影像資
:二:由將組合訊號SD影像資料再轉換為分量訊號SD 影像資料而使里上缠植,沒二+ 八轉換從而產生準-HD影像資料。之 後,學習者資料產生器173以類似於下轉換器45(圖3)之方
=下轉換準-HD影像資料’且將所得SD影像資料供應至學 習者貧料儲存單元174作為學習者資料。 與獲得在產生作為學習者資料之卿像資料之過程中產 生之準-HD影像資料的上轉換技術一樣,學習者資料產生 器⑺採用與自參數產生器18〇供應之參數z相關的該上轉 換技術。 …意即習者資料產生器173藉由使用與在廣播站中獲 得準-HD影像資料的技術相同的上轉換技術,執行與頻道 資(用作參數ζ)表示之頻道相關聯之上轉換而產生準_hd 影像資料》 接著,學習者資料產生器173將準_HD影像資料下轉換為 犯影像資料且將其供應至學習纟資料冑存單元174作為學 習者資料。 子 因此,在學習者資料產生器173中,.可獲得與藉由下轉 換準HD衫像資料(其在作為參數z之頻道資訊所表示之頻 道中廣播)而獲得之8]0影像資料品質相當之SD影像資料作 為學習者資料。 109539,990209_doc -47· 1333787 可產生與不 及Z對應之 在此隋况下,在學習者資料產生器173中, 同上轉換技術相關聯之參數z=〇、i、2、... (Ζ+l)個學習者資料。 學習者資料儲存單元i 7 4將自學習者資料產生器m供應 之(Z+1)個sd影像資料作為學習者資料予以儲存。
为支擷取早元175將形成作為監督者資料儲存於龄督者 資料儲存單元172中之HD影像資料之像素設定為:要像 素’且操取形成作為學習者資料儲存於學習者資料儲存單 元174中之SD影像㈣的預定像素,以判定具有與圖9中所 示分支榻取單元161獲得之預估分支相同的分支結構的預 估分支。接著分支擷取單元175將預估分支供應至加法器 分支操取單元m摘取形成作為學習者資料儲存於學習 者資料儲存單元1?4中之SD影像資料的預定像素,以判定 具有與圖9中所示分支榻取單元162獲得之類別分支相同的 分支結構的類別分支。分支擷取單元176接著將類別分支 供應至分類單元1 77。 -旦接收到參數產生器刚產生之參數z,分支摘取單元 175及176隨即使用與參數產生器⑽供應之參數z相關之學 習者資料分別產生預估分支及類別分支。 分類單元177基於自分支摘取單元176輸出之類別分支以 類似於圖9中所示分類單元163之方式執行分類,且將對應 於判定類別的類別碼輸出至加法器丨7 8。 加法器178接著自監督者資料儲存單元172讀取主要像 109539-990209.doc -48· 1333787 :二::主要像素、形成自分支操取單 估分支之學習者資 〇. ,及與自分類單元1 77供庫之备鉬 別碼之學習者t 供應之母-類 關的參數z之加法運算。 意即’不僅儲存於κ 6 、现督者資料儲存單元172中之監督| 貝以、自分支摘取單元175輸出 之^者 自分類單元177輪出之類 77 Ά,κ) ’及 之學習者資料時自參數彡而且在產生用於預枯分支 加法器178。 /纟益刚產生的參數ζ均被供應至 加法器178接著執行計算’ 法運算心及求和運算⑵==科與參數Ζ之乘 者資粗、【、 (Σ 以使用預估分支(學習 方程一 i k方私式(2〇)令左側矩陣中之 “⑽中疋義的、與自分類單元⑺ 之每-類別的分量x. 。/ 士… ㈣碼相關 式⑽自夫動f ',p’j’q (18)中’tp係根據方程 ,數4具。相同情況適用於方程式(18)中之t。 加法器178亦執行計算,諸 q 料八與參數z之乘法運算;:者;^、監督者資 疋异(xi,ktpyk)及求和運算(Σ以 預估分支(學習者資料) 監督者 士立1 皿首耆貝枓八及參數ζ來判定 方程式(20)令右側向量中在方式 ^ OD . 中疋義的、與自分 類早疋177供應之類別碼相關的每一類別之分量兄p。在方 程式(19)中,tp根據方程式(10)自參數ζ計算。’Ρ 意即’加法器178將方程式(20)中左侧矩陣中之分量 及右側向量中之分量Yi,。(二者均係為監督者資:= 先前主要像素而判定)儲存於内建式記憶體(未圖示)中,且 接著將使用監督者資料之當前主要像素之監督者資料^、 109539-990209.doc -49· 1333787 學習者資料Xi,k(Xjk)及參數z
Xi,ktpyk分別添加至分量乂 、目Μ分量Xi.ktpWq或 IP’J.q或分Ϊ Yi (由太斗 程式㈣中之求和運算表示之相加)。,ρ( Μ式⑽或方 加法器178相對於所有參 、 督者資料儲存單元172中之監督者㈣·、及Ζ)對儲存於監 述加法運算,以為每一類 ’’之所有像素執行上 方程式且P ‘ 彳建立^方程式㈣表述之標準 179: 纟將㈣標準方程式供應至係數種子計算器 算器179求解自加法器178供應之每-類別之 -&式來判疋每_類別之係數種 Α ^ * 1 H m, η '生益180產生可判定為供應至圖9 體⑽之參數2之若干值(例如,㈣、、及數广 乂 …、及Ζ),且 :二ΐ:參數ζ供應至學習者產生器173。參數產生器180 亦將產生之參h供應至分支掏取單元175及176及加法器 178° 現參看圖12中之流穿f gj少,^ Π机%圖“述圖丨i中所示學習器 學習處理。 & 在步驟81221中,監督者資料產生器171自學習影像資料 產生與HD影像資料(其為第二影像資料)品質相當之 資料。 詈者 學習者資料產生器173根據自參數產生器18〇輸出之 (ζ+υ個參數z之每-值(0、i、...、及2)執行諸如上轉換之 處理,以自學習者影像資料產生與5]0影像資料(其為第一 影像資料)品質相當之(z+1)個學習者資料。 109539-990209.doc •50· 1333787 自-督者貝料產生|5171輪出之監督者資料供應至監督 f資料儲存單元172㈣存於其中,且自學習者資料產生 _ 3輪出之(ζ+1)個學習者資料供應至學習者資料儲存單 凡174且儲存於其中。 接著’在步驟S1222中,參數產生器18〇將參數ζ設定為 初始值(例如設定為〇),且將參數2供應至分支擷取單元175 及176及加法器178。 在步驟S1223中’分支梅取單^⑺將未選擇之儲存於監 金者資料儲存單元172中之監督者資料的像素設定為主要 像素。分支掏取單元175接著自對應於自參數 出之參數ζ謂存於學習者資料儲存單元m中之學習者^ 料擷取像素以產生預估分支, 貝 八+ & 叉且將其供應至加法器178。 刀且蚀Γ單元Μ亦自對應於自參數產生器⑽輸出之參數 2且儲存於學習者資料儲存單元Μ令之學習者資料操取像 素以產生類別分支’且將其供應至分類單元⑺。 接著’在步驟S 1224中,分類蕈升I”甘 要傻音八,s 類早W77基於類別分支將主 要像素刀類,且將與判定類別相 178。 頬別碼輸出至加法器 ==中,加法器178自監督者資料儲存單元Μ 庙要像素,且制主要像素、自分域取單元175供 應之預估分支,及自參數產生器18〇輪出之參數·: 私式(20)之左側矩陣中之分量 # 旦 &里χ|’~χΑ及右側向量中 里x〗sictpyk。加法器178接著將自主 刀 全奴4〜 冢素、預估分支、及 參數ζ计舁之矩陣分量Xi ktpXj ktq及向量 及 里Xi,ktpyk添加至 109539-990209.doc 51 1333787 與自分類單元177輸出之類別碼相關之先前分量。 參數產生器180在步驟si226中判定自參數產生器180輸 出之參數z是否等於最大值z。若在步驟S1 226中發現參數z 不等於最大值Z(小於最大值z),則過程繼續至步驟 S1227。在步驟S1227中,參數產生器180使參數z遞增!, 且將所得參數輸出至分支擷取單元175及176及加法器178 作為參數z。接著處理返回步驟si223。 若在步驟S1226中發現參數z等於最大值z,則處理繼續 至步驟S1228以判定是否存在未選擇之儲存於監督者資料 儲存單兀172中之監督者資料的像素。若在步驟si228中發 現未選擇之像素,則分支擷取單元丨75將未選擇之像素設 定為主要像素且返回至步驟sm2e接著重複步驟81222及 後續步驟。 右在v驟S1128中判定不存在未選擇之監督者資料之福 拓查則加法器178將為每—類別獲得之方程式(2〇)中之左彻 矩陣^右側向量供應至係數種子計算器179。 解St, Μ1229中,係數種子計算器179為每—類別^ 料β 定相應類別之係數種子責 料。接著處理完成。 只 因為學習影像資料之數目
判定求i t & 所以有些類別可能難U 5忖保數種子貧料所必需 對於此等類別,絲種子計算方程式之足夠數目。 子資料。 ° 79輸出一預設的係數稽 在圖11中所示之學習器件中 今了直接判定使待於方程 109539-990209.doc •52· 1333787 式⑴中之線性預估方程式中預估之監督者資料的預估值y 之平方誤差之總和最小化的係數種子資料^,使用仙影 像貧料作為監督者㈣錢用對應於自Hd影像資料產生 之參數Z2SD影像資料作為學習者資料進行學習。另外, 如圖13中所示,可習得係數種子資料
在圖13中所示之改良實例中,藉由使用對應於自肋影 像資料(其為監督者資料)產生之參數z之SD影像資料作為 學f者資料’使用分支係數^及學f者資料〜判定參數z 之母一值(z=〇、1、…、及2)的使待於方程式(1)中之線性 預估方程式令預估之監督者資料的預估值y之平方誤差之 和最小化的分支係數Wn。接著,使用判定之分支係數%作 為監督者資料,及使用參數z作為學習者資料進行學習以 判定使根據方程式⑴)自係數種子資料及與參數2相關 之變數tm預估之分支係數〜11(其為監督者資料)的預估值之 平方誤差之總和最小化的係數種子資料Pm η。 意即,如在圖7中所示之學習器件中,藉由求解方程式 (8)中之標準方程式,可判定對於每一類別之參數z(z=〇、 1、…、及z)之每一值的最佳分支係數Wn(意即,使待由方 程式(1)中之線性預估方程式預估之監督者資料的預估值丫 之平方誤差之總和E最小化的分支係數Wn)。 根據方程式(11) ’分支係數可自係數種子資料n及對 應於參數z之變數tm而判定。若方程式(11)判定之分支係數 為wn' ’則將最佳分支係數Wn與分支係數Wn·(在方程式^ ^ 中判定)之間之誤差en(如方程式(21)所表述)設定為〇之係數 109539-990209.doc -53- 丄川/87 en=wn - wn’ (21) 方式⑼代^程式(21),方程式(21)可修改為 en=Wn- ( Σ nt, (22) 若使用(例如)最小-乘、X女先 _ 取』一孓法作為指不係數種子資料& n奉 佳之標準,則可藉由最小化 m,° 和田取』亿万私式(23)表述之平方誤差戈 和E來判定最佳係數種子資料L n。 N m,n Ε= Σ en2 n:1 〇 (23) 方程式(23)中之平方誤差之和E的最小值可由將藉由^ # E對係數種子資料pm n之偏微分而獲得之結果設定為〇纪 係數種子貧料pm n判定,如方程式(24)所表述。 M dp 土2硕二·〜=0
9E dPm, (24) 將方程式(22)代入方程式(24),可得到方程式(25)
"2. / / W Σ> Wn~ Zj5m, ntn (25)
Xi,j與Yi分別如方程式(26)與方程式(27)所表述般定義
Xi,j=z?〇t|tj (M,2,…,M: j=U,…,M) 109539-990209.doc (26) ·54· (27)1333787 i
ItiWn 在此情況下,方程式(25)可使用Xij與丫{由方程式(28)中 之標準方程式來表述。
Xl,1 Xl,2 … >1,n、 X2J X2,1 …X2,2 泠2,n __ 丫2 、Χμ,ιΧμ,2〜%( β Μ. η A (28) 方程式(28)表述之標準方程式可藉由使用(例掃散法 相對於係數種子資料pm n求解。 圖14係為了藉由求解方程式(28)中之標準方程式判定係 數種子資料β m,η而進行學習之學習器件的組態的另一實 例。在圖14中’對應於圖7或圖之元件的元件用相同 參考數字表示,其因此省略其解釋。 =器接收自分類單元177輸出之主要像素之類別碼 及自參數產生器⑽輪出之參數2。加法器19〇 者資料儲存單元! 72堉取 ^ ^ 岸之每^ 對自分類單元177供 應之"別碼及自參數產生器18 之主要像素與學習者資料(其形成自分支梅取,母一值 之預估分支)執行減運算Q 以⑺供應 意即,加法器19〇接收儲存於監督者 之監督者資料y「自分支擷取單元175/^ ^自分類單元177輸出之類別瑪,及自輪參出之㈣分支 輸出之參數Z(對應於學習者資斜 多產生器180 科且用於匈定預估分支 I09539-990209.doc -55· 1333787 接著加法器190使用對應於自合 之每,§ a , 自刀頰早兀177供應之類別碼 母一類別及自參數產生器180輸出的參數 估分支(學習者資料)〜來執行計算,諸如學習::二之; 法運算(xn,kxn.,k)及方裎式(8)中 ' ;’之“ (Σ)。 W千左侧矩陣中之求和運算 力:器19。亦使用對應於自分類單元m供應之
:-類別及自參數產生器180輸出的參數以每一估 分支(學習者資料)X k及監督H 翌去次从^ 、者#枓h來執行計算,諸如學 S者育料xn,k與監督者資料yk之乘 千 w中右側向量中之求和運算(Σ)。 ^、㈤及方程式 意即,加法器190將方裎彳/52以丄 私式(8)中左側矩陣f之分量 (lxn,kxn.,k)及右側向量中旦 „ 刀里(ΣΧη,π〇(二者均係為監督 者貧料之先前主要像素而判定 r -,.n μ 儲存於内建式記憶體(未圖 不)中,且接者將使用監督者資 算之監督者資料之當前主要像二:…計 χ 八…. 要像素的相應分量Xn—丨或 n3k+iyk+l分別添加至分晉γγ» m由a n,kXn,’k)或分量(Σχ^)(由方 私式(8)中之加法運算表示之相加)。 ,法器⑽對錯存於監督者資料健存單元m中之監督者 資料之所有像素執行上述加 — 凌運异,以為母一類別及參數 ζ之々母值建立由方程式(8)表述之標準方程式,且接著將 該等標準方程式供應至分支係數計算器⑼。 m數計算器191求解自加法器刚供應之每一類別及 每-值的標準方程式,以判定每一類別之最佳分 支係數%,且將其供應至加法器192。 109539-990209.doc
-56 - 八192執行對應於參數"之變數tm與每—類別之最佳 刀支係數^的加法運算。 藉由使用方程式⑽中自參數z判定之變數咖, 二益192執行計算(諸如對應於參數Z之變數ti⑹之乘法運 异㈣及母-類別之求和運算(Σ))以判定方程式⑽中左 側矩陣中之分量Xij(其在方程式(26)中定義)。 在匕It況下” ! Xi j僅由參數z判定而與類別無關。因 此’僅計算所有_之分量Xi厂次収以,^計算每 一類別之分量Xi j。 藉由使用方程式(1〇)中ό. , 1 )干自參數2判疋之變數ti及最佳分支 係數wn ’加法器192亦劼耔呌曾", 仃汁异(诸如對應於參數z之變數tj 與最佳分支係數w之乘法】重瞀 ^ 人忐運异(tiWn)及每一類別之求和運 舁(Σ))以判定方程式(28)中太相丨a曰 ^ 右側向s中之分量¥;(其在方程 式(27)中定義)。 方程式(26)表述之分量Xi j及由方 為每一類別建立方程式(28)中之 加法器192藉由判定由' 程式(27)表述之分量Yi而 t準方程式且接著將標準方程式供應至係數種子計算器 193。 係數種子計算器19 3求解白一、土《,n A . f鮮目加法益192供應之每一類別之 方程式(28)中之標準方裎式w也丨—α A上 干乃枉式以判定相應類別之係數種子資 料 βιη,η 0 在圖9中所示影像轉換器48之係數種子記憶體167中儲 存如上所述判定之每-類別之係數種子資料β阳,η。 如上所述,在圖3中所示之數位廣播接收器二中,影像資 l09539-990209.doc •57. 1333787 料之類型由判定單元44來判定,且若發現影像資料之類型 為準-HD影像資料,則藉由下轉換器45減少準-HD影像資 料之像素數目而下轉換準-HD影像資料。接著,在影像轉 換器48中,影像轉換處理(下文稱為”分類適應性處理”)係 使用藉由學習判定之每一類別之分支係數,或使用自藉由 學習及預定參數判定之係數種子資料產生之每一類別的分 支係數之計算來執行,以使得下轉換之SD影像資料可轉換 為高品質HD影像資料。 因此,數位廣播接收器2之使用者可接收高品質影像資 料。 如參看圖2所論述的,準-HD影像資料僅為藉由將NTSC 組合訊號影像資料轉換為分量訊號影像資料且藉由使分量 訊號影像資料之像素數目增加至HD攝影機13捕獲之HD 影像資料的像素數目而上轉換分量訊號影像資料所獲得之 影像資料。因此,若自NTSC組合訊號影像資料轉換之分 量訊號影像資料之像素數目為HD攝影機13捕獲的HD影像 資料之像素數目的1/5,則關於準-HD影像資料之五個像素 的資訊數量等於關於自NTSC組合訊號影像資料轉換之分 量訊號影像資料的僅一個像素的資訊數量。 因此,概括而言,若藉由使用準-HD影像資料作為第一 影像資料而執行分類適應性處理,則應使用5倍於使用自 NTSC組合訊號影像資料轉換之分量訊號影像資料作為第 一影像資料執行分類適應性處理時之像素數目,以執行方 程式(1)中之計算及分類。否則,難以獲得可與使用自 109539-990209.doc -58 - 1333787 NTSC組合訊號影像資料轉換之分量訊號影像資料作為第 一影像貢料執行分類適應性處理時獲得之效能同等的效 能。使用許多像素來執行方程式⑴中之計算或分類增加了 處理量。 因此如上所述,藉由在下轉換器45中減少準_HD影像 資料之像素數目將準_HD影像資料下轉換至犯影像資料, 且接著’在影像轉換器48中,使用_像資料作為第一影
像資料來執行分類適應性處理。結果,可使用較少處理量 獲得南品質影像資料。 另外如圖5中所不,基於關於影像資料之頻道的頻道 資訊,自對應於複數個上轉換技術之複數組分支係數令選 擇一組分支係數,且使料定之分支係數組執行分類適應 性處理。另外,如圖9中所示’ #由使用頻道資訊作為參 數2而產生-組分支係數’且接著使用產生之分支係數租 執行分類適應性處理。藉由此組態,可使用適用於盘廣播
影像資料之頻道相關之廣播站中採㈣上轉換技術的分支 係數來執行分類適隸處理。結果可料更高品質 資料。 豕 如準-HD影像資料—樣,準,影像請亦為❹取組 合机唬影像資料轉換為分量訊號影像資料且藉由增加像素 數目上轉換分量訊號影像資料而獲得之影㈣料H 由於藉由上轉換内插之準_D1影像資料之像素數目 HD影像資料的像素數目,故m影像資料與準切影像資料 由數位廣㈣收^之相同影像轉換器47進行相同處理 109539.990209.doc -59· 1333787 另外’準·㈣像資料可以類似於準.影 :::像::而加…。更具體言之,二= :準1影像資料可藉由將像素數目減少至藉 由將NTSC組合訊號影像資料轉換為分量訊號影像資料而 獲得之影像資料之像素數目而得以下轉換,且接 轉換之影像貪料執行分類適應性處理。 在圖3中所示包括判定單元44、下轉換器 =r:r像輸出單元49之方塊中,不僅可= =料’而且可對(例如)自記錄媒體回放之影像資料執 由判定單元44、下轉換器45及影像轉換器48執行之一系 列上述處理操作可由硬體或軟體執行。若❹㈣,則相 應軟體程式安裝於(例如)通用電腦中。 、 圖15為說明其中安裝有執行上述系列處理操作之程式的 電腦的方塊圖。 程式係預記錄於硬碟1〇5或唯讀記憶體(r〇m)i〇3(用作記 錄媒體,内建於電腦中)上。 另卜程式可臨時或永久儲存(記錄)於諸如生磁碟、 緊密光碟唯讀記憶體(咖雇)、磁光(Mq)碟、數位化通 用碟(DVD)、磁碟或半導體記憶體的可移除記錄媒體⑴ 上。此可移除碟U1可作為所謂封包軟體”而提供。 如上所述,程式可自可移除媒體⑴安裝於電腦中。另 ^程式可藉由無線構件自下載網站經由數位衛星廣播人 '- 或藉由有線構件經由網路(諸如區域網路(LAN)或 I09539-990209.doc 1333787 網際網路)傳送至電腦。接著,電腦可藉由通信單元接 收傳送程式且將程式安裝於内建式硬碟1〇5中。 電腦具有内建式中央處理單元(cpu)1 〇2。輸入/輪出介 面110經由匯流排1〇1連接至CPU 1〇2。一旦經由輸入/輸出 介面110接收到來自使用者藉由操作輸入單元1〇7(其包括 鍵盤、滑鼠或麥克風)之指令,CPU 102隨即執行儲存於 ROM 103中之程心另外’ cpu 1〇2可將儲存於硬碟⑼中 之程式、自衛星或網路傳送且由通信單元1〇8接收以後安 裝於硬碟1G5中之程式,或自安裝於驅動器1()9中之可移除 記錄媒體111讀取後安裝於硬碟1()5中之程式裝載於隨機存 取記憶體(RAM)104中,且執行該裝載程式。接著,cpu 1 〇 2可執行根據上述流程圖之處理或方塊圖中所示元件執 行之處理。接著’若需要,cpu 1〇2自輸出單元ι〇6(其包 括液晶顯示器(LCD)或揚聲器)輸出處理結果,或自通信單 兀108發送處理結果,或經由輸入/輸出介面ιι〇將其記錄 於硬碟105中。 在此說明書中,不必按照流程圖中指示之時間順序執行 形成允許電腦執行各種處理操作之程式的步驟。另外,其 可(例如’藉由並行處理或目標處理卩⑽如㈣)並 行或個別地執行。 程式可由單一電腦執行或可由複數個電腦作為分佈處理 執行。 熟習此項技術者應瞭解:視設計需要及其他因素,可在 所附申請專利範圍或其均等物之範_内進行各種修改、組 109539-990209.doc •61- 1333787 合、次組合及變更。 【圖式簡單說明】 圖1為s兒明根據本發明之一實施例之廣播系統的組態的 方塊圖; 圖2說明一廣播站之主要部分; 圖3為說明數位廣播接收器之組態的方塊圖; 圖4為說明數位廣播接收器執行之操作的流程圖; 圖5為說明一影像轉換器之組態之一實例的方塊圖; 圖6為說明影像轉換器執行之處理的流程圖; 圖7為說明用於學習分支係數之學習器件(iearning device)之經態的一實例的方塊圖; 圖8為說明學習分支係數之處理之流程圖; 圖9為說明影像轉換器之組態之另一實例的方塊圖; 圖1 〇為S兒明影像轉換器執行之處理的流程圖; 圖11為說明用於學習係數種子資料之學習器件之組態的 另一實例的方塊圖; 圖12為說明學習係數種子資料之處理之流程圖; 圖13說明學習係數種子資料之另一途徑; 圖14為說明用於學習係數種子資料之學習器件之组態的 另一實例的方塊圖;及 圖15為說明根據本發明之_實施例之電腦的組態的方塊 圖。 【主要元件符號說明】 1 廣播站 109539-990209.doc 1333787 2 數位廣播接收器 3 模擬廣播接收器 11 SD攝影機 12 SD攝影機 13 HD攝影機 21 NTSC編碼器 22 NTSC解碼器 23 上轉換器
24 上轉換器 41 調諧器 42 多工解訊器 43 解碼器 44 判定單元 45 下轉換器 46 影像轉換器
47 影像轉換器 48 影像轉換器 49 影像輸出單元 101 匯流排 102 中央處理單元(CPU) 103 唯讀記憶體(ROM) 104 隨機存取記憶體(RAM) 105 硬碟 106 輸出單元 109539-990209.doc -63- 1333787 107 108 109 110 111 160 161 162 163 164 165 166 167 168 171 172 173 174 175 176 177 178 179 180 輸入單元 通信單元 驅動器 輸入/輸出介面 可移除記錄媒體 係數選擇器 分支擷取單元 分支擷取單元 分類單元 係數記憶體 預估單元 係數產生器 係數種子記憶體 參數記憶體 監督者資料產生器 監督者資料儲存單元 學習者資料產生器 學習者資料儲存單元 分支擷取單元 分支擷取單元 分類單元 加法器 係數種子計算器 參數產生器 109539-990209.doc -64- 1333787 190 加法器 191 分支係數計算器 192 加法器 193 係數種子計算器 109539-990209.doc -65-

Claims (1)

1333787 第095123169號專利申請案 t文申請專利範圍替換本(99年 十、申請專利範圍: θί) U替換頁 用於處 影像資料以輪出具 1 · 一種影像處理裝置 有比該第-影像資料更高之品質之第二影像資料,其包 含: ' 下轉換構件,其藉由減少輸入影像資料之像素數目而 下轉換該輸入影像資料; 影像轉換構件’其藉由使用由該下轉換構件下轉換之 • 該輸入影像資料作為該第一影像資料’而將該第—影像 資料轉換為該第二影像資料;及 判定該輪入影像資科之類型之判定構件,當該判定構 件判定該輸入影像資料之類型為藉由增加該影像資料之 像素數目而上轉換該影像資料獲得的上轉換影像資料, 則該下轉換構件藉由減少該輸入影像資料之像素數目而 下轉換該輪入影像資料, 其中該影像轉換構件包括: _ 預估分支擷取構件,其自該第—影像資料_取用於 預估该第二影像資料之一主要像素之複數個像素作為 預估分支, 類別分支擷取構件,其自該第一影像資料擷取用於 將。亥主要像素分類為複數個類別之一者之複數個像素 作為類別分支, 、 分類構件’其基於該等類別分支將該主要像素分 類, 係數輸出構件’其自對應於該複數個類別之藉由學 109539-990625.doc
習而預先判定之係數中輸出一對應於該主要像素之該 類別的係數,及 計算構件,其藉由使㈣應於該主要像素之該類別 之該係數及該等預估分支執行預估計算而判定該主要 像素。 2·如請求们之影像處縣置,其中該輸人影像資料為廣 播影像資料。 3*如請求項3之影像處理裝置,其進—步包含選擇構件, 该選擇構件基於關於該廣播影像資料之頻道的頻道資 :,自與該上轉換中使用之複數種對應上轉換技術相關 聯的複數組係數中選擇一組係數, 其中該係數輸出構件自該選擇構件選擇之該組係數中 輸出一對應於該主要像素之該類別的係數。 4. -種影像處理方法,其用於處理第—影像資料以輸出具 有比該第-影像資料更高之品質之第二影像資料,立包 含以下步驟: 〃 藉由減少輸入影像資料之像素數目而下轉換該輸入影 像資料; ;藉由使用該下轉換影像f料作為該第―影像資料而將 6亥第一影像資料轉換為該第二影像資料;及 判定該輸人影像資料之類型,及當該輸人影像資料之 a型被判定為藉由增加該影像資料之像素數目而上轉換 =影=資料獲得的上轉換影像資料,則藉由減少該輸入 〜像貝料之像素數目而下轉換該輸入影像資料, [ 109539-990625.doc si* i 牛工替換頁 其中將該第一影像資料轉換為該第二影像資料 下步驟: 符以 自該第一影像資料擷取用於預估該第二影像資料 主要像素之複數個像素作為預估分支, 7 自該第一影像資料擷取用於將該主要像素分類為冷 數個類別之一者之複數個像素作為類別分支, 複 基於該等類別分支將該主要像素分類, 自對應於該複數個類別之藉由學習而預先判定之係 數中輸出一對應於該主要像素之該類別的係數及 藉由使用對應於該主要像素之該類狀該係數及該 等預估分支執行預估計算而判定該主要像素。 —種具有電腦指令紀錄於其上之電腦可讀儲存媒體,該 電腦指令經配置以使得一電腦執行一影像處理方法,用 於處理第-影像資料以輸出具有比該第一影像資料更高 之=質之第二影像資料,該方法包含以下步驟: 藉由減少輸入影像資料之像素數 像資料; t數目*下轉換該輸入影 藉由使用該下轉換影像資料作A 貝竹1下马δ亥第—影像資料而將 5亥第一影像資料轉換為該第二影像資料;及 判定該輸入影像資料之類型,及告 錮刑、士丄,h上 及田该輸入影像資料之 類i被判疋為藉由增加該影像資 _ 幵之像素數目而上轉換 該衫像資料獲得的上轉換影像資 叶則猎由減少該輸入 如像貝枓之像素數目而下轉換該輪人影像資料, 其中將該第一影像資料轉換為 ~ X弟一影像資料包括以 109539-990625.doc 1333787 么王替換頁 下步驟: 自該第-影像資料擷取用於預估該第二影像資料之 主要像素之複數個像素作為預估分支, 自該第-影像資料絲詩將該主要像素分類為複 個類別之一者之複數個像素作為類別分支, 6. 基於该等類別分支將該主要像素分類, 自對應於該複數個類別之藉由學習而預先判定之係 數中輪出一對應於該主要像素之該類別的係數,及 藉由使用對應於該主要像素之該類別之該係數及該 等預估分支執行預估計算而判定該主要像素。
種影像處理裝置,其用於處理第一 有比該第一影像資料更高之品質之第 含: 影像資料以輸出具 二影像資料,其包 下轉換構件,其藉由減少輸入影像資料之像素數目而 下轉換該輸入影像資料;及 上影像轉換構件,其藉由使用由該下轉換構件下轉換之 邊輸入影像資料作為該第一影像資料而將該第一影像資 料轉換為該第二影像資料, 其中該影像轉換構件包括: 預估分支擷取構件,其自該第一影像資料擷取用於 預估該第二影像資料之一主要像素之複數個像素作為 預估分支, 類別分支擷取構件,其自該第一影像資料擷取用於 將該主要像素分類為複數個類別之一者之複數個像素 ' [Μ 109539-990625.doc -4- 、 、木,香換頁 作為類別分支, —— 4構件’其基於該等類別分支將該主要像素分 類, 產生構件,其用於自一預定參數及種子資料產生一 對應於該複數個類別之每—者之係數,其中該種子資 料係用作該係數之—種子且其係藉由學習而預先判 定, 、數輪出構件,其自該產生構件產生之對應於該複 ;貝別之該等係數中輸出—對應於該主要像素之該 類別的係數,及 :冓件其藉由使用對應於該主要像素之該類別 5系數及1¾等預4古分支執行預估計算而判定該主要 像素。 7·項6之影像處理裝置,其進-步包含判定該輸入 衫像貢料之類型之判定構件, ^ Λ判疋構件判定該輸入影像資料之類型為藉 :二另—影像資料之像素數目而上轉換該另-影像資 &又:的^轉換影像資料,則該下轉換構件藉由減少該 8 ^ 像資料之像素數目而下轉換該輸人影像資料。 • 之影像處理裝置,其中該輸人影像資料為廣 播影像資料。 9· 之影像處理裝置,其中該產生構件藉由使用 =廣播影像資料之頻道的頻道資訊作為該預定參數 生對應於該複數個類別之每一者之該係數。 109539-990625.doc 1333787 I以,芩正替換頁 ίο. 11. 種衫像處理方法’其用於處理第一影像資料以輪出I 有比該第一影像資料更高之品質之第二影像資料,其包 含以下步驟: 藉由減少輸入影像資料之像素數目而下轉換該輸入譽 像資料;及 ~ 藉由使用該下轉換影像資料作為該第一影像資料而將 該第一影像資料轉換為該第二影像資料, 其中將該第一影像資料轉換為該第二影像資料包括以 下步驟: 自該第一影像資料擷取用於預估該第二影像資料之 一主要像素之複數個像素作為預估分支, 自該第一影像資料擷取用於將該主要像素分類為複 數個類別之一者之複數個像素作為類別分支, 基於該等類別分支將該主要像素分類, 自一預定參數及種子資料產生一對應於該複數個類 別之每一者之係數,其中該種子資料係用作該係數之 一種子且其係藉由學習而預先判定, 自該等所產生之對應於該複數個類別之係數中輪出 一對應於該主要像素之該類別的係數,及 *藉由使用對應於該主要像素之該類別之該係數及該 等預估分支執行預估計算而判定該主要像素。 一種經編碼含一程式之電腦可讀儲存媒體,該程式允許 一電腦執行影像處自,用於處理第-影像資料以輸出具 有比該第-影像資料更高之品質之第二影像資料,其^ 109539-990625.doc -6- 含以下步驟:s.23r', 藉由減少輸入影像資料之像素 像資料;及 卜轉換。亥輸入影 /由❹該下轉換影像資料作為該第1像 。亥第-影像資料轉換為該第二影像資料, 將 其中將該第一影像資料轉換為 下步驟: 〜像貧枓包括以 —自該第-影像資料操取用於預估該第二影 一主要像素之複數個像素作為預估分支, 自該第-影像資料擷取用於將該主要像素 數個類別之—者之複數個像素作為類別分支,1 基於該等類別分支將該主要像素分類, 自一預定參數及種子資料產生—對應料複數個類 別之每-者之係數,其中該種子資料係用作該係數之 一種子且其係藉由學習而預先判定, 自該等所產生之對應於該複數個類別之係數中輸出 一對應於該主要像素之該類別的係數,及 藉由使用對應於該主要像素之該類別之該係數及該 等預估分支執行預估計算而判定該主要像素。 " 12. —種影像處理裝置,其用於處理第一影像資料以輸出具 有比該第一影像資料更高之品質之第二影像資料,其勺 含: 八匕 一下轉換器,其經組態以藉由減少輸入影像資料之像 素數目而下轉換該輸入影像資料; 109539-990625.doc 丄W87 U2_l: 韻頁 -影像轉換器,其:組態# 轉換之該輸人影像資料作為該第由該下轉換器下 影像資料轉換為該第二影像㈣料而將該第- -判定單元,其經組態以判定… 型,及當該判定單Α #ιί θ Λ ~入影像資料之類 心早兀判疋该輸入影像 增加該影像資料之像辛數 類型為藉由 、诼常數目而上轉換力 上轉換影像資料,丨丨1 、DX如像貧料獲得的 料之像素數目而下轉 咸夕該輸入影像資 卜轉換该輸入影像資料, 其t該影像轉換器包括: 一預估分支擷取單元,其經組態以 料擷取用於預估哕gP 以弟—影像資 頂怙及第一影像貧料之—主 個像素作為預估分支, ’、禝數 一類別分支擷取單元,其經組態以 料擷取用於將該主要像辛八 h 衫像身 要像素刀類為複數個類別之一者之 複數個像素作為類別分支, 一分類單元,其經組態以基於該等類別分支將該主 要像素分類, 於該複數個類 一對應於該主 一係數輸出單元,其經組態以自對應 別之藉由學f巾預先判$之係數中輸出 要像素之該類別的係數,及 一計算器,其經組態以藉由使用對應於該主要像素 之該類別之該係數及該等預估分支執行預估計算而判 定該主要像素。 13. —種影像處理裝置 ,其用於處理第一影像資料以輸出具 [s ] 109539-990625.doc -8 - 1333787 ____ ; 以署㈣換頁 ^ 有比該第一影像資料更高之品質之第二影像資料,其包 , 含: 一下轉換器’其經組態以藉由減少輸入影像資料之像 素數目而下轉換該輸入影像資料;及 一影像轉換器’其經組態以藉由使用由該下轉換器下 轉換之該輸入影像資料作為該第一影像資料而將該第— 影像資料轉換為該第二影像資料,
其中該影像轉換器包括: 一預估分支擷取單元,其經組態以自該第一影像資 料搁取用於預估該第二影像資料之一主要像素之複數 個像素作為預估分支, 一類別分支擷取單元,其經組態以自該第一影像資 料搁取用於將該主要像素分類為複數個類別之一者之 複數個像素作為類別分支, 一/刀類單凡,其經組態以基於該等類別分支將該主 要像素分類, 產生益,其經組態以自一預定參數及種子資料產 生-對應於該複數個類別之每一者之係數,其中該種 子貝料係用作該係數之—種子且其係藉由學習而預先 一係數輸出單元, 應於該複數個類別之 像素之該類別的係數 其經組態以自該產生器產生之對 該等係數中輸出一對應於該主要 ,及 一計算器 其經組態以藉由 使用對應於該主要像素 109539-990625.doc 1333787 之該類別之該係數及該等預估分支執行預估計算而判 定該主要像素。 109539-990625.doc 10·
TW095123169A 2005-06-27 2006-06-27 Image processing apparatus, image processing method, and program TWI333787B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005185998A JP4650123B2 (ja) 2005-06-27 2005-06-27 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
TW200715854A TW200715854A (en) 2007-04-16
TWI333787B true TWI333787B (en) 2010-11-21

Family

ID=37114381

Family Applications (1)

Application Number Title Priority Date Filing Date
TW095123169A TWI333787B (en) 2005-06-27 2006-06-27 Image processing apparatus, image processing method, and program

Country Status (6)

Country Link
US (1) US7755701B2 (zh)
EP (1) EP1742472A3 (zh)
JP (1) JP4650123B2 (zh)
KR (1) KR101239268B1 (zh)
CN (1) CN1925597B (zh)
TW (1) TWI333787B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI486028B (zh) * 2012-09-29 2015-05-21 Hon Hai Prec Ind Co Ltd 分體式電視及用於所述分體式電視的控制盒

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
TWI339526B (en) * 2006-03-17 2011-03-21 Realtek Semiconductor Corp Image scaling method and related apparatus
JP4193871B2 (ja) * 2006-05-18 2008-12-10 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2010011154A (ja) * 2008-06-27 2010-01-14 Pioneer Electronic Corp 画像生成装置及び画像再生装置
JP5066041B2 (ja) * 2008-09-22 2012-11-07 株式会社日立製作所 画像信号処理装置、画像信号処理方法
WO2016117034A1 (ja) * 2015-01-20 2016-07-28 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3852133B2 (ja) * 1996-08-12 2006-11-29 ソニー株式会社 画像信号変換装置および方法
US6870944B1 (en) * 1999-06-08 2005-03-22 Sony Corporation Image processing apparatus, image processing method, and storage medium
US6678405B1 (en) * 1999-06-08 2004-01-13 Sony Corporation Data processing apparatus, data processing method, learning apparatus, learning method, and medium
JP4362895B2 (ja) * 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
JP4457276B2 (ja) * 2000-04-13 2010-04-28 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JP4670169B2 (ja) * 2000-11-15 2011-04-13 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体
JP3596770B2 (ja) * 2001-12-28 2004-12-02 ソニー株式会社 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
EP1326436B1 (en) * 2001-12-28 2013-02-13 Sony Corporation Displaying information
JP2005328150A (ja) * 2004-05-12 2005-11-24 Toshiba Corp 放送受信装置及び放送受信方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI486028B (zh) * 2012-09-29 2015-05-21 Hon Hai Prec Ind Co Ltd 分體式電視及用於所述分體式電視的控制盒

Also Published As

Publication number Publication date
EP1742472A2 (en) 2007-01-10
US20070047830A1 (en) 2007-03-01
KR101239268B1 (ko) 2013-03-07
EP1742472A3 (en) 2011-11-23
JP2007006304A (ja) 2007-01-11
JP4650123B2 (ja) 2011-03-16
CN1925597A (zh) 2007-03-07
KR20070000365A (ko) 2007-01-02
CN1925597B (zh) 2010-06-16
US7755701B2 (en) 2010-07-13
TW200715854A (en) 2007-04-16

Similar Documents

Publication Publication Date Title
TWI333787B (en) Image processing apparatus, image processing method, and program
TW200818872A (en) Systems and methods for a motion compensated picture rate converter
Fallahpour Reversible image data hiding based on gradient adjusted prediction
Hashemi et al. An image contrast enhancement method based on genetic algorithm
Arsalan et al. Protection of medical images and patient related information in healthcare: Using an intelligent and reversible watermarking technique
JP4875162B2 (ja) 画像強調
US7747069B2 (en) Data processing apparatus and data processing method
KR20110124222A (ko) 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅
WO2007066710A1 (ja) 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
EP2018626B1 (en) Up-scaling
US20080240599A1 (en) Data processing device and method, recording medium, and program
Zheng et al. A new reversible watermarking scheme using the content-adaptive block size for prediction
US8218077B2 (en) Image processing apparatus, image processing method, and program
CN103748613A (zh) 用于图像去噪、压缩和插值的各向异性梯度正则化
EP4277272A1 (en) Apparatuses, methods, computer programs and computer-readable media
KR20060136335A (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
TW201015990A (en) Methods and apparatus for enhancing image quality of motion compensated interpolation
Xintao et al. Hide the image in fc-densenets to another image
Wang et al. De-interlacing algorithm using weighted least squares
JPH0888849A (ja) 画像信号処理方法及び画像信号伝送装置
JP4131303B2 (ja) 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体
García et al. Performance of the Kullback-Leibler information gain for predicting image fidelity
Gutiérrez-Ríos et al. Fuzzy motion adaptive algorithm and its hardware implementation for video de-interlacing
CN111539909B (zh) 一种相似场景图像组的图像质量评估方法、***及终端
Panyindee et al. Reversible data hiding scheme using optimal weight predictor based on DMT in medical imaging

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees