TW202025090A - 顯示器裝置以及控制其的方法 - Google Patents
顯示器裝置以及控制其的方法 Download PDFInfo
- Publication number
- TW202025090A TW202025090A TW108140585A TW108140585A TW202025090A TW 202025090 A TW202025090 A TW 202025090A TW 108140585 A TW108140585 A TW 108140585A TW 108140585 A TW108140585 A TW 108140585A TW 202025090 A TW202025090 A TW 202025090A
- Authority
- TW
- Taiwan
- Prior art keywords
- filter
- filters
- image
- artificial intelligence
- parameters
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 152
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 150
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000012805 post-processing Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 description 30
- 238000004891 communication Methods 0.000 description 25
- 230000015654 memory Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013341 scale-up Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 239000002041 carbon nanotube Substances 0.000 description 1
- 229910021393 carbon nanotube Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000002159 nanocrystal Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
揭露一種顯示器裝置以及一種控制其的方法,所述顯示器裝置包括:視訊解碼器,被配置以對視訊訊號進行解碼;以及人工智慧(AI)縮放器,包括多個濾波器,所述多個濾波器被設置為使得特定濾波器的輸出用作另一濾波器的輸入,且被配置以藉由處理經解碼的視訊訊號來控制影像的解析度,所述多個濾波器中的每一者基於控制訊號被選擇性地接通或斷開,所述濾波器被接通以基於藉由學習而設定的參數處理視訊訊號,且所述濾波器被斷開以對視訊訊號進行旁通及輸出。
Description
根據示例性實施例的裝置及方法是有關於一種顯示器裝置以及一種控制其的方法,且更具體而言,是有關於一種其中基於人工智慧(AI)學習來處理視訊訊號的顯示器裝置、一種控制其的方法以及其記錄媒體。
人工智慧(artificial intelligence,AI)系統是指具有人類層面的智慧能力的電腦系統,且亦是指與傳統的基於規則的智慧系統相反,藉由自機器學習及識別而變得更智慧的系統。隨著人工智慧系統的使用越來越多,其辨識率越來越高,且更準確地學習使用者的偏好,因此傳統的基於規則的智慧系統已逐漸被基於人工智慧學習的人工智慧系統取代。
人工智慧技術包括機器學習、深度學習及類似學習式過程以及使用所述學習的基礎技術。
學習是指自動分類/學習輸入資料的特徵的演算法技術,而基礎技術是指使用深度學習及類似學習演算法來模擬例如辨識、確定等人腦功能的技術,且被分類為包括語言理解、視覺理解、推理/預測、知識表示、操作控制等的技術領域。
人工智慧技術應用的各個領域如下。語言理解是指辨識及應用/處理人類語言/字符的技術,且包括自然語言處理、機器翻譯、對話系統、問答、語音辨識/合成等。視覺理解是指辨識及處理如人類視覺等對象的技術,且包括對象辨識、對象跟蹤、影像搜索、人類辨識、場景理解、空間理解、影像增強等。推理/預測是指藉由識別在邏輯上進行推理及預測的技術,且包括基於知識/概率的推理、最佳化預測、基於偏好的計劃、推薦等。知識表示是指將人類經驗資訊自動處理成知識資料的技術,且包括知識建構(資料產生/分類)、知識管理(資料利用)等。操作控制是指控制車輛自動駕駛及機器人運動的技術,且包括運動控制(例如,導航、碰撞、駕駛)、操作控制(例如,動作控制)等。
在一些實施例中,本文提供一種顯示器裝置,所述顯示器裝置包括:視訊解碼器,被配置以對視訊訊號進行解碼;人工智慧(AI)縮放器(scaler),所述人工智慧縮放器包括多個濾波器,且所述人工智慧縮放器被配置以處理經解碼的所述視訊訊號;以及控制器,被配置以藉由基於控制訊號選擇性地接通及斷開多個濾波器中的每一濾波器來控制影像的解析度,所述多個濾波器中的被選擇的濾波器被所述控制訊號接通且所述多個濾波器中的未被選擇的濾波器被所述控制訊號斷開,所述被選擇的濾波器基於被接通而被配置以基於一或多個第一參數來處理所述視訊訊號,所述一或多個第一參數是基於學習,且所述學習包括藉由訓練而達成所述一或多個第一參數,且所述未被選擇的濾波器基於被斷開而被配置以對被輸入至所述未被選擇的濾波器的訊號進行旁通及輸出。
在一些實施例中,所述顯示器裝置亦包括儲存器,所述儲存器被配置以儲存查找表,所述查找表已藉由實行所述學習而產生,且所述控制器更被配置以基於自所述查找表提取的所述一或多個第一參數而設定所述被選擇的濾波器。
在顯示器裝置的一些實施例中,所述被選擇的濾波器包括第二多個濾波器,其中所述第二多個濾波器中的每一濾波器是使用一或多個第二參數進行設定,且所述人工智慧縮放器被配置以使經解碼的所述視訊訊號依序通過所述第二多個濾波器。
在顯示器裝置的一些實施例中,所述控制器更被配置以:自所述視訊解碼器獲得所述視訊訊號的編解碼器資訊,基於所述編解碼器資訊,自所述查找表提取所述一或多個第一參數,以及基於所述一或多個第一參數來設定所述被選擇的濾波器。
在顯示器裝置的一些實施例中,所述編解碼器資訊包括編解碼器類型及壓縮率中的至少一者。
在顯示器裝置的一些實施例中,所述控制器更被配置以使所述人工智慧縮放器藉由第一濾波器分析所述視訊訊號的影像特徵,以及藉由第二濾波器處理經解碼的所述視訊訊號,所述第二濾波器是使用與所分析的所述影像特徵對應的第三參數來設定,所述被選擇的濾波器包括所述第二濾波器,且所述一或多個第一參數包括所述第三參數。
在顯示器裝置的一些實施例中,所述查找表是基於所述學習且所述學習是基於影像的特徵,並且所述查找表被配置以儲存所述第三參數。
在顯示器裝置的一些實施例中,所述被選擇的濾波器包括第三濾波器,所述第三濾波器被配置以對所述影像實行後處理,且所述後處理對應於雜訊減低及細節增強中的至少一者。
在顯示器裝置的一些實施例中,所述一或多個第一參數是基於第一人工智慧學習式過程,或者所述一或多個第一參數是基於第二人工智慧學習式過程。
在顯示器裝置的一些實施例中,所述多個濾波器中的每一者基於配置控制訊號而被控制接通或斷開,所述配置控制訊號指示所述第一人工智慧學習式過程及所述第二人工智慧學習式過程中的一者,且所述人工智慧縮放器被控制成使用濾波器的第一組合及濾波器的第二組合中的一者來處理經解碼的所述視訊訊號。
在顯示器裝置的一些實施例中,所述多個濾波器中的至少一個濾波器屬於濾波器的所述第一組合及濾波器的所述第二組合,且在第一人工智慧學習式過程與第二人工智慧學習式過程之間共享。
本文亦提供一種控制顯示器裝置的方法。在一些實施例中,所述方法包括對視訊訊號進行解碼;以及藉由以下方式控制影像的解析度:基於控制訊號而選擇性地接通或斷開多個濾波器中的每一濾波器,其中所述多個濾波器中的被選擇的濾波器被所述控制訊號接通且所述多個濾波器中的未被選擇的濾波器被所述控制訊號斷開,以及藉由所述多個濾波器處理經解碼的所述視訊訊號,所述被選擇的濾波器基於被接通而被配置以基於一或多個第一參數來處理所述視訊訊號,所述一或多個第一參數是基於學習,且其中所述學習包括藉由訓練而達成所述一或多個第一參數,且所述未被選擇的濾波器基於被斷開而被配置以對被輸入至所述未被選擇的濾波器的訊號進行旁通及輸出。
在控制顯示器裝置的方法的一些實施例中,所述被選擇的濾波器包括第二多個濾波器,其中所述第二多個濾波器中的每一濾波器是使用一或多個第二參數進行設定,且控制所述影像的所述解析度更包括使經解碼的所述視訊訊號依序通過所述第二多個濾波器。
在控制顯示器裝置的方法的一些實施例中,所述方法包括:儲存第一查找表,所述第一查找表已藉由實行所述學習而產生。所述方法的一些實施例亦包括:自視訊解碼器獲得所述視訊訊號的編解碼器資訊,基於所述編解碼器資訊而自所述第一查找表提取所述一或多個第一參數,以及基於所述一或多個第一參數而設定所述被選擇的濾波器。
在控制顯示器裝置的方法的一些實施例中,所述方法包括:藉由第一濾波器分析所述視訊訊號的影像特徵,其中所述處理經解碼的所述視訊訊號更包括藉由第二濾波器處理經解碼的所述視訊訊號,其中所述第二濾波器是使用與所分析的所述影像特徵對應的第三參數來設定,其中所述被選擇的濾波器包括所述第二濾波器,且其中所述一或多個第一參數包括所述第三參數。
在控制顯示器裝置的方法的一些實施例中,所述方法包括:儲存第二查找表,其中所述第二查找表是基於所述學習且其中所述學習是基於影像的特徵,所述控制所述影像的所述解析度更包括自所述第二查找表提取所述第三參數。
在控制顯示器裝置的方法的一些實施例中,所述方法包括:藉由第三濾波器對所述影像實行後處理,其中所述後處理對應於雜訊減低及細節增強中的至少一者。
在所述方法的一些實施例中,所述一或多個第一參數是基於第一人工智慧(AI)學習式過程,或者所述一或多個第一參數是基於第二人工智慧學習式過程。
在所述方法的一些實施例中,所述控制所述影像的所述解析度更包括:基於配置控制訊號而控制所述多個濾波器中的每一者接通或斷開,所述配置控制訊號指示所述第一人工智慧學習式過程及所述第二人工智慧學習式過程中的一者。
本文亦提供一種非暫態電腦可讀取儲存媒體,所述非暫態電腦可讀取儲存媒體儲存指令,所述指令是由至少一個處理器實行,所述指令被配置以使所述至少一個處理器:對視訊訊號進行解碼;以及藉由以下方式控制影像的解析度:基於控制訊號而選擇性地接通或斷開多個濾波器中的每一濾波器,其中所述多個濾波器中的被選擇的濾波器被所述控制訊號接通且所述多個濾波器中的未被選擇的濾波器被所述控制訊號斷開,以及藉由所述多個濾波器處理經解碼的所述視訊訊號,所述被選擇的濾波器基於被接通而被配置以基於一或多個第一參數來處理所述視訊訊號,其中所述一或多個第一參數是基於學習,且其中所述學習包括藉由訓練而達成所述一或多個第一參數,且所述未被選擇的濾波器基於被斷開而被配置以對被輸入至所述未被選擇的濾波器的訊號進行旁通及輸出。
根據實施例,提供一種顯示器裝置,所述顯示器裝置包括:視訊解碼器,被配置以對視訊訊號進行解碼;以及人工智慧(AI)縮放器,包括多個濾波器,所述多個濾波器被設置為使得特定濾波器的輸出用作另一濾波器的輸入,且被配置以藉由處理經解碼的視訊訊號來控制影像的解析度,所述多個濾波器中的每一者基於控制訊號被選擇性地接通或斷開,所述濾波器被接通以基於藉由學習而設定的參數處理視訊訊號,且所述濾波器被斷開以對輸入視訊訊號進行旁通及輸出。
所述顯示器裝置可更包括儲存器,所述儲存器被配置以儲存藉由先前實行所述學習而產生的查找表,且所述濾波器被接通可藉由自所述查找表提取的所述參數來設定。
被接通的所述濾波器可包括多個濾波器,所述多個濾波器中的每一者是使用預定參數來設定,且經解碼的所述視訊訊號可依序通過被接通的所述多個濾波器以控制所述影像的所述解析度。
所述顯示器裝置可更包括:儲存器,被配置以儲存藉由先前實行所述學習而產生的查找表;以及控制器,被配置以自所述視訊解碼器獲得所述視訊訊號的編解碼器資訊,基於所獲得的所述編解碼器資訊自所述查找表提取參數,且基於所提取的所述參數而將所述多個濾波器中的每一者設定成接通的。
所述編解碼器資訊可包括編解碼器類型或壓縮率中的至少一者。
被接通的所述濾波器可包括被配置以分析所述視訊訊號的影像特徵的第一濾波器,且第二濾波器可被配置以使用與所分析的影像特徵對應的參數進行設定並控制所述影像的解析度。
所述顯示器裝置可更包括:儲存器,被配置以儲存根據影像的特徵藉由先前實行所述學習而產生的查找表;以及控制器,被配置以自所述查找表提取與藉由所述第一濾波器分析的影像特徵對應的參數,並基於所提取的參數來設定第二濾波器。
被接通的濾波器可包括第三濾波器,所述第三濾波器被配置以對解析度是由第二濾波器控制的影像實行與雜訊減低或細節增強中的至少一者對應的後處理。
人工智慧縮放器可被配置以:藉由所述多個濾波器中與第一人工智慧學習式過程對應的濾波器的第一組合來處理經解碼的所述視訊訊號,或者藉由所述多個濾波器中與第二人工智慧學習式過程對應的和第一組合不同的濾波器的第二組合來處理經解碼的所述視訊訊號。
所述多個濾波器中的每一者可基於配置控制訊號而被控制接通或斷開,所述配置控制訊號指示所述第一人工智慧學習式過程及所述第二人工智慧學習式過程中的一者,且所述人工智慧縮放器可被控制成使用濾波器的第一組合及濾波器的第二組合中的一者來處理經解碼的所述視訊訊號。
所述多個濾波器中的至少一個濾波器可屬於濾波器的所述第一組合及濾波器的所述第二組合,且可在第一人工智慧學習式過程與第二人工智慧學習式過程之間共享。
根據實施例,提供一種控制顯示器裝置的方法,所述方法包括:對視訊訊號進行解碼;以及藉由經由多個濾波器處理經解碼的視訊訊號來控制影像的解析度,所述多個濾波器被設置成使特定濾波器的輸出用作另一濾波器的輸入,所述控制所述影像的所述解析度包括:基於控制訊號來選擇性地接通或斷開所述多個濾波器中的每一者;由被接通的濾波器基於藉由學習而設定的參數來處理視訊訊號;以及由被斷開的濾波器對輸入視訊訊號進行旁通及輸出。
被接通的所述濾波器可包括多個濾波器,所述多個濾波器中的每一者是使用預定參數來設定,且所述控制所述影像的所述解析度可包括使經解碼的所述視訊訊號依序通過被接通的所述多個濾波器以控制所述影像的所述解析度。
所述方法可更包括儲存藉由先前實行學習而產生的查找表,且所述控制所述影像的所述解析度可包括:自視訊解碼器獲得視訊訊號的編解碼器資訊;以及基於所獲得的所述編解碼器資訊自所述查找表提取參數,且基於所提取的所述參數而將所述多個濾波器中的每一者設定成接通的。
所述控制所述影像的所述解析度可包括:由第一濾波器分析視訊訊號的影像特徵;以及由第二濾波器使用與所分析的影像特徵對應的參數進行設定以控制所述影像的所述解析度。
所述方法可更包括儲存根據影像的特徵藉由先前實行學習而產生的查找表,所述控制所述影像的所述解析度可包括:自所述查找表提取與藉由所述第一濾波器分析的影像特徵對應的參數;以及基於所提取的參數來設定第二濾波器。
所述控制所述影像的所述解析度可更包括:由第三濾波器對解析度是由第二濾波器控制的影像實行與雜訊減低或細節增強中的至少一者對應的後處理。
所述控制所述影像的所述解析度可包括:藉由所述多個濾波器中與第一人工智慧學習式過程對應的濾波器的第一組合來處理經解碼的所述視訊訊號,或者藉由所述多個濾波器中與第二人工智慧學習式過程對應的和第一組合不同的濾波器的第二組合來處理經解碼的所述視訊訊號。
所述控制所述影像的所述解析度可包括:基於配置控制訊號來控制所述多個濾波器中的每一者接通或斷開,所述配置控制訊號指示所述第一人工智慧學習式過程及所述第二人工智慧學習式過程中的一者,以使得所述人工智慧縮放器可使用濾波器的第一組合及濾波器的第二組合中的一者來處理經解碼的所述視訊訊號。
根據實施例,提供一種電腦程式產品,所述電腦程式產品包括:記憶體,被配置以儲存多個指令;以及處理器,其中當處理器執行所述指令時,對視訊訊號進行解碼,且藉由多個濾波器處理經解碼的視訊訊號來控制影像的解析度,所述多個濾波器被設置成使得特定濾波器的輸出用作另一濾波器的輸入,所述多個濾波器中的每一者基於控制訊號來選擇性地接通或斷開,所述視訊訊號是由被接通的濾波器基於藉由學習而設定的參數進行處理,且輸入視訊訊號是由被斷開的濾波器來旁通及輸出。
根據實施例,提供一種電腦可讀取非揮發性記錄媒體,所述電腦可讀取非揮發性記錄媒體記錄有可由顯示器裝置的處理器執行的方法的程式,所述方法包括:對視訊訊號進行解碼;以及藉由經由多個濾波器處理經解碼的視訊訊號來控制影像的解析度,所述多個濾波器被設置成使特定濾波器的輸出用作另一濾波器的輸入,所述控制所述影像的所述解析度包括:基於控制訊號來選擇性地接通或斷開所述多個濾波器中的每一者;由被接通的濾波器基於藉由學習而設定的參數來處理視訊訊號;以及由被斷開的濾波器對輸入視訊訊號進行旁通及輸出。
以下,將參考附圖詳細地闡述示例性實施例。在圖式中,相同編號或符號是指具有實質上相同功能的相同元件,且為清晰及方便闡述起見,每一元件的大小可被誇大。然而,在以下示例性實施例中示出的配置及功能不被視為限制本發明概念以及關鍵配置及功能。在以下說明中,若識別出關於公知的功能或特徵的細節可使本發明概念的主旨模糊不清,則將省略所述細節。
在以下示例性實施例中,用語'第一'、'第二'等僅用於區分各個元件,且除非上下文中另外提及,否則單數形式旨在包括複數形式。在以下示例性實施例中,將理解,用語'包括'、'包含'、'具有'等不排除一或多個其他特徵、數目、步驟、操作、元件、組件或其組合的存在或添加。另外,'模組'或'部分'可實行至少一種功能或操作,由硬體、軟體或硬體與軟體的組合來達成,且被整合至至少一個模組中。在本揭露中,多個元件中的至少一個元件不僅是指所有所述多個元件且是指除其他元件外的所述多個元件中的每一元件及其組合二者。
圖1是根據本揭露實施例的顯示器裝置的方塊圖,且圖2是根據本揭露實施例的顯示器裝置中對視訊訊號進行處理的詳細配置的方塊圖。
根據本揭露實施例的顯示器裝置100在預設過程下處理自外部訊號源,即影像源(未示出)提供的影像訊號,並基於經處理的影像訊號來顯示影像。
根據實施例,顯示器裝置100可包括電視(television,TV)或類似顯示器裝置,所述電視或類似顯示器裝置基於自廣播站的發射器接收的廣播訊號、廣播資訊或廣播資料中的至少一者來處理廣播影像。
顯示器裝置100可例如以無線方式接收射頻(radio frequency,RF)訊號,即來自廣播站的廣播訊號。為此,顯示器裝置100可包括天線及調諧器,所述天線被配置以接收廣播訊號,所述調諧器被配置以被調諧至與廣播訊號對應的通道。顯示器裝置100可藉由地面波、纜線、衛星等接收廣播訊號,且根據本揭露的訊號源不限於廣播站。換言之,本揭露的訊號源可包括能夠收發或中繼資料的任何裝置或站,如機上盒以及用於再現例如藍光光碟(Blu-ray disc,BD)、數位多功能光碟(digital versatile disc,DVD)等光碟的播放機。
顯示器裝置100中接收的訊號的標準可對應於所述裝置的類型而不同地給出,且影像訊號可例如藉由電線基於高清晰度多媒體介面(high definition multimedia interface,HDMI)、複合視訊、分量視訊、超級視訊、無線電及電視接收器製造商協會(Syndicat des Constructeurs d'Appareils Radiorécepteurs et Téléviseurs,SCART)、通用串列匯流排(universal serial bus,USB)等來接收。此外,顯示器裝置100可藉由無線通訊(例如無線保真(Wireless Fidelity,Wi-Fi)、無線保真直接連接(Wi-Fi direct)或藍芽)以無線方式接收影像訊號。
此外,顯示器裝置100可基於儲存於內部/外部儲存媒體中的訊號/資料來實行訊號處理,以在其上顯示移動影像、靜止影像、應用、螢幕上顯示(on-screen display,OSD)、用於各種操作控制的使用者介面(user interface,UI,在下文中亦被稱為圖形使用者介面(graphic user interface,GUI))等。
根據實施例,顯示器裝置100可用作智慧電視或網際網路協定(Internet protocol,IP)電視。智慧電視是指能夠即時地獲得並顯示廣播訊號的電視,具有網頁瀏覽功能,使得在即時顯示廣播訊號的同時,可藉由網際網路來搜索及消費各種內容,且為網頁瀏覽功能提供方便的使用者環境。此外,智慧電視包括開源軟體平台,因此向使用者提供交互式服務。因此,智慧電視可向使用者提供各種內容,例如,用於藉由開源軟體平台提供預定服務的應用。此種應用是指用於提供各種服務的應用程式,且可例如包括用於提供例如社交網路服務、金融、新聞、天氣、地圖、音樂、電影、遊戲、電子書等服務的應用。
然而,本揭露的顯示器裝置100不限於電視,且可例如包括各種裝置,例如膝上型或桌上型個人電腦(personal computer,PC)(或連接至電腦的監視器)等。
如圖1所示如圖1所示,根據本揭露實施例的顯示器裝置100包括訊號接收器110、通訊器120、視訊處理器130、顯示器140、使用者輸入接收器150、儲存器160及控制器170。
訊號接收器110自外部接收影像訊號(即,內容),並將所接收的影像訊號遞送至視訊處理器130。訊號接收器110可使用配備有數據機的無線電接收器以無線方式接收影像訊號。或者訊號可藉由如下所述的有線連接接收。所接收的訊號的標準可依據顯示器裝置100的類型而變化。例如,訊號接收器110可自廣播站(未示出)以無線方式接收射頻(RF)訊號,或者可藉由電線接收符合例如複合視訊、分量視訊、超級視訊、SCART、HDMI等標準的影像訊號。
訊號接收器110包括連接器111,顯示器裝置100藉由電線經由連接器111與外部影像源連接。根據實施例,連接器111與影像源之間的連接使用HDMI纜線,但連接標準不限於HDMI。
顯示器裝置100可自藉由電線經由連接器111連接的機上盒或類似影像源接收內容。連接器111基本上自影像源接收訊號,但可交互地發射及接收訊號。
連接器111可由包括資料輸入/輸出介面的通訊電路系統實施,其中通訊模組(軟體(software,S/W)模組、晶片等)、埠等對應於各種通訊協定進行組合。
根據實施例,藉由電線經由連接器111連接至顯示器裝置100的裝置是機上盒、個人電腦或類似影像源,但本揭露不限於此實施例。例如,根據替代實施例的顯示器裝置100可藉由電線經由連接器111與行動裝置連接。
根據實施例,訊號接收器110可包括調諧器,當影像訊號是廣播訊號時,調諧器被調諧至與廣播訊號對應的通道。
此外,影像訊號可自各種周邊裝置輸出。此外,影像訊號可基於藉由網際網路或類似網路接收的資料。在此種情況下,顯示器裝置100可藉由通訊器120(稍後闡述)接收影像訊號。
此外,影像訊號可基於儲存在例如快閃記憶體、硬碟驅動機(hard disk drive,HDD)等非揮發性儲存器160中的資料。儲存器160可設置在顯示器裝置100的內部或外部。在儲存器160設置在顯示器裝置100外部的情況下,儲存器160可藉由連接器111連接至顯示器裝置100。
根據實施例,訊號接收器110可接收視訊訊號作為內容,所述視訊訊號在訊號源即內容提供裝置的編碼終端處藉由人工智慧(AI)學習式過程而被編碼。
通訊器120被配置以藉由電線或以無線方式與至少一個外部裝置通訊。通訊器120包括有線及/或無線通訊模組。
通訊器120可由包括與各種通訊協定對應的通訊模組(S/W模組、晶片等)的通訊電路系統來實施。
根據實施例,通訊器120包括無線局部區域網路(wireless local area network,WLAN)單元。WLAN單元可將訊號遞送至至少一個裝置,所述至少一個裝置的目標在於在控制器170的控制下藉由存取點(access point,AP)進行控制。WLAN單元包括Wi-Fi通訊模組。
根據實施例,通訊器120包括用於短距離通訊的模組中的至少一者,例如藍芽、藍芽低能量、射頻通訊、Wi-Fi直接連接、Zigbee、超寬頻(ultrawideband,UWB)、近場通訊(near field communication,NFC)、紅外資料協會(infrared data association,IrDA)通訊等。短距離通訊模組被配置以以無線方式支援顯示器裝置100與至少一個裝置之間的直接通訊而無需存取點。
根據實施例,通訊器120可更包括有線通訊模組,例如乙太網路等。
根據本揭露實施例的顯示器裝置100的通訊器120可根據所需效能由WLAN單元、短距離通訊模組及有線通訊模組中的一者或者其中兩個的組合來實施。本文所使用的用語「實施例...是由...實施」包括「示例性實施例可基於...」的含義。
根據實施例,顯示器裝置100藉由通訊器120與至少一個外部裝置實行無線通訊。當顯示器裝置100直接實行與至少一個外部裝置的無線通訊時,儲存器160可被配置以儲存關於旨在進行通訊的裝置的識別資訊(例如,媒體存取控制(media access control,MAC)位址或網際網路協定(IP)位址)。
視訊處理器130對自訊號接收器110或通訊器120中的至少一者接收的影像訊號實行各種預設視訊/音訊處理。視訊處理器130將藉由此種影像處理過程產生或組合的訊號輸出至顯示器140,由此使得顯示器140基於影像訊號顯示影像。
如圖1所示,視訊處理器130包括視訊解碼器131及人工智慧縮放器133。
視訊解碼器131將影像訊號解碼成對應於顯示器裝置100的影像格式。視訊解碼器131可例如是H.264解碼器,但不限於此實例。換言之,根據本揭露實施例的視訊解碼器131可藉由符合各種壓縮標準的解碼器來實施,例如動畫專家群(moving picture experts group,MPEG)解碼器、高效視訊編解碼器(high efficiency video codec,HEVC)解碼器等。
人工智慧縮放器133根據顯示器140的輸出標準實行縮放以調整或轉換影像訊號。
在根據本揭露實施例的顯示器裝置100中,人工智慧縮放器133是由解析度增加模組(即,按比例放大模組)實施,以增加視訊(即,影像)的解析度。換言之,人工智慧縮放器133可藉由按比例放大自低解析度影像產生高解析度影像或超解析度影像。
根據實施例,由視訊解碼器131解碼的視訊訊號是由人工智慧縮放器133藉由人工智慧學習式過程來按比例放大。此處,人工智慧縮放器133可被配置以根據在訊號源(即內容提供裝置)的編碼終端處使用的人工智慧學習式過程來按比例放大視訊訊號。
具體而言,如圖2所示,人工智慧縮放器133可包括可以各種方式進行組合,即靈活組合的多個濾波器Filter 1、Filter 2、…、Filter M、Filter N,且藉由所述多個濾波器的組合來處理視訊訊號,由此調整視訊(或影像)的解析度。在圖2中,Filter 1至N是以串列排列示出,然後是「加法」功能區塊。加法具有兩個輸入:一者是由Filter N饋送,且一者是由Filter 1的輸出饋送。加法包括該些輸入的直接代數求和以產生輸出。
根據實施例,所述多個濾波器Filter 1、Filter 2、…、Filter N如上所述以串列方式排列成使得特定濾波器(例如Filter 1)的輸出用作另一濾波器(例如Filter 2)的輸入。總體而言,濾波器1至N及濾波器M形成用於處理視訊訊號的畫素資料路徑。
根據實施例,視訊處理器130可如圖2所示更包括預處理模組132以及後處理模組134,預處理模組132用於對自視訊解碼器131輸出的視訊訊號進行預處理以遞送至人工智慧縮放器133,後處理模組134用於對自人工智慧縮放器133輸出的視訊訊號進行後處理以提高影像品質。
根據實施例,預處理模組132、人工智慧縮放器133及後處理模組134被包括在作為改善影像的影像品質的配置的影像品質鏈C中。
根據本揭露的實施例,人工智慧縮放器133可被配置以藉由第一人工智慧學習式過程來處理視訊訊號,或者藉由與第一人工智慧學習式過程不同的第二人工智慧學習式過程來處理視訊訊號,由此控制視訊(或影像)的解析度。一般而言,視訊是指影像的時間序列。影像一般是指靜止影像。
此處,第一人工智慧學習式過程對應於基於機器學習(machine-learning,ML)的過程,且第二人工智慧學習式過程對應於基於深度神經網路(DNN)即深度學習的過程。DNN是機器學習的子集。
亦即,本揭露的態樣是提供一種顯示器裝置100、一種控制其的方法及其記錄媒體,其中基於機器學習或深度學習的影像解析度控制被選擇性地用於基於人工智慧學習來處理視訊訊號。
稍後將闡述第一人工智慧學習式過程及第二人工智慧學習式過程的詳細操作。
同時,由本揭露的視訊處理器130實行的處理的種類不受限制。例如,視訊處理器130可更包括至少一個模組,所述至少一個模組用於實行各種處理,例如用於將隔行型廣播訊號轉換成逐行型廣播訊號的去隔行、用於提高影像品質的雜訊減低、細節增強、訊框再新率轉換、行掃描等。
視訊處理器130可以一組各別元件即用於獨立地實行此種處理的模組的形式實施,或者可被實施為包括在整合有許多功能的主系統晶片(system-on-chip,SoC)中。主SoC可包括至少一個處理器(例如微處理器或中央處理單元(central processing unit,CPU))作為控制器170(稍後闡述)的實例。
根據實施例,視訊處理器130可由影像板實施,用於實行此種處理的各種晶片組、記憶體、電子部件、佈線及類似電路配置被安裝至印刷電路板(printed circuit board,PCB)。在此種情況下,顯示器裝置100可包括設置有調諧器、視訊處理器130及控制器170的單個影像板。當然,此僅為實例。作為另一選擇,調諧器、視訊處理器及控制器可設置於被連接以彼此通訊的多個印刷電路板上。
由視訊處理器130處理的影像訊號被輸出至顯示器140。顯示器140顯示與自視訊處理器130接收的影像訊號對應的影像。
根據實施例,顯示器140可顯示解析度被視訊處理器130的人工智能縮放器133按比例放大的高解析度影像。
顯示器140的類型不受限制。例如,顯示器140可藉由各種顯示器類型來達成,例如液晶、電漿、發光二極體、有機發光二極體、表面傳導電子發射器、碳奈米管、奈米晶體等。根據實施例,顯示器140包括用於顯示影像的顯示面板,且可更包括附加配置,例如根據類型的驅動器。
使用者輸入接收器150因應於使用者輸入而向控制器170發射各種預設控制命令或不受限制的資訊。
根據實施例,使用者輸入接收器150可向控制器170輸出配置控制訊號,使得人工智慧縮放器133可基於第一人工智慧學習式過程或第二人工智慧學習式過程中的任一者來操作。
使用者輸入接收器150可包括設置在顯示器裝置100的主體中的小鍵盤(或輸入面板),所述小鍵盤包括電源鍵、數字鍵、菜單鍵及類似按鈕。
根據實施例,使用者輸入裝置產生用於遠端控制顯示器裝置100的預設命令/資料/資訊/訊號,並將其發射至顯示器裝置100。一般而言,輸入裝置與顯示器裝置100分離。輸入裝置包括遠端控制器、鍵盤、滑鼠等。輸入裝置能夠接收使用者輸入並與使用者輸入接收器150進行通訊。
遠端控制器可包括用於接收使用者的觸摸輸入的觸摸感測器及/或用於偵測由使用者引起的其自身運動的運動感測器。輸入裝置可包括安裝有遠端控制應用的例如智慧型電話等終端,且在此種情況下,可藉由智慧型電話的觸摸螢幕來接收使用者的觸摸輸入。
輸入裝置包括在實行與顯示器裝置100的無線通訊的外部裝置中,且無線通訊可包括Wi-Fi、藍芽、紅外通訊、射頻通訊、WLAN、Wi-Fi直接連接等中的一或多者。
根據實施例,使用者輸入接收器150可更包括用於接收使用者發出的語音/聲音的語音輸入單元。語音輸入單元可由用於接收音訊訊號的麥克風來實施。
儲存器160可被配置以儲存顯示器裝置100的各種資料片。儲存器160可由非揮發性記憶體(或可寫記憶體)實施,即使顯示器裝置100斷電且鏡像改變,所述非揮發性記憶體亦可保留資料。儲存器160可以硬碟驅動機(HDD)、快閃記憶體、電可程式化唯讀記憶體(electrically programmable read only memory,EPROM)或電可抹除可程式化唯讀記憶體(electrically erasable and programmable ROM,EEPROM)中的至少一者來提供。
儲存器160可更包括揮發性記憶體,例如隨機存取記憶體(random access memory,RAM),且揮發性記憶體可包括顯示器裝置100的讀取或寫入速度較非揮發性記憶體的讀取或寫入速度快的動態隨機存取記憶體(dynamic RAM,DRAM)或靜態隨機存取記憶體(static RAM,SRAM)。換言之,本揭露中的用語'儲存器'被定義為不僅包括非揮發性記憶體,且亦包括揮發性記憶體、設置在控制器170中的快取記憶體、可藉由連接器111安裝至顯示器裝置100的記憶卡(例如,微SD卡、記憶棒等)。
儲存在儲存器160中的資料可例如不僅包括用於驅動顯示器裝置100的作業系統(operating system,OS),且亦包括可在作業系統上執行的各種應用、影像資料、附加資料等。
具體而言,儲存器160可被配置以儲存與元件在控制器170的控制下的操作對應的訊號或資料輸入/輸出。儲存器160可被配置以儲存用於控制顯示器裝置100的程式、與製造商提供或自外部下載的應用相關的使用者介面、用於提供使用者介面的影像、使用者資訊、文件、資料庫或相關資料。
根據實施例,儲存器160可被配置以儲存分別對應於第一人工智慧學習式過程及第二人工智慧學習式過程提供的查找表(look-up table,LUT)。
與第一人工智慧學習式過程對應的查找表包括第一查找表,在所述第一查找表中,將對應於影像的特徵作為第一人工智慧學習、即先前實行的機器學習結果產生的濾波器參數(以下被稱為「參數(parameters或parameter)」)製成表格。在實施第一人工智慧學習式過程後的運行時間期間,人工智慧縮放器133實行按比例放大以增加解析度。按比例放大包括自如上所述的由機器學習先前產生的第一查找表提取與輸入影像(基於視訊訊號)的特徵對應的參數集。在一些實施例中,機器學習包括使用有線電視新聞網路(cable news network,CNN)。
與第二人工智慧學習式過程對應的查找表包括第二查找表。第二查找表中的濾波器參數是根據第二人工智慧學習式過程而產生,即將先前實行的深度學習結果製成表格。在第二查找表中,將與影像的特徵無關地產生的參數製成表格。在實施第二人工智慧學習式過程後,人工智慧縮放器133實行按比例放大以增加解析度。按比例放大包括自如上所述的先前藉由深度學習產生的第二查找表提取參數集。
根據實施例,用於基於第二人工智慧學習式過程處理視訊訊號的人工智慧縮放器133可藉由自第二查找表提取與影像的編解碼器或壓縮特徵對應的濾波器參數集來實行按比例放大。
控制器170實行控制以操作顯示器裝置100的一般元件。此種控制操作。處理器170包括至少一個通用處理器,所述至少一個通用處理器將控制程式的至少一部分自安裝有控制程式的非揮發性記憶體加載至揮發性記憶體,且執行所加載的控制程式,並且可例如由中央處理單元、應用處理器(application processor,AP)或微處理器來實施。
控制器170可包括至少一個處理器,所述至少一個處理器具有單核心、雙核心、三核心、四核心或類似多核心中的一或多個核心。所述處理器可包括多個處理器,例如,主處理器及在睡眠模式中操作的子處理器(在睡眠模式期間,僅提供備用電力而不操作顯示器裝置)。此外,處理器、唯讀記憶體及隨機存取記憶體可藉由內部匯流排相互連接。
根據實施例,控制器170可更包括用於圖形處理的圖形處理單元(graphic processing unit,GPU)。
根據實施例,控制器170可被實施為包括在安裝至顯示器裝置100內部設置的印刷電路板的主SoC中。作為另一選擇,主SoC可更包括用於處理視訊訊號的視訊處理器130。
控制程式可包括由基本輸入/輸出系統(basic input/output system,BIOS)、裝置驅動器、作業系統、韌體、平台或應用中的至少一者達成的程式。根據示例性實施例,應用可在製造顯示器裝置100時,預先安裝或儲存在顯示器裝置100中,或者可在將來需要時,基於自外部接收的應用資料安裝在顯示器裝置100中。應用資料可例如自例如應用市場等外部伺服器下載至顯示器裝置100。此種外部伺服器僅是根據本揭露的電腦程式產品的實例,但不限於此。
根據實施例,控制器170的操作可藉由儲存在與顯示器裝置100分開設置的電腦程式產品(未示出)中的電腦程式來實施。
在此種情況下,電腦程式產品包括儲存與電腦程式對應的指令的記憶體、及處理器。所述指令由處理器執行並控制人工智慧縮放器133,以使得由濾波器的第一組合解碼的視訊訊號可基於第一人工智慧學習式過程來處理,且由與第一組合不同的濾波器的第二組合解碼的視訊訊號可基於第二人工智慧學習式過程來處理,由此實行控制器170的操作。
因此,顯示器裝置100可在其中下載儲存在單獨的電腦程式產品中的電腦程式,且執行所下載的電腦程式,由此實行控制器170的操作。
此外,根據實施例,控制器170的操作可由儲存在記錄媒體中的電腦可讀取程式來實施。程式,即儲存在記錄媒體中的資料可由控制器170直接存取及執行,或者經由由其中電腦系統彼此連接並執行的有線/無線網路實施的傳輸媒體下載至顯示器裝置100中,由此實施操作。
在根據本揭露實施例的顯示器裝置100中,如圖2所示,控制器170可包括配置控制模組171、查找表控制模組173及參數提取模組174。根據實施例,控制器170可更包括編解碼器分析模組172。
根據實施例,配置控制模組171、編解碼器分析模組172、查找表控制模組173及參數提取模組174被配置以形成用於配置濾波器及產生參數的控制路徑。一般而言,在濾波器Filter 1、…、Filter N及Filter M中使用的權重被稱為一或多個參數。一般而言,用語參數可理解為多個。
控制器170中涉及的前述元件171、172、173及174中的至少一者可藉由如上所述的硬體模組或電腦程式來實施。在下文中,將理解,用於人工智慧學習式過程的人工智慧縮放器133的控制操作是由顯示器裝置100的控制器170實施。
以下,將參考附圖詳細闡述基於根據本揭露的實施例實行的人工智慧學習式過程的解析度按比例放大過程。
圖3至圖6是用於闡釋根據本揭露實施例的人工智慧學習式過程的圖。
如圖3所示,顯示器裝置100的視訊解碼器131對藉由訊號接收器110接收的視訊訊號進行解碼(200)。
在操作200中解碼的視訊訊號由人工智慧縮放器133的所述多個濾波器中與第一人工智慧學習式過程對應的濾波器的第一組合進行處理(201),或者由人工智慧縮放器133的所述多個濾波器中與第二人工智慧學習式過程對應的和第一組合不同的濾波器的第二組合進行處理(202)。
參考圖2及圖4,顯示器裝置100中的控制器170的配置控制模組171接收配置控制訊號(301)。
配置控制訊號是指外部輸入訊號,其可例如因應於使用者藉由使用者輸入接收器150作出的選擇而被輸入至配置控制模組171,或者因應於藉由通訊器120自外部裝置接收的訊號而被輸入至配置控制模組171。
作為另一選擇,配置控制訊號可因應於預定事件的發生而在顯示器裝置100中自動產生。
根據實施例,可在顯示器裝置100第一次製造或安裝時識別配置控制訊號。
控制器170可識別所接收的配置控制訊號,且基於識別結果來選擇人工智慧縮放器133的操作模式以對應於第一人工智慧學習式過程或第二人工智慧學習式過程中的任一者(302)。
配置控制訊號指示人工智慧縮放器133的操作模式。具體而言,配置控制訊號可指示影像分析模式及DNN模式中的一者,在影像分析模式中,人工智慧縮放器133基於第一人工智慧學習式過程(即,機器學習技術)進行操作,在DNN模式中,人工智慧縮放器133基於第二人工智慧學習式過程(即,DNN(或深度學習)技術)進行操作。
人工智慧縮放器133因應於如上所述所接收的配置控制訊號,在影像分析模式或DNN模式中的任一者中操作。人工智慧縮放器133包括可以各種方式加以組合的所述多個濾波器。
根據實施例,人工智慧縮放器133藉由根據操作模式而不同的濾波器的組合來處理視訊訊號。
換言之,在影像分析模式中操作的人工智慧縮放器133採用濾波器的第一組合來處理視訊訊號,且在DNN模式中操作的人工智慧縮放器133採用濾波器的第二組合來處理視訊訊號。
根據實施例,人工智慧縮放器133的所述多個濾波器中的至少一個濾波器可在影像分析模式與DNN模式之間共享。例如,圖2所示的第一濾波器Filter 1及第二濾波器Filter 2可屬於濾波器的第一組合及濾波器的第二組合二者。
在影像分析模式中,濾波器的第一組合是基於藉由先前實行第一人工智慧學習式過程產生的資料(即,濾波器參數)而進行獨立地控制。此處,對應於視訊訊號(或影像)的特徵,給出基於第一人工智慧學習式過程的濾波器參數,因此第一人工智慧學習式過程可基於機器學習進行設計。
在DNN模式中,濾波器的第二組合是基於藉由先前實行第二人工智慧學習式過程產生的資料(即,濾波器參數)而進行獨立地控制。此處,與視訊訊號(或影像)的特徵無關地給出基於第二人工智慧學習式過程的濾波器參數,因此第二人工智慧學習式過程可基於深度學習進行設計。
如圖2所示,配置控制模組171基於輸入配置控制訊號輸出濾波器控制訊號,以用於選擇性地接通或斷開所述多個濾波器Filter 1、Filter 2、…、Filter M、Filter N的每一操作,使得人工智慧縮放器133可配置與其操作模式對應的濾波器層。
此外,輸入至配置控制模組171的配置控制訊號被發射至查找表控制模組173及參數提取模組174,由此為形成每一層的濾波器設定操作參數。
查找表控制模組173可因應於配置控制訊號對應於操作模式來選擇設置在儲存器160中的第一查找表及第二查找表中的一者。
參數提取模組174自被選擇的查找表提取濾波器參數,且將參數資訊輸出至所述多個濾波器Filter 1、Filter 2、…、Filter M、Filter N中的每一者。此處,參數提取模組174可選擇性地將參數資訊輸出至所述多個濾波器中被濾波器控制訊號接通的濾波器。
參考圖4,當輸入配置控制訊號指示影像分析模式時,換言之,當在操作302中識別出輸入配置控制訊號不指示DNN模式時,基於自配置控制模組171輸出的濾波器控制訊號而將濾波器層配置為包括影像分析單元的濾波器的第一組合,且基於自參數提取模組174輸出的參數資訊而自查找表加載參數集(303)。
在如上所述配置的濾波器的第一組合中,特定濾波器(例如,第一濾波器Filter 1)用作用於分析影像(即,視訊訊號)的特徵的影像分析單元,且影像分析單元Filter 1的影像分析結果被輸出至查找表控制模組173,使得參數提取模組174可自查找表加載與所分析的影像的特徵對應的參數集。
此外,將濾波器控制訊號,即所述多個濾波器Filter 1、Filter 2、…、Filter M、Filter N的通/斷訊號及所加載的參數資訊輸出至每一濾波器(304)。
另一方面,當在操作302中識別出輸入配置控制訊號指示DNN模式時,基於自配置控制模組171輸出的濾波器控制訊號而將濾波器層配置為濾波器的第二組合,且基於自參數提取模組174輸出的參數資訊而自查找表加載參數集(305)。
此處,當人工智慧縮放器133在DNN模式中操作時,編解碼器分析模組172可自視訊解碼器131獲得待處理的視訊訊號的編解碼器資訊。將編解碼器分析模組172的編解碼器分析結果輸出至查找表控制模組173,使得可在參數提取模組174中自查找表產生與分析編解碼器對應的參數集。
此外,將濾波器控制訊號,即所述多個濾波器Filter 1、Filter 2、…、Filter M、Filter N的通/斷訊號及所加載的參數資訊輸出至每一濾波器(306)。
在前述程序中,下面將參考圖5闡述查找表控制模組173的操作。
當人工智慧縮放器133在影像分析模式中操作時,所述多個濾波器Filter 1、Filter 2、…、Filter M、Filter N中的一者用作影像分析單元,且如圖5所示,自影像分析單元輸出影像分析資訊(401)。
查找表控制模組173基於在操作401中輸出的影像分析資訊,自查找表加載與所分析的影像的特徵對應的參數集(402)。此處,查找表控制模組173可基於由配置控制訊號指示的模式資訊,選擇性地自先前對應於影像分析模式提供的第一查找表加載與所分析的影像的特徵對應的參數集。
此外,自加載的參數集提取待應用於每一濾波器的參數(403),且將提取的參數輸出至對應的濾波器(404)。
另一方面,當人工智慧縮放器133在DNN模式中操作時,如圖5所示,自編解碼器分析模組172輸出編解碼器資訊(405)。此處,編解碼器資訊包括編解碼器類型或壓縮率中的至少一者。
具體而言,編解碼器分析模組172可基於自視訊解碼器131獲得的編解碼器元資訊,而根據編解碼器類型或壓縮率產生資訊,且將產生的資訊輸出至查找表控制模組173。例如,編解碼器分析模組172可基於指示編解碼器類型及壓縮率的量化參數(quantization parameter,QP)來產生用於選擇查找表的資訊。
查找表控制模組173基於在操作401中輸出的編解碼器資訊,自查找表產生與編解碼器對應的參數集(406)。此處,查找表控制模組173可基於關於由配置控制訊號指示的模式的資訊,自先前對應於DNN模式提供的第二查找表產生與所識別編解碼器對應的參數集。
此外,自產生的參數集提取待應用於每一濾波器的參數(403),且將提取的參數輸出至對應的濾波器(404)。
在前述程序中,下面將參考圖6闡述輸出濾波器控制訊號的操作。
如參考圖4及圖5所述,當配置控制模組171基於配置控制訊號產生待輸出至所述多個濾波器Filter 1、Filter 2、…、Filter M、Filter N中的每一者的濾波器控制訊號時,識別接通還是斷開每一濾波器,且當參數提取模組174自查找表提取濾波器參數時,對所述多個濾波器Filter 1、Filter 2、…、Filter M、Filter N中的每一者的參數進行設定(501)。
此外,輸出每一濾波器,即濾波器層的每一通道的通/斷訊號及操作501中的參數(502)。接收斷訊號的濾波器在旁通模式中操作。
根據本揭露的實施例,藉由前述程序,人工智慧縮放器133被配置有所述多個濾波器,所述多個濾波器對應於基於第一人工智慧學習式過程(即,機器學習)操作的影像分析模式及基於第二人工智慧學習式過程(即,深度學習)操作的DNN模式中的一者而加以組合。
圖7是根據本揭露實施例的人工智慧縮放器的方塊圖,所述人工智慧縮放器包括用於第一人工智慧學習式過程的濾波器的第一組合,且圖8是根據本揭露實施例的人工智慧縮放器的方塊圖,所述人工智慧縮放器包括用於第二人工智慧學習式過程的濾波器的第二組合。
如圖7所示,在包括用於第一人工智慧學習式過程的濾波器的第一組合的人工智慧縮放器133中,所述多個濾波器Filter 1、Filter 2、…、Filter M、Filter N中的一者,換言之,第一濾波器Filter 1用作影像分析單元,且另一者、即第二濾波器Filter 2用於產生解析度被按比例放大的高解析度影像。
自影像分析單元Filter 1輸出的影像分析結果被輸入至查找表控制模組173,且查找表控制模組173自第一查找表讀取與所分析的影像的特徵對應的參數,使得參數提取模組174可將對應的參數輸出至第二濾波器Filter 2。
第二濾波器Filter 2可例如藉由基於提取的參數進行內插而產生高解析度影像。
如圖8所示,包括用於第二人工智慧學習式過程的濾波器的第二組合的人工智慧縮放器133具有被配置為多層的多濾波器式結構。
在包括濾波器的第二組合的人工智慧縮放器133中,濾波器Filter 1、Filter 2、…、Filter M、Filter N中的每一者是使用自先前由DNN(或深度學習)式訓練產生的第二查找表提取的參數進行設定。低解析度輸入影像,即視訊訊號,在被藉由對應參數設定的所述多個濾波器Filter 1、Filter 2、…、Filter M、Filter N處理時,被自動按比例放大成高解析度影像。
如上所述,在包括濾波器的第二組合的人工智慧縮放器133中,為每一各別濾波器設定參數,使得多個層可被獨立地控制。
根據實施例,當控制器170更包括編解碼器分析模組172時,可基於自視訊解碼器131獲得的編解碼器資訊,使用與編解碼器對應的參數對濾波器Filter 1、Filter 2、…、Filter M、Filter N中的每一者進行設定。
根據本揭露的實施例,顯示器裝置100利用編解碼器資訊為每一濾波器Filter 1、Filter 2、…、Filter M、Filter N設定參數,且因此有利的是在對均勻影像壓縮特徵進行鏡像的同時根據編解碼器類型、壓縮率等按比例放大解析度。
下面,將參考附圖闡述配置有濾波器的第一組合或濾波器的第二組合的人工智慧縮放器133中的每一濾波器的詳細操作。
圖9及圖10是用於闡釋濾波器在DNN模式中操作的圖。
如圖9所示,DNN模式中的每一濾波器包括捲積濾波器601及非線性函數602。
根據實施例,1×1至N×N的各種捲積濾波器601是可能的,且可例如以1×1、3×3及5×5濾波器的形式給出。作為另一選擇,捲積濾波器601可配置有M個通道(CH)。
捲積濾波器601包括暫存器及捲積算子,在所述暫存器中儲存有自外部輸入及設定的參數(例如,權重參數)。捲積算子可藉由將自暫存器讀取的參數乘以輸入影像資料X0、X1、X2 … Xn,並將乘法結果相加來實行捲積運算。
如圖10所示,非線性函數602可採用各種非線性函數701及702。
如圖9所示,包括捲積濾波器601及非線性函數602的每一濾波器接收其解析度按比例放大的影像資料並輸出所述影像資料,同時基於捲積神經網路(convolutional neural network,CNN)演算法進行操作。低解析度影像,即輸入視訊訊號在通過每一濾波器時將其解析度調整成按比例放大,且因此被產生為高解析度影像。
圖11及圖12是用於闡釋濾波器在影像分析模式中操作的圖。
圖11示出用作影像分析單元的濾波器(例如,圖7所示第一濾波器Filter 1)的操作。
如圖11所示,當濾波器實施影像分析功能時,將輸入影像資料乘以N×N的捲積濾波器,由此獲得輸出資料(801)。將所獲得的輸出資料作為影像分析結果輸出至查找表控制模組173。作為另一選擇,捲積濾波器可包括M個通道CH。
當特定濾波器實行影像分析功能時,下一過程,即非線性函數不工作,且對輸入影像資料進行旁通(802)。因此,輸入影像資料跳過濾波器被輸出,且因此藉由下一濾波器(例如,圖7的第二濾波器Filter 2)進行調整。
圖12示出用於增加解析度(即,按比例放大)的濾波器(例如,圖7所示的第二濾波器Filter 2)的操作。
如圖12所示,用於實行按比例放大的濾波器(例如,圖7所示的第二濾波器Filter 2)如同參考圖9闡述的DNN模式中的濾波器那樣操作。換言之,濾波器接收影像資料且輸出經處理的影像資料,使得低解析度影像,即視訊訊號可被產生為解析度被按比例放大的高解析度影像。
同時,根據本揭露的另一實施例,當人工智慧縮放器133在影像分析模式中操作時,可採用未使用的濾波器中的至少一者來實行後處理。
圖13是示出根據本揭露另一實施例的顯示器裝置中對視訊訊號進行處理的詳細配置的方塊圖。
如圖13所示,人工智慧縮放器133的所述多個濾波器Filter 1、Filter 2、…、Filter M、Filter N中的濾波器的第三組合可用於處理視訊訊號。
濾波器的第三組合可藉由向圖7所示濾波器的第一組合添加用於後處理的一或多個濾波器來達成。
具體而言,在濾波器的第三組合中,特定濾波器(例如第一濾波器Filter 1)用作分析影像、即視訊訊號的特徵的影像分析單元,而另一濾波器(例如第二濾波器Filter 2)用於產生其解析度被調整成按比例放大的高解析度影像。此外,如圖13所示,例如,除Filter 1及Filter 2外的所述多個濾波器…、Filter M、Filter N中的至少一者(例如,第N濾波器Filter N)可實施後處理以提高影像的影像品質。
此處,後處理包括用於雜訊減低、細節增強等以提高影像品質的各種處理,且後處理的種類不受限制。
根據實施例,前述第N濾波器Filter N被配置為實際上實行圖2所示的後處理模組134的至少一部分功能。
在根據本揭露的此實施例的顯示器裝置100中,在後處理中採用人工智慧縮放器133的可進行各種組合的所述多個濾波器中不在影像分析模式中使用的濾波器,即未使用的資源,由此提高資源利用率且對提高影像的影像品質產生影響。
如上所述,根據本揭露提供一種顯示器裝置及一種控制其的方法,其中人工智慧縮放器包括多個濾波器,所述多個濾波器可進行各種組合,使得可選擇性地實施基於機器學習過程的解析度控制及基於深度學習過程的解析度控制。
此外,根據本揭露提供一種顯示器裝置及一種控制其的方法,其中每一濾波器的參數是基於編解碼器資訊進行設定,由此在對均勻影像壓縮特徵進行鏡像的同時根據編解碼器類型、壓縮率等控制解析度。
此外,根據本揭露提供一種顯示器裝置及一種控制其的方法,其中未使用的濾波器用於實行後處理來達成影像品質增強,由此提高未使用的資源的資源利用率,並對增強影像的影像品質產生影響。
儘管已示出並闡述了幾個示例性實施,然而熟習此項技術者將理解在不背離本文所提供的實施例的原理及精神條件下可在該些示例性實施例中作出變化,本文所提供的實施例的範圍是在隨附申請專利範圍及其等效範圍中界定。
100:顯示器裝置
110:訊號接收器
111:連接器
120:通訊器
130:視訊處理器
131:視訊解碼器
132:預處理模組
133:人工智慧縮放器
134:後處理模組
140:顯示器
150:使用者輸入接收器
160:儲存器
170:控制器
171:配置控制模組/元件
172:編解碼器分析模組/元件
173:查找表控制模組/元件
174:參數提取模組/元件
200、301、302、303、304、305、306、401、402、403、404、405、406、501、502、801、802:操作
201:第一人工智慧學習式過程
202:第二人工智慧學習式過程
601:捲積濾波器
602:非線性函數
701、702:非線性函數
C:影像品質鏈
CH:通道
Filter 1:濾波器/第一濾波器
Filter 2:濾波器/第二濾波器
Filter M:濾波器
Filter N:濾波器/第N濾波器
以上及/或態樣將藉由以下結合附圖對示例性實施例的說明而變得顯而易見且更易於理解,在附圖中:
圖1是根據本揭露實施例的顯示器裝置的方塊圖。
圖2是根據本揭露實施例的顯示器裝置中對視訊訊號進行處理的詳細配置的方塊圖。
圖3、圖4、圖5及圖6是用於闡釋根據本揭露實施例的人工智慧(AI)學習式過程的圖。
圖7是根據本揭露實施例的人工智慧縮放器的方塊圖,所述人工智慧縮放器包括用於第一人工智慧學習式過程的濾波器的第一組合。
圖8是根據本揭露實施例的人工智慧縮放器的方塊圖,所述人工智慧縮放器包括用於第二人工智慧學習式過程的濾波器的第二組合。
圖9及圖10是用於闡釋濾波器在深度神經網路(deep neural network,DNN)模式中操作的圖。
圖11及圖12是用於闡釋濾波器在影像分析模式中操作的圖。
圖13是示出根據本揭露另一實施例的顯示器裝置中對視訊訊號進行處理的詳細配置的方塊圖。
100:顯示器裝置
110:訊號接收器
111:連接器
120:通訊器
130:視訊處理器
131:視訊解碼器
133:人工智慧縮放器
140:顯示器
150:使用者輸入接收器
160:儲存器
170:控制器
Claims (15)
- 一種顯示器裝置,包括: 視訊解碼器,被配置以對視訊訊號進行解碼; 人工智慧(AI)縮放器,其中所述人工智慧縮放器包括多個濾波器,且其中所述人工智慧縮放器被配置以處理經解碼的所述視訊訊號;以及 控制器,被配置以藉由基於控制訊號選擇性地接通及斷開多個濾波器中的每一濾波器來控制影像的解析度,其中所述多個濾波器中的被選擇的濾波器被所述控制訊號接通且所述多個濾波器中的未被選擇的濾波器被所述控制訊號斷開, 其中所述被選擇的濾波器基於被接通而被配置以基於一或多個第一參數來處理所述視訊訊號,其中所述一或多個第一參數是基於學習,且其中所述學習包括藉由訓練而達成所述一或多個第一參數,且 其中所述未被選擇的濾波器基於被斷開而被配置以對被輸入至所述未被選擇的濾波器的訊號進行旁通及輸出。
- 如申請專利範圍第1項所述的顯示器裝置,更包括儲存器,其中所述儲存器被配置以儲存查找表,其中所述查找表已藉由實行所述學習而產生,且 其中所述控制器更被配置以基於自所述查找表提取的所述一或多個第一參數而設定所述被選擇的濾波器。
- 如申請專利範圍第1項所述的顯示器裝置,其中: 所述被選擇的濾波器包括第二多個濾波器,其中所述第二多個濾波器中的每一濾波器是使用一或多個第二參數進行設定,且 所述人工智慧縮放器被配置以使經解碼的所述視訊訊號依序通過所述第二多個濾波器。
- 如申請專利範圍第2項所述的顯示器裝置,其中所述控制器更被配置以: 自所述視訊解碼器獲得所述視訊訊號的編解碼器資訊, 基於所述編解碼器資訊,自所述查找表提取所述一或多個第一參數,以及 基於所述一或多個第一參數來設定所述被選擇的濾波器。
- 如申請專利範圍第2項所述的顯示器裝置,其中所述控制器更被配置以: 使所述人工智慧縮放器: 藉由第一濾波器分析所述視訊訊號的影像特徵,以及 藉由第二濾波器處理經解碼的所述視訊訊號,其中所述第二濾波器是使用與所分析的所述影像特徵對應的第三參數來設定,其中所述被選擇的濾波器包括所述第二濾波器,且其中所述一或多個第一參數包括所述第三參數。
- 如申請專利範圍第5項所述的顯示器裝置,其中: 所述查找表是基於所述學習且其中所述學習是基於影像的特徵,且 其中所述查找表被配置以儲存所述第三參數。
- 如申請專利範圍第5項所述的顯示器裝置,其中所述被選擇的濾波器包括第三濾波器,其中所述第三濾波器被配置以對所述影像實行後處理,其中所述後處理對應於雜訊減低及細節增強中的至少一者。
- 如申請專利範圍第1項至第7項中任一項所述的顯示器裝置,其中所述一或多個第一參數是基於第一人工智慧學習式過程,或者所述一或多個第一參數是基於第二人工智慧學習式過程。
- 如申請專利範圍第8項所述的顯示器裝置,其中所述多個濾波器中的每一者基於配置控制訊號而被控制為接通或斷開,所述配置控制訊號指示所述第一人工智慧學習式過程及所述第二人工智慧學習式過程中的一者,且所述人工智慧縮放器被控制成使用濾波器的第一組合及濾波器的第二組合中的一者來處理經解碼的所述視訊訊號。
- 一種控制顯示器裝置的方法,包括: 對視訊訊號進行解碼;以及 藉由以下方式控制影像的解析度: 基於控制訊號而選擇性地接通或斷開多個濾波器中的每一濾波器,其中所述多個濾波器中的被選擇的濾波器被所述控制訊號接通且所述多個濾波器中的未被選擇的濾波器被所述控制訊號斷開,以及 藉由所述多個濾波器處理經解碼的所述視訊訊號, 其中所述被選擇的濾波器基於被接通而被配置以基於一或多個第一參數來處理所述視訊訊號,其中所述一或多個第一參數是基於學習,且其中所述學習包括藉由訓練而達成所述一或多個第一參數,且 其中所述未被選擇的濾波器基於被斷開而被配置以對被輸入至所述未被選擇的濾波器的訊號進行旁通及輸出。
- 如申請專利範圍第10項所述的方法,其中: 所述被選擇的濾波器包括第二多個濾波器,其中所述第二多個濾波器中的每一濾波器是使用一或多個第二參數進行設定,且 所述控制所述影像的所述解析度更包括使經解碼的所述視訊訊號依序通過所述第二多個濾波器。
- 如申請專利範圍第11項所述的方法,更包括儲存第一查找表,其中所述第一查找表已藉由實行所述學習而產生, 其中所述控制所述影像的所述解析度更包括: 自視訊解碼器獲得所述視訊訊號的編解碼器資訊, 基於所述編解碼器資訊而自所述第一查找表提取所述一或多個第一參數,以及 基於所述一或多個第一參數而設定所述被選擇的濾波器。
- 如申請專利範圍第10項所述的方法,其中所述控制所述影像的所述解析度更包括:藉由第一濾波器分析所述視訊訊號的影像特徵,其中所述處理經解碼的所述視訊訊號更包括藉由第二濾波器處理經解碼的所述視訊訊號,其中所述第二濾波器是使用與所分析的所述影像特徵對應的第三參數來設定,其中所述被選擇的濾波器包括所述第二濾波器,且其中所述一或多個第一參數包括所述第三參數。
- 如申請專利範圍第13項所述的方法,更包括: 儲存第二查找表,其中所述第二查找表是基於所述學習且其中所述學習是基於影像的特徵, 其中所述控制所述影像的所述解析度更包括自所述第二查找表提取所述第三參數。
- 如申請專利範圍第13項所述的方法,更包括:藉由第三濾波器對所述影像實行後處理,其中所述後處理對應於雜訊減低及細節增強中的至少一者。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0138373 | 2018-11-12 | ||
KR1020180138373A KR102622950B1 (ko) | 2018-11-12 | 2018-11-12 | 디스플레이장치, 그 제어방법 및 기록매체 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202025090A true TW202025090A (zh) | 2020-07-01 |
Family
ID=68468557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108140585A TW202025090A (zh) | 2018-11-12 | 2019-11-08 | 顯示器裝置以及控制其的方法 |
Country Status (8)
Country | Link |
---|---|
US (3) | US11265564B2 (zh) |
EP (1) | EP3651462A1 (zh) |
JP (1) | JP7214845B2 (zh) |
KR (1) | KR102622950B1 (zh) |
CN (1) | CN111179163A (zh) |
AU (1) | AU2019381040B2 (zh) |
TW (1) | TW202025090A (zh) |
WO (1) | WO2020101257A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI806258B (zh) * | 2021-11-25 | 2023-06-21 | 宏碁股份有限公司 | 電子裝置及其操作方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11570397B2 (en) * | 2020-07-10 | 2023-01-31 | Disney Enterprises, Inc. | Deinterlacing via deep learning |
CN116194957A (zh) * | 2020-09-28 | 2023-05-30 | 现代自动车株式会社 | 基于可变系数深度学习的帧间预测方法 |
US20220188629A1 (en) * | 2020-12-15 | 2022-06-16 | International Business Machines Corporation | Superresolution and consistency constraints to scale up deep learning models |
KR20220102246A (ko) * | 2021-01-13 | 2022-07-20 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
TWI824289B (zh) * | 2021-02-08 | 2023-12-01 | 明俐科技有限公司 | 影像處理演算法的測試系統及測試方法 |
US11979565B2 (en) * | 2021-05-27 | 2024-05-07 | Tencent America LLC | Content-adaptive online training method and apparatus for post-filtering |
CN115984675B (zh) * | 2022-12-01 | 2023-10-13 | 扬州万方科技股份有限公司 | 一种用于实现多路视频解码及ai智能分析的***及方法 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7630576B2 (en) * | 2004-02-19 | 2009-12-08 | Sony Corporation | Signal processing apparatus and method, and command-sequence data structure |
US8189111B2 (en) * | 2005-06-08 | 2012-05-29 | Thomson Licensing | Apparatus and method for image processing in spatial light modulated display systems |
US7738739B2 (en) * | 2006-01-26 | 2010-06-15 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Method and apparatus for adjusting the resolution of a digital image |
US8582666B2 (en) * | 2006-12-18 | 2013-11-12 | Koninklijke Philips N.V. | Image compression and decompression |
US8073282B2 (en) | 2007-07-23 | 2011-12-06 | Qualcomm Incorporated | Scaling filter for video sharpening |
CA2638465A1 (en) * | 2007-08-01 | 2009-02-01 | Jean-Yves Chouinard | Learning filters for enhancing the quality of block coded still and video images |
JP2009151896A (ja) | 2007-12-21 | 2009-07-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
JP4140662B2 (ja) * | 2008-03-10 | 2008-08-27 | ソニー株式会社 | 係数種データ生成装置および係数データ生成装置 |
US10123050B2 (en) * | 2008-07-11 | 2018-11-06 | Qualcomm Incorporated | Filtering video data using a plurality of filters |
JP5366855B2 (ja) * | 2010-02-16 | 2013-12-11 | 富士フイルム株式会社 | 画像処理方法及び装置並びにプログラム |
US8964852B2 (en) * | 2011-02-23 | 2015-02-24 | Qualcomm Incorporated | Multi-metric filtering |
US20140067739A1 (en) * | 2012-08-29 | 2014-03-06 | Bae Systems Information And Electronics Systems Integration Inc. | Reduction or elimination of training for adaptive filters and neural networks through look-up table |
KR101653039B1 (ko) * | 2014-05-22 | 2016-09-12 | 주식회사 칩스앤미디어 | 복호화 정보를 이용한 해상도 변환 장치 및 그 방법 |
GB2539845B (en) * | 2015-02-19 | 2017-07-12 | Magic Pony Tech Ltd | Offline training of hierarchical algorithms |
GB201603144D0 (en) * | 2016-02-23 | 2016-04-06 | Magic Pony Technology Ltd | Training end-to-end video processes |
US20160321523A1 (en) * | 2015-04-30 | 2016-11-03 | The Regents Of The University Of California | Using machine learning to filter monte carlo noise from images |
KR20180009048A (ko) * | 2015-06-16 | 2018-01-25 | 엘지전자 주식회사 | 영상의 부호화/복호화 방법 및 이를 위한 장치 |
JP6715467B2 (ja) * | 2015-07-01 | 2020-07-01 | パナソニックIpマネジメント株式会社 | 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置 |
CN107925762B (zh) * | 2015-09-03 | 2020-11-27 | 联发科技股份有限公司 | 基于神经网络的视频编解码处理方法和装置 |
US10648924B2 (en) * | 2016-01-04 | 2020-05-12 | Kla-Tencor Corp. | Generating high resolution images from low resolution images for semiconductor applications |
JPWO2017191749A1 (ja) | 2016-05-02 | 2019-03-07 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
EP3471414A4 (en) * | 2016-05-02 | 2021-04-21 | Sony Corporation | ENCRYPTION DEVICE AND ENCRYPTION METHOD, AND DECCRYPTION DEVICE AND DECryption METHOD |
CA3048382A1 (en) * | 2017-01-12 | 2018-07-19 | Sony Corporation | Image processing apparatus and image processing method |
KR20180089939A (ko) * | 2017-02-01 | 2018-08-10 | 삼성전자주식회사 | 비디오 코딩 모듈 및 그것의 동작 방법 |
US20210297687A1 (en) | 2017-03-15 | 2021-09-23 | Sony Corporation | Encoding apparatus, encoding method, decoding apparatus, and decoding method |
JP6994868B2 (ja) * | 2017-08-09 | 2022-01-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法、および復号方法 |
US10979718B2 (en) * | 2017-09-01 | 2021-04-13 | Apple Inc. | Machine learning video processing systems and methods |
US10986340B2 (en) * | 2018-06-01 | 2021-04-20 | Qualcomm Incorporated | Coding adaptive multiple transform information for video coding |
-
2018
- 2018-11-12 KR KR1020180138373A patent/KR102622950B1/ko active IP Right Grant
-
2019
- 2019-11-04 EP EP19207013.4A patent/EP3651462A1/en not_active Ceased
- 2019-11-07 WO PCT/KR2019/015016 patent/WO2020101257A1/en active Application Filing
- 2019-11-07 JP JP2021513901A patent/JP7214845B2/ja active Active
- 2019-11-07 AU AU2019381040A patent/AU2019381040B2/en not_active Ceased
- 2019-11-08 TW TW108140585A patent/TW202025090A/zh unknown
- 2019-11-11 CN CN201911098874.4A patent/CN111179163A/zh active Pending
- 2019-11-12 US US16/680,974 patent/US11265564B2/en active Active
-
2022
- 2022-02-14 US US17/671,070 patent/US11968382B2/en active Active
-
2024
- 2024-04-02 US US18/624,714 patent/US20240251094A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI806258B (zh) * | 2021-11-25 | 2023-06-21 | 宏碁股份有限公司 | 電子裝置及其操作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111179163A (zh) | 2020-05-19 |
KR20200054720A (ko) | 2020-05-20 |
US20200154123A1 (en) | 2020-05-14 |
KR102622950B1 (ko) | 2024-01-10 |
US20220166996A1 (en) | 2022-05-26 |
US11968382B2 (en) | 2024-04-23 |
US11265564B2 (en) | 2022-03-01 |
US20240251094A1 (en) | 2024-07-25 |
EP3651462A1 (en) | 2020-05-13 |
AU2019381040B2 (en) | 2022-03-10 |
AU2019381040A1 (en) | 2021-04-08 |
JP2022511310A (ja) | 2022-01-31 |
WO2020101257A1 (en) | 2020-05-22 |
JP7214845B2 (ja) | 2023-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11968382B2 (en) | Display apparatus and method of controlling the same | |
US11727951B2 (en) | Display apparatus, voice acquiring apparatus and voice recognition method thereof | |
CN115145529B (zh) | 语音控制设备的方法及电子设备 | |
KR102542788B1 (ko) | 전자장치, 그 제어방법 및 컴퓨터프로그램제품 | |
US11308650B2 (en) | Display apparatus, image providing apparatus, and methods of controlling the same | |
US12039693B2 (en) | Apparatus and method of controlling the same | |
US11373659B2 (en) | Display apparatus and method of controlling the same | |
KR20210025812A (ko) | 전자장치, 디스플레이장치 및 그 제어방법 | |
US11303958B2 (en) | Display device and image display method of the same | |
US11930236B2 (en) | Content playback device using voice assistant service and operation method thereof | |
EP3859517A1 (en) | Electronic apparatus and method of controlling the same | |
KR20210093605A (ko) | 디스플레이 장치 및 그 동작 방법 | |
US20200413150A1 (en) | Display apparatus and the controlling method thereof | |
KR20230018704A (ko) | 전자장치 및 그 제어방법 | |
KR20230059029A (ko) | 전자 장치 및 그 동작 방법 | |
KR20230099841A (ko) | 전자장치 및 그 제어방법 |