TW202129591A - 圖像處理裝置及圖像處理方法以及程式 - Google Patents

圖像處理裝置及圖像處理方法以及程式 Download PDF

Info

Publication number
TW202129591A
TW202129591A TW109123670A TW109123670A TW202129591A TW 202129591 A TW202129591 A TW 202129591A TW 109123670 A TW109123670 A TW 109123670A TW 109123670 A TW109123670 A TW 109123670A TW 202129591 A TW202129591 A TW 202129591A
Authority
TW
Taiwan
Prior art keywords
block
pixel data
data
memory
pixels
Prior art date
Application number
TW109123670A
Other languages
English (en)
Inventor
新田龍一郎
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202129591A publication Critical patent/TW202129591A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本發明之圖像處理裝置之記憶體控制部12將輸入圖像資料分割成第1區塊、第2區塊、及第3區塊而記憶於記憶體部13，該第1區塊具有複數行份之行方向上特定像素數之像素資料；該第2區塊具有複數行份之、相對於第1區塊於行方向接續之特定像素數之像素資料，該複數行包含第1區塊之一部分行；該第3區塊具有複數行份之、於行方向接續之特定像素數之像素資料，該複數行包含第1區塊中之與第2區塊所含之行不同之行。運算處理部15算出與圖像轉換後之像素位置對應之圖像轉換前之位置即內插位置，記憶體控制部12自記憶體部13讀出包含內插位置之周邊像素之像素資料之第1至第3區塊之像素資料，內插處理部14藉由使用所讀出之周邊像素之內插處理，而產生內插位置之像素資料。可提高圖像處理之處理速度。

Description

圖像處理裝置及圖像處理方法以及程式
本發明係關於一種圖像處理裝置及圖像處理方法以及程式，可提高圖像處理之處理速度。
於先前之圖像處理中，例如進行圖像之放大縮小、處理旋轉處理、或變形處理等，於專利文獻1中提議使用快取技術來提高處理速度。 [先前技術文獻] [專利文獻]
[專利文獻１]日本特開2012-238118號公報
[發明所欲解決之課題]
然而，在使用快取技術之情形下，例如若為了自被快取於記憶體之圖像資料讀出必要之圖像資料而需要時間，則無法充分地提高處理速度。
因此，本發明之目的在於提供一種可提高圖像處理之處理速度之圖像處理裝置及圖像處理方法以及程式。 [解決課題之技術手段]
本發明之第1層面係一種圖像處理裝置，其具備： 記憶體部，其將輸入圖像資料分割成第1區塊、第2區塊、及第3區塊而記憶，該第1區塊具有複數行份之行方向上特定像素數之像素資料；該第2區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊之一部分行；該第3區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊中之與前述第2區塊所含之行不同之行；及 記憶體控制部，其自前述記憶體部讀出第1、第2及第3區塊之像素資料，該像素資料包含產生內插位置之像素資料時使用的周邊像素之像素資料。
於本發明中，於記憶體部中，將輸入圖像資料分割成第1區塊、第2區塊、及第3區塊而記憶，該第1區塊具有複數行份之行方向上特定像素數之像素資料；該第2區塊具有複數行份之、相對於第1區塊於行方向接續之特定像素數之像素資料，該複數行包含第1區塊之一部分行；該第3區塊具有複數行份之、相對於第1區塊於行方向接續之特定像素數之像素資料，該複數行包含第1區塊中之與第2區塊所含之行不同之行。行方向上之特定像素數例如為內插處理中使用之周邊像素之行方向之像素數以上，第1區塊包含內插處理中使用之周邊像素之所有的行。又，記憶體部設置有3個區域，於於各區域中記憶被分割成區塊之輸入圖像資料。
記憶體控制部具有：讀出位址產生部，其產生讀出位址，該讀出位址用於讀出產生內插位置之像素資料時使用之周邊像素之像素資料；及讀出位址轉換處理部，其將由讀出位址產生部產生之讀出位址轉換為區塊單位之位址。又，記憶體控制部亦可具有讀出圖像資料處理部，其從自記憶體部讀出之第1、第2及第3區塊之像素資料中，選擇周邊像素之像素資料而向內插處理部輸出。
記憶體控制部使用由讀出位址轉換處理部獲得之位址，自記憶體部讀出包含周邊像素之像素資料的第1、第2及第3區塊之像素資料。此處，在3個記憶庫記憶有第1區塊、第2區塊及第3區塊之情形下，自不同之記憶庫以突發傳送而讀出各區塊之像素資料。又，可行的是，記憶體控制部在內插位置為僅於第1、第2及第3區塊之任一區塊中包含周邊像素之像素資料之位置之情形下，自記憶體部讀出包含該周邊像素之像素資料的區塊之像素資料，在內插位置為於第1、第2及第3區塊中之2個區塊中包含周邊像素之像素資料之位置之情形下，自記憶體部讀出包含該周邊像素之像素資料的2個區塊之像素資料。
進而，可行的是，記憶體控制部亦可為具有寫入圖像資料處理部及寫入位址產生部之構成，該寫入圖像資料處理部將輸入圖像資料分割成第1區塊與第2區塊及第3區塊之資料；該寫入位址產生部產生寫入位址，該寫入位址用於將由寫入圖像處理部設為區塊單位之輸入圖像資料，以區塊單位寫入記憶體部。
又，圖像處理裝置可更具備：運算處理部，其算出與圖像轉換後之像素位置對應之圖像轉換前之像素位置，即內插位置；及內插處理部，其使用由記憶體控制部自記憶體部讀出之周邊像素之像素資料進行內插處理，而產生內插位置之像素資料。又，第1、第2及第3區塊之資料量可等於記憶體部之資料寬度。
本發明之第2層面係一種圖像處理方法，其包含： 以記憶體控制部自記憶體部讀出產生內插位置之像素資料時使用之、包含周邊像素之像素資料的第1、第2及第3區塊之像素資料；該記憶體部將輸入圖像資料分割成第1區塊、第2區塊、及第3區塊而記憶，該第1區塊具有行方向上複數行份之特定像素數之像素資料；該第2區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊之一部分行；該第3區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊中之與前述第2區塊所含之行不同之行。
本發明之第3層面係一種程式，其係使電腦執行圖像轉換之程式，且使電腦執行如下步序： 算出與圖像轉換後之像素位置對應之圖像轉換前之像素位置，即內插位置； 自記憶體部讀出產生前述內插位置之像素資料時使用之、包含周邊像素之像素資料的第1、第2及第3區塊之像素資料；該記憶體部將輸入圖像資料分割成第1區塊、第2區塊、及第3區塊而記憶，該第1區塊具有行方向上複數行份之特定像素數之像素資料；該第2區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊之一部分行；該第3區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊中之與前述第2區塊所含之行不同之行；及 使用自前述記憶體部讀出之周邊像素之像素資料進行內插處理，產生前述內插位置之像素資料。
再者，本發明之程式例如為對於可執行各種程式、編碼之泛用電腦，可藉由以電腦可讀之形式予以提供之記憶媒體、通訊媒體、例如光碟、磁碟、半導體記憶體等記憶媒體、或網路等通訊媒體而提供之程式。藉由以電腦可讀之形式提供如此之程式，而在電腦上實現與程式相應之處理。
以下，對於用於實施本發明之形態進行說明。又，說明將按照以下之順序進行。 1.實施形態之構成 2.實施形態之動作 2-1.圖像資料寫入動作 2-2.圖像資料讀出動作 3.變化例
＜1.實施形態之構成＞ 本發明之圖像處理裝置使圖像處理前之圖像資料依次記憶於圖框記憶體，根據圖像轉換例如圖像之放大、縮小、移動或變形等而進行記憶於圖框記憶體之圖像資料之讀出，並產生圖像轉換後之圖像資料。
圖1例示圖像處理裝置之構成。圖像處理裝置10具有：記憶體緩衝器部11、記憶體控制部12、記憶體部13、內插處理部14、及運算處理部15。再者，構成圖像處理裝置10之各部分可一體地設置，內插處理部14或運算處理部15可與記憶體控制部12或記憶體部13個別地設置。
記憶體緩衝器部11使用行記憶體或圖框記憶體而構成。記憶體緩衝器部11將輸入圖像資料DVin暫時儲存於行記憶體或圖框記憶體。又，暫時儲存於記憶體緩衝器部11之輸入圖像資料DVin，由記憶體控制部12讀出且記憶於記憶體部13。
記憶體控制部12自記憶體緩衝器部11取得圖像資料並記憶於記憶體部13。又，記憶體控制部12自記憶體部13讀出用於產生自運算處理部15通知之內插位置之像素資料所需之周邊像素之像素資料，並朝內插處理部14輸出。
記憶體控制部12具有：寫入圖像資料處理部121、寫入位址產生部122、讀出位址產生部123、讀出位址轉換處理部124、讀出圖像資料處理部125、及存取控制部126。
寫入圖像資料處理部121將記憶體緩衝器部11之圖像資料轉換為記憶於記憶體部13之處理單位之資料。寫入圖像資料處理部121分割成第1區塊、第2區塊、及第3區塊，該第1區塊以複數行份額而具有於行方向上特定像素數之像素資料，該第2區塊以包含第1區塊之一部分行之複數行份額而具有相對於第1區塊於行方向上延續之特定像素數之像素資料，該第3區塊以包含第1區塊中之與第2區塊所含之行不同之行之複數行份額而具有相對於第1區塊於行方向上延續之特定像素數之像素資料，並轉換為區塊單位之資料。
寫入位址產生部122產生用於將自寫入圖像資料處理部121輸出之處理單位之資料寫入記憶體部13之寫入位址。寫入位址產生部122產生用於將自寫入圖像資料處理部121輸出之區塊單位之資料，以區塊單位寫入記憶體部13之寫入位址。
讀出位址產生部123產生用於讀出為了內插位置之像素資料之產生而使用之周邊像素之像素資料之讀出位址。
讀出位址轉換處理部124將由讀出位址產生部123產生之讀出位址轉換為處理單位之資料之位址、亦即包含由讀出位址所示之周邊像素之像素資料的區塊之位址。
讀出圖像資料處理部125從自記憶體部13讀出之圖像資料，選擇用於內插處理之周邊像素之像素資料並朝內插處理部14輸出。
存取控制部126在對記憶體部13之存取時，進行圖像資料或位址資料等之緩衝或存取之仲裁/控制。
記憶體部13使用DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)或SRAM(Static Random Access Memory，靜態隨機存取記憶體)而構成。例如，在使用低價格、大容量之DRAM之情形下，為了能夠進行延遲少之隨機存取而使複數個記憶庫記憶相同之資料，在讀出所期望之資料時進行記憶庫之切換。亦即，將轉換為區塊單位之資料之輸入圖像資料記憶於3個記憶庫，以區塊單位自不同之記憶庫讀出第1、第2及第3區塊之像素資料。又，在使用SRAM之情形下，使複數個區域記憶相同之資料，在讀出所期望之資料時進行區域之切換。
內插處理部14基於自記憶體部13讀出之周邊像素之像素資料與自運算處理部15通知之內插位置進行內插處理，並產生內插位置之像素資料。
運算處理部15算出圖像轉換後之像素位置為圖像轉換前之哪一位置，並將所算出之像素位置即內插位置朝記憶體控制部12輸出，藉此自記憶體部13讀出包含內插位置之周邊像素之像素資料之區塊之資料。又，運算處理部15將內插位置朝內插處理部14輸出，而產生內插位置之像素資料。進而，運算處理部15就圖像轉換後之每一像素位置算出內插位置並朝記憶體控制部12與內插處理部14輸出。因此，就圖像轉換後之每一像素位置而產生像素資料，並自內插處理部14輸出圖像轉換後之圖像資料DVout。
＜2.實施形態之動作＞ 其次，對於實施形態之動作進行說明。再者，在實施形態之動作中，例示使用DRAM之情形。圖2例示對於內插位置之周邊像素與輸入圖像資料經分割之區塊之關係。例如，將以內插位置MP(以白圓圈所示之像素位置)為基準之「2行×4像素」之像素區域ARm所含之像素作為周邊像素。又，區塊尺寸之行方向像素數為周邊像素之行方向上之像素數以上，第1區塊以包含用於內插處理之周邊像素之全行之方式設定，例如第1區塊之區塊尺寸為「2行×4像素」。又，以包含第1區塊之一部分行之複數行份額而具有相對於第1區塊於行方向上延續之特定像素數之像素資料之第2區塊之區塊尺寸，例如為「2行×4像素」。進而，以包含第1區塊中之與第2區塊所含之行不同之行之複數行份額而具有相對於第1區塊於行方向上延續之特定像素數之像素資料之第3區塊之區塊尺寸，例如為「2行×4像素」。
該情形下，如圖2之(a)所示般，第1區塊BLK1由行方向上為4像素且2行份額之像素資料「(y,x-4)、(y,x-3)、(y,x-2)、(y,x-1)、(y+1,x-4)、(y+1,x-3)、(y+1,x-2)、(y+1,x-1)」構成。
又，第2區塊BLK2由行方向上延續於第1區塊BLK1之4像素、且包含第1區塊BLK1之1行之2行份額之像素資料「(y-1,x)、(y-1,x+1)、(y-1,x+2)、(y-1,x+3)、(y,x)、(y,x+1)、(y,x+2)、(y,x+3)」構成。
又，第3區塊BLK3由行方向上延續於第1區塊BLK1之4像素、且包含第1區塊BLK1中之與第2區塊BLK2所含之行不同之行之2行份額之像素資料「(y+1,x)、(y+1,x+1)、(y+1,x+2)、(y+1,x+3)、(y+2,x)、(y+2,x+1)、(y+2,x+2)、(y+2,x+3)」構成。
又，如圖2之(b)所示般，第1區塊BLK1由行方向上為4像素且2行份額之像素資料「(y,x+4)、(y,x+5)、(y,x+6)、(y,x+7)、(y+1,x+4)、(y+1,x+5)、(y+1,x+6)、(y+1,x+7)」構成。
又，第2區塊BLK2由行方向上延續於第1區塊BLK1之4像素、且包含第1區塊BLK1之1行之2行份額之像素資料「(y-1,x)、(y-1,x+1)、(y-1,x+2)、(y-1,x+3)、(y,x)、(y,x+1)、(y,x+2)、(y,x+3)」構成。
又，第3區塊BLK3由行方向上延續於第1區塊BLK1之4像素、且包含第1區塊BLK1中之與第2區塊BLK2所含之行不同之行之2行份額之像素資料「(y+1,x)、(y+1,x+1)、(y+1,x+2)、(y+1,x+3)、(y+2,x)、(y+2,x+1)、(y+2,x+2)、(y+2,x+3)」構成。
如此般，若將輸入圖像資料轉換為區塊單位之資料並記憶於記憶體部，則藉由讀出3個區塊BLK1、BLK2、BLK3之資料，而可取得用於內插位置MP之像素資料之產生的周邊像素之像素區域ARm之像素資料。
再者，在將輸入圖像依次轉換為特定之區塊尺寸(例如「2行×4像素」)之資料之先前之方法(以下稱為「內插點4角提取方式」)中，如圖2之(c)所示般，區塊BLKa由像素資料「(y-1,x-4)、(y-1,x-3)、(y-1,x-2)、(y-1,x-1)、(y,x-4)、(y,x-3)、(y,x-2)、(y,x-1)」構成。又，區塊BLKb由像素資料「(y-1,x)、(y-1,x+1)、(y-1,x+2)、(y-1,x+3)、(y,x)、(y,x+1)、(y,x+2)、(y,x+3)」構成。進而，區塊BLKc由像素資料「(y+1,x-4)、(y+1,x-3)、(y+1,x-2)、(y+1,x-1)、(y+2,x-4)、(y+2,x-3)、(y+2,x-2)、(y+2,x-1)」構成，區塊BLKd由像素「(y+1,x)、(y+1,x+1)、(y+1,x+2)、(y+1,x+3)、(y+2,x)、(y+2,x+1)、(y+2,x+2)、(y+2,x+3)」構成。因此，藉由讀出4個區塊BLKa、BLKb、BLKc、BLKd之資料，而可取得用於內插位置MP之像素資料之產生的周邊像素之像素區域ARm之像素資料。
在記憶體控制部12中，將記憶於記憶體緩衝器部11之輸入圖像資料，如圖2之(a)或圖2之(b)所示般分割成第1區塊與第2區塊及第3區塊並記憶於記憶體部13。
又，記憶體控制部12以由運算處理部15算出之內插位置為基準而自記憶體部13讀出3個區塊之資料，藉由使用所讀出之資料之內插處理而產生內插位置之像素資料。
又，記憶體控制部12在對記憶體部13以區塊單位進行圖像資料之寫入與讀出時，使用突發傳送。
進而，記憶體控制部12將每一區塊之資料記憶於記憶體部13之3個記憶庫，自3個記憶庫讀出不同區塊之像素資料，藉此可高速地進行資料之讀出。
再者，若將輸入圖像資料之資料寬度設為32位元，將記憶體部13之資料寫入或資料讀出之資料寬度設為256位元，則於記憶體部13之1位址可儲存8個像素資料。亦即，若將1區塊之資料量與記憶體部13之資料寬度設為相等，則記憶體部13之1位址相當於區塊之1位址，而可容易地進行區塊單位之資料之寫入或讀出。
圖3係例示本發明之圖像處理裝置之動作之流程圖。 在步驟ST1中，圖像處理裝置進行圖像資料寫入處理。圖像處理裝置10之記憶體控制部12將輸入圖像資料分割成第1區塊、第2區塊、及第3區塊並記憶於記憶體13，並進入步驟ST2，該第1區塊以複數行份額而具有於行方向上特定像素數之像素資料，該第2區塊以包含第1區塊之一部分行之複數行份額而具有相對於第1區塊於行方向上延續之特定像素數之像素資料，該第3區塊以包含第1區塊中之與第2區塊所含之行不同之行之複數行份額而具有相對於第1區塊於行方向上延續之特定像素數之像素資料。
在步驟ST2中，圖像處理裝置設定處理對象像素。圖像處理裝置10之運算處理部15將產生像素資料之圖像轉換後之像素設定為處理對象像素後，並進入步驟ST3。
在步驟ST3中，圖像處理裝置進行內插位置算出處理。圖像處理裝置10之運算處理部15，將與在步驟ST2中所設定之處理對象像素對應之圖像轉換前之像素位置作為內插位置而算出，並進入步驟ST4。
在步驟ST4中，圖像處理裝置進行區塊讀出處理。圖像處理裝置10之記憶體控制部12自記憶體部13讀出在步驟ST3中所算出之包含用於內插位置之像素資料之產生的周邊像素之像素資料之區塊之資料，並進入步驟ST5。
在步驟ST5中，圖像處理裝置進行內插處理。圖像處理裝置10之內插處理部14自步驟ST4中所讀出之區塊之資料，使用用於內插位置之像素資料之產生的周邊像素之像素資料而進行內插處理，藉此產生處理對象像素之像素資料，並進入步驟ST6。
在步驟ST6中，圖像處理裝置判別是否完成處理對象像素之設定。圖像處理裝置10之運算處理部15，在圖像轉換後之圖像中存在未設定成處理對象像素之圖像之情形下進入步驟ST7，在圖像轉換後之各像素被設定成處理對象像素並產生像素資料之情形下，結束處理。
在步驟ST7中，圖像處理裝置更新處理對象像素。圖像處理裝置10之運算處理部15，將未設定成處理對象像素之像素設定成新的處理對象像素，並返回步驟ST3。
＜2-1.圖像資料寫入處理＞ 接著對於對記憶體部13之圖像資料之寫入處理進行說明。圖4、圖5係例示圖像資料寫入處理之流程圖。又，圖6顯示輸入圖像資料與區塊之具體例。再者，區塊尺寸為「2行×4像素」。
在圖4之步驟ST11中，記憶體控制部進行位址初始化。記憶體控制部12進行表示輸入圖像之像素位置之位址(PV,PH)、與區塊之位址(BY、BX)之初始化，以「PV=0,PH=0,BY=0,BX=0」進入步驟ST12。
在步驟ST12中，記憶體控制部設定旗標JPV。記憶體控制部12設定表示位址PV為奇數或偶數之哪一者之旗標JPV。具體而言，進行「JPV=(PV%2)」之運算，在為奇數之情形下以JPV=1、在為偶數之情形下以JPV=0進入步驟ST13。再者，「%」為取模運算符。
在步驟ST13中，記憶體控制部取得位址PV中之位址PH～PH+3之像素資料。記憶體控制部12自記憶體緩衝器部11取得位址(PV,PH)，(PV,PH+1)，・・・，(PV,PH+3)之4像素之像素資料，並進入步驟ST14。
在步驟ST14中，記憶體控制部算出位址BX。記憶體控制部12基於位址PH與區塊之水平方向之像素數而算出位址BX。具體而言，進行「BX=INT(PH/4)」之運算，以利用區塊之水平方向之像素數4將位址PH除算而得之結果之整數部分作為位址BX，並進入步驟ST15。再者，「INT」表示除算結果之整數部分。
在步驟ST15中，記憶體控制部設定旗標JBX。記憶體控制部12設定表示位址BX為奇數或偶數之哪一者之旗標JBX。具體而言，進行「JBX=(BX%2)」之運算，在位址BX為奇數之情形下以JBX=1、在為偶數之情形下以JBX=0進入步驟ST16。
在步驟ST16中，記憶體控制部判別是否為旗標JBX=0。記憶體控制部12在位址BX為偶數即旗標JBX=0之情形下進入步驟ST17，在位址BX為奇數即旗標JBX=1之情形下進入步驟ST18。
在步驟ST17中，記憶體控制部判別是否為旗標JPV=1。記憶體控制部12在位址PV為奇數即旗標JPV=1之情形下進入步驟ST19，在位址PV為偶數即旗標JPV=0之情形下進入步驟ST21。
當自步驟ST16進入步驟ST18時，記憶體控制部12判別是否為旗標JPV=0。記憶體控制部在位址PV為偶數即旗標JPV=0之情形下進入步驟ST19，在位址PV為奇數即旗標JPV=1之情形下進入步驟ST21。
在步驟ST19中，記憶體控制部12決定區塊之資料。記憶體控制部12將「(PV,PH)、(PV,PH+1)、・・・、(PV,PH+3)」、及已經取得之「(PV-1,PH)、(PV-1,PH+1)、・・・、(PV-1,PH+3)」，作為區塊(BY、BX)之圖像資料，進入步驟ST20。
在步驟ST20中，記憶體控制部進行區塊(BY、BX)之寫入處理。記憶體控制部12以突發傳送將區塊(BY、BX)之圖像資料記錄於記憶體部13之3個記憶庫，進入步驟ST21。
在步驟ST21中，記憶體控制部判別位址PV之像素資料之取得是否全部完成。記憶體控制部在位址PV之像素資料之取得未完成之情形時進入步驟ST22，在取得全部完成之情形時進入步驟ST23。
在步驟ST22中，記憶體控制部將位址PH更新。記憶體控制部12進行「PH=PH+4」之處理，將區塊內之表示水平方向之最初之像素位置之位址PH更新，而返回步驟ST13。
在步驟ST23中，記憶體控制部判別1圖框之寫入是否完成。記憶體控制部在位址PV未表示垂直方向之最後之位置(最終行)之情形下進入圖5之步驟ST24，在位址PV表示垂直方向之最後之位置(最終行)之情形下，結束1圖框之圖像之寫入處理。
在步驟ST24中，記憶體控制部將位址BX初始化。由於位址PV之像素資料之讀出完成，故記憶體控制部12以位址BX為「BX=0」進入步驟ST25。
在步驟ST25中，記憶體控制部將位址PV更新。記憶體控制部12進行「PV=PV+1」之處理，將位址PV更新而進入步驟ST26。
在步驟ST26中，記憶體控制部設定旗標JPV。記憶體控制部12設定表示位址PV為奇數或偶數之哪一者之旗標JPV。具體而言，進行「JPV=(PV%2)」之運算，在為奇數之情形下以JPV=1、在為偶數之情形下以JPV=0進入步驟ST27。
在步驟ST27中，記憶體控制部判別是否為旗標JPV=0。記憶體控制部12在位址PV為偶數即旗標JPV=0之情形下進入步驟ST28，在位址PV為奇數即旗標JPV=1之情形下返回圖4之步驟ST13。
在步驟ST28中，記憶體控制部將位址BY予以更新。記憶體控制部12進行「BY=BY+1」之處理，將位址BY予以更新並返回圖4之步驟ST13。
當進行如此之處理時，如圖6之(a)所示般，關於位址PV=0，而將位址(0,4)(0,5)(0,6)(0,7)之像素資料作為區塊(0，1)之資料記憶於記憶體部13。又，將位址(0,12)(0,13)(0,14)(0,15)之像素資料作為區塊(0，3)之資料記憶於記憶體部13。以下，同樣地，將位址PV=0之每隔4像素之4像素份額之像素資料作為位址BY=0、BX=奇數之區塊之資料記憶於記憶體部13。
又，如圖6之(b)所示般，關於位址PV=1，將位址(1,0)(1,1)(1,2)(1,3)之像素資料與位址(0,0)(0,1)(0,2)(0,3)之像素資料一起作為區塊(0，0)之資料記憶於記憶體部13。又，將位址(1,8)(1,9)(1,10)(1,11)之像素資料與位址(0,8)(0,9)(0,10)(0,11)之像素資料一起作為區塊(0，2)之資料記憶於記憶體部13。以下，同樣地，將位址PV=1中之每隔4像素之4像素份額之像素資料與位址PV=0中之每隔4像素之4像素份額之像素資料一起，作為位址BY=0、BX=偶數之區塊之資料記憶於記憶體部13。
又，如圖6之(c)所示般，關於位址PV=2，將位址(2,4)(2,5)(2,6)(2,7)之像素資料與位址(1,4)(1,5)(1,6)(1,7)之像素資料一起作為區塊(1、1)之資料記憶於記憶體部13。又，將位址(2,8)(2,9)(2,10)(2,11)之像素資料與位址(1,8)(1,9)(1,10)(1,11)之像素資料一起作為區塊(1、3)之資料記憶於記憶體部13。以下，同樣地，將位址PV=2中之每隔4像素之4像素份額之像素資料與位址PV=1中之每隔4像素之4像素份額之像素資料一起，作為位址BY=1、BX=奇數之區塊之資料記憶於記憶體部13。
進而，關於位址PV=3或位址PV=4亦同樣地，如圖6之(d)或圖6之(e)所示般作為區塊之資料記憶於記憶體部13。以下同樣地進行處理，而可將1圖框之圖像資料以區塊單位記錄於記憶體部。
如此般，若將輸入圖像資料轉換為區塊單位之資料，則藉由讀出3個區塊之像素資料，而可取得為了用於內插位置之像素資料之產生的周邊像素之像素資料。
又，藉由將區塊之資料突發傳送至記憶體部13之記憶庫並記憶，而可高速進行輸入圖像資料之寫入處理。又，藉由將區塊之資料記憶於3個記憶庫，而可如後述般高效率地進行包含用於像素資料之內插處理之像素資料的區塊之讀出。
＜2-2. 圖像資料讀出處理＞ 其次，對於自記憶體部13之圖像資料之讀出處理進行說明。在圖像資料之讀出處理中，自記憶體部13讀出為了產生由內插位置算出處理所算出之內插位置之像素資料所需的包含周邊像素之像素資料之區塊之資料。
圖7係例示圖像資料讀出處理之流程圖。再者，區塊尺寸為「2行×4像素」，周邊像素之像素區域ARm之尺寸亦為「2行×4像素」。
在步驟ST41中，記憶體控制部取得內插位置(my,mx)。記憶體控制部12取得由運算處理部15算出之內插位置(my,mx)，並進入步驟ST42。
在步驟ST42中，記憶體控制部設定內插對象位址(PMV,PMH)。記憶體控制部12進行「PMV=INT(my)」「PMH=INT(mx)」之運算，設定與在步驟ST41中所取得之內插位置對應之內插對象位址(PMV,PMH)，並進入步驟ST43。
在步驟ST43中，記憶體控制部設定內插處理所需之周邊像素之開始位址PSH。記憶體控制部12，例如在以內插位置mx為基準之水平方向上使用4像素之像素資料進行內插處理之情形下，進行「PSH=PMH-(4像素/2)」之運算，設定周邊像素之開始位址PSH，並進入步驟ST44。再者，若在位址PMH小於「2」之情形下設為「PSH=0」，則可防止開始位址PSH為初始値以下。又，在將輸入圖像資料之水平方向之最大位址設為「PHmax」之情形下，即便位址PMH=PHmax，亦可獲得「2行×4像素」之像素資料作為周邊像素。因此，不需要對於水平方向最大位址之特殊處理。
在步驟ST44中，記憶體控制部設定旗標JPMV。記憶體控制部12設定表示位址PMV為奇數或偶數之哪一者之旗標JPMV。具體而言，記憶體控制部12進行「JPMV=(PMV%2)」之運算，在為奇數之情形下以JPMV=1、在為偶數之情形下以JPMV=0進入步驟ST45。
在步驟ST45中，記憶體控制部判別是否旗標JPMV=0。記憶體控制部12在旗標JPMV=0即位址PMV為偶數之情形下進入步驟ST46，在不是旗標JBX=0即位址PMV為奇數之情形下進入步驟ST51。
在步驟ST46中，記憶體控制部算出區塊之位址BX。記憶體控制部12進行「BX=INT(PSH/4)」之運算，算出包含開始位址PSH之像素資料之區塊之位址BX，並進入步驟ST47。
在步驟ST47中，記憶體控制部設定旗標JBX。記憶體控制部12設定表示位址BX為奇數或偶數之哪一者之旗標JBX。具體而言，記憶體控制部12進行「JBX=(BX%2)」之運算，在位址BX為奇數之情形下以JBX=1、在為偶數之情形下以JBX=0進入步驟ST48。
在步驟ST48中，記憶體控制部判別是否為旗標JBX=0。記憶體控制部在旗標JBX=0即位址BX為偶數之情形下進入步驟ST49，在不是旗標JBX=0即位址PMV為奇數之情形下進入步驟ST50。
在步驟ST49中，記憶體控制部以第1區塊模式進行位址設定。記憶體控制部12將讀出之3區塊之模式作為第1區塊模式，設定3個區塊之位址(BY1、BX1)(BY2、BX2)(BY3、BX3)。再者，圖8顯示3個區塊之位址。記憶體控制部12進行式(1)至(6)之運算，設定如圖8之(a)所示之3個區塊之位址(BY1、BX1)(BY2、BX2)(BY3、BX3)，並進入步驟ST56。
BX1=INT(PSH/4)      ・・・(1) BY1=INT(PMV/2)      ・・・(2) BX2=(INT(PSH/4))+1・・・(3) BY2=INT(PMV/2)      ・・・(4) BX3=(INT(PSH/4))+1・・・(5) BY3=(INT(PMV/2))+1  ・・・(6)
在步驟ST50中，記憶體控制部以第2區塊模式進行位址設定。記憶體控制部12將讀出之3區塊之模式作為第2區塊模式，設定3個區塊之位址(BY1、BX1)(BY2、BX2)(BY3、BX3)。記憶體控制部12進行式(7)至(12)之運算，設定如圖8之(b)所示之3個區塊之位址(BY1、BX1)(BY2、BX2)(BY3、BX3)，並進入步驟ST56。
BX1=(INT(PSH/4))+1・・・(7) BY1=INT(PMV/2)      ・・・(8) BX2=INT(PSH/4)      ・・・(9) BY2=INT(PMV/2)      ・・・(10) BX3=INT(PSH/4)・・・(11) BY3=(INT(PMV/2))+1  ・・・(12)
當自步驟ST45進入步驟ST51時，記憶體控制部算出區塊之位址BX。記憶體控制部12進行「BX=INT(PSH/4)」之運算，算出包含開始位址PSH之像素資料的區塊之位址BX，並進入步驟ST52。
在步驟ST52中，記憶體控制部設定旗標JBX。記憶體控制部12設定表示位址BX為奇數或偶數之哪一者之旗標JBX。具體而言，記憶體控制部12進行「JBX=(BX%2)」之運算，在位址BX為奇數之情形下以JBX=1、在為偶數之情形下以JBX=0進入步驟ST53。
在步驟ST53中，記憶體控制部判別是否為旗標JBX=0。記憶體控制部，在旗標JBX=0即位址BX為偶數之情形下進入步驟ST54，在不是為旗標JBX=0而位址PMV為奇數之情形下進入步驟ST55。
在步驟ST54中，記憶體控制部以第3區塊模式進行位址設定。記憶體控制部12將讀出之3區塊之模式作為第3區塊模式，設定3個區塊之位址(BY1、BX1)(BY2、BX2)(BY3、BX3)。記憶體控制部12進行式(13)至(18)之運算，設定如圖8之(c)所示之3個區塊之位址(BY1、BX1)(BY2、BX2)(BY3、BX3)，並進入步驟ST56。
BX1=(INT(PSH/4))+1・・・(13) BY1=(INT(PMV/2))+1  ・・・(14) BX2=INT(PSH/4)      ・・・(15) BY2=INT(PMV/2)      ・・・(16) BX3=INT(PSH/4)・・・(17) BY3=(INT(PMV/2))+1  ・・・(18)
在步驟ST55中，記憶體控制部以第4區塊模式進行位址設定。記憶體控制部12將讀出之3區塊之模式作為第4區塊模式，設定3個區塊之位址(BY1、BX1)(BY2、BX2)(BY3、BX3)。記憶體控制部12進行式(19)至(24)之運算，設定如圖8之(d)所示之3個區塊之位址(BY1、BX1)(BY2、BX2)(BY3、BX3)，並進入步驟ST56。
BX1=INT(PSH/4)      ・・・(19) BY1=(INT(PMV/2))+1・・・(20) BX2=(INT(PSH/4))+1・・・(21) BY2=INT(PMV/2)      ・・・(22) BX3=(INT(PSH/4))+1・・・(23) BY3=(INT(PMV/2))+1  ・・・(24
在步驟ST56中，記憶體控制部進行3區塊之資料讀出處理。記憶體控制部12例如自記憶體部13之第1記憶庫讀出位址(BY1、BX1)即第1區塊之像素資料。又，記憶體控制部12自記憶體部13之第2記憶庫讀出位址(BY2、BX2)之第2區塊之像素資料，自第3記憶庫讀出位址(BY3、BX3)即第3區塊之像素資料。
若如此般進行圖像資料之讀出處理，則可讀出為了產生由內插位置算出處理算出之內插位置之像素資料所需之包含周邊像素之像素資料的區塊之資料。圖9例示產生像素資料之內插位置與資料被讀出之區塊之關係。再者，在圖中，將行位置一致而顯示區塊。
例如，如圖9之(a)所示般，在產生內插位置MP1之像素資料之情形下，以第1區塊模式讀出區塊(0、0)(0、1)(1、1)之資料，在產生內插位置MP2之像素資料之情形下，以第2區塊模式讀出區塊(0、1)(1、1)(0、2)之資料。又，如圖9之(b)所示般，在產生內插位置MP3之像素資料之情形下，以第3區塊模式讀出區塊(0、0)(1、0)(1、1)之資料，在產生內插位置MP4之像素資料之情形下，以第4區塊模式讀出區塊(1、1)(0、2)(1、2)之資料。
又，記憶體控制部12從自記憶體部13讀出之資料，選擇用於像素資料之內插處理之像素資料並朝內插處理部14輸出。例如，在產生內插位置MP1之像素資料之情形下，自讀出之區塊(0、0)(0、1)(1、1)之像素資料，選擇位於周邊像素之像素區域ARm之位址(0,2)(0,3)(0,4)(0,5)(1,2)(1,3)(1,4)(1,5)之像素資料並朝內插處理部14輸出。又，例如，在產生內插位置MP4之像素資料之情形下，自所讀出之區塊(1、1)(0、2)(1、2)之像素資料，選擇位於周邊像素之像素區域ARm之位址(1,6)(1,7)(1,8)(1,9)(2,6)(2,7)(2,8)(2,9)之像素資料並朝內插處理部14輸出。
如此般，以與產生像素資料之像素位置相應之區塊模式讀出3區塊之像素資料，自所讀出之像素資料選擇用於內插處理之像素資料並朝內插處理部14輸出，藉此與先前之內插點4角提取方式相比，可高效率地進行圖像處理。
又，在將DRAM用作記憶體部13之情形下，由於在更新ROW位址且讀出資料之情形下延遲時間大，故在將3個區塊之資料記憶於1個記憶庫，依次更新ROW位址且讀出3個區塊之資料之情形下，在自記憶體部13之資料之讀出上需要時間。然而，藉由如本發明般自3個記憶庫讀出各不相同之區塊之資料，而可高速進行自記憶體部13之資料之讀出。
此處，寫入及讀出之記憶體存取頻帶效率，可基於以下之式算出。再者，將記憶體時脈頻率設為「Fmem」，將記憶體資料寬度設為「Dmem」，將記憶體寫入效率係數設為「C(mem(w))」，將記憶體讀出效率係數設為「C(mem(r))」，將圖像資料之時脈頻率設為「Fvid」，將圖像資料之資料寬度設為「Dvid」，將圖像資料之寫入效率係數設為「C(vid(w))」，將圖像資料之讀出效率係數設為「C(vid(r))」。
該情形下，根據本發明，寫入頻帶寫入頻帶效率「Etri(w)」基於式(25)而算出，讀出頻帶效率「Etri(r)」基於式(26)而算出。
又，先前之內插點4角提取方式之寫入頻帶效率[1/%]：Esqr(w)基於式(27)而算出，讀出頻帶效率[1/%]：Esqr(r)基於式(28)而算出。
【數１】
Figure 02_image001
如此般，自式(26)與式(28)可明確，根據本發明，與內插點4角提取方式相比，讀出頻帶效率良好，故可高效率地進行圖像處理。
＜3.變化例＞ 在上述之實施形態中，對於自記憶體部13讀出3區塊之資料之情形進行了說明，但在1區塊之行方向之尺寸為用於內插處理之周邊像素之像素區域之行方向之尺寸以上，且於區塊內包含周邊像素之像素區域之情形下，讀出1區塊或2區塊之資料。亦即，在內插位置為僅於第1與第2及第3區塊之任一個區塊包含周邊像素之像素資料之位置之情形下，自記憶體部讀出包含該周邊像素之像素資料之區塊之像素資料。又，在內插位置為第1與第2及第3區塊中之2個區塊包含周邊像素之像素資料之位置之情形下，自記憶體部讀出包含該周邊像素之像素資料之2個區塊之像素資料。如此般藉由讀出像素資料而可進行內插處理。
圖10例示藉由讀出1區塊或2區塊之資料而可進行內插處理之情形。例如在圖10之(a)所示之內插位置MPu中，用於內插處理之位址(0,8)、(0,9)、(0,10)、(0,11)、(1,8)、(1,9)、(1,10)、(1,11)之像素資料作為1個區塊(0、2)之資料而被記憶。又，在圖10之(b)所示之內插位置MPW中，用於內插處理之位址(1,0)、(1,1)、(1,2)、(1,3)、(2,0)、(2,1)、(2,2)、(2,3)之像素資料被記憶於2個區塊(0、0)(1、0)。因此，若判別內插位置是否為1區塊或2區塊之像素資料中可進行內插處理之位置，且將基於判別結果所讀出之區塊設為1區塊或2區塊，而可進一步更高效率地進行自記憶體部13之資料之讀出。
再者，圖4、圖5之流程圖例示如圖6所示般將圖像資料記憶於記憶體部13之情形之動作，可根據用於內插處理之周邊像素之像素數或區塊尺寸而變更處理。又，圖7之流程圖例示讀出如圖8所示般被記憶之圖像資料之情形之動作，但可根據記憶於記憶體部13之圖像資料之區塊尺寸或內插處理中使用之周邊像素之像素數等而變更處理。
又，在上述之實施形態中，例示使用DRAM構成記憶體部13之情形，但記憶體部13所使用之記憶體不限於DRAM，例如亦可使用SRAM。
又，因可減少記憶體存取頻帶，而可增加所讀出之內插點之像素資料，故可增加圖像變形處理之內插點數而使畫質提高。又，因可減少記憶體存取頻帶，而可減少所使用之記憶體之數目、或使用低性能之記憶體，而可削減成本。又，對於安裝本發明之演算法之CPU、GPU、FPGA、或ASIC等元件，可根據連接對象之記憶體之數目或性能，而降低元件之數目或性能，故可削減成本。
進而，因可減少記憶體存取頻帶，而可減少所使用之記憶體之數目或減低記憶體之頻率，從而可減少電力消耗。
再者，作為將圖像處理高速化而以硬體進行之例，可舉出將於播送節目製作所使用之圖像變更為任意形式之處理、或使圖像移動時所使用之DME(Digital Multi Effects，數位多效裝置)等。
說明書中所說明之一系列處理可藉由硬體、軟體、或兩者之複合構成而執行。在執行軟體之處理之情形下，可將記錄有處理序列之程式安裝於組入專用之硬體之電腦內的記憶體而執行。或者是，可將程式安裝於可執行各種處理之泛用電腦並執行。
例如，程式可預先記錄於作為記錄媒體之硬碟或SSD(Solid State Drive，固態磁碟機)、ROM(Read Only Memory，唯讀記憶體)。或者是，可將程式預先暫時性或永久性儲存(記錄)於軟碟片、CD-ROM(Compact Disc Read Only Memory，光碟唯讀記憶體)，MO(Magneto optical，磁光)碟，DVD(Digital Versatile Disc，數位多功能光碟)、BD(Blu-Ray Disc，藍光光碟(註冊商標))、磁碟、半導體記憶卡等卸除式記錄媒體。如此之卸除式記錄媒體可作為所謂之封裝軟體而提供。
又，程式除了自卸除式記錄媒體安裝於電腦以外，亦可自下載站經由LAN(Local Area Network，區域網路)或網際網路等網路，利用無線或有線傳送至電腦。在電腦中，可接收如此般傳送而來之程式，且安裝於內置之硬碟等記錄媒體。
再者，本說明書所記載之效果僅為例示而非限定者，亦可具有未經記載之附加性之效果。又，本發明不應限定於上述之技術之實施形態而解釋。本發明之實施形態係以例示之形態揭示本發明，在不脫離本發明之要旨之範圍內當可由本領域技術人員進行實施形態之修正或代用。亦即，為了判斷本發明之要旨，應參酌專利申請範圍。
又，本發明之圖像處理裝置亦可採用如以下之構成。 (1) 一種圖像處理裝置，其具備：記憶體部，其將輸入圖像資料分割成第1區塊、第2區塊、及第3區塊而記憶，該第1區塊具有行方向上複數行份之特定像素數之像素資料；該第2區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊之一部分行；該第3區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊中之與前述第2區塊所含之行不同之行；及 記憶體控制部，其自前述記憶體部讀出第1、第2及第3區塊之像素資料，該像素資料包含產生內插位置之像素資料時使用的周邊像素之像素資料。 (2) 如(1)之圖像處理裝置，其中前述記憶體部將被分割成前述區塊之前述輸入圖像資料記憶於3個區域， 前述記憶體控制部以區塊單位自不同之區域讀出第1、第2及第3區塊之像素資料。 (3) 如(1)或(2)之圖像處理裝置，其中前述記憶體控制部對於自第1、第2及第3區塊之像素資料之讀出，使用突發傳送。 (4) 如(1)至(3)中任一項之圖像處理裝置，其中前述記憶體控制部具有： 讀出位址產生部，其產生讀出位址，該讀出位址用於讀出產生前述內插位置之像素資料時使用之周邊像素之像素資料；及 讀出位址轉換處理部，其將由前述讀出位址產生部產生之讀出位址轉換為區塊單位之位址；且 前述記憶體控制部使用由前述讀出位址轉換處理部獲得之位址，自前述記憶體部讀出包含前述周邊像素之像素資料的第1、第2及第3區塊之像素資料。 (5) 如(1)至(4)中任一項之圖像處理裝置，其中前述記憶體控制部具有： 讀出圖像資料處理部，其從自前述記憶體部讀出之第1、第2及第3區塊之像素資料中，選擇前述周邊像素之像素資料而向內插處理部輸出。 (6) 如(1)至(5)中任一項之圖像處理裝置，其中前述記憶體控制部具有： 寫入圖像資料處理部，其將前述輸入圖像資料分割成前述第1區塊與前述第2區塊及前述第3區塊之資料；及 寫入位址產生部，其產生寫入位址，該寫入位址用於將由前述寫入圖像資料處理部設為區塊單位之前述輸入圖像資料，以區塊單位寫入前述記憶體部。 (7) 如(1)至(6)中任一項之圖像處理裝置，其中前述記憶體控制部在前述內插位置為僅於前述第1、第2及第3區塊之任一區塊中包含周邊像素之像素資料之位置之情形下，自前述記憶體部讀出包含該周邊像素之像素資料的區塊之像素資料，在前述內插位置為於前述第1、第2及第3區塊中之2個區塊中包含周邊像素之像素資料之位置之情形下，自前述記憶體部讀出包含該周邊像素之像素資料的2個區塊之像素資料。 (8) 如(1)至(7)中任一項之圖像處理裝置，其更具備：運算處理部，其算出與圖像轉換後之像素位置對應之圖像轉換前之像素位置，即前述內插位置；及 內插處理部，其使用由前述記憶體控制部自前述記憶體部讀出之周邊像素之像素資料進行內插處理，而產生由前述運算處理部算出之前述內插位置之像素資料。 (9) 如(8)之圖像處理裝置，其中前述行方向上之特定像素數為前述內插處理中使用之周邊像素之行方向之像素數以上，前述第1區塊包含前述內插處理中使用之周邊像素之所有的行。 (10) 如(1)至(9)中任一項之圖像處理裝置，其中前述第1、第2及第3區塊之資料量等於前述記憶體部之資料寬度。
10:圖像處理裝置 11:記憶體緩衝器部 12:記憶體控制部 13:記憶體部 14:內插處理部 15:運算處理部 121:寫入圖像資料處理部 122:寫入位址產生部 123:讀出位址產生部 124:讀出位址轉換處理部 125:讀出圖像資料處理部 126:存取控制部 ARm:周邊像素之像素區域 BLK1:第1區塊(區塊) BLK2:第2區塊(區塊) BLK3:第3區塊(區塊) BLKa,BLKb,BLKc,BLKd:區塊 Dvin:輸入圖像資料 Dvout:圖像轉換後之圖像資料 MP,MP1,MP2,MP3,MP4,MPu,MPw:內插位置 ST1～ST7,ST11～ST28,ST41～ST56:步驟
圖1係例示圖像處理裝置之構成之圖。 圖2(a)～(c)係例示對於內插位置之周邊像素與輸入圖像資料經分割之區塊之關係之圖。 圖3係例示圖像處理裝置之動作之流程圖。 圖4係例示圖像資料寫入處理之流程圖。 圖5係例示圖像資料寫入處理之流程圖。 圖6(a)～(e)係例示輸入圖像資料與區塊之具體例之圖。 圖7係例示圖像資料讀出處理之流程圖。 圖8(a)～(d)係顯示3個區塊之位址之圖。 圖9(a)、(b)係例示產生像素資料之內插位置與資料被讀出之區塊之關係之圖。 圖10(a)、(b)係例示藉由讀出1區塊或2區塊之資料而可進行內插處理之情形之圖。
10:圖像處理裝置
11:記憶體緩衝器部
12:記憶體控制部
13:記憶體部
14:內插處理部
15:運算處理部
121:寫入圖像資料處理部
122:寫入位址產生部
123:讀出位址產生部
124:讀出位址轉換處理部
125:讀出圖像資料處理部
126:存取控制部
Dvin:輸入圖像資料
Dvout:圖像轉換後之圖像資料

Claims (12)

  1. 一種圖像處理裝置，其具備：記憶體部，其將輸入圖像資料分割成第1區塊、第2區塊、及第3區塊而記憶，該第1區塊具有行方向上複數行份之特定像素數之像素資料；該第2區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊之一部分行；該第3區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊中之與前述第2區塊所含之行不同之行；及 記憶體控制部，其自前述記憶體部讀出第1、第2及第3區塊之像素資料，該像素資料包含產生內插位置之像素資料時使用的周邊像素之像素資料。
  2. 如請求項1之圖像處理裝置，其中前述記憶體部將被分割成前述區塊之前述輸入圖像資料記憶於3個區域， 前述記憶體控制部以區塊單位自不同之區域讀出第1、第2及第3區塊之像素資料。
  3. 如請求項1之圖像處理裝置，其中前述記憶體控制部對於自第1、第2及第3區塊之像素資料之讀出，使用突發傳送。
  4. 如請求項1之圖像處理裝置，其中前述記憶體控制部具有： 讀出位址產生部，其產生讀出位址，該讀出位址用於讀出產生前述內插位置之像素資料時使用之周邊像素之像素資料；及 讀出位址轉換處理部，其將由前述讀出位址產生部產生之讀出位址轉換為區塊單位之位址；且 前述記憶體控制部使用由前述讀出位址轉換處理部獲得之位址，自前述記憶體部讀出包含前述周邊像素之像素資料的第1、第2及第3區塊之像素資料。
  5. 如請求項1之圖像處理裝置，其中前述記憶體控制部具有： 讀出圖像資料處理部，其從自前述記憶體部讀出之第1、第2及第3區塊之像素資料中，選擇前述周邊像素之像素資料而向內插處理部輸出。
  6. 如請求項1之圖像處理裝置，其中前述記憶體控制部具有： 寫入圖像資料處理部，其將前述輸入圖像資料分割成前述第1區塊與前述第2區塊及前述第3區塊之資料；及 寫入位址產生部，其產生寫入位址，該寫入位址用於將由前述寫入圖像資料處理部設為區塊單位之前述輸入圖像資料，以區塊單位寫入前述記憶體部。
  7. 如請求項1之圖像處理裝置，其中前述記憶體控制部在前述內插位置為僅於前述第1、第2及第3區塊之任一區塊中包含周邊像素之像素資料之位置之情形下，自前述記憶體部讀出包含該周邊像素之像素資料的區塊之像素資料，在前述內插位置為於前述第1、第2及第3區塊中之2個區塊中包含周邊像素之像素資料之位置之情形下，自前述記憶體部讀出包含該周邊像素之像素資料的2個區塊之像素資料。
  8. 如請求項1之圖像處理裝置，其更具備：運算處理部，其算出與圖像轉換後之像素位置對應之圖像轉換前之像素位置，即前述內插位置；及 內插處理部，其使用由前述記憶體控制部自前述記憶體部讀出之周邊像素之像素資料進行內插處理，而產生由前述運算處理部算出之前述內插位置之像素資料。
  9. 如請求項8之圖像處理裝置，其中前述行方向之特定像素數為前述內插處理中使用之周邊像素之行方向之像素數以上，前述第1區塊包含前述內插處理中使用之周邊像素之所有的行。
  10. 如請求項1之圖像處理裝置，其中前述第1、第2及第3區塊之資料量等於前述記憶體部之資料寬度。
  11. 一種圖像處理方法，其包含：以記憶體控制部自記憶體部讀出產生內插位置之像素資料時使用之、包含周邊像素之像素資料的第1、第2及第3區塊之像素資料；該記憶體部將輸入圖像資料分割成第1區塊、第2區塊、及第3區塊而記憶，該第1區塊具有行方向上複數行份之特定像素數之像素資料；該第2區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊之一部分行；該第3區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊中之與前述第2區塊所含之行不同之行。
  12. 一種程式，其係使電腦執行圖像轉換之程式，且使電腦執行如下步序： 算出與圖像轉換後之像素位置對應之圖像轉換前之像素位置，即內插位置； 自記憶體部讀出產生前述內插位置之像素資料時使用之、包含周邊像素之像素資料的第1、第2及第3區塊之像素資料；該記憶體部將輸入圖像資料分割成第1區塊、第2區塊、及第3區塊而記憶，該第1區塊具有行方向上複數行份之特定像素數之像素資料；該第2區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊之一部分行；該第3區塊具有複數行份之、相對於前述第1區塊於行方向接續之特定像素數之像素資料，該複數行包含前述第1區塊中之與前述第2區塊所含之行不同之行；及 使用自前述記憶體部讀出之周邊像素之像素資料進行內插處理，產生前述內插位置之像素資料。
TW109123670A 2019-09-20 2020-07-14 圖像處理裝置及圖像處理方法以及程式 TW202129591A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019171405 2019-09-20
JP2019-171405 2019-09-20

Publications (1)

Publication Number Publication Date
TW202129591A true TW202129591A (zh) 2021-08-01

Family

ID=74884164

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109123670A TW202129591A (zh) 2019-09-20 2020-07-14 圖像處理裝置及圖像處理方法以及程式

Country Status (4)

Country Link
US (1) US12047698B2 (zh)
JP (1) JP7513032B2 (zh)
TW (1) TW202129591A (zh)
WO (1) WO2021053948A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1134991C (zh) * 1997-07-31 2004-01-14 日本胜利株式会社 数字视频信号块间内插预测编码/解码装置及高效编码方法
EP2399258B1 (en) 2009-02-20 2016-04-06 Intel Corporation Multimode accessible storage facility
JP5533109B2 (ja) 2010-03-24 2014-06-25 セイコーエプソン株式会社 画像表示装置、プロジェクター、および、画像表示装置におけるデータの取得方法
JP5739723B2 (ja) 2011-05-10 2015-06-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5893445B2 (ja) 2012-03-07 2016-03-23 株式会社メガチップス 画像処理装置、および画像処理装置の動作方法
US20140071146A1 (en) * 2012-09-07 2014-03-13 Texas Instruments Incorporated Methods and systems for multimedia data processing

Also Published As

Publication number Publication date
WO2021053948A1 (ja) 2021-03-25
JP7513032B2 (ja) 2024-07-09
US12047698B2 (en) 2024-07-23
US20220377271A1 (en) 2022-11-24
JPWO2021053948A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
JP5663009B2 (ja) 原画像をワープまたは回転させて表示する装置、その方法、そのコンピュータプログラムおよびそれを記録した記録媒体
US7620793B1 (en) Mapping memory partitions to virtual memory pages
KR100817057B1 (ko) 동일한 픽셀 데이터 그룹에 포함되는 픽셀 데이터들을메모리의 동일한 뱅크 어드레스로 매핑하는 매핑 방법 및비디오 시스템
JP5137374B2 (ja) メモリマッピング方法及び装置
CN111630560B (zh) 用于校正失真输入图像的方法和***
US9256536B2 (en) Method and apparatus for providing shared caches
JPH06251166A (ja) 画像処理装置
US20100153645A1 (en) Cache control apparatus and method
US10198359B2 (en) Systems and methods for addressing a cache with split-indexes
US7995053B2 (en) Drawing device
US9235872B2 (en) Image processing device, image processing method, program, and integrated circuit
TW202129591A (zh) 圖像處理裝置及圖像處理方法以及程式
JP2018085103A (ja) カーブレンダリングを行う方法、コンピュータプログラム及び記録媒体
US20080218527A1 (en) Method and Apparatus for Improving Hit Rates of a Cache Memory for Storing Texture Data During Graphics Rendering
KR20170072646A (ko) 푸리에 변환을 수행하는 방법 및 장치
KR20190059054A (ko) 영상 데이터를 처리하는 방법 및 장치
EP2453360B1 (en) Method and apparatus for translating memory access address
GB2604266A (en) Compression techniques for pixel write data
US6577776B1 (en) Transforming video images
CN106776373B (zh) 一种面向移动设备的基于闪存的高速缓存***及方法
JP3906234B1 (ja) 画像用メモリ回路
JP7346883B2 (ja) ベクトルプロセッサ装置及び生成方法
JP5712386B2 (ja) 画像表示処理方法及び画像表示処理装置
CN102262603B (zh) 一种高级图形存储器
TWI242741B (en) Method for accessing frame data and data accessing device thereof