TWI756771B - 影像轉換方法 - Google Patents

影像轉換方法 Download PDF

Info

Publication number
TWI756771B
TWI756771B TW109126464A TW109126464A TWI756771B TW I756771 B TWI756771 B TW I756771B TW 109126464 A TW109126464 A TW 109126464A TW 109126464 A TW109126464 A TW 109126464A TW I756771 B TWI756771 B TW I756771B
Authority
TW
Taiwan
Prior art keywords
pixels
group
pixel
memory
image
Prior art date
Application number
TW109126464A
Other languages
English (en)
Other versions
TW202207157A (zh
Inventor
陳軒盈
林俊廷
范修源
鄭吉成
江弘志
Original Assignee
偉詮電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 偉詮電子股份有限公司 filed Critical 偉詮電子股份有限公司
Priority to TW109126464A priority Critical patent/TWI756771B/zh
Priority to CN202010919871.9A priority patent/CN114066717A/zh
Priority to US16/953,353 priority patent/US11483493B2/en
Publication of TW202207157A publication Critical patent/TW202207157A/zh
Application granted granted Critical
Publication of TWI756771B publication Critical patent/TWI756771B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

一種影像轉換的方法,包含由來源影像選擇小於來源影像的一組像素,將該組像素儲存至記憶體,藉由查詢預先建立的座標對映表檢測該組像素是否有需要座標轉換的至少一像素,若該組像素有需要座標轉換的至少一像素,則轉換至少一像素的座標,及當至少一像素完成座標轉換後,將該組像素由記憶體中移除。

Description

影像轉換方法
本發明係關於一種影像轉換方法,尤指一種能降低影像處理複雜度並即時處理的影像轉換方法。
因成本日漸下降,攝影機已可見於輔助開車裝置及道路監控系統中,並可因應需要,將攝影的原始影像整合並轉換視角,使其較為符合人眼視覺習慣且進一步克服人眼視線的限制。現今一般欲實現鳥瞰影像校正需經過影像扭曲校正及視角轉換,但在一般現有技術的影像扭曲校正及視角轉換中,極為耗費記憶體及運算資源,在觀看上容易造成時間差。因此需要一種能降低影像處理複雜度並即時處理的影像轉換方法。
實施例提供一種影像轉換的方法,包含由來源影像選擇一組像素,將該組像素儲存至記憶體,藉由查詢預先建立的座標對映表檢測該組像素是否有需要座標轉換的至少一像素,若該組像素有需要座標轉換的至少一像素,則轉換至少一像素的座標,及當至少一像素完成座標轉換後,將該組像素由記憶體中移除。
實施例提供另一種影像轉換的方法,包含由來源影像選擇一組像素,將該組像素儲存至記憶體,藉由查詢預先建立的座標對映表檢測該組像素 是否有需要座標轉換的至少一像素,及若該組像素沒有任何像素需要座標轉換,則將該組像素由該記憶體中移除。
IS,SRC,SRC1,SRC2:來源影像
ID,DST,DST1,DST2:目標影像
IMG,IMG1,IMG2:圖像
ROW1,ROW2,ROWn:像素列
T,T1,T2:座標對映表
H,H1,H2:座標轉換矩陣
400,500:方法
S402~S424,S502~S512:步驟
600:影像處理系統
10:處理器
11,12:攝像機
15:記憶體
第1圖為實施例中影像轉換的示意圖。
第2圖為實施例中來源影像轉換為目標影像的示意圖。
第3圖為實施例中多個來源影像轉換為目標影像的示意圖。
第4A圖及第4B圖為實施例影像轉換方法的流程圖。
第5圖為實施例中另一影像轉換方法的流程圖。
第6圖為實施例中影像處理系統的示意圖。
第1圖為實施例中影像轉換的示意圖。來源影像IS可藉由座標對映表(mapping table)或座標轉換矩陣(holography matrix)轉換成目標影像ID。一般而言,電腦系統可先將整張來源影像IS先存入記憶體,再由處理器藉由座標對映表T或座標轉換矩陣H使來源影像IS轉換成目標影像ID。其中,座標對映表T或座標轉換矩陣H可由電腦系統預先建立。然而,先存入整張影像的方式會占用大量記憶體空間,超過目前處理器的緩衝記憶體所能暫存的大小,使得電腦系統必須使用大量較低速的記憶體,例如動態隨機存取記憶體,來暫存來源影像IS。如此會造成處理器存取影像的效率瓶頸。因此本發明實施例將來源影像IS分為區塊,每一區塊為一組像素。該組像素能直接輸入處理器,並可完全從處理器的暫存器及/或高速的快取記憶體存取。處理器在進行影像轉換時無須存取較低速的記憶 體,進而加快處理器存取影像的速度,並提升整體處理速度。
第2圖為實施例中來源影像SRC轉換為目標影像DST的示意圖。來源影像SRC可例如包含1920×1080像素,圖像IMG為來源影像SRC中橢圓形部分,是需要進行座標轉換的影像區塊。在實施例中,電腦系統可先選擇來源影像SRC最上方的像素列ROW1,並將像素列ROW1輸入處理器,像素列ROW1可直接存入處理器的高速記憶體中,例如暫存器或快取記憶體。接著,電腦系統可藉查詢預先建立座標對映表T檢測像素列ROW1是否有需要座標轉換的像素。由第2圖可見,像素列ROW1不包含圖像IMG的任何部分,因此像素列ROW1中沒有需要進行座標轉換的像素。像素列ROW1便可直接從處理器的記憶體中移除。
接著,電腦系統可將ROW1下方緊鄰的像素列ROW2輸入處理器,並以相同的方式查詢預先建立座標對映表T檢測像素列ROW2是否有需要座標轉換的像素,而像素列ROW2同樣不包含圖像IMG的任何部分,因此像素列ROW2中沒有需要進行座標轉換的像素。像素列ROW2則直接從處理器的記憶體中移除,依此類推。
當像素列ROWn被輸入處理器時,因像素列ROWn包含一部分圖像IMG,電腦系統藉由查詢預先建立座標對映表T會檢測到像素列ROWn包含需要座標轉換的像素。接著,電腦系統使用座標對映表T或座標轉換矩陣H對像素列ROWn進行座標轉換以輸出座標轉換後的像素至目標影像DST。當像素列ROWn完成座標轉換後,電腦系統會將像素列ROWn由記憶體中移除。系統重複上述過程直到所有圖像IMG中的像素皆完成座標轉換。本發明不限定於將來源影像SRC劃分成像素列,來源影像SRC還可劃分成像素行、像素區塊或單一像素。
第3圖為實施例中多個來源影像SRC1及SRC2轉換為目標影像DST的示意圖。來源影像SRC1及來源影像SRC2可例如各包含1920×1080像素。實施例中,來源影像SRC1需要進行座標轉換影像區塊之圖像IMG1包含整張影像SRC1,來源影像SRC2需要進行座標轉換影像區塊之圖像IMG2為影像SRC2中梯形的部分。電腦系統以同樣方式轉換來源影像SRC1及SRC2,並且輸出可包含1920×1080像素的目標影像DST。來源影像SRC1經座標對映表T1或座標轉換矩陣H1轉換後輸出至目標影像DST的左半部DST1,而來源影像SRC2經座標對映表T2或座標轉換矩陣H2轉換後輸出至目標影像DST的右半部DST2。來源影像SRC1的像素座標及來源影像SRC2的像素座標可同時輸入至處理器進行轉換。其餘影像轉換的過程與前述相同,在此不贅述。另外,實施例不限定於來源影像SRC1及SRC2,可將更多個來源影像轉換為目標影像,且目標影像畫面的分割不限定為左右同樣大小,可為任何形式之分割畫面。而且,目標影像可以是多個虛擬影像平面,目標影像中虛擬影像平面數不需與來源影像的數量相同。
第4A圖及第4B圖為影像轉換方法400的流程圖。影像轉換方法400包括以下步驟:S402:由來源影像選擇第一組像素;S404:將第一組像素儲存至記憶體;S406:藉由查詢預先建立的座標對映表檢測第一組像素是否包含需要座標轉換的像素;S408:若第一組像素有需要座標轉換的像素,則執行S410;若無,則執行S412;S410:轉換需要座標轉換的像素的座標; S412:將第一組像素由記憶體移除;S414:由來源影像選擇第二組像素;S416:將第二組像素儲存至記憶體;S418:藉由查詢預先建立的座標對映表檢測第二組像素是否包含需要座標轉換的像素;S420:若第二組像素有需要座標轉換的像素,則執行S422;若無,則執行S424;S422:轉換需要座標轉換的像素的座標;及S424:將第二組像素由記憶體移除。
電腦系統可重複執行影像轉換方法400直到所有來源影像中需轉換的像素皆完成轉換。來源影像是一幀畫面的影像,而來源影像中的一組像素可為一列像素、一行像素、一區塊像素或單一像素。記憶體可為處理器的暫存器及/或快取記憶體。
第5圖為影像轉換方法500的流程圖。影像轉換方法500包括以下步驟:S502:由第一來源影像選擇第一組像素,並由第二來源影像選擇第二組像素;S504:將第一組像素及第二組像素儲存至記憶體;S506:藉由查詢預先建立的第一座標對映表及第二座標對映表分別檢測第一組像素及第二組像素是否包含需要座標轉換的像素;S508:若第一組像素及/或第二組像素有需要座標轉換的像素,則執行S510;若無,則執行S512; S510:轉換需要座標轉換的像素的座標;及S512:將第一組像素及第二組像素由記憶體移除。
第一來源影像及第二來源影像分別是一幀畫面的影像,而第一來源影像及第二來源影像中的一組像素可為一列像素、一行像素、一區塊像素或單一像素。記憶體可為處理器的暫存器及/或快取記憶體。第一組像素的座標及第二組像素的座標可同時轉換。
第6圖為實施例中用以執行影像轉換之影像處理系統600的示意圖。影像處理系統600包含處理器10,攝像機11及攝像機12,並且處理器10包含記憶體15。攝像機11及攝像機12可包含任何影像擷取裝置。例如,攝像機11及攝像機12可內建鏡頭以及感光元件,用以擷取靜態或動態影像。處理器10耦接於攝像機11及攝像機12,用以執行影像轉換。處理器10可為任何形式的資料處理裝置,例如中央處理器、微處理器、微控制器等。記憶體15可為暫存器、快取記憶體,或其他形式的高速記憶體,用以儲存待處理的像素。
綜上所述,本發明實施例將來源影像分為像素區塊,每一組像素為一像素區塊,使像素區塊能直接輸入處理器,並完全從處理器的暫存器及/或高速的快取記憶體存取,在像素區塊轉換後就從記憶體中移除。如此,處理器在進行影像轉換時無須存取較低速的記憶體,並且無須消耗運算資源來提升快取記憶體的命中率,因此可加快處理器存取影像的速度,降低計算複雜度並提升整體處理速度。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化 與修飾,皆應屬本發明之涵蓋範圍。
SRC:來源影像
DST:目標影像
IMG:圖像
ROW1,ROW2,ROWn:像素列
T:座標對映表
H:座標轉換矩陣

Claims (9)

  1. 一種影像轉換的方法,包含:由一第一來源影像選擇一第一組像素;將該第一組像素儲存至一記憶體;藉由查詢預先建立的一座標對映表檢測該第一組像素是否有需要座標轉換的至少一第一像素;若該第一組像素有需要座標轉換的該至少一第一像素,則轉換該至少一第一像素的座標;及當該至少一第一像素完成座標轉換後,將該第一組像素由該記憶體中移除;當將該第一組像素由該記憶體中移除後,由該第一來源影像選擇一第二組像素;將該第二組像素儲存至該記憶體;藉由該座標對映表檢測該第二組像素是否有需要座標轉換的至少一第二像素;若該第二組像素有需要座標轉換的該至少一第二像素,則轉換該至少一第二像素的座標;及當該至少一第二像素完成座標轉換後,將該第二組像素由該記憶體中移除;其中該第一組像素及該第二組像素均為該第一來源影像中的一列像素、一行像素或一區塊像素。
  2. 如請求項1所述的方法,其中轉換該至少一第一像素的座標,係藉由查詢該座標對映表轉換該至少一第一像素的座標。
  3. 如請求項1所述的方法,其中轉換該至少一第一像素的座標,係 藉由預先建立的一座標轉換矩陣轉換該至少一第一像素的座標。
  4. 如請求項1所述的方法,另包含:由一第二來源影像選擇一另一第二組像素;將該另一第二組像素儲存至該記憶體;藉由查詢預先建立的另一座標對映表檢測該另一第二組像素是否有需要座標轉換的至少一另一第二像素;若該另一第二組像素有需要座標轉換的該至少一另一第二像素,則轉換該至少一另一第二像素的座標;及當該至少一另一第二像素完成座標轉換後,將該另一第二組像素由該記憶體中移除。
  5. 如請求項4所述的方法,其中該至少一第一像素的座標及該至少一另一第二像素的座標係同時轉換。
  6. 一種影像轉換的方法,包含:由一第一來源影像選擇一第一組像素;將該第一組像素儲存至一記憶體;藉由查詢預先建立的一座標對映表檢測該第一組像素是否有需要座標轉換的至少一第一像素;及若該第一組像素沒有任何第一像素需要座標轉換,則將該第一組像素由該記憶體中移除;當將該第一組像素由該記憶體中移除後,由該第一來源影像選擇一第二組像素; 將該第二組像素儲存至該記憶體;藉由該座標對映表檢測該第二組像素是否有需要座標轉換的至少一第二像素;若該第二組像素有需要座標轉換的該至少一第二像素,則轉換該至少一第二像素的座標;及當該至少一第二像素完成座標轉換後,將該第二組像素由該記憶體中移除;其中該第一組像素及該第二組像素均為該第一來源影像中的一列像素、一行像素或一區塊像素。
  7. 一種影像轉換的方法,包含:由一第一來源影像選擇一第一組像素;將該第一組像素儲存至一記憶體;藉由查詢預先建立的一座標對映表檢測該第一組像素是否有需要座標轉換的至少一第一像素;若該第一組像素有需要座標轉換的該至少一第一像素,則轉換該至少一第一像素的座標;當該至少一第一像素完成座標轉換後,將該第一組像素由該記憶體中移除;當將該第一組像素由該記憶體中移除後,由該第一來源影像選擇一第二組像素;將該第二組像素儲存至該記憶體;藉由查詢預先建立的該座標對映表檢測該第二組像素是否有需要座標轉換的至少一第二像素;及若該第二組像素沒有任何第二像素需要座標轉換,則將該第二組像素由該記憶體中移除 其中該第一組像素及該第二組像素均為該第一來源影像中的一列像素、一行像素或一區塊像素。
  8. 一種影像轉換的方法,包含:由一第一來源影像選擇一第一組像素;將該第一組像素儲存至一記憶體;藉由查詢預先建立的一座標對映表檢測該第一組像素是否有需要座標轉換的至少一第一像素;若該第一組像素沒有任何第一像素需要座標轉換,則將該第一組像素由該記憶體中移除;當將該第一組像素由該記憶體中移除後,由該第一來源影像選擇一第二組像素;將該第二組像素儲存至該記憶體;藉由查詢預先建立的該座標對映表檢測該第二組像素是否有需要座標轉換的至少一第二像素;及若該第二組像素沒有任何第二像素需要座標轉換,則將該第二組像素由該記憶體中移除;其中該第一組像素及該第二組像素均為該第一來源影像中的一列像素、一行像素或一區塊像素。
  9. 如請求項1至8任一項所述的方法,其中該記憶體為一處理器的一暫存器及/或一快取記憶體。
TW109126464A 2020-08-05 2020-08-05 影像轉換方法 TWI756771B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109126464A TWI756771B (zh) 2020-08-05 2020-08-05 影像轉換方法
CN202010919871.9A CN114066717A (zh) 2020-08-05 2020-09-04 图像变换方法
US16/953,353 US11483493B2 (en) 2020-08-05 2020-11-20 Camera image conversion method capable of reducing processing time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109126464A TWI756771B (zh) 2020-08-05 2020-08-05 影像轉換方法

Publications (2)

Publication Number Publication Date
TW202207157A TW202207157A (zh) 2022-02-16
TWI756771B true TWI756771B (zh) 2022-03-01

Family

ID=80114357

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109126464A TWI756771B (zh) 2020-08-05 2020-08-05 影像轉換方法

Country Status (3)

Country Link
US (1) US11483493B2 (zh)
CN (1) CN114066717A (zh)
TW (1) TWI756771B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7619626B2 (en) * 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
TW201427389A (zh) * 2012-12-28 2014-07-01 Ind Tech Res Inst 車用鏡頭之自動化校正與應用其之影像轉換方法與裝置
TW202029134A (zh) * 2019-01-30 2020-08-01 宏碁股份有限公司 行車偵測方法、車輛及行車處理裝置
US10922559B2 (en) * 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2502728B2 (ja) * 1989-02-13 1996-05-29 松下電器産業株式会社 ビデオデ―タ処理装置
DE69518485T2 (de) * 1994-05-27 2001-01-04 Raytheon Co., El Segundo Geringe latenzaktualisierung von graphischen objekten in einer luftverkehrsüberwachunganzeigevorrichtung
WO2000011603A2 (en) * 1998-08-20 2000-03-02 Apple Computer, Inc. Graphics processor with pipeline state storage and retrieval
US7194141B1 (en) * 2002-03-20 2007-03-20 Ess Technology, Inc. Image resolution conversion using pixel dropping
US7586492B2 (en) * 2004-12-20 2009-09-08 Nvidia Corporation Real-time display post-processing using programmable hardware
US8340462B1 (en) * 2011-02-14 2012-12-25 DigitalOptics Corporation Europe Limited Pixel mapping using a lookup table and linear approximation
US10198788B2 (en) * 2013-11-11 2019-02-05 Oxide Interactive Llc Method and system of temporally asynchronous shading decoupled from rasterization
US9420176B2 (en) * 2014-06-19 2016-08-16 Omnivision Technologies, Inc. 360 degree multi-camera system
US9984494B2 (en) * 2015-01-26 2018-05-29 Uber Technologies, Inc. Map-like summary visualization of street-level distance data and panorama data
US10735765B2 (en) * 2018-06-07 2020-08-04 Hong Kong Applied Science and Technology Research Institute Company, Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7619626B2 (en) * 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
TW201427389A (zh) * 2012-12-28 2014-07-01 Ind Tech Res Inst 車用鏡頭之自動化校正與應用其之影像轉換方法與裝置
US10922559B2 (en) * 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
TW202029134A (zh) * 2019-01-30 2020-08-01 宏碁股份有限公司 行車偵測方法、車輛及行車處理裝置

Also Published As

Publication number Publication date
US11483493B2 (en) 2022-10-25
CN114066717A (zh) 2022-02-18
US20220046185A1 (en) 2022-02-10
TW202207157A (zh) 2022-02-16

Similar Documents

Publication Publication Date Title
US9196022B2 (en) Image transformation and multi-view output systems and methods
US11620757B2 (en) Dense optical flow processing in a computer vision system
US11682212B2 (en) Hierarchical data organization for dense optical flow processing in a computer vision system
CN109272014B (zh) 一种基于畸变适应卷积神经网络的图像分类方法
CN111340835A (zh) 基于fpga的视频图像边缘检测***
CN109785265B (zh) 畸变矫正图像处理方法及图像处理装置
JP5327482B2 (ja) 画像処理装置及び画像処理方法
TWI756771B (zh) 影像轉換方法
CN105427235A (zh) 一种图像浏览方法及***
CN108875733B (zh) 一种红外小目标快速提取***
JP2013120517A (ja) 画像処理装置
WO2023184754A1 (zh) 可配置实时视差点云计算装置及方法
CN106952215B (zh) 一种图像金字塔特征提取电路、装置及方法
JP2016018490A (ja) エッジ検出方法、エッジ検出装置及びエッジ検出プログラム
KR20150019192A (ko) Avm 시스템을 위한 영상 합성 장치 및 그 방법
CN112308787B (zh) 畸变矫正方法及装置、电子设备
US11270412B2 (en) Image signal processor, method, and system for environmental mapping
Ergünay et al. Hardware implementation of a smart camera with keypoint detection and description
US20130003870A1 (en) Apparatus and method for video data processing
TWI820541B (zh) 影像扭曲校正的方法
US20220004799A1 (en) Method of matching images to be merged and data processing device performing the same
JP2017228849A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP4835872B2 (ja) 画像処理装置
JP2018005389A (ja) 画像変形回路、画像処理装置、及び画像変形方法
CN114037608A (zh) 一种图像配准方法