TWI460668B - 影像擷取系統與方法 - Google Patents

影像擷取系統與方法 Download PDF

Info

Publication number
TWI460668B
TWI460668B TW101127477A TW101127477A TWI460668B TW I460668 B TWI460668 B TW I460668B TW 101127477 A TW101127477 A TW 101127477A TW 101127477 A TW101127477 A TW 101127477A TW I460668 B TWI460668 B TW I460668B
Authority
TW
Taiwan
Prior art keywords
image
images
carrier
range
image capturing
Prior art date
Application number
TW101127477A
Other languages
English (en)
Other versions
TW201405436A (zh
Inventor
yu min Wang
Original Assignee
Faraday Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faraday Tech Corp filed Critical Faraday Tech Corp
Priority to TW101127477A priority Critical patent/TWI460668B/zh
Priority to CN201210325393.4A priority patent/CN103581536A/zh
Priority to US13/628,059 priority patent/US20140028847A1/en
Priority to KR1020120115302A priority patent/KR101353021B1/ko
Publication of TW201405436A publication Critical patent/TW201405436A/zh
Application granted granted Critical
Publication of TWI460668B publication Critical patent/TWI460668B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

影像擷取系統與方法
本發明是有關於一種影像擷取系統與方法，且特別是有關於一種適用於可移動載具上的影像擷取系統與方法。
近年來，由於電子技術與光學技術的發展，攝像裝置已經逐漸的朝向微型化與輕便化的方向發展。舉例而言，大部分的行動裝置與小型攝像機皆採用如電荷耦合元件(Charge Coupling Device,CCD)或互補式金氧半導體(Complementary Metal-Oxide Semiconductor,CMOS)影像感測元件(image sensor)來感測影像以達到縮減裝置體積的效果。同時，由於影像處理技術的進步，此類攝像裝置也不需要外接儲存裝置，而僅使用內建的儲存元件，如記憶體或一般內建硬碟，便足以儲存大量的影像資料。
由於上述優點，攝像裝置也得以運用在以往較難以想像的用途上，而行車紀錄器即為一例。整合於行車紀錄器中的攝像裝置，需要不間斷地紀錄行車畫面，以提供駕駛人完整的行車紀錄，並且在事故發生時據以保護自身的權益。圖1為一般行車紀錄器的操作示意圖。一般裝設在車輛1000上的行車紀錄器1100，在車輛的行進過程時，其內部之攝像鏡頭的視角與方向皆為固定不變的，並且擷取影像的範圍R也是固定的。當車輛在轉彎時，由於攝像鏡頭視角仍是固定不變，行車紀錄器所擷取的影像依舊只能 紀錄到攝像鏡頭前方的固定範圍R，便與駕駛者實際看向的方向有所誤差，而無法得到最準確的影像畫面，比方說無法紀錄/拍攝圖1中的行進物1200。
本發明提出一種影像擷取系統，適用於可移動的載具上。影像擷取系統分析載具的行進方向，並根據行進方向來調整擷取影像的範圍。
本發明提出一種影像擷取系統，適用於可移動的載具上。影像擷取裝置包括攝像裝置、擷取裝置以及定位分析裝置。定位分析裝置判別該載具的行進方向。擷取裝置耦接至攝像裝置與該定位分析裝置。擷取裝置接收攝像裝置所攝入的多張影像(image frames)，並根據一個修剪範圍(cropping window)擷取前述的多張影像。擷取裝置更依據定位分析裝置所判別的行進方向來決定是否對應地調整所述修剪範圍。
於本發明的一實施例中，於載具的行進方向從第一方向轉向第二方向時，上述擷取裝置會於多張影像上，沿對應第二方向的特定方向移動修剪範圍。
於本發明的一實施例中，上述攝像裝置具有攝像範圍，並根據攝像範圍攝入多張影像，其中攝像範圍大於或等於修剪範圍。
於本發明的一實施例中，上述定位分析裝置更耦接至攝像裝置，並輸出調整指令至攝像裝置，而攝像裝置依照 調整指令調整攝像範圍，並根據攝像範圍攝入多張影像。
於本發明的一實施例中，上述定位分析裝置接收擷取裝置所擷取的多張影像，並計算擷取後的影像中，目前影像與先前影像的多個移動向量(motion vector)，以根據移動向量判別載具的行進方向。
另一方面，本發明提出一種影像擷取方法，適用於設置在可移動載具上的影像擷取系統。影像擷取方法具有下列步驟。攝入多張影像、根據一個修剪範圍擷取多張影像、判別載具的行進方向以及根據載具的行進方向來調整修剪範圍。
於本發明的一實施例中，上述調整修剪範圍的步驟更包括：當載具的行進方向從第一方向轉向至第二方向時，使修剪範圍於多張影像上，沿對應於第二方向的特定方向移動。
於本發明的一實施例中，上述攝入多張影像的步驟更包括：根據一個攝像範圍，攝入多張影像，其中攝像範圍大於或等於修剪範圍。
於本發明的一實施例中，上述攝入多張影像的步驟更包括：調整攝像範圍，並根據攝像範圍攝入多張影像。
於本發明的一實施例中，上述判別載具的行進方向的步驟包括：計算經擷取後的多張影像中，目前影像與先前影像間的多個移動向量，以根據多個移動向量判別載具的行進方向。
於本發明的一實施例中，上述計算移動向量的步驟更 包括：從目前影像取出M個第一區塊、於先前影像上找出對應於第一區塊的多個第二區塊，以及計算目前影像與先前影像間，每一第一區塊與第二區塊中相對應區塊之間的移動向量，其中M為正整數。
於本發明的一實施例中，上述判別載具的行進方向的步驟更包括：根據部分的移動向量，以判別載具的行進方向。
於本發明的一實施例中，上述影像擷取方法更包括：根據影像壓縮標準來壓縮所擷取的多張影像，以及儲存經壓縮過後的多張影像。
本發明又提出一種影像擷取系統，適用於可移動的載具上。影像擷取系統包括攝像裝置、擷取裝置與定位分析裝置。攝像裝置依照調整指令調整攝像範圍，並根據攝像範圍攝入多張影像。擷取裝置耦接至攝像裝置，以接收攝像裝置所攝入的多張影像。而定位分析裝置耦接至擷取裝置與該攝像裝置，並且判別載具的行進方向，以依據行進方向輸出調整指令至攝像裝置。
本發明再提出一種影像擷取系統，適用於可移動的載具上。影像擷取系統包括攝像裝置、定位分析裝置與擷取裝置。攝像裝置依照調整指令調整攝像範圍，並根據攝像範圍攝入多張影像。定位分析裝置判別載具的行進方向。擷取裝置耦接至攝像裝置與定位分析裝置，以接收攝像裝置所攝入的多張影像，並依據行進方向輸出調整指令至攝像裝置。
於本發明的一實施例中，上述攝像裝置於載具的行進方向改變時，根據調整指令調整攝像範圍。
於本發明的一實施例中，上述定位分析裝置計算多張影像中，目前影像與先前影像間的多個移動向量，以根據移動向量判別載具的行進方向。
於本發明的一實施例中，上述影像擷取系統於計算目前影像與先前影像間的多個移動向量時，目前影像被取出M個第一區塊，並於先前影像上尋找對應第一區塊的多個第二區塊，接著計算每一第一區塊與第二區塊中相對應區塊之間的移動向量，M為正整數。
於本發明的一實施例中，上述定位分析裝置根據多個移動向量的一部分，來判別載具的行進方向。
於本發明的一實施例中，上述定位分析裝置包括第一緩衝器以及第二緩衝器。第一緩衝器與第二緩衝器分別用以儲存目前影像與先前影像。
於本發明的一實施例中，上述影像擷取系統更包括影像壓縮單元，其中影像壓縮單元耦接至擷取裝置，並根據影像壓縮標準來壓縮擷取裝置所擷取的多張影像。
於本發明的一實施例中，上述影像擷取系統更包括記憶單元，其中記憶單元耦接至影像壓縮單元，儲存經影像壓縮單元壓縮後的多張影像。
於本發明的一實施例中，上述定位分析裝置包括陀螺儀(gyroscope)、電子羅盤(Electronic Compass)或全球定位系統(Global Positioning System,GPS)，以判別載具的行進 方向。
基於上述，本發明透過定位分析裝置來判別載具的移動方向，並動態地調整擷取裝置的修剪範圍或攝像裝置的攝像範圍，使得影像擷取系統在行進方向改變時，仍然可以攝入與擷取具有與使用者相同視角的影像。此外，本案所提出的影像擷取系統不需要外加裝置來移動影像擷取系統，可降低生產成本與體積。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖2為根據本發明一實施例中所繪示之一種影像擷取系統的示意圖。請參照圖2，影像擷取系統100適用/配置於可移動的載具(例如汽車、機車、腳踏車、使用者的頭盔等)上，且影像擷取系統100包括攝像裝置110、擷取裝置120與定位分析裝置130。定位分析裝置130可判別載具(或影像擷取系統100)的行進方向。任何具有方向判斷功能的電路，均可以用來實現定位分析裝置130。例如，定位分析裝置130可以包括陀螺儀(gyroscope)、電子羅盤(Electronic Compass)或全球定位系統(Global Positioning System,GPS)。或者，定位分析裝置130可以分析攝像裝置110或擷取裝置120所提供的影像，然後依據影像分析結果來判別載具(或影像擷取系統100)的行進方向。
攝像裝置110可連續地攝入多張影像(image frames)。 擷取裝置120耦接至攝像裝置110與定位分析裝置130。擷取裝置120接收多張攝像裝置110所攝入的影像，且根據修剪範圍(cropping window)來擷取攝入的多張影像。擷取裝置120更依照定位分析裝置130所判別的行進方向而決定是否對應地調整該修剪範圍。影像擷取系統100可以利用定位分析裝置130來判別載具的行進方向。定位分析裝置130可將上述行進方向的訊息傳遞至擷取裝置120及/或攝像裝置110，或者根據載具的行進方向輸出調整指令至擷取裝置120及/或攝像裝置110。例如，定位分析裝置130可將上述行進方向的訊息傳遞至擷取裝置120，而擷取裝置120則依照所述行進方向訊息而對應調整該修剪範圍。又例如，定位分析裝置130可將上述調整指令傳遞至攝像裝置110，而攝像裝置110則依照所述調整指令而對應地調整攝像範圍。
本實施例透過定位分析裝置130來判別載具的移動方向，而擷取裝置120依照行進方向動態地調整修剪範圍及/或攝像裝置110的攝像範圍，使得影像擷取系統100在行進方向改變時，仍然可以響應於載具的轉向而改變拍攝方向。以下將以數個操作情境與實施例說明影像擷取系統100的操作方法。
圖3為依照本發明一實施例所繪示圖2之影像擷取系統100的功能方塊示意圖。圖3所示實施例可以參照圖2的相關說明。於圖3所示實施例中，當定位分析裝置130判別載具的行進方向後，定位分析裝置130會輸出一調整 指令AC至擷取裝置120，以調整擷取裝置120的修剪範圍。此外，攝像裝置110具有攝像範圍，並且攝像裝置110根據攝像範圍來攝入多張影像。定位分析裝置130會根據載具的行進方向輸出調整指令AC至攝像裝置110，以調整攝像裝置110的攝像範圍。
圖4A為本實施例中，載具10的移動示意圖。圖5A為在圖4A所示情境中，影像擷取系統100的修剪範圍CW的操作示意圖。請參照圖3、圖4A與圖5A，當載有影像擷取系統100的載具10沿一行進方向(例如為圖4A所示第一方向)移動時，影像擷取系統100會連續的攝入並擷取多張影像，例如圖5A所示影像ImageA。擷取裝置120接收到影像ImageA後，擷取裝置120根據修剪範圍CW的位置與大小來擷取影像ImageA的部份或全部。於本實施例中，攝像裝置110的攝像範圍(即所攝入的影像ImageA)大於或等於與擷取裝置120的修剪範圍CW。或者，攝像裝置110攝入的影像ImageA與擷取裝置120根據修剪範圍CW擷取的影像相比，前者具有較大張的影像。
被擷取的影像會輸入至定位分析裝置130並用以分析/判別載具10的行進方向。於本實施例中，定位分析裝置130可以使用移動估測(motion estimation)技術來判別載具10的行進方向，其細節容後說明。然而在其他實施例中，定位分析裝置130分析/判別行進方向的方式不應受限於移動估測技術。當載具10的行進方向維持於直線前進方向時(例如圖4A所示第一方向)，擷取裝置120可以將修剪範 圍CW配置於影像ImageA的中央部(如圖5A所示)。擷取裝置120利用修剪範圍CW來擷取影像ImageA，可以減低儲存每張影像所需要的記憶空間，並且保留較為重要的影像。舉例來說，與影像ImageA上邊的天空景象與左右兩側的建築物相比較，圖4A載具10前方的道路與前車的景象較為重要。擷取裝置120只從影像ImageA中擷取修剪範圍CW所在的部份影像，除了可以減低儲存影像的記憶空間之外，更可以清楚紀錄重要的關鍵影像(例如前車的牌照號碼)。
圖4B為另一實施例中，載具10的移動示意圖。圖5B為在圖4B所示情境中，影像擷取系統100的修剪範圍CW的操作示意圖。請參照圖3、圖4B與圖5B，當定位分析裝置130利用移動估測技術判別載具10的行進方向，正從直線方向轉向時(如圖4B中的載具10從第一方向轉向至第二方向)，定位分析裝置130會輸出調整指令AC至擷取裝置120。此時，擷取裝置120根據調整指令AC，在將要處理的影像上(例如是圖4B的ImageB)，沿對應於第二方向的特定方向移動修剪範圍CW。例如，當圖4B的載具10轉向時，圖5B中的修剪範圍CW向影像ImageB的一側移動。相對於圖4A中修剪範圍CW在影像ImageA上擷取的範圍來說，擷取裝置120在影像ImageB上擷取的範圍是偏向影像ImageB的一側而非中央部分。經由以上的操作，影像擷取系統100可以在轉向時，動態地調整擷取影像的範圍。也就是說，影像擷取系統100的影像擷取方 向可以隨載具10的行進方向而自動對應轉向。
沿用前述的例子，於圖4B中，當載具10朝向右方作轉向時，修剪範圍CW會根據調整指令AC在影像ImageB上沿對應於載具10右方的方向作移動。於圖4B中，若攝入的影像ImageB與對應的外界景象方向相同，則修剪範圍CW也往影像ImageB的右側移動。反之，若攝入的影像ImageB與外界的景象顛倒或左右相反，則修剪範圍CW則往ImageB的左側移動，以取得所需的影像。攝入影像與外界景象的方向是否相同，則取決於攝像裝置110的光機(透鏡組)設計。當載具10於圖4B中向右轉時，此時載具10的右前方的事物(例如行人或前車)可能會影響到載具10的行進，因此影像擷取系統100需清楚地紀錄載具10的右前方的景象。藉由移動修剪範圍CW至攝入影像ImageB上相對的部分，擷取裝置120只從影像ImageB中擷取修剪範圍CW所在的部份影像(例如載具10的右前方的景象)，以便減低儲存影像的記憶空間並清楚紀錄重要的關鍵景象。
在其他實施例中，修剪範圍CW的調整方式並不止侷限於在攝像裝置110所攝入的影像上移動而已。例如，圖5C為依照另一實施例說明在圖4B所示情境中，影像擷取系統100的修剪範圍CW的操作示意圖。參照圖4B與圖5C，當載具10的行進方向從第一方向轉向第二方向時(例如右轉)，擷取裝置120會根據調整指令AC將修剪範圍CW放大，以便於在影像ImageB上擷取較大範圍的影像。 藉由放大修剪範圍CW，影像擷取系統100於轉向時也可以取得所需較大視角的影像(相較如圖5C中所擷取的影像)。因此，當載具10於圖4B中向右轉時，此時影像擷取系統100可以清楚地紀錄載具10的右前方的事物(例如行人或前車)的景象。
然而，調整擷取影像範圍的方法，並不以上述方法為限。於圖3所述實施例中，攝像裝置110具有可變動的攝像範圍，並且攝像裝置110可根據攝像範圍攝入多張影像，再經由擷取裝置120擷取攝入的影像。圖6A為說明在圖4A所示情境中，攝像範圍IR的操作示意圖。圖6B與圖6C為說明在圖4B所示情境中，攝像範圍IR的操作示意圖。參照圖3、圖4A~圖4B與圖6A~圖6C，定位分析裝置130耦接至攝像裝置110，並且也輸出調整指令AC至攝像裝置110。攝像裝置110依照調整指令AC調整攝像範圍IR，並根據攝像範圍IR攝入多張影像，如影像ImageA或影像ImageB。值得注意的是，擷取裝置120中的修剪範圍CW可以與攝像裝置110中的攝像範圍IR具有相同大小(如圖6A與圖6B)，或者根據調整指令分別調整至不同的大小與位置(如圖6C)。
於圖4A中，當載具10的行進方向維持於直線前進方向時(例如圖4A所示第一方向)，攝像裝置110與擷取裝置120分別根據調整指令AC調整攝像範圍IR(即圖4A中，ImageA的範圍)，並且擷取範圍CW與攝像範圍IR具有相同的大小與位置。請參照圖4B與圖6B，當載具10的行 進方向正從直線轉向右方時(如圖4B中，從第一方向轉向至第二方向)，定位分析裝置130會輸出調整指令AC至擷取裝置120與攝像裝置110。攝像裝置110與擷取裝置120分別調整攝像範圍IR(圖4B中，ImageB的範圍)與擷取範圍CW。例如圖6B所示，攝像範圍IR與擷取範圍CW皆放大，使得影像擷取系統100可以擷取視角更廣的影像，並正確地紀錄所需的影像(例如圖4B中，載具10的攝像範圍中所有的影像ImageB)。
然而調整攝像範圍IR與修剪範圍CW的方法並不以上述的方法為限。在另一實施例中，參照圖6C，攝像範圍IR的大小與修剪範圍CW的大小並不相同。請參照圖4B與圖6C，當載具10的行進方向從直線轉向右方時，定位分析裝置130輸出調整指令AC至擷取裝置120與攝像裝置110。攝像裝置110根據調整指令AC放大攝像範圍IR來攝入影像ImageB，而擷取裝置120根據調整指令AC於影像ImageB上移動修剪範圍CW。於此例中，攝像範圍IR大於修剪範圍CW，並藉此使影像擷取系統100可以攝入視角更廣的影像(例如是相較於圖6A中的攝像範圍IR)，並擷取所需的影像(例如圖4B中，載具10右前方的影像)。
值得注意的是，攝像範圍IR大於或等於修剪範圍CW。當載具沿第一方向行進時，攝像範圍IR與修剪範圍CW可以如圖6A般操作以擷取影像ImageA。當載具從第一方向轉向至第二方向時，攝像範圍IR與修剪範圍CW可 以如圖6B般一起放大，或者如圖6C般，攝像範圍IR放大，而修剪範圍CW在影像ImageB上沿對應於如圖4B中第二方向的特定方向移動以擷取影像ImageB。
重新參照圖3，影像擷取系統100更包括影像壓縮單元140與記憶單元150。影像壓縮單元140耦接至擷取裝置120，並且根據特定的影像壓縮標準來壓縮經擷取裝置120所擷取的多張影像。影像壓縮標準例如為H.264、MPEG-4等等。記憶單元150則耦接至影像壓縮單元140，並儲存經影像壓縮單元140壓縮後的影像。舉例來說，記憶單元150為快閃記憶體或者硬碟等。
影像擷取系統100中的定位分析裝置130可經由多種方法分析載具10的行進方向是否有所改變，而其中一種方式，即為利用移動估測技術。移動估測技術是利用擷取裝置120所傳來的多張影像，並分析/計算這些影像間的移動向量(motion vector)以判斷載具10的行進方向。圖7為根據一實施例所繪示之判斷移動向量的示意圖。參照圖3與圖7，定位分析裝置130計算兩張擷取後的影像Image’，分別為目前影像n與先前影像n-1。目前影像n與先前影像n-1為連續的兩張影像，並且先前影像n-1被攝入與擷取的時間早於目前影像n。為了儲存目前影像n與先前影像n-1，於圖3中，定位分析裝置130還包括第一緩衝器132a與第二緩衝器132b，以分別保存目前影像n與先前影像n-1。
於本實施例中，在定位分析裝置130計算目前影像n 與該先前影像n-1間的移動向量時，目前影像n被取出M個第一區塊(M為正整數)。例如，參照圖7，定位分析裝置130可以將目前影像n分為九個第一區塊r1~r9(M=9)，接著，於先前影像n-1上尋找對應第一區塊r1~r9的多個第二區塊。之後，定位分析裝置130計算每一第一區塊與第二區塊中相對應區塊的移動向量，並根據多個移動向量判斷載具的行進方向。
假設於圖7中目前影像n與先前影像n-1各具有一相同的特徵物O。首先定位分析裝置130從目前影像n取出的第一區塊r1~r9中，r1、r2、r4與r5具有部分的特徵物O。接著，定位分析裝置130會於先前影像n-1上尋找對應第一區塊r1~r9的第二區塊。於圖7中，根據特徵物O可得知先前影像n-1的區塊r’5、r’6、r’8與r’9為對應第一區塊r1、r2、r4與r5的第二區塊。最後，定位分析裝置130會計算每一第一區塊與第二區塊中相對應區塊的移動向量，然後統計所有的移動向量並平均，以得到載具10的行進方向。
在另一實施例中，定位分析裝置130會依照第一區塊在目前影像的位置而設定不同的加權值，然後計算這些移動向量的加權平均，以得到載具10的行進方向。例如，定位分析裝置130可以將在目前影像的中央區域中的移動向量乘上較大的加權值，而將其他區域中的移動向量乘上較小的加權值。
在其他實施例中，定位分析裝置130可以僅根據這些 移動向量中的部份移動向量來判別載具10的行進方向。舉例而言，若載具10為駛於街道上的小客車，則影像擷取系統100可能攝入的景物包括街道旁的行道樹、建築物、其它移動中的車輛以及遠方的天空與山景。當裝設有影像擷取系統100的小客車移動時，道路旁的行道樹與建築物在攝入的多張影像中會產生位移，可以用以指示小客車的行進方向。因此，攝入影像中左右兩側的部分區域，是適用於判別載具10的行進方向。因此，定位分析裝置130可以僅根據所擷取影像左右兩側區域的移動向量來判別載具10的行進方向。
又例如，載具10前遠方的山景、雲朵、太陽在連續攝入的影像中變化較少。一但這些變化較少的特徵景物一致地向相同方向移動，表示載具10發生轉向。例如，在連續攝入的影像的上側區域中山景、雲朵或太陽等特徵景物一致地向左方向移動，表示載具10向右轉向了。因此，定位分析裝置130可以僅根據所擷取影像上側區域的移動向量來判別載具10的行進方向。
承上所述，定位分析裝置130也須具備排除不適用移動向量的能力，並只使用部分的移動向量來判別載具10的行進方向。舉例而言，當定位分析裝置130收集目前畫面上所有的移動向量後，可能會根據一閥值範圍來篩選移動向量。若移動向量的標準差落在閥值範圍內，則保留並用來判斷載具10的行進方向，反之當移動向量的標準在在閥值範圍外，則排除之。或者當移動向量的標準差落在閥 值範圍內時，給予其一加權值來協助判斷載具10的行進方向。
此外，在設定定位分析裝置130時，也可以根據影像擷取系統100在使用的情形上，優先將擷取畫面上特定的位置所取得的移動向量先給予加權。以小客車行駛在道路上為例，由於影像擷取系統100在小客車上使用時，通常攝入影像的上側區域為天空，而攝入影像的下側區域通常為路面，因此對應於這些部分所取得的移動向量可先排除。反之，由於攝入影像兩旁通常具有較多不動的特徵物，如人行道、路樹、建築物或者街燈等，因此對應於這部分所取得的移動向量可保留或進行加權。上述的移動向量排除方法僅為舉例，而本實施例的影像擷取系統100在運用時並不以上述方法為限。
將不適用的移動向量排除後，定位分析裝置130收集目前畫面上所有的移動向量並平均(或加權平均)，用以判別載具10的行進方向有無變化，並且輸出調整命令AC以同時或分別調整修剪範圍CW與攝像範圍IR。然而，定位分析裝置130判別載具10行進方向的方法不以此為限。
圖3所述影像擷取系統100僅為本發明之一實施例，然而本發明並不侷限於此。例如，圖8為依照本發明另一實施例說明圖2所繪示之影像擷取系統100的功能方塊示意圖。圖8所示實施例可以參照圖2與圖3的相關說明。請參照圖8，適用於可移動載具的影像擷取系統100包括攝像裝置110、擷取裝置120與定位分析裝置130。不同於 圖3所示實施例之處，在於圖8所示影像擷取系統100中，擷取裝置120於擷取影像時並不改變修剪範圍。擷取裝置120將攝像裝置110的多張影像Image擷取部份或全部，並將擷取後的影像Image’傳輸至定位分析裝置130與影像壓縮單元140。攝像裝置110依據調整指令AC調整攝像範圍，並根據攝像範圍攝入多張影像。定位分析裝置130耦接至擷取裝置120與攝像裝置110。定位分析裝置130接收並分析擷取後的影像Image’以判別載具的行進方向，再依據載具的行進方向輸出調整指令AC至攝像裝置110。
圖9為依照本發明又一實施例說明圖2所繪示之影像擷取系統100的功能方塊示意圖。圖9所示實施例可以參照圖2與圖3的相關說明。請參照圖9，適用於可移動載具的影像擷取系統100包括攝像裝置110、擷取裝置120與定位分析裝置130。影像擷取系統100中，攝像裝置110依照調整指令AC調整攝像範圍，並根據攝像範圍攝入多張影像Image。擷取裝置120耦接至攝像裝置110與定位分析裝置130，以接收並擷取攝像裝置110所攝入的多張影像Image，並將擷取後的多張影像Image’傳輸至定位分析裝置130。定位分析裝置130分析擷取後的影像Image’以判別載具的行進方向後，將行進方向的訊息Dir傳輸至擷取裝置120。擷取裝置120依據定位分析裝置130所提供的行進方向訊息Dir輸出調整指令AC至攝像裝置110。
前述圖8中的影像擷取系統100與圖9中的影像擷取系統100僅描述其與圖3中影像擷取系統100的不同之 處，其餘請參照圖3實施例，在此不再贅述。
以下說明一種影像擷取方法，適用於設置在可移動載具的影像擷取系統上。圖10為影像擷取方法的流程圖。參照圖10，於步驟S1010時，攝入多張影像。於步驟S1020中，根據一修剪範圍擷取前述的多張影像。接著，於步驟S1030中，判別載具的行進方向。於本實施例中，可利用經擷取後的多張影像來判別載具的行進方向。最後，於步驟S1040中，根據載具的行進方向，調整修剪範圍。進一步而言，根據載具行進方向的變化，來移動或放大縮小影像上的修剪範圍。當步驟S1040結束後，影像擷取方法可以重回步驟S1010，繼續擷取影像。
於步驟S1040中，當載具的行進方向從第一方向轉至第二方向時，調整修剪範圍的步驟包括於攝入的影像上，沿對應於第二方向的特定方向移動修剪範圍。此外，攝入影像的步驟S1010中，還包括根據攝像範圍，攝入多張影像。攝像範圍於此實施例中大於或等於修剪範圍。此外，攝像範圍也可於步驟S1010中接受調整，以改變攝像範圍。
圖11為繪示步驟S1030中判別載具行進方向之詳細方法的流程圖。步驟S1030中判別載具行進方向的方法，是計算經擷取後的影像Image’中，目前影像與先前影像間的多個移動向量，以根據移動向量判載具的行進方向。具體的步驟包括：於步驟S1110中，從目前影像取出M個第一區塊。接著於步驟S1120中，在先前影像上找出對應於第一區塊的多個第二區塊。於步驟S1130中，計算目前影 像與該先前影像間，每一第一區塊與第二區塊中相對應區塊的移動向量。上述的M為正整數。此外判別載具尋進方向的方法中，可以僅根據部分的移動向量，判別載具的行進方向。
影像擷取方法還可以包括：根據影像壓縮標準來壓縮所擷取的影像以及儲存壓縮過後的影像。上述影像擷取方法的細節部分可以由圖1至圖9實施例之敘述中獲致足夠的教示、建議與實施說明，因此細節部分不再贅述。
綜上所述，根據本發明之實施例，影像擷取系統判斷載具的行進方向，並根據此行進方向調整攝入影像的範圍或擷取影像的範圍。藉由調整攝像範圍或修剪範圍，影像擷取系統可以在有限的影像解析度下，擷取所需視角的影像，達到準確的紀錄功能並節省儲存影像所需的記憶空間。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10‧‧‧載具
100‧‧‧影像擷取系統
110‧‧‧攝像裝置
120‧‧‧擷取裝置
130‧‧‧定位分析裝置
132a‧‧‧第一緩衝器
132b‧‧‧第二緩衝器
140‧‧‧影像壓縮單元
150‧‧‧記憶單元
1000‧‧‧車輛
1100‧‧‧行車紀錄器
1200‧‧‧行進物
AC‧‧‧調整指令
CW‧‧‧修剪範圍
IR‧‧‧攝像範圍
Dir‧‧‧行進方向
Image、ImageA、ImageB‧‧‧影像
Image’‧‧‧擷取後的影像
n‧‧‧目前影像
n-1‧‧‧先前影像
O‧‧‧特徵物
r1~r9‧‧‧第一區塊
r’5、r’6、r’8、r’9‧‧‧第二區塊
S1010、S1020、S1030、S1040‧‧‧影像擷取方法的步驟
S1110、S1120、S1130‧‧‧判別載具行進方向的步驟
圖1為一般行車紀錄器的操作示意圖。
圖2為根據本發明一實施例中所繪示之一種影像擷取系統的示意圖。
圖3為依照本發明一實施例說明圖2所繪示之影像擷取系統的功能方塊示意圖。
圖4A與圖4B為一實施例中載具的移動示意圖。
圖5A~圖5C為修剪範圍的操作示意圖。
圖6A~圖6C為攝像範圍的操作示意圖。
圖7為根據一實施例所繪示之判斷移動向量的示意圖。
圖8為依照本發明另一實施例說明圖2所繪示之影像擷取系統的功能方塊示意圖。
圖9為依照本發明又一實施例說明圖2所繪示之影像擷取系統的功能方塊示意圖。
圖10為依照本發明一實施例說明一種影像擷取方法的流程圖。
圖11為繪示圖10之步驟S1030中判別載具行進方向之詳細方法的流程圖。
100‧‧‧影像擷取系統
110‧‧‧攝像裝置
120‧‧‧擷取裝置
130‧‧‧定位分析裝置

Claims (35)

  1. 一種影像擷取系統，適用於可移動的一載具，該影像擷取系統包括：一攝像裝置；一定位分析裝置，判別該載具的一行進方向；以及一擷取裝置，耦接至該攝像裝置與該定位分析裝置，接收該攝像裝置所攝入的多張影像，並根據一修剪範圍擷取該些影像，以及依據該定位分析裝置所判別的該行進方向而決定是否對應地調整該修剪範圍。
  2. 如申請專利範圍第1項所述之影像擷取系統，其中當該載具的該行進方向從一第一方向轉向至一第二方向時，該擷取裝置於該些影像上，沿對應於該第二方向的一特定方向移動該修剪範圍。
  3. 如申請專利範圍第1項所述之影像擷取系統，其中該攝像裝置具有一攝像範圍，並根據該攝像範圍攝入該些影像，該攝像範圍大於或等於該修剪範圍。
  4. 如申請專利範圍第3項所述之影像擷取系統，其中該定位分析裝置更耦接至該攝像裝置並輸出一調整指令至該攝像裝置，該攝像裝置依照該調整指令調整該攝像範圍，並根據該攝像範圍攝入該些影像。
  5. 如申請專利範圍第1項所述之影像擷取系統，其中該定位分析裝置接收從該擷取裝置所擷取的該些影像，並計算經擷取後的該些影像中，一目前影像與一先前影像間的多個移動向量，以根據該些移動向量判別該載具的該行 進方向。
  6. 如申請專利範圍第5項所述之影像擷取系統，其中計算該目前影像與該先前影像間的該些移動向量時，該目前影像被取出M個第一區塊，並於該先前影像上尋找對應該些第一區塊的多個第二區塊，接著計算每一第一區塊與該些第二區塊中相對應區塊之間的該移動向量，M為正整數。
  7. 如申請專利範圍第5項所述之影像擷取系統，其中該定位分析裝置根據部分的該些移動向量，以判別該載具的該行進方向。
  8. 如申請專利範圍第5項所述之影像擷取系統，其中該定位分析裝置包括：一第一緩衝器；以及一第二緩衝器，其中該第一緩衝器與該第二緩衝器分別用以儲存該目前影像與該先前影像。
  9. 如申請專利範圍第1項所述之影像擷取系統，更包括：一影像壓縮單元，耦接至該擷取裝置，根據一影像壓縮標準來壓縮該擷取裝置所擷取的該些影像。
  10. 如申請專利範圍第9項所述之影像擷取系統，更包括：一記憶單元，耦接至該影像壓縮單元，儲存經該影像壓縮單元壓縮後的該些影像。
  11. 如申請專利範圍第1項所述之影像擷取系統，其 中該定位分析裝置包括一陀螺儀、一電子羅盤或一全球定位系統，以判別該載具的該行進方向。
  12. 一種影像擷取方法，適用於一影像擷取系統，該影像擷取系統設置於可移動的一載具上，該影像擷取方法包括：攝入多張影像；根據一修剪範圍擷取該些影像；判別該載具的一行進方向；以及根據該載具的該行進方向，調整該修剪範圍。
  13. 如申請專利範圍第12項所述之影像擷取方法，其中調整該修剪範圍的步驟更包括：當該載具的該行進方向從一第一方向轉向至一第二方向時，使該修剪範圍於該些影像上，沿對應於該第二方向的一特定方向移動。
  14. 如申請專利範圍第12項所述之影像擷取方法，其中攝入該些影像的步驟更包括：根據一攝像範圍，攝入該些影像，其中該攝像範圍大於或等於該修剪範圍。
  15. 如申請專利範圍第14項所述之影像擷取方法，更包括：調整該攝像範圍，並根據該攝像範圍攝入該些影像。
  16. 如申請專利範圍第12項所述之影像擷取方法，其中判別該行進方向的步驟包括：計算經擷取後的該些影像中，一目前影像與一先前影 像間的多個移動向量，以根據該些移動向量判別該載具的該行進方向。
  17. 如申請專利範圍第16項所述之影像擷取方法，其中計算該些移動向量的步驟更包括：從該目前影像取出M個第一區塊；於該先前影像上找出對應於該些第一區塊的多個第二區塊：以及計算該目前影像與該先前影像間，每一第一區塊與該些第二區塊中相對應區塊之間的該移動向量，其中M為正整數。
  18. 如申請專利範圍第16項所述之影像擷取方法，其中判別該行進方向的方法更包括：根據部分的該些移動向量，以判別該載具的該行進方向。
  19. 如申請專利範圍第12項所述之影像擷取方法，更包括：根據一影像壓縮標準來壓縮所擷取的該些影像；以及儲存經壓縮過後的該些影像。
  20. 一種影像擷取系統，適用於可移動的一載具，該影像擷取系統包括：一攝像裝置，依照一調整指令調整一攝像範圍，並根據該攝像範圍攝入多張影像；一擷取裝置，耦接至該攝像裝置，接收該攝像裝置所攝入的多張影像；以及 一定位分析裝置，耦接至該擷取裝置與該攝像裝置，該定位分析裝置判別該載具的一行進方向，並依據該行進方向輸出該調整指令至該攝像裝置，其中該定位分析裝置計算該些影像中，一目前影像與一先前影像間的多個移動向量，以根據該些移動向量判別該載具的該行進方向。
  21. 如申請專利範圍第20項所述之影像擷取系統，其中當該載具的該行進方向改變時，該攝像裝置根據該調整指令調整該攝像範圍。
  22. 如申請專利範圍第20項所述之影像擷取系統，其中計算該目前影像與該先前影像間的該些移動向量時，該次前影像被取出M個第一區塊，並於該先前影像上尋找對應該些第一區塊的多個第二區塊，接著計算每一第一區塊與該些第二區塊中相對應區塊之間的該移動向量，M為正整數。
  23. 如申請專利範圍第20項所述之影像擷取系統，其中該定位分析裝置根據部分的該些移動向量，以判別該載具的該行進方向。
  24. 如申請專利範圍第20項所述之影像擷取系統，其中該定位分析裝置包括：一第一緩衝器；以及一第二緩衝器，其中該第一緩衝器與該第二緩衝器分別用以儲存該目前影像與該先前影像。
  25. 如申請專利範圍第20項所述之影像擷取系統，更包括： 一影像壓縮單元，耦接至該擷取裝置，根據一影像壓縮標準來壓縮該擷取裝置所擷取的該些影像。
  26. 如申請專利範圍第25項所述之影像擷取系統，更包括：一記憶單元，耦接至該影像壓縮單元，儲存經該影像壓縮單元壓縮後的該些影像。
  27. 如申請專利範圍第20項所述之影像擷取系統，其中該定位分析裝置包括一陀螺儀、一電子羅盤或一全球定位系統，以判別該載具的該行進方向。
  28. 一種影像擷取系統，適用於可移動的一載具，該影像擷取系統包括：一攝像裝置，依照一調整指令調整該攝像範圍，並根據一攝像範圍攝入多張影像；一定位分析裝置，判別該載具的一行進方向，其中該定位分析裝置計算該些影像中，一目前影像與一先前影像間的多個移動向量，以根據該些移動向量判別該載具的該行進方向；以及一擷取裝置，耦接至該攝像裝置與該定位分析裝置，接收該攝像裝置所攝入的多張影像，並依據該行進方向輸出該調整指令至該攝像裝置。
  29. 如申請專利範圍第28項所述之影像擷取系統，其中當該載具的該行進方向改變時，該攝像裝置根據該調整指令調整該攝像範圍。
  30. 如申請專利範圍第28項所述之影像擷取系統，其 中計算該目前影像與該先前影像間的該些移動向量時，該目前影像被取出M個第一區塊，並於該先前影像上尋找對應該些第一區塊的多個第二區塊，接著計算每一第一區塊與該些第二區塊中相對應區塊之間的該移動向量，M為正整數。
  31. 如申請專利範圍第28項所述之影像擷取系統，其中該定位分析裝置根據部分的該些移動向量，以判別該載具的該行進方向。
  32. 如申請專利範圍第28項所述之影像擷取系統，其中該定位分析裝置包括：一第一緩衝器；以及一第二緩衝器，其中該第一緩衝器與該第二緩衝器分別用以儲存該目前影像與該先前影像。
  33. 如申請專利範圍第28項所述之影像擷取系統，更包括：一影像壓縮單元，耦接至該擷取裝置，根據一影像壓縮標準來壓縮該擷取裝置所擷取的該些影像。
  34. 如申請專利範圍第33項所述之影像擷取系統，更包括：一記憶單元，耦接至該影像壓縮單元，儲存經該影像壓縮單元壓縮後的該些影像。
  35. 如申請專利範圍第28項所述之影像擷取系統，其中該定位分析裝置包括一陀螺儀、一電子羅盤或一全球定位系統，以判別該載具的該行進方向。
TW101127477A 2012-07-30 2012-07-30 影像擷取系統與方法 TWI460668B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW101127477A TWI460668B (zh) 2012-07-30 2012-07-30 影像擷取系統與方法
CN201210325393.4A CN103581536A (zh) 2012-07-30 2012-09-05 图像撷取***与方法
US13/628,059 US20140028847A1 (en) 2012-07-30 2012-09-27 Image capture system and image capture method
KR1020120115302A KR101353021B1 (ko) 2012-07-30 2012-10-17 이미지 캡쳐 시스템 및 이미지 캡쳐 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101127477A TWI460668B (zh) 2012-07-30 2012-07-30 影像擷取系統與方法

Publications (2)

Publication Number Publication Date
TW201405436A TW201405436A (zh) 2014-02-01
TWI460668B true TWI460668B (zh) 2014-11-11

Family

ID=49994522

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101127477A TWI460668B (zh) 2012-07-30 2012-07-30 影像擷取系統與方法

Country Status (4)

Country Link
US (1) US20140028847A1 (zh)
KR (1) KR101353021B1 (zh)
CN (1) CN103581536A (zh)
TW (1) TWI460668B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9279983B1 (en) * 2012-10-30 2016-03-08 Google Inc. Image cropping
EP2797308A3 (en) * 2013-04-22 2015-01-07 Technologies Humanware Inc Live panning system and method
US10235817B2 (en) * 2015-09-01 2019-03-19 Ford Global Technologies, Llc Motion compensation for on-board vehicle sensors
WO2018062538A1 (ja) * 2016-09-30 2018-04-05 株式会社ニコン 表示装置およびプログラム
US10687039B1 (en) * 2018-05-16 2020-06-16 Gopro, Inc. Systems and methods for identifying viewing directions for video content
USD1002648S1 (en) * 2021-10-13 2023-10-24 Waymo Llc Display screen or portion thereof with graphical user interface
USD1002647S1 (en) * 2021-10-13 2023-10-24 Waymo Llc Display screen or portion thereof with graphical user interface
USD1002649S1 (en) * 2021-10-13 2023-10-24 Waymo Llc Display screen or portion thereof with graphical user interface

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007751A1 (en) * 2006-02-23 2010-01-14 Keiji Icho Image correction device, method, program, integrated circuit, and system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130706A (en) * 1998-03-25 2000-10-10 Lucent Technologies Inc. Process for determining vehicle dynamics
JP2000032322A (ja) * 1998-06-23 2000-01-28 Hewlett Packard Co <Hp> 画像捕捉システム
JP2006180446A (ja) * 2004-11-26 2006-07-06 Nissan Motor Co Ltd 映像撮像装置及び映像撮像方法
KR100699486B1 (ko) * 2005-06-30 2007-03-26 삼성전자주식회사 촬영장치에서의 매뉴얼 포커싱 방법 및 매뉴얼 포커싱 장치
JP4791222B2 (ja) 2006-03-27 2011-10-12 パナソニック株式会社 表示制御装置
JP5005960B2 (ja) 2006-06-02 2012-08-22 パナソニック株式会社 車両周囲状況確認装置
EP1921867B1 (en) * 2006-10-17 2016-05-25 Harman Becker Automotive Systems GmbH Sensor assisted video compression
JP5099451B2 (ja) * 2008-12-01 2012-12-19 アイシン精機株式会社 車両周辺確認装置
JP5316550B2 (ja) * 2011-01-05 2013-10-16 株式会社デンソー 後方視界支援システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007751A1 (en) * 2006-02-23 2010-01-14 Keiji Icho Image correction device, method, program, integrated circuit, and system

Also Published As

Publication number Publication date
KR101353021B1 (ko) 2014-01-17
TW201405436A (zh) 2014-02-01
US20140028847A1 (en) 2014-01-30
CN103581536A (zh) 2014-02-12

Similar Documents

Publication Publication Date Title
TWI460668B (zh) 影像擷取系統與方法
EP3342153B1 (en) Apparatus and method for generating time lapse image
CN109691079B (zh) 成像装置和电子设备
US10728474B2 (en) Image signal processor for local motion estimation and video codec
US11164282B2 (en) Virtual lens simulation for video and photo cropping
US8594390B2 (en) Composition determination device, composition determination method, and program
US9185388B2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
CN113747050B (zh) 一种拍摄方法及设备
US20130051673A1 (en) Portable electronic and method of processing a series of frames
CN105282421B (zh) 一种去雾图像获取方法、装置及终端
CN108141540B (zh) 具有移动检测的全向相机
US20130120641A1 (en) Imaging device
CN110636223A (zh) 防抖处理方法和装置、电子设备、计算机可读存储介质
WO2017112800A1 (en) Macro image stabilization method, system and devices
US8896670B2 (en) Image processing device, image processing method, and program
US11238285B2 (en) Scene classification for image processing
US10096115B2 (en) Building a depth map using movement of one camera
CN114339102A (zh) 一种录像方法及设备
US20200366839A1 (en) Image processing apparatus, image processing system, image processing method, and recording medium
WO2012056610A1 (ja) コンテンツシーン判定装置
JP6593929B2 (ja) 車載カメラ用に画像を調整するシステムおよび方法
CN111684784B (zh) 图像处理方法和装置
US11812007B2 (en) Disparity map building using guide node
JP2023119482A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
CN117750203A (zh) 电子设备及其视频处理方法