TWI649864B - 影像感測裝置及影像感測方法 - Google Patents

影像感測裝置及影像感測方法 Download PDF

Info

Publication number
TWI649864B
TWI649864B TW106122032A TW106122032A TWI649864B TW I649864 B TWI649864 B TW I649864B TW 106122032 A TW106122032 A TW 106122032A TW 106122032 A TW106122032 A TW 106122032A TW I649864 B TWI649864 B TW I649864B
Authority
TW
Taiwan
Prior art keywords
image
signal
format
image sensing
video
Prior art date
Application number
TW106122032A
Other languages
English (en)
Other versions
TW201906148A (zh
Inventor
李學能
Original Assignee
香港商京鷹科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商京鷹科技股份有限公司 filed Critical 香港商京鷹科技股份有限公司
Priority to TW106122032A priority Critical patent/TWI649864B/zh
Priority to CN201810240313.2A priority patent/CN109218631B/zh
Priority to US16/005,702 priority patent/US10692902B2/en
Application granted granted Critical
Publication of TWI649864B publication Critical patent/TWI649864B/zh
Publication of TW201906148A publication Critical patent/TW201906148A/zh

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一種影像感測裝置及影像感測方法。影像感測裝置包括影像感測陣列、多個第一信號轉換器以及多個第一影像處理設備。每個影像感測陣列至少區分為兩個或兩個以上的第一像素擷取區域，每個第一像素擷取區域皆符合一標準畫質電視格式的解析度。每個第一信號轉換器從對應第一像素擷取區域接收類比影像信號，將類比影像信號從類比格式轉換為數位格式的第一數位影像信號，並將第一數位影像信號從並列格式轉換為串列格式。每個第一影像處理設備用以將對應第一信號轉換器的串列格式的第一數位影像信號轉換為符合特定視訊格式的視訊信號。

Description

影像感測裝置及影像感測方法
本發明是有關於一種影像感測技術，且特別是有關於一種利用標準畫質電視格式的多個類比-數位信號轉換器及多個視訊編碼器來實現高畫質影像感測及視訊編碼的影像感測裝置及影像感測方法。
由於影像感測技術持續進步，當今影像感測系統所擷取的影像畫質亦逐步提升。目前常用的類比影像感測系統通常符合標準畫質電視格式（如，美國國家電視系統委員會（NTSC）標準、逐行倒相（Phase Alternating Line；PAL）標準、或塞康制（SECAM）標準）。例如，NTSC標準的影像感測系統可在60Hz的影像頻率中每秒呈現60張/30張畫面的影像，每張畫面具備525條掃描線；PAL標準及SECAM標準的影像感測系統皆可在50Hz的影像刷新率中每秒呈現50張/25張畫面的影像，每張畫面具備625條掃描線。NTSC標準、PAL標準及SECAM標準的影像感測技術皆可進行隔行掃描。然而，這些標準所擷取的影像解析度逐漸無法符合目前對於擷取畫面的高解析度需求。基於擷取影像的畫質提升，可使街道上、商店中、或是交通工具上的監視設備、保全系統….等應用能夠獲得更為清晰的影像，進而獲得更為良好的監控品質。
由於目前的影像感測元件（如，CMOS像素陣列）是以類比信號來呈現影像信號，因此需要利用運算功能較佳的類比-數位信號轉換器或晶片來將這些類比信號迅速地轉換為數位信號，方能獲得較佳地影像感測速度。當影像感測元件所擷取的影像解析度越高，則越需要高運算效率的類比-數位信號轉換器，且此種信號轉換器的晶片面積以及接腳數量也會依據高影像畫質而隨之提高，致使成本提高。並且，在目前的影像感測技術中，廠商通常分開販售針對處理類比-數位信號轉換的晶片或是針對處理影像編碼的晶片，較少有廠商會將類比-數位信號轉換功能以及影像編碼功能整合在同一晶片中，致使在實現影像感測器時，還是需要自行研發如何將影像感測元件、類比-數位信號轉換器以及影像編碼晶片相互整合。
本發明提供一種影像感測裝置及影像感測方法，係利用符合標準畫質電視格式的多套信號轉換器以及多個視訊編碼器來將被區分為多個影像區域的高畫質影像信號同時進行信號轉換以及影像編碼，從而顯著地降低硬體建置成本。
本發明的影像感測裝置包括影像感測陣列、多個第一信號轉換器以及多個第一影像處理設備。每個影像感測陣列至少區分為兩個或兩個以上的第一像素擷取區域，每個第一像素擷取區域皆符合一標準畫質電視格式的解析度。每個第一信號轉換器分別耦接至第一像素擷取區域中的對應第一像素擷取區域，用以從對應第一像素擷取區域接收類比影像信號，將所述類比影像信號從類比格式轉換為數位格式的第一數位影像信號，並將所述第一數位影像信號從並列格式轉換為串列格式。每個第一影像處理設備分別耦接至這些第一信號轉換器中的對應第一信號轉換器，用以將對應第一信號轉換器的串列格式的第一數位影像信號轉換為符合特定視訊格式的視訊信號。
本發明的影像感測方法包括下列步驟。通過至少兩個影像感測陣列來擷取影像，其中所述影像感測陣列區分為兩個或兩個以上的像素擷取區域，每個像素擷取區域皆符合一標準畫質電視格式的解析度。通過多個信號轉換器以從這些像素擷取區域中的對應像素擷取區域接收類比影像信號，將所述類比影像信號從類比格式轉換為數位格式的數位影像信號，並將所述數位影像信號從並列格式轉換為串列格式。以及，通過多個影像處理設備以將這些信號轉換器中的對應信號轉換器的串列格式的數位影像信號轉換為符合特定視訊格式的視訊信號。
基於上述，本發明實施例所述的影像感測裝置及影像感測方法係將單個影像感測陣列區分成多個像素擷取區域，並使用符合標準畫質電視格式（如，NTSC/PAL/SECAM標準）的多個信號轉換器及多個視訊編碼器來分別將各個像素擷取區域所獲得的影像信號轉換成特定視訊格式（如，複合視頻廣播信號（Composite Video Broadcast Signal；CVBS）格式）的多個視訊信號。用來接收影像感測裝置所產生之視訊信號的影像解碼器可整合這些視訊信號而獲得高清晰度的單個數位視訊信號。由於符合標準畫質電視格式的類比-數位信號轉換器及視訊編碼器的技術十分成熟，其硬體成本低廉，這些元件（如，類比-數位信號轉換器及視訊編碼器）在本實施例已被整合在同一個積體電路中，並且可整合多個視訊信號為單個視訊信號的影像解碼器亦十分容易獲得，因此本發明實施例的影像感測裝置可顯著地降低硬體建置成本，且節省在研發或應用本產品的時間。再者，本實施例的單個影像感測陣列的尺寸可橫向擴展其像素的數量，並藉由新增的多組信號轉換器以及影像處理設備來同時處理經橫向擴展而新增的影像像素，藉以讓所感測的影像畫質提升，各個信號轉換器以及影像處理設備的控制信號皆為相同且不需另外設計其他控制信號。另一方面，由於單個影像感測陣列實際上並未被切割且其整體設置在同個積體電路中，在對感測到的影像信號進行信號轉換及影像處理時才用不同的元件同時處理單個影像感測陣列上的不同像素擷取區域，因此經處理後的各個視訊信號能順利地被整合且不會產生圖像扭曲、變形…等情形。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是依照本發明的第一實施例的一種影像感測裝置100的方塊圖。影像感測裝置100主要包括影像感測陣列110、多個第一信號轉換器120-1、120-2，以及多個第一影像處理設備130-1、130-2。本實施例的影像感測裝置100可應用於監視設備、保全系統…等與影像擷取相關的資訊系統或電子設備中。
圖2是圖1中影像感測陣列110的示意圖。請參照圖2，影像感測陣列110包括排列成列與行的多個像素單元210。本實施例的像素單元210可包括光二極體Pd以及電晶體T1~T3。假設隔行掃描系統符合美國國家電視標準委員會（NTSC）制定的標準，影像可被分為奇圖場（odd field）與偶圖場（even field）來顯示，且隔行掃描系統的畫面速率可為每圖場1/60秒。為便於說明，以像素單元210在(X1, Y1)為例，像素單元210的座標標示為(X, Y)。本實施例的影像感測陣列110是以525列及1920行的像素單元210排列而形成，致使影像感測陣列110可被區分為第一像素擷取區域112-1以及112-2，因而需要採用2個信號轉換器120-1、120-2以及影像處理設備130-1、130-2來進行影像信號的擷取以及視訊編碼。應用本實施例者可依其需求來調整影像感測陣列110中像素單元210的行數，並隨之增加相應的信號轉換器以及影像處理設備的數量。例如，可以使用525列及2880行的像素單元來實現影像感測陣列，致使影像感測陣列可被區分為3個第一像素擷取區域，因而需要採用3個信號轉換器以及影像處理設備來進行影像信號的擷取以及視訊編碼。
參照圖2，在電晶體T1的控制下，光二極體Pd的節點N1最初為重置至參考電壓Vref，其中電晶體T1在列線RST1為主動時被開啟。在足夠的曝光時間後，控制線RD1主動開啟電晶體T3，如此在節點N1經由源極跟隨電晶體T2轉譯的光二極體電壓可經由行線RT1被讀出。然後，光二極體電壓將被取樣並保持在一接著的相關雙重取樣（correlated doubled sampling；CDS）電路（未繪示）。依照上述原理，每列的光二極體被曝光以產生電壓訊號至相應的行線，以回應列線的狀態和相應的控制線狀態。如此一來，藉由光柵掃描（raster scanning）和隔行掃描，畫素單元210在奇圖場期間依掃描線X1,X3, X5, … X525的順序被掃瞄並被取樣，且對應的影像資料可被獲得以顯示奇圖場。接著，畫素單元210在偶圖場期間依掃描線X2, X4, X6, … X524的順序被掃瞄並被取樣，且對應的影像資料可被獲得以顯示偶圖場。在本發明的影像感測陣列110中，典型的拜耳模型（Bayer pattern）彩色濾光片安排部署在像素單元210上，如此每個像素單元210便僅感測紅、綠、藍其中任何一方的影像資訊。
回到圖1，影像感測陣列110至少區分為兩個或兩個以上的像素擷取區域，例如，圖1所示的第一像素擷取區域112-1以及112-2。換句話說，本實施例的影像感測陣列110所區分的第一像素擷取區域112-1、112-2的數量為2。每個第一像素擷取區域112-1、112-2皆需符合標準畫質電視格式的解析度。例如，像素擷取區域112-1、112-2當中的像素單元是以525x960像素來排列，因此像素擷取區域112-1、112-2中的解析度皆符合NTSC標準的解析度。所謂的『標準畫質電視格式』是指影像解析度達到720x576像素的標準，但還不足以稱為高解析度（High Definition；HD）的電視視訊播放格式，例如美國國家電視系統委員會（NTSC）標準、逐行倒相（Phase Alternating Line；PAL）標準、或是塞康制（SECAM）標準。本實施例的影像感測陣列110將透過符合標準畫質電視格式（如，NTSC/PAL/SECAM標準）的時序來擷取影像。
於本發明實施例中，由於標準畫質電視格式相關的電路結構及信號轉換器皆已發展十分成熟，本發明實施例便是將具備高解析度的影像感測陣列（如，圖1的影像感測陣列110）區分為兩個或兩個以上的像素擷取區域（如，圖1的第一像素擷取區域112-1、112-2），並將每個像素擷取區域（112-1、112-2）分別配置對應的信號轉換器（如，圖1的第一信號轉換器120-1、120-2）以及對應的影像處理設備（如，圖1的第一影像處理設備130-1、130-2），藉以將這些像素擷取區域所獲得的影像信號皆轉換成特定視訊格式（如，複合視頻廣播信號（CVBS）格式）的多個視訊信號。此外，影像感測陣列110、第一信號轉換器120-1、120-2以及第一影像處理設備130-1、130-2可全部整合在同一個積體電路中，可更為節省電路板的佈線面積。
另一方面，在影像接收或是影像解碼等相關技術中，由於具備這些功能的設備經常需要同時接收多個來源的數位視訊信號並且同時播放這些視訊信號，因此已有廠商研發出能夠同時接收多個CVBS格式的視訊信號且將這些視訊信號整合為單個視訊信號的設備或晶片。例如，聯傑國際（Davicom Semiconductor, Inc.）公司所銷售、可同時將4個頻道中NTSC/PAL格式的視訊整合為單個標準解析度或是高解析度的視訊解碼器，其晶片編號為DM5886，便可實現本發明實施例在視訊接收端設備的電路結構。換句話說，本實施例的影像感測裝置100利用標準畫質電視格式（如，NTSC/PAL/SECAM標準）的多套信號轉換器以及相關的多套視訊編碼器來同時處理單個高畫質影像信號的一部分，從而產生多個視訊信號。用以接收這些視訊信號的遠端影像接收裝置便可將包括影像解碼器，此影像解碼器可接收這些視訊信號，並將這些視訊信號整合為高畫質的單個完整視訊。如此一來，可以透過較低成本的硬體結構來達到高畫質影像的擷取以及影像編碼/解碼功能。
在此詳細說明圖1中的第一信號轉換器120-1以及120-2。第一信號轉換器120-1以及120-2中的電路結構相同，本實施例以第一信號轉換器120-1來舉例說明。第一信號轉換器120-1包括類比-數位信號轉換器（analog-to-digital converter；ADC）122-1以及並列轉串列信號轉換器124-1。第一信號轉換器120-2包括類比-數位信號轉換器ADC 122-2以及並列轉串列信號轉換器124-2。影像感測陣列本實施例的類比-數位信號轉換器122-1具備960個輸入端以及9600個輸出端。ADC 122-1的輸入端分別連接到第一像素擷取區域112-1中各個像素單元的行線（如，行線YT1~YT960）。相似地，ADC 122-2的輸入端分別連接到第一像素擷取區域112-2中各個像素單元的行線（如，行線YT961~YT1920）。由於ADC中每個輸入端所獲取的類比信號可轉換為10位元的數位信號，且ADC 122-1及122-2皆具備960個輸入端，因此ADC 122-1及122-2的輸出端數量為9600個（960個輸入端×10位元=9600個輸出端）。
圖3為圖1中對於影像感測陣列以及類比-數位信號轉換器的各個信號的時序圖。本實施例將行線YT1~YT960對應的像素單元稱為是主動像素。請參照圖3，當水平同步信號HSYNC為禁能（亦即，在時間T0至T1之間的期間）時，從ADC 122-1的輸出端產生的信號則為虛設像像素（Dummy pixel）的數值。另一方面，當圖3中的水平同步信號HSYNC為致能（亦即，在時間T1至T2之間的期間）時，在第一像素擷取區域112-1中之特定掃描線上的像素單元將會依據像素時脈信號PCLK而依序地把感測到的類比信號提供到其行線YT1~YT960，ADC 122-1的輸入端便會依序地獲得從各個像素單元所讀出的類比影像信號。然後，ADC 122-1將這些類比影像信號從類比格式依序地轉換為10位元的數位格式原始資料（raw data），從而在其9600個輸出端上產生第一數位影像信號。
並列轉串列信號轉換器124-1將ADC 122-1的輸入端上的這些第一數位影像信號從並列格式轉換為串列格式。換句話說，並列轉串列信號轉換器124-1具備9600個輸入端以及10個輸出端，並藉由分時多工技術將9600位元、並列格式的第一數位影像信號轉換為10位元、串列格式的第一數位影像信號VD1。另一方面，並列轉串列信號轉換器124-2亦具備9600個輸入端以及10個輸出端，並藉由分時多工技術將9600位元、並列格式的第一數位影像信號轉換為10位元、串列格式的第一數位影像信號VD2。特別說明的是，圖3所述的控制信號（如，水平同步信號HSYNC、像素時脈信號PCLK）可同時提供給ADC 122-1及122-2以及並列轉串列信號轉換器124-1、124-2，使得ADC 122-1、122-2以及並列轉串列信號轉換器124-1、124-2不需另外設計其他的控制信號便可以提升第一影像感應陣列110的信號轉換處理速度，從而提申所擷取的影像畫質。
ADC 122-2類似於ADC 122-1，當圖3中的水平同步信號HSYNC為致能（亦即，在時間T1至T2之間的期間）時，在第一像素擷取區域112-2中之特定掃描線上的像素單元將會依據像素時脈信號PCLK而依序地把感測到的類比信號提供到其行線YT961~YT1920，讓ADC 122-2的輸入端能夠依序地獲得各個像素單元所讀出的類比影像信號。並列轉串列信號轉換器124-2類似於並列轉串列信號轉換器124-1，皆是將對應ADC 122-2所產生的第一數位影像信號從並列格式轉換為串列格式。
在此詳細說明圖1中的第一影像處理設備130-1以及130-2。由於第一影像處理設備130-1以及130-2的電路結構相同，因此以第一影像處理設備130-1作為舉例。第一影像處理設備130-1包括色彩內插器132-1以及視訊解碼器134-1。色彩內插器132-1耦接對應的信號轉換器120-1，用以將串列格式的第一數位影像信號進行色彩內插以產生第一全彩影像信號VF1。本實施例的第一全彩影像信號VF1是由紅光（R）影像、綠光（G）影像以及藍光（B）影像所組成。視訊編碼器134-1耦接色彩內插器132-1。視訊編碼器134-1用以將第一全彩影像信號轉換為符合特定視訊格式的視訊信號CVBS1。
詳細來說，為了使每個像素顯示全彩影像，本發明實施例使用色彩內插（color interpolation）的算術計算來計算影像感測陣列中的影像。本實施例的色彩內插需要3x3像素矩陣來實現，也就是，色彩內插器132-1、132-2需要三個連續的列資料來進行色彩內插。因此，本實施例可在色彩內插器132-1、132-2當中設置額外的畫面緩衝器（例如，可儲存三條掃描線容量的緩衝器）來儲存儲存奇圖場資料或偶圖場資料以執行色彩內插。如此一來，色彩內插器132-1、132-2便可把對應信號轉換器120-1、120-2的第一數位影像信號進行色彩內插以分別產生第一全彩影像信號。第一全彩影像信號VF1是由紅光（R）影像、綠光（G）影像以及藍光（B）影像所組成。視訊編碼器134-1及134-2便可將上述的第一全彩影像信號分別轉換為符合特定視訊格式（CVBS格式）的視訊信號CVBS1及CVBS2。
圖4是依照本發明的第二實施例的一種影像感測裝置400的方塊圖。與圖1相比較，圖4中的影像感測裝置400除了具備包括較大尺寸的影像感測陣列410（1050×1920像素）、多個第一信號轉換器120-1、120-2以及多個第一影像處理設備130-1、130-2的影像感測裝置100以外，還具備另一套影像感測裝置，也就是影像感測裝置400還具備多個第二信號轉換器420-1、420-2以及多個第二影像處理設備430-1、430-2。
多個第二信號轉換器420-1、420-2以及多個第二影像處理設備430-1、430-2與圖1所述的多個第一信號轉換器120-1、120-2以及多個第一影像處理設備130-1、130-2之功能以及電路結構皆相類似。影像感測陣列410除了原有的像素擷取區域112-1、112-2以外，還再度區分出兩個或兩個以上的像素擷取區域，如412-1及412-2。第二像素擷取區域412-1及412-2皆符合標準畫質電視格式的解析度。第二信號轉換器420-1、420-2分別耦接至對應第二像素擷取區域412-1、412-2。第二信號轉換器420-1的ADC 422-1從對應第二像素擷取區域412-1接收類比影像信號，並將類比影像信號從類比格式轉換為數位格式的第二數位影像信號。第二信號轉換器420-1的並列轉串列信號轉換器424-1則是將所述第二數位影像信號從並列格式轉換為串列格式。相似地，第二信號轉換器420-2的ADC 422-2從對應第二像素擷取區域412-2接收類比影像信號，並將類比影像信號從類比格式轉換為數位格式的第二數位影像信號。第二信號轉換器420-2的並列轉串列信號轉換器424-2則是將所述第二數位影像信號從並列格式轉換為串列格式。
第二影像處理設備430-1及430-2分別分別耦接至對應第二信號轉換器420-1及420-2。第二影像處理設備430-1中的色彩內插器432-1將串列格式的第二數位影像信號進行色彩內插以產生第二全彩影像信號。第二影像處理設備430-1中的視訊編碼器434-1將所述第二全彩影像信號轉換為符合特定視訊格式的第二視訊信號CVBS3。相似地，第二影像處理設備430-2中的色彩內插器432-2將串列格式的第二數位影像信號進行色彩內插以產生第二全彩影像信號。第二影像處理設備430-2中的視訊編碼器434-2將所述第二全彩影像信號轉換為符合特定視訊格式的第二視訊信號CVBS4。
特別注意的是，為使影像感測陣列410能夠正常運作且符合NTSC標準中的隔行掃描模式，將會依序掃描圖4中的奇數條掃描線（如，像素擷取區域112-1、112-2中的奇數條掃描線”X1、X3、X5、…、X525”以及像素擷取區域412-1、412-2中的奇數條掃描線”X527、X529、X531、…、X1049”）後再掃描偶數條掃描線（如，像素擷取區域112-1、112-2中的偶數條掃描線”X2、X4、X6、…、X524”以及像素擷取區域412-1、412-2中的偶數條掃描線”X526、X528、X530、…、X1050”），或是先對偶數條掃描線進行掃描後再對像素擷取區域中的奇數條掃描線掃描，從而獲得符合NTSC標準的影像資料。
如圖4所示，掃描線X1至X525以及掃瞄線X526至X1050將以每個畫面60Hz的速度進行像素掃描。來自像素陣列的類比像素資料將從行線YT1、YT2、…、YT1920以及行線YD1、YD2、...、YD1920輸出。這些列線將分成四組：第一組行線YT1~YT960將輸入到ADC 122-1；第二組行線YT961~YT1920將輸入到ADC 122-2；第三組行線YD1~YD960將輸入到ADC 422-1；第四組行線YD961~YD1920將輸入到ADC 422-2。本實施例的ADC 122-1、122-2、422-1、422-2是以相關雙重取樣（correlated double sampling）實現、10位元的類比-數位信號轉換器。依據實施本發明者對於影像資料的精確度需求的需求，亦可採用以8位元至12位元來輸出的ADC。
圖5是依照本發明的第三實施例的一種影像感測裝置500的方塊圖。圖5與圖4之間的差異在於，圖5中影像感測裝置500的影像感測陣列510的尺寸為1050×2880的像素。與圖4中影像感測陣列410（1050×1920像素）相比，影像感測陣列510橫向擴展了許多的像素數量。因此，影像感測陣列510除了原本被區分出的像素擷取區域112-1、112-2、412-1、412-2以外，還區分出新增的像素擷取區域512-1、512-2。如此一來，本發明實施例的影像感測裝置500便額外增加多組信號轉換器（如，信號轉換器520-1、520-2）以及多組影像處理設備（如，影像處理設備530-1、530-2）來同時處理經橫向擴展而新增的像素，例如讓像素單元的行線YT1、YT961以及TY1921同時被讀取；YT2、YT962以及TY1922同時被讀取…等。
藉此，本發明實施例的影像感測裝置可讓影像感測陣列橫向擴展以使所感測的像素數量增加，從而提升影像畫質。另一方面，隨後增加的各個信號轉換器（如，信號轉換器520-1、520-2）以及影像處理設備（如，影像處理設備530-1、530-2）的控制信號皆與其他的信號轉換器、影像處理設備相同，且不需另外設計其他控制信號。也就是說，本發明實施例的影像感測裝置僅具備單個影像感測陣列。此影像感測陣列所區分的像素擷取區域的數量可為2×N個，N為正整數，例如，圖1、圖4及圖5中的像素擷取區域的數量分別為2、4與6。相應地，信號轉換器（包含第一信號轉換器以及第二信號轉換器）的數量以及影像處理設備（包含第一影像處理設備以及第二影像處理設備）的數量為2×N個。例如，圖1、圖4及圖5中的信號轉換器與影像處理設備的數量分別為2、4與6。藉此，本發明實施例的影像感測裝置（如，影像感測裝置100、400及500）可將所擷取的影像畫質可增加到2百萬畫素（2M畫素）（如，1050×1920像素）、3百萬畫素（3M畫素）（如，1050×2880像素）甚至8K畫質，而且影像感測裝置100、400及500還是使用原有標準畫質電視格式的的控制信號即可實現。例如，本發明實施例可以採用常用的、可產生36Mhz震盪信號的晶體震盪器來實現影像感測裝置中的各種控制信號。
圖6是依照本發明的一實施例的一種影像接收裝置600的方塊圖。影像接收裝置600包括影像解碼器610以及顯示螢幕620。影像解碼器610用以將圖4的影像處理設備400所產生的視訊信號整合為高清的單個完整視訊VS，完整視訊VS例如是符合2M、3M或甚至8M畫素的視訊資料。應用本實施例者亦可透過圖6所述的影像接收裝置600的相關技術概念來實現用來接收圖1影像處理設備100所產生的視訊信號CVBS1~CVBS2的影像接收裝置、以及實現用來接收圖5影像處理設備500所產生的視訊信號CVBS1~CVBS6的影像接收裝置。顯示螢幕620可接收並播放此完整視訊VS以呈現高畫質視訊。
圖7是依照本發明的一實施例的一種影像感測方法的流程圖。圖7所述的影像感測方法可適用於圖1、圖4或圖5的影像處理設備100、400、500。於步驟S710中，通過影像感測陣列來擷取一影像，其中所述影像感測陣列區分為兩個或兩個以上的像素擷取區域。每個像素擷取區域皆符合一標準畫質電視格式的解析度。於步驟S720中，通過多個信號轉換器以從這些像素擷取區域中的對應像素擷取區域接收類比影像信號，將此類比影像信號從類比格式轉換為數位格式的數位影像信號，並將此數位影像信號從並列格式轉換為串列格式。於步驟S730中，通過多個影像處理設備以將這些信號轉換器中的對應信號轉換器的串列格式的數位影像信號轉換為符合特定視訊格式的視訊信號。步驟S710至步驟S730的細節流程請參見上述各實施例。
綜上所述，本發明實施例所述的影像感測裝置及影像感測方法係將兩個像素擷取陣列各自區分成多個像素擷取區域，並使用符合標準畫質電視格式（如，NTSC/PAL/SECAM標準）的多個信號轉換器及多個視訊編碼器來分別將各個像素擷取區域所獲得的影像信號轉換成特定視訊格式（如，CVBS格式）的多個視訊信號。用來接收影像感測裝置所產生之視訊信號的影像解碼器可整合這些視訊信號而獲得高清晰度的單個視訊信號。由於符合標準畫質電視格式的技術十分成熟，其硬體成本低廉，這些元件（如，類比-數位信號轉換器及視訊編碼器）在本實施例已被整合在同一個積體電路中，並且可整合多個視訊信號為單個視訊信號的影像解碼器亦十分容易獲得，因此本發明實施例的影像感測裝置可顯著地降低硬體建置成本，且節省在研發或應用本產品的時間。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、400、500：影像感測裝置 110、410、510：影像感測陣列 112-1、112-2、412-1、412-2、512-1、512-2：像素擷取區域 120-1、120-2：第一信號轉換器 420-1、420-2：第二信號轉換器 520-1、520-2：信號轉換器 122-1、122-2、422-1、422-2：類比-數位信號轉換器 124-1、124-2、424-1、424-2：並列轉串列信號轉換器 130-1、130-2：第一影像處理設備 430-1、430-2：第二影像處理設備 530-1、530-2：第三影像處理設備 132-1、132-2、432-1、432-2：色彩內插器 134-1、134-2、434-1、434-2：視訊編碼器 210：像素單元 600：影像接收裝置 610：影像解碼器 620：顯示螢幕 S710~S730：步驟 CVBS1~CVBS4：符合特定視訊格式的視訊信號 X1~X525、X526~X1050：掃描線 Y1~Y1920：像素單元的行數 YT1~YT960、YT961~YT1920、YD1~YD960、YD961~YD1920：像素單元的行線 RST1~RST525：像素單元的列線 RD1~RD525：像素單元的控制線 T1~T3：電晶體 N1：節點 Pd：光二極體 Vref：參考電壓 T0、T1、T2：時間 PCLK：像素時脈信號 HSYNC：水平同步信號
圖1是依照本發明的第一實施例的一種影像感測裝置的方塊圖。 圖2是圖1中影像感測陣列的示意圖。 圖3為圖1中對於影像感測陣列以及類比-數位信號轉換器的各個信號的時序圖。 圖4是依照本發明的第二實施例的一種影像感測裝置的方塊圖。 圖5是依照本發明的第三實施例的一種影像感測裝置的方塊圖。 圖6是依照本發明的一實施例的一種影像接收裝置的方塊圖。 圖7是依照本發明的一實施例的一種影像感測方法的流程圖。

Claims (15)

  1. 一種影像感測裝置，包括： 影像感測陣列，該影像感測陣列至少區分為兩個或兩個以上的第一像素擷取區域，每個第一像素擷取區域皆符合一標準畫質電視格式的解析度； 多個第一信號轉換器，每個第一信號轉換器分別耦接至該些第一像素擷取區域中的對應第一像素擷取區域，用以從該對應第一像素擷取區域接收類比影像信號，將該類比影像信號從類比格式轉換為數位格式的第一數位影像信號，並將該第一數位影像信號從並列格式轉換為串列格式；以及 多個第一影像處理設備，每個第一影像處理設備分別耦接至該些第一信號轉換器中的對應第一信號轉換器，用以將該對應第一信號轉換器的串列格式的該第一數位影像信號轉換為符合特定視訊格式的視訊信號。
  2. 如申請專利範圍第1項所述的影像感測裝置，其中該影像感測陣列、該些第一信號轉換器以及該些第一影像處理設備整合在一積體電路中。
  3. 如申請專利範圍第1項所述的影像感測裝置，其中該些第一影像處理設備所產生的該些視訊信號被一影像接收裝置所接收， 該影像接收裝置包括： 影像解碼器，用以將該些影像處理設備所產生的該些視訊信號整合為單個完整視訊。
  4. 如申請專利範圍第1項所述的影像感測裝置，其中每個第一信號轉換器包括： 類比-數位信號轉換器，用以將該類比影像信號從該類比格式轉換為該數位格式，以產生該第一數位影像信號；以及 並列轉串列信號轉換器，用以將該第一數位影像信號從並列格式轉換為串列格式。
  5. 如申請專利範圍第1項所述的影像感測裝置，其中每個第一影像處理設備包括： 色彩內插器，耦接該對應信號轉換器，用以將該串列格式的該第一數位影像信號進行色彩內插以產生第一全彩影像信號；以及 視訊編碼器，耦接該色彩內插器，用以將該第一全彩影像信號轉換為符合該特定視訊格式的該視訊信號。
  6. 如申請專利範圍第1項所述的影像感測裝置，其中該特定視訊格式為複合視頻廣播信號（CVBS）格式。
  7. 如申請專利範圍第1項所述的影像感測裝置，其中每個影像感測陣列透過符合該標準畫質電視格式的時序來擷取影像。
  8. 如申請專利範圍第1項所述的影像感測裝置，其中該影像感測陣列還被區分出兩個或兩個以上的第二像素擷取區域，每個第二像素擷取區域皆符合該標準畫質電視格式的解析度， 所述影像感測裝置還包括： 多個第二信號轉換器，每個第二信號轉換器分別耦接至該些第二像素擷取區域中的對應第二像素擷取區域，用以從該對應第二像素擷取區域接收類比影像信號，將該類比影像信號從類比格式轉換為數位格式的第二數位影像信號，並將該第二數位影像信號從並列格式轉換為串列格式；以及 多個第二影像處理設備，每個第二影像處理設備分別耦接至該些第二信號轉換器中的對應第二信號轉換器，用以將該對應第二信號轉換器的串列格式的該第二數位影像信號轉換為符合該特定視訊格式的第二視訊信號。
  9. 如申請專利範圍第1項所述的影像感測裝置，其中該影像感測裝置包括單個影像感測陣列，所述影像感測陣列所區分的該些第一像素擷取區域的數量為2×N，且該些第一信號轉換器的數量以及該些第一影像處理設備的數量為2×N，其中N為正整數。
  10. 一種影像感測方法，包括： 通過一影像感測陣列來擷取一影像，其中所述影像感測陣列區分為兩個或兩個以上的像素擷取區域，每個像素擷取區域皆符合一標準畫質電視格式的解析度； 通過多個信號轉換器以從該些像素擷取區域中的對應像素擷取區域接收類比影像信號，將該類比影像信號從類比格式轉換為數位格式的數位影像信號，並將該數位影像信號從並列格式轉換為串列格式；以及 通過多個影像處理設備以將該些信號轉換器中的對應信號轉換器的串列格式的該數位影像信號轉換為符合特定視訊格式的視訊信號。
  11. 如申請專利範圍第10項所述的影像感測方法，其中該些影像感測陣列、該些信號轉換器以及該些影像處理設備整合在一積體電路中。
  12. 如申請專利範圍第10項所述的影像感測方法，更包括： 將該些影像處理設備所產生的該些視訊信號整合為單個完整視訊。
  13. 如申請專利範圍第10項所述的影像感測方法，其中該特定視訊格式為複合視頻廣播信號格式。
  14. 如申請專利範圍第10項所述的影像感測方法，其中每個影像感測陣列透過符合該標準畫質電視格式的時序來擷取影像。
  15. 如申請專利範圍第10項所述的影像感測方法，其中該影像感測方法利用單個影像感測陣列擷取所述影像，所述影像感測陣列所區分的該些像素擷取區域的數量為2×N，且該些信號轉換器的數量以及該些影像處理設備的數量為2×N，其中N為正整數。
TW106122032A 2017-06-30 2017-06-30 影像感測裝置及影像感測方法 TWI649864B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106122032A TWI649864B (zh) 2017-06-30 2017-06-30 影像感測裝置及影像感測方法
CN201810240313.2A CN109218631B (zh) 2017-06-30 2018-03-22 影像感测装置及影像感测方法
US16/005,702 US10692902B2 (en) 2017-06-30 2018-06-12 Image sensing device and image sensing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106122032A TWI649864B (zh) 2017-06-30 2017-06-30 影像感測裝置及影像感測方法

Publications (2)

Publication Number Publication Date
TWI649864B true TWI649864B (zh) 2019-02-01
TW201906148A TW201906148A (zh) 2019-02-01

Family

ID=64738337

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106122032A TWI649864B (zh) 2017-06-30 2017-06-30 影像感測裝置及影像感測方法

Country Status (3)

Country Link
US (1) US10692902B2 (zh)
CN (1) CN109218631B (zh)
TW (1) TWI649864B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141876B (zh) * 2015-09-24 2019-02-22 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示***
TWI701948B (zh) * 2019-07-18 2020-08-11 香港商京鷹科技股份有限公司 影像感測裝置及影像感測方法
CN114666521B (zh) * 2020-12-07 2024-02-27 旭景科技股份有限公司 具有用于影像取样的可调整参数的影像感测装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829012B2 (en) * 1999-12-23 2004-12-07 Dfr2000, Inc. Method and apparatus for a digital parallel processor for film conversion
KR101695275B1 (ko) * 2015-09-22 2017-01-12 한국과학기술원 아날로그-디지털 변환 장치, 이를 포함하는 이미지 센싱 장치 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2751254B2 (ja) * 1988-11-10 1998-05-18 ソニー株式会社 固体撮像装置の信号処理回路
US9300921B2 (en) * 1999-07-20 2016-03-29 Comcast Cable Communications, Llc Video security systems and methods
JP4449565B2 (ja) * 2004-05-12 2010-04-14 ソニー株式会社 物理量分布検知の半導体装置
TW201101476A (en) * 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
JP4682750B2 (ja) * 2005-08-22 2011-05-11 ソニー株式会社 Ｄａ変換装置
JP4468276B2 (ja) * 2005-09-30 2010-05-26 富士フイルム株式会社 ディジタルカメラ
US7627182B2 (en) * 2005-12-30 2009-12-01 Intel Corporation Method and apparatus for varied format encoding and decoding of pixel data
JP4952301B2 (ja) * 2007-03-01 2012-06-13 ソニー株式会社 撮像装置およびカメラ
US8208036B2 (en) * 2008-09-16 2012-06-26 Stmicroelectronics (Grenoble2) Sas Processing for captured images
JP5243352B2 (ja) * 2009-06-17 2013-07-24 シャープ株式会社 Ａｄ変換装置、固体撮像装置および電子情報機器
US20130250150A1 (en) * 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
JP5506586B2 (ja) * 2010-07-30 2014-05-28 キヤノン株式会社 固体撮像装置及び固体撮像装置の駆動方法
JP2013090305A (ja) * 2011-10-21 2013-05-13 Sony Corp 比較器、ａｄ変換器、固体撮像装置、およびカメラシステム
JP5764466B2 (ja) * 2011-11-04 2015-08-19 ルネサスエレクトロニクス株式会社 固体撮像装置
KR101925387B1 (ko) * 2012-03-20 2018-12-05 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 장치의 신호 보정 방법
JP6245474B2 (ja) * 2014-04-21 2017-12-13 ソニー株式会社 固体撮像素子、固体撮像素子の製造方法、並びに、電子機器
JP6704944B2 (ja) * 2018-02-09 2020-06-03 キヤノン株式会社 撮像装置、撮像システム、移動体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829012B2 (en) * 1999-12-23 2004-12-07 Dfr2000, Inc. Method and apparatus for a digital parallel processor for film conversion
KR101695275B1 (ko) * 2015-09-22 2017-01-12 한국과학기술원 아날로그-디지털 변환 장치, 이를 포함하는 이미지 센싱 장치 및 방법

Also Published As

Publication number Publication date
CN109218631B (zh) 2021-07-06
US10692902B2 (en) 2020-06-23
CN109218631A (zh) 2019-01-15
US20190006400A1 (en) 2019-01-03
TW201906148A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
US9215385B2 (en) System and method for an image sensor operable in multiple video standards
US20120217378A1 (en) Solid-state imaging apparatus
JP2005223920A (ja) 固体撮像素子及びその駆動方法
TWI649864B (zh) 影像感測裝置及影像感測方法
JP2005229603A (ja) サブサンプリングモードでディスプレイ品質を改善した固体撮像素子及びその駆動方法
CN112243097B (zh) 影像传感装置及影像传感方法
JP2018157335A (ja) 画像処理システム
CN1168310C (zh) 信号处理装置和方法
JPH07203318A (ja) 撮像装置
US8194150B2 (en) Moving image processing apparatus and video camera apparatus using the same
JP3668604B2 (ja) 固体撮像素子およびこれを用いた画像システム
WO2017086218A1 (ja) カメラ制御装置およびテレビジョンカメラ
JP7357734B2 (ja) 撮像装置及びその制御方法
JP5697418B2 (ja) 画像処理装置及びその制御方法
JP4919412B2 (ja) 固体撮像装置
JP4035542B2 (ja) 撮像装置
JPH06311426A (ja) 画像処理装置
JP2005006078A (ja) 撮像装置
JPH1066095A (ja) ノンインターレース／インターレース変換方法および画像入力装置
JP2000341708A (ja) 撮像装置
JPS63256065A (ja) 映像処理方法
JPH10108076A (ja) 固体撮像装置
JPH01129678A (ja) 映像信号変換装置
JPS62112487A (ja) マルチビデオ信号変換装置
KR20030011111A (ko) 디지털 신호처리 방식의 다 채널 영상 처리 시스템 및 칩