TWI637632B

TWI637632B - 影像擷取裝置及其控制方法

Info

Publication number: TWI637632B
Application number: TW105144044A
Authority: TW
Inventors: 吳健修; 陳水淋
Original assignee: 聚晶半導體股份有限公司
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2018-10-01
Also published as: US20180191940A1; TW201824849A

Abstract

一種影像擷取裝置及其控制方法，其中影像擷取裝置包括主控制器、主攝像頭以及至少一個副攝像頭。主攝像頭將透過主控制介面自主控制器接收關聯於主攝像頭的主攝像參數設定。副攝像頭透過副控制介面自主攝像頭取得主攝像參數設定，據以產生關聯於副攝像頭的副攝像參數設定。主攝像頭以及副攝像頭分別以主攝像參數設定以及副攝像參數設定進行影像擷取，以分別產生主影像資料以及副影像資料。副攝像頭透過副影像介面傳輸副影像資料至主攝像頭，而主攝像頭透過主影像介面傳輸主影像資料以及副影像資料至主控制器。

Description

影像擷取裝置及其控制方法

本發明是有關於一種影像擷取裝置及其控制方法，且特別是有關於一種具有多攝像頭的影像擷取裝置及其控制方法。

隨著科技的發展，各式各樣的智慧型影像擷取裝置，舉凡平板型電腦、個人數位化助理、智慧型手機等，已成為現代人不可或缺的工具。其中，高階款的智慧型影像擷取裝置所搭載的相機鏡頭已經與傳統消費型相機不相上下，甚至可以取而代之，少數高階款更可藉由雙鏡頭而達到接近數位單眼的畫質或是拍攝三維影像的功能。

以搭載雙鏡頭的影像擷取裝置而言，目前的主控制器主要是透過內部整合電路（Inter Integrated Circuit，I2C）或是串列周邊介面（Serial Peripheral Interface，SPI）對兩個攝像頭分別進行控制，其可依系統的限制透過單組或多組I2C或者是SPI的介面連接。接著，兩個攝像頭所擷取到的影像資料將分別通過各自的行動產業處理器介面（Mobile Industry Processor Interface，MIPI）傳送至主控制器，或是在攝像頭與主控制器之間增加切換開關分時傳送，或者是合成單一影像傳送。

然而，現有的系統架構在控制上會佔用系統資源重覆地傳送相關或是相同設定給不同的攝像頭，進而造成主控制器的負擔。此外，軟體版本亦需針對不同的攝像頭組合個別定版，因而增加設計難度以及成本管控問題。再者，主控制器如需同時接收來自不同攝像頭的原始影像資料，則必須開啟不同的MIPI介面以一對一接收。為了維持MIPI的高速傳輸需求，將會伴隨著較大的設計困難以及應用限制。

有鑑於此，本發明提供一種影像擷取裝置及其控制方法，其可藉由簡化多攝像頭的控制介面以及影像傳輸介面的規格來降低主控制器的負擔以及電路佈局的面積，以大幅降低製造成本。

在本發明的一實施例中，上述的影像擷取裝置包括主控制器、主攝像頭以及至少一個副攝像頭，其中主攝像頭耦接主控制器以及副攝像頭。主攝像頭包括主儲存器，用以透過主控制介面以及主影像介面與主控制器進行傳輸。副攝像頭包括副儲存器以及對應控制器，用以透過副控制介面以及副影像介面與主攝像頭進行傳輸。主攝像頭透過主控制介面自主控制器接收關聯於主攝像頭的主攝像參數設定。副攝像頭透過副控制介面自主攝像頭取得主攝像參數設定，據以產生關聯於副攝像頭的副攝像參數設定。主攝像頭以及副攝像頭分別以主攝像參數設定以及副攝像參數設定進行影像擷取，以分別產生主影像資料以及副影像資料。副攝像頭透過副影像介面傳輸副影像資料至主攝像頭，而主攝像頭透過主影像介面傳輸主影像資料以及副影像資料至主控制器。

在本發明的一實施例中，上述的影像擷取裝置的控制方法適用於具有多個攝像頭以及主控制器的影像擷取裝置，其中上述攝像頭包括主攝像頭以及至少一個副攝像頭，而此控制方法包括下列步驟。由主攝像頭透過主控制介面自主控制器接收關聯於主攝像頭的主攝像參數設定。由副攝像頭透過副控制介面自主攝像頭取得主攝像參數設定，據以產生關聯於副攝像頭的副攝像參數設定。由主攝像頭以及副攝像頭分別以主攝像參數設定以及副攝像參數設定進行影像擷取，以分別產生主影像資料以及副影像資料。由副攝像頭透過副影像介面將副影像資料傳輸至主攝像頭，並且由主攝像頭透過主影像介面將主影像資料以及副影像資料傳輸至主控制器。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與裝置的範例。

圖1是根據本發明一實施例所繪示的影像擷取裝置的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹影像擷取裝置的所有構件以及配置關係，詳細功能將配合圖2一併揭露。

請參照圖1，影像擷取裝置100包括主攝像頭110、副攝像頭120以及主控制器130，其中主攝像頭110分別與副攝像頭120以及主控制器130相連接。

主攝像頭110以及副攝像頭120包括透鏡以及感光元件。感光元件用以分別感測進入透鏡的光線強度，進而分別產生影像，其可以例如是電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他元件。在本實施例中，主攝像頭110以及副攝像頭120可以是具有相同解析度以及相同光學特性。然而，在其它的實施例中，主攝像頭110以及副攝像頭120可以是具有不同解析度或者是不同焦段、感光尺寸、變形程度、黑白或彩色感光等光學特性。

主控制器130可以例如是中央處理單元（Central Processing Unit，CPU）、應用處理器（Application Processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合。

在本實施例中，主攝像頭110可透過主控制介面PC與主控制器130相連接，以進行雙向的訊號傳輸。此外，副攝像頭120可透過副控制介面SC與主攝像頭110相連接，以進行雙向的訊號傳輸。在此的主控制介面PC以及副控制介面SC可以是基於內部整合電路（I2C）的傳輸協定。

另一方面，主攝像頭110可透過主影像介面PI與主控制器130相連接，以進行影像資料的傳輸。此外，副攝像頭120可透過副影像介面SI與主攝像頭110相連接，以進行影像資料的傳輸。在此的主影像介面PI以及副影像介面SI可以是基於行動產業處理器界面（MIPI）的傳輸協定。

主攝像頭110以及副攝像頭120分別具有儲存器（以下稱為主儲存器112以及副儲存器122）。在此的主儲存器112以及副儲存器122可以是暫存器（Register），用以暫存指令、設定值等資料。此外，副攝像頭120更包括耦接至儲存器122的對應控制器124。對應控制器124可以例如是可程式化控制器或是積體電路，用以控制電路用以讀取、映射以及寫入資料。

以下即搭配圖1的影像擷取裝置100的各元件列舉實施例，以說明影像擷取裝置100的控制方法流程。

圖2是根據本發明一實施例所繪示之影像擷取裝置的控制方法的流程圖。

請同時參照圖1以及圖2，當影像擷取裝置100在對拍攝場景進行影像擷取之前，主控制器130將利用主攝像頭110偵測此場景，以產生主攝像頭110擷取此場景的影像時所需的攝像參數的設定（以下稱為「主攝像參數設定」）。在此的主攝像參數設定可以例如是初始化設定、影像輸出規格設定、對焦設定、曝光設定、白平衡設定等等。接著，主攝像頭110將透過主控制介面PC自主控制器130接收主攝像參數設定（步驟S202），並且將主攝像參數設定寫入主儲存器112的相關位址。

另一方面，副攝像頭120將透過副控制介面SC自主攝像頭110取得主攝像參數設定，據以產生副攝像參數設定（步驟S204）。在本實施例中，副攝像頭120的對應控制器124可透過副控制介面SC監控主攝像頭110的主儲存器112是否有主攝像參數設定的寫入動作，若有，則對應控制器124將會同時自主儲存器112取得主攝像參數設定。

基於副攝像頭120與主攝像頭110的規格與特性上可能存在差異，對應控制器124在取得主攝像參數設定後，根據預設的主副攝像頭對應表，將主攝像參數設定轉換成副攝像參數設定，並且將副攝像參數設定寫入於副儲存器122。在此的主副攝像頭對應表可以是在出廠前根據主攝像頭110與副攝像頭120之間的差異所產生的對應表（mapping table）。舉例來說，假設主攝像頭110與副攝像頭120之間存在感光度上的差異，主副攝像頭對應表可以是儲存亮度增益比值。如此一來，主控制器130只需對主攝像頭110設定參數，副攝像頭120可自行依據主攝像頭參數設定而依據對應參數表設定所需參數。

接著，主攝像頭110以及副攝像頭120將分別以主攝像參數設定以及副攝像參數設定進行影像擷取，以分別產生主影像資料以及副影像資料（步驟S206）。在本實施例中，主攝像頭110以及副攝像頭可以是根據同步訊號以各自的參數設定來針對拍攝場景進行影像擷取，以分別產生對應的主影像資料以及副影像資料。之後，副攝像頭120將透過副影像介面SI傳輸副影像資料至主攝像頭110（步驟S208），而主攝像頭110將透過主影像介面PI傳輸該主影像資料以及副影像資料至主控制器130（步驟S210）。在此主攝像頭110將透過同一主影像介面PI以虛擬通道（Virtual Channel）或是資料格式（Data Type）規範標準來將主攝像頭110以及副攝像頭120的影像資料同時傳輸至主控制器130，以進行後續的影像處理。

圖3是根據本發明一實施例所繪示的影像擷取裝置的控制方法的資料流示意圖。

請同時參照圖1以及圖3，當影像擷取裝置100在對拍攝場景進行影像擷取之前，主控制器130會將主攝像參數設定PP傳輸至主攝像頭110（資料流S302），而主攝像頭110會將主攝像參數設定PP寫入主儲存器112（資料流S304）。此時，副攝像頭120將自主攝像頭110的主儲存器112取得主攝像參數設定PP（資料流S306），據以產生副攝像參數設定SP（資料流S308）。接著，主攝像頭110以及副攝像頭120將分別根據同步訊號SS（資料流S310），以主攝像參數設定以及副攝像參數設定同時地進行影像擷取，以分別產生主影像資料ImgP以及副影像資料ImgS（資料流S312a、S312b）。之後，副攝像頭120會將副影像資料ImgS傳輸至主攝像頭110（資料流S314），而主攝像頭110會將主影像資料ImgP以及副影像資料ImgS傳輸至主控制器130（資料流S316），以進行後續的影像處理。圖3的具體實施方式請見圖2的相關說明，在此便不再贅述。

值得一提的是，影像擷取裝置100的主攝像頭110以及副攝像頭120的相關應用可以是如以下表1所列的彩色攝像頭以及黑白攝像頭的組合、雙變焦攝像頭的組合（具有不同視野或不同解析度）、大攝像頭以及小攝像頭的組合。在表1的相關應用中，主像介面PI以及副影像介面SI為MIPI，主控制介面PC以及副控制介面SC為I2C，主控制器130為AP。表1

前述實施例的影像擷取裝置100可延伸至具有兩個以上的副攝像頭。亦即，在另一實施例中，可再額外地增設其它副攝像頭，並且以各自的副影像介面以及副控制介面與主攝像頭130連接。類似地，主控制器130仍只對主攝像頭110設定攝像參數，其它副攝像頭可自行依據主攝像參數設定以及各自的對應參數表設定所需的攝像參數。在主攝像頭110以及多個副攝像頭產生主影像資料以及副影像資料後，最終仍是以主攝像頭110透過單一主影像介面PI的不同虛擬通道來將主影像資料以及副影像資料傳輸至主控制器130，以進行後續的影像處理。

綜上所述，本發明所提出的影像擷取裝置及其控制方法，其主控制器只需針對單一攝像頭設定攝像參數，其它副攝像頭可自行依據主攝像頭的攝像參數以及各自的對應參數表設定所需的攝像參數，以藉由簡化多攝像頭的控制介面以及影像傳輸介面的規格來降低主控制器的負擔以及減少高速傳輸的高頻組抗線（microstrip line）在電路佈局上佔用的面積，可大幅降低製造成本。此外，簡化的介面規格也可使影像擷取裝置在單攝像頭應用以及多攝像頭應用時，可用主板或是共用軟體版本，藉由搭配不同攝像頭模組，即可得到不同市場定位的產品。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧影像擷取裝置

110‧‧‧主攝像頭

112‧‧‧主儲存器

120‧‧‧副攝像頭

122‧‧‧副儲存器

124‧‧‧對應控制器

130‧‧‧主控制器

PC‧‧‧主控制介面

SC‧‧‧副控制介面

PI‧‧‧主影像介面

SI‧‧‧副影像介面

S202~S210‧‧‧影像擷取裝置的控制方法流程

S302~S316‧‧‧資料流

PP‧‧‧主攝像參數設定

SP‧‧‧副攝像參數設定

ImgP‧‧‧主影像資料

ImgS‧‧‧副影像資料

圖1是根據本發明一實施例所繪示的影像擷取裝置的方塊圖。圖2是根據本發明一實施例所繪示的影像擷取裝置的控制方法的流程圖。圖3是根據本發明一實施例所繪示的影像擷取裝置的控制方法的資料流示意圖。

Claims

一種影像擷取裝置，包括：主控制器；多個攝像頭，包括：主攝像頭，耦接該主控制器，包括主儲存器，並且透過主控制介面以及主影像介面與該主控制器進行傳輸；以及至少一副攝像頭，包括副儲存器以及對應控制器，並且透過副控制介面以及副影像介面與主攝像頭進行傳輸，其中：透過該主控制介面，該主攝像頭自該主控制器接收關聯於該主攝像頭的主攝像參數設定；透過該副控制介面，該副攝像頭自該主攝像頭取得該主攝像參數設定，並且該副攝像頭的該對應控制器根據主副攝像頭對應表，轉換該主攝像參數設定至關聯於該副攝像頭的副攝像參數設定；該主攝像頭以及該副攝像頭分別以該主攝像參數設定以及該副攝像參數設定進行影像擷取，以分別產生主影像資料以及副影像資料；透過該副影像介面，該副攝像頭傳輸該副影像資料至該主攝像頭；以及透過該主影像介面，該主攝像頭傳輸該主影像資料以及該副影像資料至該主控制器。
如申請專利範圍第1項所述的影像擷取裝置，其中該主攝像頭寫入該主攝像參數設定於該主儲存器，該副攝像頭透過該副控制介面自該主儲存器讀取該主攝像參數設定。
如申請專利範圍第1項所述的影像擷取裝置，其中該對應控制器寫入該副攝像參數設定於該副儲存器。
如申請專利範圍第1項所述的影像擷取裝置，其中該主攝像頭以及該副攝像頭根據同步訊號分別以該主攝像參數設定以及該副攝像參數設定同步地進行影像擷取，以分別產生該主影像資料以及該副影像資料。
如申請專利範圍第1項所述的影像擷取裝置，其中該主影像介面包括多個虛擬通道，而該主攝像頭以不同的所述虛擬通道分別傳輸該主影像資料以及該副影像資料至該主控制器。
如申請專利範圍第1項所述的影像擷取裝置，其中該主控制介面以及該副控制介面符合內部整合電路(I2C)的傳輸協定。
如申請專利範圍第1項所述的影像擷取裝置，其中該主影像介面以及該副影像介面符合行動產業處理器界面(MIPI)的傳輸協定。
如申請專利範圍第1項所述的影像擷取裝置，其中該主攝像頭以及該副攝像頭為彩色攝像頭與黑白攝像頭的組合。
如申請專利範圍第1項所述的影像擷取裝置，其中該主攝像頭以及該副攝像頭為具有不同視野或是不同解析度的伸縮攝像頭組合。
如申請專利範圍第1項所述的影像擷取裝置，其中該主攝像頭以及該副攝像頭為大攝像頭與小攝像頭的組合。
一種影像擷取裝置的控制方法，適用於具有多個攝像頭以及主控制器的影像擷取裝置，其中所述攝像頭包括主攝像頭以及至少一副攝像頭，該控制方法包括：透過該主控制介面，由該主攝像頭自該主控制器接收關聯於該主攝像頭的主攝像參數設定；透過該副控制介面，由該副攝像頭自該主攝像頭取得該主攝像參數設定，並且由該副攝像頭根據主副攝像頭對應表，轉換該主攝像參數設定至關聯於該副攝像頭的副攝像參數設定；由該主攝像頭以及該副攝像頭分別以該主攝像參數設定以及該副攝像參數設定進行影像擷取，以分別產生主影像資料以及副影像資料；透過該副影像介面，由該副攝像頭傳輸該副影像資料至該主攝像頭；以及透過該主影像介面，由該主攝像頭傳輸該主影像資料以及該副影像資料至該主控制器。
如申請專利範圍第10項所述的控制方法，其中透過該主控制介面，由該主攝像頭自該主控制器接收關聯於該主攝像頭的該主攝像參數設定的步驟之後，該控制方法更包括：由該主攝像頭寫入該主攝像參數設定於該主攝像頭的主儲存器。
如申請專利範圍第11項所述的控制方法，其中透過該副控制介面，由該副攝像頭自該主攝像頭取得該主攝像參數設定的步驟包括：由該副攝像頭透過該副控制介面自該主儲存器讀取該主攝像參數設定。
如申請專利範圍第10項所述的控制方法，其中在產生關聯於該副攝像頭的該副攝像參數設定的步驟之後，該控制方法更包括：由該副攝像頭寫入該副攝像參數設定於該副攝像頭的副儲存器。
如申請專利範圍第10項所述的控制方法，其中由該主攝像頭以及該副攝像頭分別以該主攝像參數設定以及該副攝像參數設定進行影像擷取，以分別產生該主影像資料以及該副影像資料的步驟更包括：由該主攝像頭以及該副攝像頭根據同步訊號分別以該主攝像參數設定以及該副攝像參數設定同步地進行影像擷取，以分別產生該主影像資料以及該副影像資料。
如申請專利範圍第10項所述的控制方法，其中該主影像介面包括多個虛擬通道，而透過該主影像介面，由該主攝像頭傳輸該主影像資料以及該副影像資料至該主控制器包括：由該主攝像頭以不同的所述虛擬通道分別傳輸該主影像資料以及該副影像資料至該主控制器。