TW202017355A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- TW202017355A TW202017355A TW108123058A TW108123058A TW202017355A TW 202017355 A TW202017355 A TW 202017355A TW 108123058 A TW108123058 A TW 108123058A TW 108123058 A TW108123058 A TW 108123058A TW 202017355 A TW202017355 A TW 202017355A
- Authority
- TW
- Taiwan
- Prior art keywords
- motion vector
- reference value
- image data
- calculation unit
- image
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title abstract 4
- 230000033001 locomotion Effects 0.000 claims abstract description 115
- 239000013598 vector Substances 0.000 claims abstract description 104
- 238000012937 correction Methods 0.000 claims abstract description 103
- 238000004364 calculation method Methods 0.000 claims abstract description 72
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 238000013016 damping Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 63
- 238000001514 detection method Methods 0.000 description 23
- 230000007246 mechanism Effects 0.000 description 16
- 238000000034 method Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本發明係關於一種攝影裝置。The invention relates to a photographing device.
例如,提出有如下技術:藉由自拍攝之圖像檢測圖像之運動向量資訊並將該運動向量資訊反饋至抖動修正透鏡之目標驅動位置之運算,來提高光學抖動修正之防振性能(參照專利文獻1)。以往存在提升運動向量資訊之檢測精度之要求。 [先前技術文獻] [專利文獻]For example, the following technique is proposed: by detecting the motion vector information of the image from the captured image and feeding the motion vector information back to the operation of the target driving position of the shake correction lens, the anti-vibration performance of the optical shake correction is improved (refer to Patent Literature 1). In the past, there was a requirement to improve the detection accuracy of motion vector information. [Prior Technical Literature] [Patent Literature]
[專利文獻1]日本專利特開平10-145662號公報[Patent Document 1] Japanese Patent Laid-Open No. 10-145662
本發明之攝影裝置係設為如下構成,該構成具有:攝影元件,其拍攝利用光學系統所得之被攝體之像並輸出訊號;及運動向量算出部,其基於根據上述訊號而產生的與上述光學系統之焦點距離相應之解析度之圖像資料,算出上述被攝體之運動向量相關之資訊。The photographing device of the present invention is configured to include a photographing element that photographs an image of a subject obtained by an optical system and outputs a signal; and a motion vector calculation unit that is based on the above-mentioned signal generated based on the signal The image data of the corresponding resolution of the focal distance of the optical system calculates the information related to the motion vector of the above-mentioned subject.
以下,參照圖式等對本發明之實施形態進行說明。圖1係示意性地表示相機1之剖視圖。
如圖1所示,於本實施形態中,設定3維正交座標系統。具體而言,將與透鏡鏡筒1B之光軸平行之軸設為Z軸(紙面水平方向),將於與Z軸垂直之平面內與Z軸交叉之軸設為X軸(紙面深度方向),將於與Z軸垂直之平面內與Z軸及X軸垂直交叉之軸設為Y軸(紙面鉛直方向)。而且,將以Z軸為中心之旋轉方向設為橫搖(Roll)方向,將以Y軸為中心之旋轉方向設為偏轉(Yaw)方向,將以X軸為中心之旋轉方向設為俯仰(Pitch)方向。Hereinafter, embodiments of the present invention will be described with reference to drawings and the like. FIG. 1 schematically shows a cross-sectional view of the
(相機1)
相機1係相機主體1A與透鏡鏡筒1B一體型,但並不限定於此,亦可為透鏡鏡筒相對於相機主體裝卸自如之相機。
又,相機1於實施形態中為於相機內部不具備所謂之快速復原反光鏡之構造,但並不限定於此,亦可為具有快速復原反光鏡之相機,上述快速復原反光鏡係為了觀察被攝體而變更光程者。(Camera 1)
The
(相機主體1A)
相機主體1A具備攝影感測器3、記錄媒體13、記憶部14、操作部15、釋放開關17、背面液晶18、及CPU2。再者,CPU2包含下述抖動修正裝置100。(
攝影感測器3係設置於攝影光學系統之預定焦點面並對經由透鏡鏡筒1B之攝影光學系統4、5、6入射之被攝體光進行光電轉換而產生訊號之元件,例如由CCD、CMOS等構成。
根據自攝影感測器3輸出之訊號,於CPU2所含之下述訊號處理部40中產生圖像資料。The
攝影感測器3具有焦點檢測用之像素,CPU2使用來自焦點檢測用像素之像素輸出資料並利用周知之光瞳分割式相位差方式進行焦點檢測處理。或者,亦可使用自攝影感測器3輸出之資料並利用周知之對比度方式進行焦點檢測。The
記錄媒體13係用以記錄所拍攝之圖像資料之媒體,使用SD卡、CF卡等記憶卡。The
記憶部14例如為EEPROM等記憶體。記憶部14如下所述般儲存有與攝影光學系統之變焦位置(焦點距離)對應的運動向量運算用之圖像資料之尺寸之資訊。The
操作部15可進行變焦操作,可藉由透過操作部15進行變焦操作來變更攝影光學系統之變焦位置。The
於CPU2所含之下述感測器控制部46中,基於根據攝影感測器3之輸出進行測光所得之亮度而決定攝影感測器3之感測器速率。The following
釋放開關17係供進行相機1之攝影操作之構件且係供使用者進行攝影之指示操作之開關。The
背面液晶18係設置於相機主體1A之背面並顯示所拍攝之被攝體像(重建圖像、實時取景圖像)或操作相關之資訊(選單)等之彩色液晶顯示器。The
快門根據利用釋放開關17等進行之攝影指示,控制入射至攝影感測器3之被攝體光。The shutter controls the subject light incident on the photographing
CPU2係進行相機1之整體控制之中央處理裝置,具備下述抖動修正裝置100。The
(透鏡鏡筒1B)
其次,對透鏡鏡筒1B進行說明。透鏡鏡筒1B具有包括變焦透鏡4、聚焦透鏡5、抖動修正透鏡6、變焦透鏡驅動機構7之攝影光學系統,進而具備聚焦透鏡驅動機構8、抖動修正透鏡驅動機構9、光圈10、光圈驅動機構11、角速度感測器12(抖動檢測感測器)及抖動修正透鏡位置檢測部21。(
變焦透鏡4係藉由被DC馬達等變焦透鏡驅動機構7驅動而沿光軸方向移動從而使變焦位置(焦點距離)改變之透鏡群。
若攝影者透過操作部15進行變焦操作,則CPU2所含之下述透鏡驅動量運算部39對變焦透鏡4之驅動量進行運算,透過變焦透鏡驅動機構7變更變焦透鏡4之變焦位置。The
聚焦透鏡5係被步進馬達等聚焦透鏡驅動機構8驅動而於光軸方向上移動從而使焦點對準之透鏡群。The
抖動修正透鏡6係被VCM(音圈馬達)等抖動修正透鏡驅動機構9光學地進行抖動修正驅動而於與光軸垂直之面上可動之透鏡群。The
光圈10被光圈驅動機構11驅動,控制通過攝影光學系統之被攝體光之光量。The
角速度感測器12係檢測相機1中產生之手抖動之角速度(抖動輸出訊號)之感測器。角速度感測器12包括兩個感測器,為分別檢測繞X軸(俯仰)、繞Y軸(偏轉)之角速度之振動陀螺儀等感測器。再者,角速度感測器12亦可進而具備第3個感測器而亦檢測繞Z軸(橫搖)之角速度。
角速度感測器12亦連接於CPU2所含之下述運動向量運算部41,由角速度感測器12檢測出之角速度被發送至運動向量運算部41。The
(抖動修正裝置100)
圖2係表示相機1所含之抖動修正裝置100之方塊圖。抖動修正裝置100具備放大部31、第1A/D轉換部32、第2A/D轉換部33、基準值運算部34、減法部43、目標位置運算部36、中心偏壓運算部37、基準值修正部50及透鏡驅動量運算部39。抖動修正裝置100進而具備訊號處理部40、感測器控制部46、及運動向量運算部41。(Shake correction device 100)
FIG. 2 is a block diagram showing the
放大部31將角速度感測器12之輸出放大。The
第1A/D轉換部32對放大部31之輸出進行A/D轉換。The first A/
基準值運算部34對自角速度感測器12獲得之振動檢測訊號(第1A/D轉換部32之輸出)之基準值(第1基準值、修正前之基準值)進行運算。角速度之基準值係指例如於相機1(相機主體1A、透鏡鏡筒1B)靜止時自角速度感測器12輸出之振動檢測訊號。基準值運算部34例如可基於自角速度感測器12之輸出降低特定之高頻分量之低通濾波器之輸出來求出基準值。The reference
減法部43自第1A/D轉換部32之輸出減去對基準值運算部34中運算出之第1基準值進行修正所得之基準值(第2基準值、修正後之基準值)。The
目標位置運算部36基於減法部43中減去基準值後之角速度感測器12之輸出,對驅動抖動修正透鏡6之目標位置進行運算。The target
中心偏壓運算部37基於由目標位置運算部36算出之抖動修正透鏡6之目標位置,運算用以使抖動修正透鏡6朝向其可動範圍之中心移動之向心力作為偏壓量。然後,藉由自抖動修正透鏡6之目標位置減去所算出之偏壓量來算出抖動修正透鏡6之控制位置。
藉由如此進行定心偏壓處理,可有效防止抖動修正透鏡6與硬限制體碰撞,進而可提升攝影圖像之表觀。Based on the target position of the
透鏡驅動量運算部39進行變焦透鏡4及抖動修正透鏡6之透鏡之驅動量運算。
利用透鏡驅動量運算部39進行之抖動修正透鏡6之驅動量運算係根據來自目標位置運算部36之目標位置、及抖動修正透鏡6之當前位置,對抖動修正透鏡驅動機構9對抖動修正透鏡6之驅動量進行運算,上述抖動修正透鏡6之當前位置係根據由抖動修正透鏡位置檢測部21檢測並利用第2A/D轉換部33進行A/D轉換所得之值求出。
又,當攝影者利用操作部15進行變焦操作時,透鏡驅動量運算部39對變焦透鏡驅動機構7指示驅動量而驅動變焦透鏡4。The lens driving
(感測器控制部46)
感測器控制部46基於測光所得之被攝體之亮度,設定攝影感測器3之感測器速率。例如,於被攝體較暗時,用以獲得1張圖像之曝光時間變長,因此,將感測器速率較低地設定為15 fps。隨著變明亮,用以獲得1張圖像之曝光時間變短,因此,將感測器速率較高地設定為30、60、120 fps。(Sensor control unit 46)
The
(訊號處理部40)
訊號處理部40對由攝影感測器3獲取之訊號進行雜訊處理或A/D轉換等處理,作成以靜止圖像之形式記錄於記錄媒體13中之記錄用圖像資料。又,訊號處理部40基於由攝影感測器3獲取之訊號,以時間序列連續作成圖像尺寸小於記錄用圖像資料之處理用圖像資料。
處理用圖像資料係用於背面液晶18中之活動圖像顯示(實時取景顯示)、或運動向量運算部41中之運動向量之運算、自動聚焦或自動曝光等各種運算處理、或無線圖像發送。該處理用圖像資料之作成將於下文進行敍述。(Signal Processing Department 40)
The
(運動向量運算部41)
運動向量運算部41根據由訊號處理部40進行處理所得之複數個處理用圖像資料(下述第1處理用圖像資料),對表示像之運動(運動方向、運動量)之運動向量資訊進行運算。運動向量資訊由附X軸方向、Y軸方向、橫搖方向之符號之大小等表示。進而,運動向量資訊亦包含檢測延遲時間等。(Motion vector calculation unit 41)
The motion
具體而言,運動向量運算部41藉由將由攝影感測器3拍攝之兩個以上之圖像資料所含之高亮度之位置之改變等亮度資訊加以比較,檢測像之運動方向及運動量,對運動向量資訊進行運算。除亮度資訊以外,亦可藉由圖像之圖案匹配等對運動向量資訊進行運算。
再者,運動向量資訊可自1個圖像進行檢測,亦可自兩個分離之幀(frame)算出,亦可自3個圖像算出。Specifically, the motion
(運動向量之基本運算方法)
圖3係對運動向量運算部41中之運動向量之運算時序進行說明之圖。
運動向量運算部41根據第n-1個圖像資料、及於獲取第n-1個圖像資料之時刻之後之時刻拍攝的其後之第n個圖像資料,對運動向量資訊進行運算。
例如,於自攝影感測器3以30 fps發送圖像資料之情形時,每33 ms獲得1次運動向量資訊。(Basic operation method of motion vector)
FIG. 3 is a diagram illustrating the timing of motion vector calculation in the motion
此處, 時刻t1係開始第n-1個圖像資料之曝光之時刻。 時刻t2係開始第n-1個圖像資料之曝光之時刻與結束曝光之時刻之正中間之時刻。 時刻t4係開始第n個圖像資料之曝光之時刻。 時刻t5係開始第n個圖像資料之曝光之時刻與結束曝光之時刻之正中間之時刻。 時刻t6係獲得根據第n-1個圖像資料及第n個圖像資料運算出之運動向量資訊之時刻,但認為該運動向量資訊之產生時刻係t5與t2之間之正中間即t3較為妥當。於獲得運動向量資訊之時刻與運動向量產生之時刻之間,產生t6-t3之檢測延遲時間。Here, Time t1 is the time to start the exposure of the n-1th image data. Time t2 is the time between the moment when the exposure of the n-1th image data starts and the moment when the exposure ends. Time t4 is the time to start the exposure of the n-th image data. Time t5 is the time between the moment when the exposure of the n-th image data starts and the moment when the exposure ends. Time t6 is the time to obtain the motion vector information calculated from the n-1th image data and the nth image data, but it is considered that the generation time of the motion vector information is in the middle between t5 and t2, that is, t3 is more appropriate. Between the moment when the motion vector information is obtained and the moment when the motion vector is generated, a detection delay time of t6-t3 is generated.
(基準值修正部50)
基準值修正部50具備中心偏壓去除部38、基準值修正量運算部35、基準值減法加法部42。(Reference value correction unit 50)
The reference
於以下之說明中,對X方向之基準值之修正進行說明。將運動向量資訊之X方向之資訊設為運動向量資訊X。Y方向之基準值之修正亦與X方向相同。於本實施形態中,不接收運動向量資訊之橫搖方向之資訊。再者,亦可接收運動向量資訊之橫搖方向之資訊。In the following description, the correction of the reference value in the X direction will be described. The motion vector information X direction information is set as motion vector information X. The correction of the reference value in the Y direction is also the same as in the X direction. In this embodiment, the information of the rolling direction of the motion vector information is not received. Furthermore, it can also receive the information of the rolling direction of the motion vector information.
(中心偏壓去除部38)
中心偏壓去除部38自運動向量資訊X減去偏壓修正量。偏壓修正量X係根據中心偏壓運算部37中運算出之(自抖動修正透鏡6之目標位置減去之)X分量之中心偏壓量而算出。(Center bias removal section 38)
The center
(基準值修正量運算部35)
基準值修正量運算部35基於中心偏壓去除部38中去除偏壓修正量X所得之運動向量資訊X,根據繞Y軸(偏轉)方向之角速度感測器之輸出值對基準值修正量進行運算。
於本實施形態中,僅判斷運動向量資訊X之正負,當於負方向確認到運動向量資訊X時,修正量為正之固定量,當於正方向確認到運動向量資訊時,修正量為負之固定量。(Reference value correction amount calculation unit 35)
The reference value correction
(基準值減法加法部42)
基準值減法加法部42以由基準值修正量運算部35運算出之修正量修正第1基準值而求出修正後之第2基準值。(Base value subtraction and addition section 42)
The reference value
(抖動修正裝置100之動作)
圖4係表示抖動修正裝置100之動作流程之流程圖。
步驟001:相機1之電源接通後,抖動修正裝置100開始用於光學防振之運算。根據相機,於半按壓釋放開關17之情形時、或利用未圖示之指示部使抖動修正開始之情形時等,抖動修正裝置100開始用於光學防振之運算。(Operation of shake correction device 100)
FIG. 4 is a flowchart showing the operation flow of the
步驟002:抖動修正裝置100將角速度感測器12之輸出利用放大部31放大後,利用第1A/D轉換部32進行A/D轉換。Step 002: The
步驟003:抖動修正裝置100於基準值運算部34中,基於角速度感測器12之輸出之A/D轉換後之訊號,算出運算上之角速度之基準值(第1基準值,相當於零deg/s之值)。角速度之基準值根據溫度特性或剛啟動後之漂移(drift)特性等而改變,因此無法將例如工場出貨時之角速度感測器12之靜止時輸出用於基準值。Step 003: The
關於基準值之算出方法,已知有對特定時間之移動平均進行運算之方法或利用LPF處理進行運算之方法。於本實施形態中,使用利用LPF處理進行之基準值運算。As for the calculation method of the reference value, a method of calculating a moving average at a specific time or a method of calculating by LPF processing is known. In this embodiment, reference value calculation by LPF processing is used.
圖5係表示基準值運算部34(HPF)之圖。LPF34之截止頻率fc通常設定為0.1[Hz]左右之較低之頻率。其原因在於:手抖動中1~10[Hz]左右之頻率占支配地位。若為0.1[Hz]之fc,則對手抖動分量造成之影響較少,而可進行良好之抖動修正。FIG. 5 is a diagram showing the reference value calculation unit 34 (HPF). The cut-off frequency fc of the LPF34 is usually set to a lower frequency around 0.1 [Hz]. The reason is that the frequency of about 1 to 10 [Hz] in the hand shake is dominant. If it is fc of 0.1 [Hz], the influence caused by the hand jitter component is small, and good jitter correction can be performed.
然而,於實際拍攝時,亦有因施加構圖之微調整(無法檢測出相機平移之水準)等低頻之運動而導致基準值運算結果具有誤差之情況。又,由於fc較低(時間常數較大),於一端誤差變大之情形時,存在收斂至真值之前需要時間之問題。本實施形態係修正該基準值之誤差者。However, in actual shooting, there may also be errors in the reference value calculation result due to low-frequency motion such as fine adjustment of the composition (the level of camera translation cannot be detected). In addition, since fc is low (the time constant is large), there is a problem that it takes time before converging to the true value when the error at one end becomes large. The present embodiment corrects the error of the reference value.
步驟004:抖動修正裝置100於運動向量資訊更新之情形時(S004為是)進入至S005,於未更新之情形時(S004為否)進入至S006。Step 004: The
步驟005:抖動修正裝置100於運動向量資訊更新之情形時,於基準值修正部50中進行S003中算出之第1基準值之修正,算出第2基準值。基準值修正步驟將於下文進行敍述。Step 005: When the motion vector information is updated, the
步驟006:抖動修正裝置100於目標位置運算部36中,基於S003中求出之第1基準值或者S005中求出之第2基準值、及角速度感測器12之輸出,對抖動修正透鏡6之目標位置進行運算。此時,目標位置運算部36考慮焦點距離、被攝體距離、攝影倍率、抖動修正透鏡特性資訊,而對抖動修正透鏡6之目標位置進行運算。Step 006: The
步驟007:抖動修正裝置100為了防止抖動修正透鏡6到達至可動端,而進行中心偏壓處理。
關於中心偏壓處理之方法,有根據目標位置資訊設定偏壓量之方法或HPF處理、不完全積分處理(S006中)等各種方法,但此處不限定方法。Step 007: The
步驟008:抖動修正裝置100於透鏡驅動量運算部39中,根據已考慮中心偏壓分量之目標位置資訊與抖動修正透鏡位置資訊之差分,對透鏡驅動量進行運算。Step 008: The
步驟009:抖動修正裝置100透過抖動修正透鏡驅動機構9使抖動修正透鏡6驅動至目標位置,返回至S002。Step 009: The
(基準值修正步驟)
圖6係圖4之基準值修正步驟005之詳細流程圖。
步驟101:抖動修正裝置100將算出之運動向量資訊全部合計,進入至步驟102。
步驟102:抖動修正裝置100於中心偏壓去除部38中,將步驟007中運算出之中心偏壓分量換算成與運動向量資訊相同之尺度,進入至步驟103。
換算方法係基於焦點距離、被攝體距離、攝影倍率、運動向量資訊之解析度資訊進行運算。
Bias_MV=Bias_θ*f*(1+β)/MV_pitch
Bias_MV:中心偏壓分量(與運動向量資訊相同之尺度)
Bias_θ:中心偏壓分量(角度)
f:焦點距離
β:攝影倍率
MV_pitch:運動向量間距尺寸(Steps to modify the reference value)
FIG. 6 is a detailed flowchart of the reference value correction step 005 of FIG. 4.
Step 101: The
又,運動向量為了獲得拍攝之複數個幀間之差分而於檢測出前產生延遲時間。因此,較佳為中心偏壓分量亦具有與運動向量資訊同等之延遲時間。例如,於以30[fps]具有3幀量之延遲時間之情形時,延遲約100[ms]。因此,可藉由使用100[ms]前之偏壓資訊,更準確地對運動向量資訊所含之中心偏壓分量進行運算。In addition, the motion vector generates a delay time before detection in order to obtain the difference between a plurality of frames captured. Therefore, it is preferable that the center bias component also has the same delay time as the motion vector information. For example, when there is a delay time of 3 frames at 30 [fps], the delay is about 100 [ms]. Therefore, by using the bias information before 100 [ms], the center bias component contained in the motion vector information can be calculated more accurately.
步驟103:抖動修正裝置100於中心偏壓去除部38中自運動向量資訊減去步驟102中換算所得之中心偏壓分量,進入至步驟104。藉此,可獲取基於基準值誤差之運動向量資訊。Step 103: The
步驟104:抖動修正裝置100獲取最新之運動向量資訊(n)與1幀前之運動向量資訊(n-1)之差分:MV_diff,進入至步驟105。Step 104: The
步驟105:抖動修正裝置100於基準值修正量運算部35中,基於MV_diff設定修正基準值之量。基準值係根據以下之考慮設定修正量,進入至步驟106。
MV_diff>0:ω0_comp=-ω0_comp_def
MV_diff<0:ω0_comp=+ω0_comp_def
MV_diff=0:ω0_comp=0
ω0_comp:基準值修正量
ω0_comp_def:基準值修正常數Step 105: The
步驟106:抖動修正裝置100於基準值減法加法部42中,自S003(圖4)中運算出之第1基準值減去步驟105中運算出之ω0_comp而求出修正後之第2基準值。如上所述,於圖3之S005中求出第2基準值,但抖動修正處理係如圖3之流程圖所示般進入至S009後返回至S002,反覆進行循環。因此,當運動向量資訊更新時,S005中修正之第2基準值隨時更新。Step 106: The
圖7(a)係表示偏轉方向之第2基準值之曲線圖。圖中虛線表示不進行本實施形態之修正之情形時之第1基準值,圖中實線表示利用本實施形態進行修正之情形時之第2基準值。Fig. 7(a) is a graph showing the second reference value in the deflection direction. The dotted line in the figure indicates the first reference value when the correction of this embodiment is not performed, and the solid line in the figure indicates the second reference value when the correction is performed by this embodiment.
圖7(b)係表示X方向之運動向量資訊之方向之曲線圖。
例如,於如圖7(b)之時刻t1般算出之運動向量資訊為正方向之情形時,如(a)中實線所示般將第1基準值修正為負。
之後,於時刻t3之前,第2基準值根據基準值運算部34中運算出之值改變。
於時刻t3,當確認到算出之運動向量資訊為正方向時,還將第1基準值修正為負。於本實施形態中,此時之修正量設為固定。即,時刻t1之修正量與時刻t3之修正量相同。
其後,於確認到運動向量資訊之時刻與時刻之間,基準值亦根據基準值運算部34中運算出之值改變而成為修正後之第2基準值。
又,當於正方向確認到運動向量資訊時,將第1基準值修正為固定量負。
又,當如圖中之時刻t22或t25般於負方向確認到運動向量資訊時,將第1基準值修正為固定量正。Fig. 7(b) is a graph showing the direction of motion vector information in the X direction.
For example, when the motion vector information calculated at time t1 in FIG. 7(b) is in the positive direction, the first reference value is corrected to be negative as shown by the solid line in (a).
After that, before time t3, the second reference value changes according to the value calculated by the reference
其次,對實施形態之訊號處理部40中之處理用圖像資料之作成詳情進行說明。
圖8係表示訊號處理部40中之處理用圖像資料之作成詳情之方塊圖。訊號處理部40具有前處理部40A及尺寸調整部40B。Next, the details of the preparation of the processing image data in the
(前處理部40A)
前處理部40A例如為AFE電路(Analog Front End電路),對自攝影感測器3輸出之圖像訊號進行雜訊處理或A/D轉換等處理,使圖像訊號成為數位攝影資料並輸入至尺寸調整部40B。(
(尺寸調整部40B)
尺寸調整部40B對自前處理部40A輸入之攝影資料進行解析度轉換而調整攝影資料之圖像尺寸(像素數)。例如,於全按壓釋放開關17之情形時,不縮小自前處理部40A獲得之攝影資料之圖像尺寸,或圖像資料之圖像尺寸之縮小比例較小,而作成與下述處理用圖像資料相比較大之例如全尺寸之記錄用圖像資料B0,並記錄於記錄媒體13。(
又,尺寸調整部40B於並非全按壓之狀態、例如於背面液晶18顯示直通圖像之情形時、半按壓釋放開關17而進行AF(自動聚焦)之情形時、進行AE(自動曝光)之情形時、作成發送用圖像之情形時、進行運動向量之運算之情形時等,縮小至適於該等處理用之處理用圖像尺寸。In addition, when the
此處,處理用圖像尺寸於實施形態中按兩個階段縮小。首先,作成小於記錄用圖像資料B0之第1處理用圖像資料B1,然後進而縮小而作成第2處理用圖像資料B2。以下示出記錄用圖像資料B0、第1處理用圖像資料B1、第2處理用圖像資料B2之尺寸關係。 B0≧B1≧B2Here, the processing image size is reduced in two stages in the embodiment. First, the first processing image data B1 smaller than the recording image data B0 is created, and then it is further reduced to create the second processing image data B2. The following shows the size relationship of the recording image data B0, the first processing image data B1, and the second processing image data B2. B0≧B1≧B2
作為一例,於攝影感測器3中之攝影尺寸A為4608×3456像素之情形時,記錄用圖像資料B0之尺寸例如為4608×2592像素。
第2處理用圖像資料B2例如以VGA尺寸使解析度縮小(像素減省)至640×360像素,而用於直通圖像用、AF用、AE用、發送用。As an example, when the photographing size A in the photographing
第1處理用圖像資料B1為記錄用圖像資料B0與第2處理用圖像資料B2之間之尺寸,如下所述般根據變焦位置而變動。
尺寸調整部40B與透鏡驅動量運算部39連接,自透鏡驅動量運算部39獲得變焦位置資訊。但,並不限定於此,於設置有透鏡之位置檢測部之情形時,亦可自透鏡位置檢測部獲得變焦位置。
變焦位置例如分為透鏡鏡筒1B距長焦(望遠)端固定區域之長焦區域、距寬角(廣角)端固定區域之寬角區域、長焦區域與寬角區域之間之中間區域之3個區域。The first processing image data B1 is the size between the recording image data B0 and the second processing image data B2, and varies according to the zoom position as described below.
The
尺寸調整部40B亦與記憶部14連接。
於記憶部14中儲存有與變焦位置對應之第1處理用圖像資料B1之尺寸。以下示出變焦位置之每個區域之第1處理用圖像資料B1之尺寸之一例。
長焦區域 640×360像素
中間區域 1280×720像素
寬角區域 1920×1080像素
於角速度感測器12之基準值偏離真值時像面上檢測出之運動向量係攝影光學系統之焦點距離越短則越小且焦點距離越長則越大。因此,運動向量之檢測於寬角區域需要解析度較高之圖像但運動向量檢測之範圍可較小,於長焦區域無需解析度較高之圖像但必須增大運動向量之檢測之範圍。
例如,於變焦位置為長焦區域之情形時,第1處理用圖像資料B1之圖像尺寸係與第2處理用圖像資料B2之圖像尺寸相等之640×360像素。而且,隨著變焦位置自長焦區域向寬角區域移行,B1之圖像尺寸變大,即解析度變高。
如此,運動向量運算部41中使用之圖像資料於訊號處理部40(尺寸調整部40B)中對應於變焦位置而作成不同之圖像尺寸。The
尺寸調整部40B自記憶部14中儲存之第1處理用圖像資料B1之尺寸,讀出與自透鏡驅動量運算部39獲得之變焦位置對應之圖像尺寸,作成該圖像尺寸之第1處理用圖像資料B1。The
(寬角區域)
越到寬角區域,則手抖動之影響越小,檢測到之運動向量亦越小,因此,於欲檢測運動向量時,若圖像尺寸較小而解析度較低,則有可能無法檢測。
但,根據本實施形態,越到寬角區域,則尺寸調整部40B所作成之第1處理用圖像資料B1之圖像尺寸越大。若如此設定,則解析度變高,因此,運動向量之檢測解析度(檢測精度)提升。因此,可精度良好地檢測運動向量。(Wide angle area)
The wider the wide-angle area, the smaller the influence of hand shake and the smaller the detected motion vector. Therefore, when the motion vector is to be detected, if the image size is small and the resolution is low, it may not be detected.
However, according to this embodiment, the larger the wide-angle area, the larger the image size of the first processing image data B1 created by the
(長焦區域) 對檢測運動向量之範圍設置有限制,兩個圖像資料間之特徵點之移動量例如為最高16像素。於長焦區域之情形時,運動向量與寬角區域相比變大。此處,若如寬角區域般圖像尺寸較大而解析度較高,則用於檢測運動向量之特徵點之移動量超過運動向量之檢測極限即16像素,而無法檢測運動向量之可能性變高。 因此,於實施形態中,於長焦區域使圖像尺寸比寬角區域小。藉此,可防止於長焦區域無法檢測運動向量。又,藉由圖像資料變小,可縮短處理負荷或處理時間。(Telephoto area) There is a limit to the range of detecting motion vectors. The amount of movement of feature points between two image data is, for example, up to 16 pixels. In the case of a telephoto region, the motion vector becomes larger compared to the wide-angle region. Here, if the image size is larger and the resolution is higher as in a wide-angle area, the movement amount of the feature point used to detect the motion vector exceeds the detection limit of the motion vector, that is, 16 pixels, and the possibility of the motion vector cannot be detected Becomes high. Therefore, in the embodiment, the image size is smaller in the telephoto region than in the wide-angle region. In this way, it is possible to prevent the motion vector from being detected in the telephoto region. Also, by reducing the image data, the processing load or processing time can be shortened.
(變形形態) 並不限定於以上說明之實施形態,可進行如下所示之各種變形或變更,其等亦處於本發明之範圍內。 (1)於實施形態中,暫時作成運動向量運算用之第1處理用圖像資料B1後,利用該第1處理用圖像資料B1,作成用於其他處理之第2處理用圖像資料B2。但,並不限定於此,第2處理用圖像資料B2亦可不透過第1處理用圖像資料B1而直接利用全尺寸圖像作成。(Deformed form) It is not limited to the embodiment described above, and various modifications or changes as shown below can be made, and the like are also within the scope of the present invention. (1) In the embodiment, after temporarily creating the first processing image data B1 for motion vector calculation, the first processing image data B1 is used to create the second processing image data B2 for other processing . However, it is not limited to this, and the second processing image data B2 may be directly created using a full-size image without passing through the first processing image data B1.
(2)尺寸調整部40B亦可於角速度較大之情形時、即手抖動量較大之情形時,縮小第1處理用圖像資料B1之尺寸。
例如,於手抖動較大之情形時,運動向量變大。若用於運動向量運算之第1處理用圖像資料B1之尺寸較大,則有可能偏離檢測極限。因此,縮小用於運動向量運算之第1處理用圖像資料B1之尺寸。藉此,可防止無法對運動向量進行運算。(2) The
(3)又,於例如可自拍攝之圖像資料檢測到被攝體抖動之情形時,亦可根據被攝體抖動大小改變第1處理用圖像資料B1之尺寸。(3) In addition, for example, when the subject shake can be detected from the captured image data, the size of the first processing image data B1 may be changed according to the subject shake size.
(4)於實施形態中,基準值之修正量為正或負之固定量,但亦可根據變焦位置改變大小。又,存在藉由釋放開關17之半按壓進行自動聚焦動作而使運動向量之運算停止固定時間之情況。於此種情形時,亦可使運動向量之運算停止固定時間後再開始後之運動向量之修正量增大。(4) In the embodiment, the correction amount of the reference value is a positive or negative fixed amount, but the size can also be changed according to the zoom position. In addition, there is a case where the auto-focusing operation is performed by half-pressing the
(5)本實施形態係透鏡鏡筒1B具備角速度感測器12之構造,但並不限定於此,亦可於相機主體1A內具備角速度感測器12。(5) The present embodiment is a structure in which the
(6)又,亦可為於相機主體1A或透鏡鏡筒1B內具備加速度感測器而非角速度感測器者。(6) In addition, an acceleration sensor instead of an angular velocity sensor may be provided in the
(7)於上述實施形態中,基於由目標位置運算部算出之抖動修正透鏡之目標位置,進行使用用以使抖動修正透鏡朝向其可動範圍之中心移動之向心力即中心偏壓之控制,但亦可進行不使用中心偏壓之控制。於該情形時,不具有中心偏壓運算部及中心偏壓去除部。(7) In the above embodiment, based on the target position of the shake correction lens calculated by the target position calculation unit, the control using the centripetal force that moves the shake correction lens toward the center of its movable range, that is, the center bias, is performed. It can be controlled without using center bias. In this case, there is no central bias calculation unit and central bias removal unit.
1:相機
1A:相機主體
1B:透鏡鏡筒
2:CPU
3:攝影感測器
4:變焦透鏡
5:聚焦透鏡
6:抖動修正透鏡
7:變焦透鏡驅動機構
8:聚焦透鏡驅動機構
9:抖動修正透鏡驅動機構
10:光圈
11:光圈驅動機構
12:角速度感測器
13:記錄媒體
14:記憶部
15:操作部
17:釋放開關
18:背面液晶
21:抖動修正透鏡位置檢測部
31:放大部
34:基準值運算部
35:基準值修正量運算部
36:目標位置運算部
37:中心偏壓運算部
38:中心偏壓去除部
39:透鏡驅動量運算部
40:訊號處理部
40A:前處理部
40B:尺寸調整部
41:運動向量運算部
42:基準值減法加法部
43:減法部
46:感測器控制部
50:基準值修正部
100:抖動修正裝置1:
圖1係示意性地表示相機之剖視圖。 圖2係表示相機所含之抖動修正裝置之方塊圖。 圖3係對運動向量運算部中之運動向量資訊之基本運算時序進行說明之圖。 圖4係表示抖動修正裝置之動作流程之流程圖。 圖5係表示基準值運算部之圖。 圖6係圖4之基準值修正步驟之詳細流程圖。 圖7(a)係表示偏轉方向之第2基準值之曲線圖,(b)係表示X方向之運動向量資訊之方向之曲線圖。 圖8係表示訊號處理部中之處理用圖像資料之作成詳情之方塊圖。FIG. 1 is a schematic cross-sectional view of a camera. FIG. 2 is a block diagram showing the shake correction device included in the camera. FIG. 3 is a diagram illustrating the basic operation timing of the motion vector information in the motion vector operation unit. 4 is a flowchart showing the operation flow of the shake correction device. 5 is a diagram showing a reference value calculation unit. FIG. 6 is a detailed flowchart of the reference value correction step of FIG. 4. 7 (a) is a graph showing the second reference value of the deflection direction, and (b) is a graph showing the direction of the motion vector information in the X direction. FIG. 8 is a block diagram showing details of creation of processing image data in the signal processing unit.
3:攝影感測器 3: Photographic sensor
13:記錄媒體 13: Recording media
16:記憶部 16: Memory Department
39:透鏡驅動量運算部 39: Lens drive amount calculation unit
40:訊號處理部 40: Signal Processing Department
40A:前處理部 40A: Pre-processing department
40B:尺寸調整部 40B: Size adjustment section
41:運動向量運算部 41: Motion vector operation unit
Claims (7)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP2018-129972 | 2018-07-09 | ||
JP2018129972 | 2018-07-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202017355A true TW202017355A (en) | 2020-05-01 |
Family
ID=69142370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108123058A TW202017355A (en) | 2018-07-09 | 2019-07-01 | Imaging device |
Country Status (2)
Country | Link |
---|---|
TW (1) | TW202017355A (en) |
WO (1) | WO2020012960A1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3592007B2 (en) * | 1996-11-15 | 2004-11-24 | キヤノン株式会社 | Imaging device and lens unit |
JP2002333644A (en) * | 2001-05-10 | 2002-11-22 | Canon Inc | Image blur detector |
JP4366484B2 (en) * | 2004-03-12 | 2009-11-18 | カシオ計算機株式会社 | Digital camera and program |
JP6420888B2 (en) * | 2017-11-30 | 2018-11-07 | キヤノン株式会社 | Image blur correction apparatus, control method therefor, program, and storage medium |
-
2019
- 2019-06-26 WO PCT/JP2019/025371 patent/WO2020012960A1/en active Application Filing
- 2019-07-01 TW TW108123058A patent/TW202017355A/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2020012960A1 (en) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6776062B2 (en) | Imaging device and its control method | |
JP7257774B2 (en) | IMAGING SYSTEM AND CONTROL METHOD THEREOF, LENS UNIT, IMAGING DEVICE, PROGRAM, STORAGE MEDIUM | |
JP6932531B2 (en) | Image blur correction device, image pickup device, control method of image pickup device | |
JP6171575B2 (en) | Blur correction device and optical apparatus | |
JP6268981B2 (en) | Blur correction device, interchangeable lens and camera | |
JP7208822B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM | |
JP6171576B2 (en) | Blur correction device and optical apparatus | |
JP2011013555A (en) | Camera-shake correction device and optical instrument | |
TW202017355A (en) | Imaging device | |
JP2019091063A (en) | Shake correction device, electronic apparatus and camera | |
WO2020012961A1 (en) | Imaging device | |
WO2019203147A1 (en) | Imaging device | |
JP2020118789A (en) | Imaging apparatus, imaging system, control method of imaging apparatus, and program | |
JP7451152B2 (en) | Imaging device, control method and computer program | |
JP6590013B2 (en) | Interchangeable lens and imaging device | |
JP6590018B2 (en) | Blur correction device and camera | |
JP6485499B2 (en) | Blur correction device and optical apparatus | |
JP6468343B2 (en) | Interchangeable lenses and optical equipment | |
JP6610722B2 (en) | Blur correction device and optical apparatus | |
JP2010145500A (en) | Optical equipment | |
JP6414285B2 (en) | Blur correction device and optical apparatus | |
JP6299188B2 (en) | Blur correction device, lens barrel and camera | |
JP2013162185A (en) | Optical instrument and imaging apparatus | |
JP6318502B2 (en) | Blur correction device and optical apparatus | |
JP2015106086A (en) | Tremor correction device and optical device |