TW202023261A - 控制方法、微處理器、電腦可讀記錄媒體及電腦設備 - Google Patents

控制方法、微處理器、電腦可讀記錄媒體及電腦設備 Download PDF

Info

Publication number
TW202023261A
TW202023261A TW108121513A TW108121513A TW202023261A TW 202023261 A TW202023261 A TW 202023261A TW 108121513 A TW108121513 A TW 108121513A TW 108121513 A TW108121513 A TW 108121513A TW 202023261 A TW202023261 A TW 202023261A
Authority
TW
Taiwan
Prior art keywords
scene
microprocessor
current brightness
structured light
luminous power
Prior art date
Application number
TW108121513A
Other languages
English (en)
Other versions
TWI714131B (zh
Inventor
周海濤
惠方方
歐錦榮
郭子青
譚筱
Original Assignee
大陸商Ｏｐｐｏ廣東移動通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商Ｏｐｐｏ廣東移動通信有限公司 filed Critical 大陸商Ｏｐｐｏ廣東移動通信有限公司
Publication of TW202023261A publication Critical patent/TW202023261A/zh
Application granted granted Critical
Publication of TWI714131B publication Critical patent/TWI714131B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/564—Power control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3164—Modulator illumination systems using multiple light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Eye Examination Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一種控制方法、微處理器、計算機可讀存儲介質及計算機設備。控制方法包括：獲取場景的當前亮度；根據所述場景的當前亮度確定決定結構光投射器的發光功率；控制結構光投射器按照所述發光功率發光。

Description

控制方法、微處理器、電腦可讀記錄媒體及電腦設備
本申請有關於三維成像技術領域，特別是關於一種控制方法、微處理器、電腦可讀記錄媒體及電腦設備。
結構光深度相機通常包括結構光投射器和圖像採集器。結構光投射器向目標空間中投射繞射（Diffraction）後的雷射圖案，圖像採集器拍攝經由目標空間中的物體調變後的雷射圖案，並基於該雷射圖案與參考圖案獲得目標空間中物體的深度信息。結構光投射器發射的光通常爲紅外雷射。
本申請的實施例提供了一種控制方法、微處理器、電腦可讀記錄媒體及電腦設備。
第一方面，本申請實施方式提供一種控制方法，用於結構光投射器，所述控制方法包括：獲取場景的當前亮度；根據所述場景的當前亮度決定所述結構光投射器的發光功率；以及控制所述結構光投射器按照所述發光功率發光。
第二方面，本申請實施方式提供一種微處理器，所述微處理器與結構光深度相機電性連接，所述結構光深度相機包括結構光投射器，所述微處理器用於：獲取場景的當前亮度；根據所述場景的當前亮度決定所述結構光投射器的發光功率；以及控制所述結構光投射器按照所述發光功率發光。
第三方面，本申請實施方式提供一個或多個包含電腦可執行指令的非揮發性電腦可讀記錄媒體，當所述電腦可執行指令被一個或多個處理器執行時，使得所述處理器完成上述第一方面所提供的控制方法。
第四方面，本申請實施方式提供一種電腦設備，包括儲存器及處理器，所述儲存器中儲存有電腦可讀取指令，所述指令被所述處理器執行時，使得所述處理器完成上述第一方面所提供的控制方法。
本申請的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實踐瞭解到。
下面詳細描述本申請的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，旨在用於解釋本申請，而不能理解爲對本申請的限制。
請參閱圖1和圖2，本申請提供一種用於結構光投射器11的控制方法。該控制方法包括圖1框中所示出的如下操作。
在框01處：獲取場景的當前亮度。
在框02處：根據所述場景的當前亮度決定結構光投射器11的發光功率。
在框03處：控制結構光投射器11按照所述發光功率發光。
請參閱圖2，在某些實施方式中，所述場景的當前亮度由光線傳感器50檢測得到。
請參閱圖3，在某些實施方式中，框01處獲取場景的當前亮度包括圖3框中所示出的如下操作。
在框011處：獲取場景的拍攝圖像。
在框012處：根據所述拍攝圖像計算當前亮度。
請參閱圖4，在某些實施方式中，多個發光功率與多個預設亮度範圍一一對應，框02包括圖4框中所示出的如下操作。
在框021處：決定當前亮度所處的預設亮度範圍。
在框022處：根據所決定的預設亮度範圍決定與所述預設亮度範圍對應的發光功率。
在某些實施方式中，當前亮度越高，發光功率越大。
請參閱圖2，本申請還提供一種微處理器20，微處理器20與結構光深度相機10電性連接。結構光深度相機10包括結構光投射器11。微處理器20用於：獲取場景的當前亮度；根據所述場景的當前亮度決定結構光投射器11的發光功率；控制結構光投射器11按照所述發光功率發光。
本申請還提供一個或多個包含電腦可執行指令的非揮發性電腦可讀記錄媒體。當電腦可執行指令被處理器執行時，使得處理器執行以下步驟：獲取場景的當前亮度；根據所述場景的當前亮度決定結構光投射器11的發光功率；控制結構光投射器11按照所述發光功率發光。
請參閱圖6，本申請還提供一種電腦設備100。電腦設備100包括儲存器80和處理器90。儲存器80中儲存有電腦可讀取指令81，指令被處理器90執行時，使得處理器90執行以下步驟：獲取場景的當前亮度；根據所述場景的當前亮度決定結構光投射器11的發光功率；控制結構光投射器11按照所述發光功率發光。
請參閱圖1，本申請提供一種用於結構光投射器11的控制方法。控制方法包括圖1框中所示出的如下操作。
在框01處：獲取場景的當前亮度。
在框02處：根據所述場景的當前亮度決定結構光投射器11的發光功率。
在框03處：控制結構光投射器11按照發光功率發光。
請參閱圖2，本申請還提供一種微處理器20。微處理器20與結構光深度相機10電性連接。結構光深度相機10包括結構光投射器11和圖像採集器12。框01、框02和框03均可以由微處理器20實現。也即是說，微處理器20可用於獲取場景的當前亮度，根據所述場景的當前亮度決定結構光投射器11的發光功率，以及控制結構光投射器11按照所述發光功率發光。
本申請實施方式的微處理器20可應用在電腦設備100（圖6所示）中。其中，電腦設備100可以是智能手機、平板電腦、筆記本電腦、桌上型電腦、智能穿戴設備（如智能頭盔、智能眼鏡、智能手錶、智能手環等）、虛擬現實設備等。
結構光深度相機10可以獲取場景中物體的深度信息。具體地，結構光投射器11向場景中投射經繞射光學元件繞射後的雷射圖案；圖像採集器12採集所述結構光投射器11所投射的雷射圖案經物體調變後的雷射圖案；參考圖案以及調變後的雷射圖案可用於計算深度圖像。深度圖像表示了場景中物體的深度信息。其中，雷射圖案通常爲紅外雷射圖案。圖像採集器12通常爲紅外攝像頭。結構光深度相機10使用時，由於環境光中也含有紅外光的成分，圖像採集器12感應到的紅外光不僅包含有結構光投射器11投射的紅外光分量，還包含有環境光中的紅外光分量。因此，環境光中的紅外光分量會對圖像採集器12採集雷射圖案産生影響，進一步地影響深度信息的獲取精度。尤其是在場景的當前亮度較亮時，環境光中的紅外光分量在圖像採集器12感應到的紅外光總量中的占比較大，對於雷射圖案的採集的影響更大，因此深度信息的獲取精度更低。
本申請實施方式所提供的控制方法，在開啟結構光投射器11之前，首先檢測場景的當前亮度，再根據所述場景的當前亮度決定結構光投射器11的發光功率，最後微處理器20控制結構光投射器11以決定的發光功率發光。其中，發光功率與當前亮度之間的關係爲：當前亮度越高，發光功率越大；當前亮度越小，發光功率越小。可以理解，當前亮度較高時，圖像採集器12感應到的環境光中的紅外光分量也較多；此時，對應提高結構光投射器11的發光功率，則圖像採集器12感應到的結構光投射器11投射的紅外光分量也增多，藉此，環境光中的紅外光分量在圖像採集器12感應到的紅外光總量中的占比會相應减小；因此，其對於雷射圖案的採集的影響也相應減小，深度信息的獲取精度將更高。另外，在當前亮度較低時，發光功率相應減小，可以節省電腦設備100的功耗。
當然，需要說明的是，發光功率具有下限的功率閾值，結構光投射器11應以大於或等於功率閾值的功率進行發光以保證圖像採集器12能夠採集到足夠亮度的雷射圖案，有利於基於該雷射圖案進行深度信息計算，保障深度信息的獲取精度的準確性。
參閱圖2及圖6，本申請實施方式的電腦設備100包括結構光深度相機10、微處理器20和應用處理器30。結構光投射器11和應用處理器30電性連接，應用處理器30可以提供致能信號以控制結構光投射器11的開啟和關閉。結構光投射器11還與微處理器20電性連接，結構光投射器11可以連接在微處理器20的脈衝寬度調變接口73上，微處理器20爲結構光投射器11提供脈衝信號以使結構光投射器11發光，並通過脈衝信號的寬度調變來調節結構光投射器11的發光功率。圖像採集器12和應用處理器30電性連接，應用處理器30可用於控制圖像採集器12的開啟、關閉圖像採集器12或重置圖像採集器12。圖像採集器12還與微處理器20電性連接，圖像採集器12可通過積體電路匯流排（Inter-Integrated Circuit, I2 C）71與微處理器20連接。微處理器20可以給圖像採集器12提供採集雷射圖案的時鐘信號，圖像採集器12採集的雷射圖案可以通過移動産業處理器接口（Mobile Industry Processor Interface，MIPI）72傳輸到微處理器20中。在本申請的具體實施例中，電腦設備100還包括紅外補光燈60。紅外補光燈60可向外發射均勻的紅外光，紅外光被場景中的物體反射後被圖像採集器12接收以得到紅外圖像。紅外補光燈60也可通過積體電路匯流排71與應用處理器30連接。應用處理器30可爲紅外補光燈60提供致能信號以控制紅外補光的開啟和關閉。紅外補光燈60還可以與微處理器20電性連接，紅外補光燈60連接在微處理器20的脈衝寬度調變接口73上，微處理器20爲紅外補光燈60提供脈衝信號以使紅外補光燈60發光。
微處理器20可以是處理芯片，微處理器20與應用處理器30電性連接。具體地，應用處理器30可用於重置微處理器20、喚醒微處理器20、糾錯微處理器20等。微處理器20可通過移動産業處理器接口72與應用處理器30連接。具體地，應用處理器30包括可信執行環境（Trusted Execution Environment，TEE）31和非可信執行環境（Rich Execution Environment，REE）32。可信執行環境31中的代碼和內部記憶體區域受存取控制單元控制，不能被非可信執行環境32中的程序所存取。微處理器20通過移動産業處理器接口72與應用處理器30的可信執行環境31連接，以將微處理器20中的數據直接傳輸到可信執行環境31中儲存。
可信執行環境31中的數據包括參考圖案、圖像採集器12採集的雷射圖案及紅外圖像等。
參考圖案是在電腦設備100出廠前預存到可信執行環境31中的。
微處理器20控制結構光投射器11向場景中投射雷射圖案，並控制圖像採集器12採集所述結構光投射器所投射的雷射圖案經場景中的物體調變後的雷射圖案，微處理器20再通過移動産業處理器接口72獲取該調變後雷射圖案，並通過與應用處理器30連接的移動産業處理器接口72將該調變後的雷射圖案傳輸到應用處理器30的可信執行環境31中。應用處理器30可基於參考圖案和該調變後的雷射圖案計算深度圖像。某些深度圖像可作爲深度模板，基於該深度模板，可以進行用戶的身份驗證。用戶的身份驗證通過後，可以獲得電腦設備100的相應操作權限，例如，屏幕解鎖、支付等操作權限。深度圖像還可用於三維場景建模等。
微處理器20還可控制紅外補光燈60向場景中投射均勻的紅外光，並控制圖像採集器12採集紅外圖像，微處理器20再通過移動産業處理器接口72獲取該紅外圖像，並通過與應用處理器30連接的移動産業處理器接口72將紅外圖像傳輸到應用處理器30的可信執行環境31中。某些紅外圖像可作爲紅外模板，例如，紅外圖像中包含用戶人臉的紅外圖像可作爲人臉紅外模板，基於該人臉紅外模板可進行二維的人臉驗證等。
綜上，本申請實施方式所提供的控制方法和微處理器20可根據場景的當前亮度調節結構光投射器11的發光功率，一方面可以提升深度圖像的獲取精度，另一方面有助於减小電腦設備100的功耗。
在某些實施方式中，微處理器20中也包括可信執行環境。微處理器20的可信執行環境中的數據包括參考圖案、圖像採集器12採集的雷射圖案及紅外圖像等。參考圖案是在電腦設備100出廠前預存到微處理器20的可信執行環境中的。微處理器20從圖像採集器12中接收雷射圖案後，將雷射圖案儲存在微處理器20的可信執行環境中。微處理器20可基於參考圖案和雷射圖案計算深度圖像。包含人臉的深度信息的深度圖像可以作爲深度模板。微處理器20可將深度模板通過移動産業處理器接口72傳送到應用處理器30的可信執行環境31中進行儲存。在後續的身份驗證時，微處理器20將計算得到的深度圖像傳輸到應用處理器30中，應用處理器30來執行深度圖像與深度模板的比對，並基於比對結果進行各種需要身份驗證的進程的調度。同樣地，微處理器20從圖像採集器12中接收紅外圖像之後，將紅外圖像儲存到微處理器20的可信執行環境中。包含人臉的紅外圖像可以作爲紅外模板，微處理器20可將紅外模板通過移動産業處理器接口72傳送到應用處理器30的可信執行環境31中進行儲存。後續身份驗證時，微處理器20將採集到的紅外圖像傳送至應用處理器30中，應用處理器30來執行紅外圖像與紅外模板的比對，並基於比對結果進行各種需要身份驗證的進程的調度。
在某些實施方式中，參考圖案儲存在微處理器20中。微處理器20從圖像採集器12中接收雷射圖案後，可將參考圖案和接收到的雷射圖案通過移動産業處理器接口72一併傳送到應用處理器30的可信執行環境31中進行儲存。應用處理器30可基於參考圖案和雷射圖案計算深度圖像。其中，應用處理器30在可信執行環境31中進行深度圖像的計算，計算出的深度圖像也儲存在可信執行環境31中。儲存在應用處理器30的可信執行環境31中的某些深度圖像可以作爲深度模板。在後續身份驗證時，應用處理器30執行深度圖像的計算，並基於計算得到的深度圖像與深度模板做比對，進一步基於比對結果進行各種需要身份驗證的進程的調度。同樣地，微處理器20從圖像採集器12中接收紅外圖像之後，可將紅外圖像通過移動産業處理器接口72一併傳送到應用處理器30的可信執行環境31中進行儲存。儲存在應用處理器30的可信執行環境31中的某些紅外圖像可以作爲紅外模板。在後續身份驗證時，應用處理器30基於從微處理器20處接收的紅外圖像與紅外模板作比對，並基於比對結果進行各種需要身份驗證的進程的調度。
請參閱圖2，在某些實施方式中，場景的當前亮度可以由光線傳感器50檢測得到。光線傳感器50作爲外部設備與微處理器20電性連接；具體地，可通過積體電路匯流排71與微處理器20電性連接。光線傳感器50還與應用處理器30電性連接；具體地，可通過積體電路匯流排71與應用處理器30電性連接。應用處理器30可爲光線傳感器50提供致能信號以控制光線傳感器的開啟和關閉。光線傳感器50是由投光器和受光器兩個組件構成的，其工作原理是利用投光器將光線通過透鏡聚焦，光線經過傳輸到達受光器的透鏡，最後被感應器所接收。感應器將接收到的光線信號轉換成電信號。電信號傳送到微處理器20，微處理器20根據電信號的大小決定場景的當前亮度，最後再基於當前亮度決定結構光投射器11的發光功率。
請參閱圖3，在某些實施方式中，框01處獲取場景的當前亮度包括圖3框中所示出的如下操作。
在框011處：獲取場景的拍攝圖像。
在框012處：根據所述拍攝圖像計算所述場景的當前亮度。
請參閱圖2，在某些實施方式中，框011和框012均可以由微處理器20實現。也即是說，微處理器20還可以用於獲取場景的拍攝圖像，以及根據所述拍攝圖像計算所述場景的當前亮度。
其中，場景的拍攝圖像可以由圖像採集器12採集。此時拍攝圖像爲灰階圖像。灰階圖像的多個像素值反映了場景中各個位置處的亮度。微處理器20可以根據灰階圖像的像素值計算場景的當前亮度，例如對整幅灰階圖像的像素值求和後再取均值等。基於拍攝圖像來計算場景的當前亮度可以無需設置光線傳感器50，減少電腦設備100的外設數量。
在某些實施方式中，電腦設備100還包括可見光相機40。可見光相機40與應用處理器30連接。具體地，可見光相機40可通過積體電路匯流排71與應用處理器30連接。應用處理器30可以爲可見光相機40提供致能信號以開啟或關閉可見光相機40、或者重置可見光相機40。可見光相機40還與微處理器20電性連接，具體地，可見光相機40可通過積體電路匯流排71與微處理器20連接，微處理器20可以給可見光相機40提供拍攝可見光圖像的時鐘信號（Clock Signal），可見光相機40拍攝的可見光圖像可通過移動産業處理器接口72傳輸到微處理器20中。微處理器20還可通過移動産業處理器接口72將可見光圖像傳輸到應用處理器30的非可信執行環境32中，應用處理器30可根據深度圖像和可見光圖像做場景的三維建模，得到場景的三維彩色模型等；或者，根據深度圖像和可見光圖像做人臉美顔，具體地，應用處理器30基於深度圖像可以更加準確識別出人臉在可見光圖像中對應的像素點，再對人臉進行美顔，提升人臉美顔的效果等。在微處理器20也包括可信執行環境和非可信執行環境時，上述的三維場景建模、人臉美顔等也可由微處理器20執行。
其中，拍攝圖像也可以爲可見光相機40拍攝的可見光圖像。可見光圖像的像素值通常爲RGB格式的數據。微處理器20接收到可見光圖像後，首先通過以下公式，基於RGB格式的像素值計算YCrCb格式中的亮度分量Y的值：Y=0.257×R+0.564×G+0.098×B。隨後，微處理器20可根據整幅可見光圖像的多個Y值計算場景的當前亮度，例如，對多個Y值求和再取均值，將最終結果作爲場景的當前亮度等。
請參閱圖4，在某些實施方式中，多個發光功率與多個預設亮度範圍一一對應。框02處根據所述場景的當前亮度決定結構光投射器11的發光功率包括圖4框中所示出的如下操作。
在框021處：決定場景的當前亮度所處的預設亮度範圍。
在框022處：根據所決定的預設亮度範圍決定與所述預設亮度範圍對應的發光功率。
請參閱圖2，在某些實施方式中，框021和框022均可以由微處理器20實現。也即是說，微處理器20還可用於決定場景的當前亮度所處的預設亮度範圍，以及根據所決定的預設亮度範圍決定與所述預設亮度範圍對應的發光功率。
具體地，微處理器20中預存有預設亮度範圍與發光功率的對應表，每個預設亮度範圍與一個發光功率相對應。微處理器20計算出當前亮度後，首先判斷當前亮度處於哪一個預設亮度範圍內，在決定出預設亮度範圍之後，再從對應表中查找與當前亮度所處的預設亮度範圍對應的發光功率，並控制結構光投射器11以決定出的發光功率發光。其中，預設亮度範圍與發光功率的對應表爲在電腦設備100生産製造過程中通過實驗標定得到的。
本申請實施方式所提供的控制方法通過劃分多個預設亮度範圍，並設定與多個預設亮度範圍一一對應的發光功率，則在結構光深度相機10工作時，微處理器20可以根據對應表找到與場景的當前亮度最爲契合的發光功率，一方面可以提升深度圖像的獲取精度，另一方面可以減小電腦設備100的功耗。
在某些實施方式中，發光功率的控制除了改變脈衝信號的工作週期（Duty Cycle）及幅度之外，還可以通過對結構光投射器11的光源111進行分區控制來得到。此時，光源111分爲多個發光區域1112，每個發光區域1112包括多個點光源1111，每個發光區域1112的點光源相對於其他發光區域中的點光源來說能夠被獨立控制。在決定發光功率後，基於該發光功率決定需要開啟點光源的發光區域1112的數量及發光區域1112的位置。以圖5爲例，光源111分爲8個發光區域1112，假設基於決定的發光功率需要開啟4個發光區域1112中的點光源，其對應圖5中所示的4個發光區域1112。這四個發光區域1112相對於光源111的中心呈中心對稱分布，如此可以提升結構光投射器11投射到場景中的雷射圖案的亮度的均勻性，有利於進一步提升深度圖像的獲取精度。
需要說明的是，光源111的形狀除了圖5中所示的圓形之外，還可以是三角形、矩形、正方形、平行四邊形、多邊形等等，在此不做限制。發光區域1112除了呈圖5所示的扇形分布外，還可以是呈環形、「回」字形等分布，在此不做限制。
請參閱圖6，本申請還提供一種電腦設備100。電腦設備100包括儲存器80及處理器90。儲存器80中儲存有電腦可讀取指令81。指令被處理器90執行時，使得處理器90執行上述任意一項實施方式所述的控制方法。其中，電腦設備100中的處理器90可爲上述的微處理器20。
例如，指令被處理器90執行時，處理器90可執行以下圖1框中所示出的如下操作。
在框01處：獲取場景的當前亮度。
在框02處：根據所述場景的當前亮度決定結構光投射器11的發光功率。
在框03處：控制結構光投射器11按照所述發光功率發光。
再例如，指令被處理器90執行時，處理器還可執行圖2框中所示出的以下操作。
在框011處：獲取場景的拍攝圖像。
在框012處：根據所述拍攝圖像計算所述場景的當前亮度。
再例如，指令被處理器90執行時，處理器還可執行以下圖3框中所示出的以下操作。
在框021處：決定場景的當前亮度所處的預設亮度範圍。
在框022處：根據所決定的預設亮度範圍決定與所述預設亮度範圍對應的發光功率。
本申請還提供一個或多個包含電腦可執行指令的非揮發性電腦可讀記錄媒體，當電腦可執行指令被一個或多個處理器90執行時，使得處理器90執行上述任意一項實施方式所述的控制方法。其中，處理器90可爲上述的微處理器20。
例如，當電腦可執行指令被一個或多個處理器90執行時，處理器90可執行圖1框中所示出的以下操作，
在框01處：獲取場景的當前亮度。
在框02處：根據所處場景的當前亮度決定結構光投射器11的發光功率。
在框03處：控制結構光投射器11按照所述發光功率發光。
再例如，當電腦可執行指令被一個或多個處理器90執行時，處理器90可執行圖2框中所示出的以下操作。
在框011處：獲取場景的拍攝圖像。
在框012處：根據所述場景的拍攝圖像計算所述場景的當前亮度。
再例如，當電腦可執行指令被一個或多個處理器90執行時，處理器90還可執行圖3框中所示出的以下操作。
在框021處：決定場景的當前亮度所處的預設亮度範圍。
在框022處：根據所決定的預設亮度範圍決定與所述預設亮度範圍對應的發光功率。
在本說明書的描述中，參考術語「一個實施例」、「一些實施例」、「示例」、「具體示例」、或「一些示例」等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本申請的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不必須針對的是相同的實施例或示例。而且，描述的具體特徵、結構、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結合。此外，在不相互矛盾的情况下，本領域的技術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特徵進行結合和組合。
此外，術語「第一」、「第二」僅用於描述目的，而不能理解爲指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有「第一」、「第二」的特徵可以明示或者隱含地包括至少一個該特徵。在本申請的描述中，「多個」的含義是至少兩個，例如兩個，三個等，除非另有明確具體的限定。
流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解爲，表示包括一個或更多個用於實現特定邏輯功能或過程的操作的可執行指令的代碼的模塊、片段或部分，並且本申請的優選實施方式的範圍包括另外的實現，其中可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，來執行功能，這應被本申請的實施例所屬技術領域的技術人員所理解。
在流程圖中表示或在此以其他方式描述的邏輯和/或操作，例如，可以被認爲是用於實現邏輯功能的可執行指令的定序列表，可以具體實現在任何電腦可讀記錄媒體中，以供指令執行系統、裝置或設備（如基於電腦的系統、包括處理器的系統或其他可以從指令執行系統、裝置或設備取指令並執行指令的系統）使用，或結合這些指令執行系統、裝置或設備而使用。就本說明書而言，「電腦可讀介質」可以是任何可以包含、儲存、通信、傳播或傳輸程序以供指令執行系統、裝置或設備或結合這些指令執行系統、裝置或設備而使用的裝置。電腦可讀記錄媒體的更具體的示例（非窮盡性列表）包括以下：具有一個或多個佈線的電性連接部（電子裝置），便攜式電腦盤盒（磁裝置），隨機存取記憶體（RAM），唯讀儲存器（ROM），可抹除可編輯唯讀儲存器（EPROM或快閃記憶體），光纖裝置，以及便攜式光碟唯讀儲存器（CDROM）。另外，電腦可讀記錄媒體甚至可以是可在其上列印所述程式的紙或其他合適的媒體，因爲可以例如通過對紙或其他媒體進行光學掃描，接著進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程式，然後將其儲存在電腦儲存器中。
應當理解，本申請的各部分可以用硬體、軟體、韌體或它們的組合來實現。在上述實施方式中，多個操作或方法可以用儲存在儲存器中且由合適的指令執行系統執行的軟體或韌體來實現。例如，如果用硬體來實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來實現：具有用於對數據信號實現邏輯功能的邏輯閘電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可程式化邏輯閘陣列（PGA），現場可程式化邏輯閘陣列（FPGA）等。
本技術領域的普通技術人員可以理解實現上述實施例方法携帶的全部或部分操作是可以通過程序來指令相關的硬件完成，所述的程序可以儲存於一種電腦可讀記錄媒體中，該程序在執行時，包括方法實施例的操作之一或其組合。
此外，在本申請各個實施例中的各功能單元可以整合在一個處理模塊中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元整合在一個模塊中。上述整合的模塊可以採用硬體的形式實現，也可以採用軟體功能模塊的形式實現。所述整合的模塊如果以軟體功能模塊的形式實現並作爲獨立的産品銷售或使用時，也可以儲存在一個電腦可讀取記錄媒體中。
上述提到的記錄媒體可以是唯讀儲存器，磁碟或光碟等。儘管上面已經示出和描述了本申請的實施例，可以理解的是，上述實施例是示例性的，不能理解爲對本申請的限制，本領域的普通技術人員在本申請的範圍內可以對上述實施例進行變化、修改、替換和變形。
01~03、011~012、021~022:步驟 10:結構光深度相機 11:結構光投射器 12:圖像採集器 20:微處理器 30:應用處理器 31:可信執行環境 32:非可信執行環境 40:可見光相機 50:光線傳感器 60:紅外補光燈 71:積體電路匯流排 72:移動産業處理器接口 73:脈衝寬度調變接口 80:儲存器 81:電腦可讀取指令 90:處理器 100:電腦設備 111:光源 1111:點光源 1112:發光區域
本申請上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中： 圖1是本申請某些實施方式的控制方法的流程示意圖。 圖2是本申請某些實施方式的電腦設備的部分模塊示意圖。 圖3是本申請某些實施方式的控制方法的流程示意圖。 圖4是本申請某些實施方式的控制方法的流程示意圖。 圖5是本申請某些實施方式的電腦設備的光源的結構示意圖。 圖6是本申請某些實施方式的電腦設備的結構示意圖。
01~03:步驟

Claims (12)

  1. 一種控制方法，用於結構光投射器，所述控制方法包括： 獲取場景的當前亮度； 根據所述場景的當前亮度決定所述結構光投射器的發光功率；以及 控制所述結構光投射器按照所述發光功率發光。
  2. 如申請專利範圍第1項所述的控制方法，其中，所述場景的當前亮度能夠由光線傳感器檢測。
  3. 如申請專利範圍第1項所述的控制方法，其中，在所述獲取場景的當前亮度的步驟中，還包括： 獲取所述場景的拍攝圖像；以及 根據所述場景的拍攝圖像計算所述場景的當前亮度。
  4. 如申請專利範圍第1項所述的控制方法，其中，多個所述發光功率與多個預設亮度範圍一一對應，且在所述根據所述場景的當前亮度決定所述結構光投射器的發光功率的步驟中，還包括： 決定所述場景的當前亮度所處的預設亮度範圍；以及 根據所述預設亮度範圍決定與所述預設亮度範圍對應的所述發光功率。
  5. 如申請專利範圍第1項所述的控制方法，其中，所述場景的當前亮度越高，所述發光功率越大。
  6. 一種微處理器，所述微處理器與結構光深度相機電性連接，所述結構光深度相機包括結構光投射器，所述微處理器用於： 獲取場景的當前亮度； 根據所述場景的當前亮度決定所述結構光投射器的發光功率；以及 控制所述結構光投射器按照所述發光功率發光。
  7. 如申請專利範圍第6項所述的微處理器，其中，所述場景的當前亮度能夠由光線傳感器檢測。
  8. 如申請專利範圍第6項所述的微處理器，其中，所述微處理器還用於： 獲取所述場景的拍攝圖像；以及 根據所述場景的拍攝圖像計算所述場景的當前亮度。
  9. 如申請專利範圍第6項所述的微處理器，其中，多個所述發光功率與多個預設亮度範圍一一對應，所述微處理器還用於： 決定所述場景的當前亮度所處的預設亮度範圍；以及 根據所述預設亮度範圍決定與所述預設亮度範圍對應的所述發光功率。
  10. 如申請專利範圍第6項所述的微處理器，其特徵在於，所述場景的當前亮度越高，所述發光功率越大。
  11. 一個或多個包含電腦可執行指令的非揮發性電腦可讀記錄媒體，當所述電腦可執行指令被一個或多個處理器執行時，使得所述處理器完成申請專利範圍第1至5項中任一項所述的控制方法。
  12. 一種電腦設備，包括儲存器及處理器，所述儲存器中儲存有電腦可讀取指令，所述電腦可取讀指令被所述處理器執行時，使得所述處理器執行申請專利範圍第1至5項中任一項所述的控制方法。
TW108121513A 2018-07-13 2019-06-20 控制方法、微處理器、電腦可讀記錄媒體及電腦設備 TWI714131B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810771164.2A CN108881691A (zh) 2018-07-13 2018-07-13 控制方法、微处理器、计算机可读存储介质及计算机设备
WO201810771164.2 2018-07-13

Publications (2)

Publication Number Publication Date
TW202023261A true TW202023261A (zh) 2020-06-16
TWI714131B TWI714131B (zh) 2020-12-21

Family

ID=64301957

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108121513A TWI714131B (zh) 2018-07-13 2019-06-20 控制方法、微處理器、電腦可讀記錄媒體及電腦設備

Country Status (5)

Country Link
US (1) US20200021729A1 (zh)
EP (2) EP3599761A3 (zh)
CN (1) CN108881691A (zh)
TW (1) TWI714131B (zh)
WO (1) WO2020010848A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881691A (zh) * 2018-07-13 2018-11-23 Oppo广东移动通信有限公司 控制方法、微处理器、计算机可读存储介质及计算机设备
CN110111393B (zh) * 2019-03-31 2023-10-03 惠州市德赛西威汽车电子股份有限公司 一种汽车全景标定方法、装置及***
CN110062145B (zh) * 2019-05-24 2021-07-20 Oppo广东移动通信有限公司 深度相机、电子设备及图像获取方法
CN110072044B (zh) * 2019-05-30 2021-04-16 Oppo广东移动通信有限公司 深度相机的控制方法及控制装置、终端及可读存储介质
WO2020248097A1 (zh) * 2019-06-10 2020-12-17 Oppo广东移动通信有限公司 图像获取方法、终端及计算机可读存储介质
WO2020257969A1 (zh) * 2019-06-24 2020-12-30 深圳市汇顶科技股份有限公司 结构光投射装置、结构光投射方法及三维测量***
CN110541699B (zh) * 2019-07-08 2023-02-28 山东四维卓识信息技术有限公司 一种工程用旋挖施工方法、***及存储介质
CN112584054A (zh) * 2019-09-29 2021-03-30 深圳市光鉴科技有限公司 基于图像编码的亮度自适应调节方法、***、设备及介质
CN110719454B (zh) * 2019-10-15 2021-09-14 浙江晶鲸科技有限公司 电控红外光发射器自适应驱动装置及驱动方法
CN110944135B (zh) * 2019-11-18 2022-05-31 深圳前海达闼云端智能科技有限公司 一种功率控制方法、电子设备及存储介质
CN111050087B (zh) * 2019-12-26 2021-03-09 杭州涂鸦信息技术有限公司 一种基于rgb统计信息的红外防过曝方法及其***和装置
CN111679289B (zh) * 2020-05-13 2023-05-05 奥比中光科技集团股份有限公司 一种深度计算***、方法及计算机可读存储介质
CN114339063A (zh) * 2021-12-30 2022-04-12 深圳市先地图像科技有限公司 一种图像曝光方法、装置、存储介质及相关设备
CN115103170B (zh) * 2022-06-20 2023-10-31 岚图汽车科技有限公司 投影仪控制方法及装置、车辆

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
US9392262B2 (en) * 2014-03-07 2016-07-12 Aquifi, Inc. System and method for 3D reconstruction using multiple multi-channel cameras
US20160335492A1 (en) * 2015-05-15 2016-11-17 Everready Precision Ind. Corp. Optical apparatus and lighting device thereof
CN104917960B (zh) * 2015-05-19 2017-10-17 广东欧珀移动通信有限公司 一种控制摄像头旋转的方法及终端
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
CN105890520A (zh) * 2016-04-20 2016-08-24 感知控股集团有限公司 一种结构光发生装置及结构光测量***
CN206149421U (zh) * 2016-08-12 2017-05-03 北京旷视科技有限公司 激光模组功率校准单元及深度相机
CN106296716A (zh) * 2016-08-24 2017-01-04 深圳奥比中光科技有限公司 光源的功率调整方法、深度测量方法及装置
CN108616726A (zh) * 2016-12-21 2018-10-02 光宝电子(广州)有限公司 基于结构光的曝光控制方法及曝光控制装置
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
US11151235B2 (en) * 2017-08-01 2021-10-19 Apple Inc. Biometric authentication techniques
CN108227361B (zh) * 2018-03-12 2020-05-26 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108471525B (zh) * 2018-03-27 2020-07-17 百度在线网络技术（北京）有限公司 用于投影仪的控制方法和装置以及实现该方法的投影仪
CN108881691A (zh) * 2018-07-13 2018-11-23 Oppo广东移动通信有限公司 控制方法、微处理器、计算机可读存储介质及计算机设备

Also Published As

Publication number Publication date
US20200021729A1 (en) 2020-01-16
TWI714131B (zh) 2020-12-21
EP3599761A2 (en) 2020-01-29
EP3771205A1 (en) 2021-01-27
CN108881691A (zh) 2018-11-23
EP3599761A3 (en) 2020-04-22
WO2020010848A1 (zh) 2020-01-16

Similar Documents

Publication Publication Date Title
TWI714131B (zh) 控制方法、微處理器、電腦可讀記錄媒體及電腦設備
CN106548455B (zh) 用于调整图像的亮度的设备和方法
WO2020073572A1 (zh) 控制方法、控制装置、深度相机和电子装置
US11503228B2 (en) Image processing method, image processing apparatus and computer readable storage medium
CN102622108B (zh) 一种交互式投影***及其实现方法
EP2824923B1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US20140037135A1 (en) Context-driven adjustment of camera parameters
KR20180057668A (ko) 눈 추적 가능한 웨어러블 디바이스들
CN107734267B (zh) 图像处理方法和装置
WO2018161289A1 (zh) 基于深度的控制方法、基于深度的控制装置和电子装置
WO2020258300A1 (zh) 识别装置及方法
US10916025B2 (en) Systems and methods for forming models of three-dimensional objects
WO2016206004A1 (zh) 一种获取深度信息的拍照设备和方法
TW201520975A (zh) 產生場景深度圖之方法及裝置
CN112204961B (zh) 从动态视觉传感器立体对和脉冲散斑图案投射器进行半密集深度估计
WO2019165956A1 (zh) 控制方法、控制装置、终端、计算机设备和存储介质
US20210084280A1 (en) Image-Acquisition Method and Image-Capturing Device
KR102369989B1 (ko) 적외선 이미징을 사용한 색상 식별
TWI725431B (zh) 影像處理方法、電腦設備和可讀儲存媒體
CN105593786A (zh) 对象位置确定
WO2021004216A1 (zh) 深度传感器的参数调整方法、装置以及电子设备
WO2019037105A1 (zh) 功率控制方法、测距模块及电子装置
CN113545028B (zh) 用于面部认证的增益控制
JP2012115505A (ja) 視線検出装置及び視線検出方法
TWI482069B (zh) 光學觸控系統、觸控偵測方法、校正方法及電腦程式產品