TW202407640A - 資訊處理裝置、資訊處理方法、及程式 - Google Patents

Abstract

[課題] 能夠提升針對所被輸入之推論影像的推論處理之推論精度。 [解決手段] 對已被輸入之推論影像會進行推論處理，前記推論影像之畫質，會基於推論部之學習時所被使用的訓練影像之畫質，而被校正。

Description

資訊處理裝置、資訊處理方法、及程式

本技術係有關於資訊處理裝置、資訊處理方法、及程式，特別是有關於，能夠提升針對所被輸入之推論影像的推論處理之推論精度的資訊處理裝置、資訊處理方法、及程式。

專利文獻1中係揭露，基於將已被感測器所取得之影像內之物體予以識別的識別器之識別結果而將感測器之參數做最佳化的技術。 [先前技術文獻] [專利文獻]

[專利文獻1] 日本特開2021-144689號公報

[發明所欲解決之課題]

針對已被輸入之推論影像的推論處理之推論精度，係與推論處理之學習時所被使用的訓練影像之畫質有關，因此即使要將取得推論影像的感測器之動作基於推論結果來做調整，仍難以期待推論精度之提升。

本技術係有鑑於此種狀況而研發，係為了能夠提升針對所被輸入之推論影像的推論處理之推論精度。 [用以解決課題之手段]

本技術之第1側面的資訊處理裝置、或程式，係為一種資訊處理裝置，係具有：推論部，係對已被輸入之推論影像進行推論處理；和處理部，係將前記推論影像之畫質，基於前記推論部之學習時所被使用的訓練影像之畫質，而進行校正。或者，係為用來使電腦發揮機能而成為此種資訊處理裝置所需之程式。

本技術之第1側面的資訊處理方法，係為一種資訊處理方法，係由具有：推論部、和處理部的資訊處理裝置的前記推論部，來對已被輸入之推論影像進行推論處理；前記處理部，將前記推論影像之畫質，基於前記推論部之學習時所被使用的訓練影像之畫質，而進行校正。

在本技術之第1側面的資訊處理裝置、資訊處理方法、及程式中，對已被輸入之推論影像會進行推論處理；前記推論影像之畫質，會基於學習時所被使用的訓練影像之畫質，而被校正。

本技術之第2側面的資訊處理裝置，係一種資訊處理裝置，係具有：供給部，對實作了藉由機器學習之技術而被生成之推論模型的推論裝置，供給前記推論模型之學習時所被使用的訓練影像之畫質之資訊。

於本技術之第2側面的資訊處理裝置中，對實作了藉由機器學習之技術而被生成之推論模型的推論裝置，前記推論模型之學習時所被使用的訓練影像之畫質之資訊，會被供給。

以下，參照圖式，說明本技術的實施形態。

＜＜本實施形態所述之推論系統＞＞ ＜第1實施形態所述之推論系統＞ 圖1係為適用了本技術的第1實施形態所述之推論系統的構成例的區塊圖。於圖1中，第1實施形態所述之推論系統1-1係為，使用學習資料來生成推論模型，並使用已生成之學習模型來對已被攝像元件(感測器)所拍攝之攝像影像進行物體偵測等之推論的系統。

推論系統1-1，係具有推論裝置11-1及學習裝置12-1。推論裝置11-1，係將後述的感測器22之受光面上所被成像的被攝體影像予以拍攝，對拍攝所得的攝像影像進行推論處理以偵測人物(人物影像)等之預先決定之種類的物體(辨識對象物)的存在之有無或辨識對象物所存在的影像領域等。此外，推論處理的內容係不限定於特定之處理，但本實施形態的推論處理係假設為，會偵測出人物的位置(影像領域)來作為辨識對象物。又，在實施形態中是假設，感測器22係具有：作為攝像元件的攝像機能、與進行使用推論模型之推論處理的推論機能。感測器22所做的推論結果，係從感測器22被供給至後段的演算處理部(應用程式處理器等)，相應於該演算處理部中所被執行的程式而被利用於任意的處理中。

學習裝置12-1，係將推論系統1-1中所被使用的推論模型，予以生成。推論模型，係具有例如：使用機器學習之技術而被生成的具有NN(neural network：神經網路)之結構的學習模型。作為NN，係可包含有DNN(Deep Neural Network：深度神經網路)等之各式各樣形態的NN。推論模型，係藉由使用了多數的作為學習用之資料(學習資料)的訓練影像而進行被稱為學習的處理，而將推論模型中所被內含的各種參數之值，進行調整/設定。藉此，就會生成推論模型。學習裝置12-1，係會生成或取得多數的學習資料，使用該學習資料來生成推論模型。學習裝置12-1，係將用來把已生成之推論模型對推論裝置11-1的感測器22進行實作所需之資料(推論模型之演算演算法或各種參數)，供給至推論裝置11-1。又，學習裝置12-1，係將推論模型之生成時所使用的學習資料(訓練影像)的畫質資訊(訓練影像資訊)，供給至推論裝置11-1。在推論裝置11-1中，係基於從學習裝置12-1所被供給的訓練畫質資訊，而使輸入至推論模型的攝像影像，對齊於訓練影像之畫質。藉此，可期待推論模型的推論精度之提升。

推論裝置11-1，係具有光學系21及感測器22。光學系21，係將來自被攝體空間(3維空間)之被攝體的光線予以聚光而在感測器的受光面上將被攝體之光學像予以成像。感測器22係具有：攝像部31、前處理部32、推論部33、記憶體34、攝像參數輸入部35、前處理參數輸入部36、及推論模型輸入部37。攝像部31，係將受光面上所被成像的被攝體之光學像進行攝像(光電轉換)以取得作為電訊號的攝像影像，並供給至前處理部32。前處理部32，作為對來自攝像部31之攝像影像的前處理，係進行例如：去馬賽克、白平衡、輪廓校正(邊緣強調等)、雜訊去除、陰影校正、畸變校正、色階校正(伽瑪校正、色調管理、色調映射等)、色彩校正等。前處理部32，係將前處理後的攝像影像，當作推論資料而供給至推論部33。但是，前處理部32的處理係不限定於此。

推論部33，係對從前處理部32所被供給的推論資料(攝像影像)，使用推論模型來進行物體偵測等之推論。推論部33中所被使用的推論模型，係為已在學習裝置12-1中所被生成的推論模型，該推論模型的資料，亦即，用來執行推論模型所致之推論處理所需之資料(演算法、各種參數之資料)，係事前就被記憶在記憶體34中。推論部33，係使用記憶體34中所被記憶之推論模型的資料(演算法、參數等之資料)，來執行推論處理。推論部33，係將推論結果，往感測器22之外部的演算處理部等進行輸出。例如，在本實施形態的推論處理中，推論部33，係將所偵測到的人物位於攝像影像(推論資料)內之位置(影像領域)，當作推論結果而輸出。又，於推論中，一般而言，關於推論結果的信賴度(判定為人物的物體真的是人物的信賴度)等之附隨的資訊會被算出，關於此種附隨的資訊也會因應需要而被當作推論結果而輸出。此外，推論部33(推論模型)，係被實作在與攝像部31同一個感測器22(半導體晶片)中，但也可為被實作在有別於攝像部31的別的感測器中。又，推論模型的資料係對感測器22以可從外部抹寫的方式而被記憶(佈署)，但亦可為例如，推論模型之演算法(程式)係以硬線式而不可抹寫地被記憶在感測器22中，只有推論模型的參數是可從外部抹寫地而被記憶的情況，亦可為推論模型的所有的資料都是不可抹寫地被記憶在感測器22中的情況。

記憶體34，係為感測器22所內含的記憶部，係將感測器22中所使用的資料，加以記憶。攝像參數輸入部35，係將從學習裝置12-1所被供給的攝像參數之資料予以受理並記憶在記憶體34中。前處理參數輸入部36，係將從學習裝置12-1所被供給的前處理參數之資料予以受理並記憶在記憶體34中。推論模型輸入部37，係將從學習裝置12-1所被供給的推論模型之資料予以受理並記憶在記憶體34中。此外，攝像參數輸入部35，前處理參數輸入部36、及推論模型輸入部37，係並不需要實體性地被區分，可為共通的輸入部。又，攝像參數、前處理參數、及推論模型，係不限於從學習裝置12-1被供給的情況，亦可為從任意之裝置而被供給至推論裝置11-1的情況。關於攝像參數、及前處理參數的資料，將於後述。

學習裝置12-1，係具有：光學系41、攝像部42、前處理部43、及學習部44。光學系41，係將來自被攝體空間(3維空間)之被攝體的光線予以聚光而在攝像部42的受光面上將被攝體之光學像予以成像。攝像部42，係將受光面上所被成像的被攝體之光學像進行攝像(光電轉換)以取得作為電訊號的攝像影像，並供給至前處理部43。前處理部43，係對來自攝像部42的攝像影像，進行和推論裝置11-1的前處理部32相同的前處理。前處理部43，係將前處理後的攝像影像，當作學習資料(訓練影像)而供給至學習部44。學習部44，係使用來自前處理部43的多數之學習資料來進行推論模型之學習，生成推論裝置11-1中所使用的推論模型。此處，推論模型之學習時所使用的學習資料(訓練影像)，係不限於藉由圖1的學習裝置12-1之構成而被供給至學習部44的情況。例如，亦可為從複數種之光學系41或攝像部42所取得的攝像影像是作為訓練影像而被供給至學習部44的情況，亦可為不是實拍影像，而是把電腦繪圖或插畫等之影像(人造影像)當作訓練影像而被供給至學習部44的情況。亦即，學習裝置12-1，係可為不具光學系41及攝像部42的情況。學習部44，係將已生成之推論模型，供給至推論裝置11-1。

此處，從學習裝置12-1被供給至推論裝置11-1而被記憶在記憶體34中的攝像參數、及前處理參數之資料，係為表示學習部44在推論模型之學習時所使用的訓練影像之畫質的畫質資訊(訓練畫質資訊)之一形態。攝像參數，係為將攝像部42之動作(或控制)予以特定的參數，係為例如將攝像部42中的像素驅動方式、解析度、注目領域(ROI)、曝光(時間)、增益等予以特定的參數。攝像參數係為，將攝像部42拍攝要作為學習資料之攝像影像(以下亦稱作訓練影像)之際的攝像部42之動作予以特定的參數。但是，攝像參數係亦可不是訓練影像之攝像時或攝像前所被辨識的資訊，而是藉由被附加於訓練影像的資訊等，而在訓練影像之攝影後所被辨識的資訊。

前處理參數，係為將前處理部43之動作(處理內容)予以特定的參數，係為將前處理部43對訓練影像所進行的前處理之內容予以特定的參數。前處理參數，作為前處理的內容，係可將例如：去馬賽克、白平衡、輪廓校正(邊緣強調等)、雜訊去除、陰影校正、畸變校正、色階校正(伽瑪校正、色調管理、色調映射等)、色彩校正等之內容，予以特定。但是，前處理參數係亦可不是在對訓練影像進行前處理的前處理時或該前處理前所被辨識的資訊，而是藉由被附加於訓練影像的資訊或藉由訓練影像之分析/解析等，而在訓練影像之前處理後所被辨識的資訊。

這些攝像參數或前處理參數，係作為將推論裝置11-1中所被使用的推論模型之生成(學習)時所被使用的訓練影像之畫質予以表示的訓練畫質資訊，而從學習裝置12-1(未圖示的供給部)分別被供給至推論裝置11-1的攝像參數輸入部35及前處理參數輸入部36而被記憶在記憶體34中。此外，在攝像參數或前處理參數中，係亦可分別不只含有1個要素值，而是可含有複數個要素值(亦可簡稱為參數)。又，由於推論模型之學習時會使用多數的訓練影像，因此對各個訓練影像的攝像參數或前處理參數，有時候會隨著要素值而相異。此情況下，針對攝像參數或前處理參數之各者的要素值，係會使用針對複數個訓練影像的平均值、最小值、最大值、分散值、眾數、變動範圍等之統計值。

相對於此，推論裝置11-1的攝像部31及前處理部32，係分別依照記憶體34中所被記憶的攝像參數及前處理參數，來進行攝像及前處理。藉此，被輸入至推論部33的推論資料(推論影像)之畫質，就會被校正成與訓練影像同等之畫質(使得推論影像與訓練影像之畫質會對齊)，而提升推論部33中的推論精度。例如，像是在感測器22中實作推論模型的情況，要增大硬體資源是有極限的情況下，推論模型的輕量化(參數數量的減少等所致之計算量降低等)係為必要。推論模型的推論精度與計算量是呈取捨關係，因此能夠一面期待推論模型的輕量化，同時又能抑止推論精度的降低、或是予以提升的本技術，是尤其有效。亦即，若依據本技術，則在將推論模型做輕量化的情況下，藉由將推論模型之學習時所使用的訓練影像之畫質(訓練畫質)限制成一定的變動範圍，對於與該訓練畫質同等之畫質的推論資料(推論影像)，可期待推論模型的輕量化，同時可期待推論模型的推論精度之提升。例如，推論影像是在白天被拍攝的明亮之畫質的影像的情況下，藉由使用明亮之畫質的影像來作為訓練影像，就可期待推論模型的輕量化與推論精度之提升。

另一方面，在推論影像之畫質，是與訓練影像之畫質大幅不同的情況下，則推論精度會降低。於是，在本技術中，係事前取得訓練影像的訓練畫質資訊，基於訓練畫質資訊，以使得推論影像會變成與訓練影像同等之畫質的方式來校正推論影像之畫質，藉此以抑止推論模型之輕量化所致之推論精度的降低。

在專利文獻1(日本特開2021-144689號公報)中，係基於推論結果來決定最佳的感測器之參數，但在專利文獻1中，並無法將推論影像與訓練影像的畫質(性質)予以對齊。又，只根據推論結果並無法適切地校正推論影像，對於時時刻刻變化的未知之輸入影像(推論影像)，也難以進行最佳的校正。相對於此，在本技術中，訓練影像與推論影像的畫質(性質)是被對齊成容易推論，因此可使推論精度提升。又，還可將推論處理的推論結果如後述的第3實施形態般地進行回饋，無論輸入影像(推論影像)之種類或其變化為何，都可將推論影像校正(調整)成最佳的畫質。

＜第2實施形態所述之推論系統＞ 圖2係為適用了本技術的第2實施形態所述之推論系統的構成例的區塊圖。圖中，與圖1的推論系統1-1共通的部分係標示同一符號，其詳細的說明係適宜省略。圖2的第2實施形態所述之推論系統1-2，係具有推論裝置11-2及學習裝置12-2，分別對應於圖1的推論系統1-1的推論裝置11-1及學習裝置12-1。圖2的推論裝置11-2係具有光學系21及感測器22，感測器22係具有：攝像部31、前處理部32、推論部33、記憶體34、攝像參數輸入部35、前處理參數輸入部36、推論模型輸入部37、畫質偵測部51、畫質資訊輸入部53、參數導出部54、攝像參數更新部55、及前處理參數更新部56。圖2的學習裝置12-2，係具有：光學系41、攝像部42、前處理部43、學習部44、及畫質偵測部52。

因此，圖2的推論裝置11-2，係在具有圖1的推論裝置11-1中的光學系21及感測器22，並具有圖1的感測器22的攝像部31、前處理部32、推論部33、記憶體34、攝像參數輸入部35、前處理參數輸入部36、及推論模型輸入部37的這點上，是與圖1的推論裝置11-1共通。但是，圖2的推論裝置11-2，係在被新追加了畫質偵測部51、畫質資訊輸入部53、參數導出部54、攝像參數更新部55、及前處理參數更新部56的這點上，是與圖1的推論裝置11-1相異。又，圖2的學習裝置12-2，係在具有圖1的學習裝置12-1中的光學系41、攝像部42、前處理部43、及學習部44的這點上，是與圖1的學習裝置12-1共通。但是，圖2的學習裝置12-2，係在被新追加了畫質偵測部52的這點上，是與圖1的學習裝置12-1相異。

於圖2的推論系統1-2中，學習裝置12-2的畫質偵測部52，係偵測出學習資料(訓練影像)的統計量或特徵量，並當作訓練畫質資訊而供給至推論裝置11-2。作為學習資料的統計量係可包含有例如，作為像素值的統計量的平均值、最大值、最小值、中位數、眾數、分散度、直方圖、雜訊位準、及頻譜等。作為學習資料的特徵量，係可包含有：神經網路中間特徵量地圖、主成分、梯度、HOG(Histograms of Oriented Gradients)、SIFT(Scale-Invariant Feature Transform)等之特徵量。

於圖2的推論裝置11-2中，感測器22的畫質資訊輸入部53，係將來自學習裝置12-2的畫質偵測部52的訓練畫質資訊加以取得，並記憶在記憶體34中。感測器22的畫質偵測部51，係將來自前處理部32的推論資料(推論影像)之統計量或特徵量，和學習裝置12-2的畫質偵測部52同樣地進行偵測，並當作推論畫質資訊而供給至參數導出部54。

參數導出部54，係將記憶體34中所被記憶之訓練畫質資訊予以讀出，並將訓練畫質資訊、與來自畫質偵測部52的推論畫質資訊，進行比較。其結果為，參數導出部54，係將為了使推論畫質變成與訓練畫質同等而需要更新的攝像參數及前處理參數予以導出，並分別供給至攝像參數更新部55及前處理參數更新部56。攝像參數更新部55，係從記憶體34讀出攝像參數之資料，將從參數導出部54所被供給之需要更新的攝像參數予以更新然後供給至攝像部31。此外，攝像參數之中，需要更新的攝像參數以外，則是將從記憶體34所取得的攝像參數，供給至攝像部31。前處理參數更新部56，係從記憶體34讀出前處理參數之資料，將從參數導出部54所被供給之需要更新的前處理參數予以更新然後供給至前處理部32。此外，前處理參數之中，需要更新的前處理參數以外，則是將從記憶體34所取得的前處理參數，供給至前處理部32。

例如，參數導出部54，係在訓練畫質資訊中的輝度平均值、與推論畫質資訊中的輝度平均值為不同的情況下，作為供給至前處理部32的輝度增益，將(訓練畫質資訊中的輝度平均值)/(推論畫質資訊中的輝度平均值)之值，透過前處理參數更新部56而供給至前處理部32。藉此，推論影像就會被校正成，使得推論影像之輝度平均值會變成與訓練影像之輝度平均值同等。其結果為，被輸入至推論部33的推論影像就會被校正成與訓練影像同等之畫質，因此可提升推論精度。

＜第3實施形態所述之推論系統＞ 圖3係為適用了本技術的第3實施形態所述之推論系統的構成例的區塊圖。圖中，與圖2的推論系統1-2共通的部分係標示同一符號，其詳細的說明係適宜省略。圖3的第3實施形態所述之推論系統1-3，係具有推論裝置11-3及學習裝置12-3，分別對應於圖2的推論系統1-2的推論裝置11-2及學習裝置12-2。圖3的推論裝置11-3係具有光學系21及感測器22，感測器22係具有：攝像部31、前處理部32、推論部33、記憶體34、攝像參數輸入部35、前處理參數輸入部36、推論模型輸入部37、畫質偵測部51、畫質資訊輸入部53、參數導出部54、攝像參數更新部55、及前處理參數更新部56。圖3的學習裝置12-3，係具有：光學系41、攝像部42、前處理部43、學習部44、及畫質偵測部52。

因此，圖3的推論裝置11-3，係在具有圖1的推論裝置11-1中的光學系21及感測器22，並具有圖2的感測器22的攝像部31、前處理部32、推論部33、記憶體34、攝像參數輸入部35、前處理參數輸入部36、推論模型輸入部37，畫質偵測部51、畫質資訊輸入部53、參數導出部54、攝像參數更新部55、及前處理參數更新部56的這點上，是與圖2的推論裝置11-2共通。但是，圖3的推論裝置11-3，係在推論部33之推論結果或信賴度之資訊是被供給至參數導出部54的這點上，是與圖2的推論裝置11-2相異。又，圖3的學習裝置12-3，係沒有與圖2的學習裝置12-2相異的點，是與圖2的學習裝置12-2共通。

於圖3的推論系統1-3中，推論裝置11-3的推論部33，係將推論結果和信賴度之資訊，供給至參數導出部54。參數導出部54，係和圖2的情況同樣地，將為了使訓練畫質與推論畫質變成同等而需要更新的攝像參數及前處理參數，予以導出。然後，參數導出部54，係還基於來自推論部33的推論結果或信賴度，來更新已導出的攝像參數及前處理參數，並透過攝像參數更新部55及前處理參數更新部56，而供給至攝像部31及前處理部32。例如，在推論部33是進行將推論影像中的人物之位置(影像領域)予以偵測的推論處理的情況下，則更新成把偵測到的人物之影像領域當作注目領域(ROI)的攝像參數。又，參數導出部54，係將攝像參數或前處理參數之中的例如與推論影像之亮度有關連的參數做微少量變更，以偵測來自推論部33的信賴度的上升傾向或下降傾向。然後，參數導出部54，係以使得信賴度會上升的方式而將參數每次做為少量變更，在偵測不到信賴度之上升傾向之際，就停止參數之變更。若依據此，則推論影像會被校正成使得信賴度會有所提升，因此可提升推論精度。

＜第4實施形態所述之推論系統＞ 圖4係為適用了本技術的第4實施形態所述之推論系統的構成例的區塊圖。圖中，與圖1的推論系統1-1共通的部分係標示同一符號，其詳細的說明係適宜省略。圖4的第4實施形態所述之推論系統1-4，係具有推論裝置11-4及學習裝置12-4，分別對應於圖1的推論系統1-1的推論裝置11-1及學習裝置12-1。圖4的推論裝置11-4係具有光學系21及感測器22，感測器22係具有：攝像部31、前處理部32、推論部33、記憶體34、前處理參數輸入部36、及推論模型輸入部37。圖4的學習裝置12-4，係具有：學習部44、及人造影像取得部61。

因此，圖4的推論裝置11-4，係在具有圖1的推論裝置11-1中的光學系21及感測器22，並具有圖1的感測器22的攝像部31、前處理部32、推論部33、記憶體34、前處理參數輸入部36、及推論模型輸入部37的這點上，是與圖1的推論裝置11-1共通。但是，圖4的推論裝置11-4，係在不具有圖1的攝像參數輸入部35的這點上，是與圖1的推論裝置11-1相異。又，圖4的學習裝置12-4，係在具有圖1的學習部44的這點上，是與圖1的學習裝置12-1共通。但是，圖4的學習裝置12-4，係在不具有光學系41、攝像部42、前處理部43的這點、以及被新追加了人造影像取得部61的這點上，是與圖1的學習裝置12-1相異。

於圖4的推論系統1-4中，學習裝置12-4的人造影像取得部61，係將電腦繪圖或插畫等之人工生成的影像(人造影像)加以取得，並當作學習資料(訓練影像)而供給至學習部44。學習部44，係並非如圖1般地將實拍影像當作學習資料(訓練影像)使用來進行推論模型之學習，而是使用人造影像來進行推論模型之學習。又，學習裝置12-4，係將學習資料(人造影像)的特性資訊(畫質資訊)所對應之前處理參數，供給至推論裝置11-4。人造影像的特性資訊，係亦可從人造影像的生成之際的資訊加以取得，亦可將學習資料(訓練影像)進行分析/解析而加以取得。此處，被供給至學習部44，作為被使用於推論模型之學習的訓練影像的人造影像，係不限於影像全體都是被人工生成的影像的情況。例如，人物影像係會因為隱私權的問題而難以更大量地收集，就此觀點等來看，前景(人物)是人工生成的影像，背景則是實拍影像之情況的這種人工生成的影像與實拍影像之合成影像，也可被包含在人造影像中。又，像是前景(人物)與背景為各自不同之實拍影像的這種情況，複數個不同的實拍影像之合成影像，也可被包含在人造影像中。亦即，不是實拍影像本身，只要影像的一部分或全體實施過人工加工的影像，都可被包含在人造影像中。

於圖4的推論裝置11-4中，感測器22的前處理參數輸入部36，係將來自學習裝置12-2的前處理參數加以取得，並記憶在記憶體34中。前處理部32，係依照記憶體34中所被記憶之前處理參數而進行前處理，以將來自攝像部31的攝像影像，校正成具有與訓練影像同等之特性(畫質)的人造影像之畫質，當作推論資料(推論影像)而供給至推論部33。藉此，推論部33係會被輸入與推論模型之學習時所使用的訓練影像同等之畫質的推論影像，因此可提升推論精度。

以上第1乃至第4實施形態所述之推論系統1-1乃至1-4中係例示了，為了謀求推論精度之提升而將輸入至推論部(推論模型)的推論影像之畫質進行校正的複數個方法(推論畫質校正方法)。推論系統1-1乃至1-4，係分別例示了適用了1或複數個推論畫質校正方法之情況的形態，本技術係不限定於第1乃至第4實施形態。可將複數個推論畫質校正方法之中的1或複數個任意之方法，採用於推論系統中。以下針對各推論畫質校正方法，做個別說明。

＜基於信賴度的推論畫質校正方法＞ 圖5及圖6係為基於信賴度的推論畫質校正方法的說明圖。於圖5中，前處理部32及推論部33，係相當於圖3的第3實施形態中的推論裝置11-3的前處理部32及推論部33。於圖5中，參數控制器81係含有圖3的第3實施形態中的推論裝置11-3的參數導出部54及前處理參數更新部56。

參數控制器81係例如，從推論部33取得對於推論結果的信賴度，將其移動平均之倒數，當作損失函數L而予以算出。參數控制器81，係將前處理參數之中的所定之參數當作校正參數w，並朝損失函數L會變小的方向(信賴度會變高的方向)將校正參數w予以變更然後供給至前處理部32。一旦從攝像部31(參照圖3)往前處理部32以一定週期輸入新的攝像影像(推論影像)，則前處理部32中的校正參數w之變更，係被反映至下次被輸入至前處理部32的推論影像上。例如，假定校正參數w，係為會對推論影像之亮度造成影響的參數，且相對於校正參數w，損失函數L會如圖6般地變化。參數控制器81，係若假設在校正參數w變化了一∆w的量的情況下，損失函數L會變化一∆L的量，則接著，使校正參數w，朝∆L會變成負的方向，且以α為定數而變化一α･(∆L/∆w)＝α･(dL/dw)的量。藉由如此反覆進行校正參數w之變更，就會以使得損失函數L變成最小的方式而變更了校正參數w，推論影像之亮度就會被調整以使得信賴度會變高(變成最佳狀態)。又，被輸入至前處理部32的推論影像雖然會時時刻刻變化，但可隨應於其而校正參數w也會被持續變更以使信賴度變高。在圖5中，參數控制器81係為將前處理部32的前處理參數予以變更的構成，但亦可將攝像部31的攝像參數做同樣地變更，針對與亮度有關的參數以外之參數也可同樣地變更以使得信賴度變高。

＜基於推論結果的推論畫質校正方法＞ 圖7係為基於推論結果的推論畫質校正方法的說明圖。於圖7中，攝像部31及推論部33，係相當於圖3的第3實施形態中的推論裝置11-3的攝像部31及推論部33。於圖7中，參數控制器81係含有圖3的第3實施形態中的推論裝置11-3的參數導出部54及攝像參數更新部55。

例如，假設攝像部31，在平常狀態下，為了削減消耗電力等，而以低解析度及低位元深度進行讀出。又，假設推論部33是進行，將人物之位置(影像領域)予以偵測的推論處理。參數控制器81，係在對於來自推論部33之推論結果的信賴度會提升等之推論結果有所變動的情況下，對攝像部31，供給會把所偵測到的人物之影像領域特定成為注目領域(ROI)的參數，令其執行注目領域的高解析度及高位元深度之讀出。以後，作為注目狀態，對於高解析度及高位元深度之影像，會在推論部33中進行推論處理，而會進行正確的推論。參數控制器81，係在信賴度下降等情況下，使攝像部31返回平常狀態。在平常狀態下，攝像部31係離散地進行像素值之讀出，在注目狀態下則是進行全時的像素值之讀出等，亦可採用此種變形。

＜基於訓練畫質的推論畫質校正方法＞ (第1例) 圖8係為基於訓練畫質的推論畫質校正方法(第1例)的說明圖。於圖8中，前處理部32及推論部33，係相當於圖2的第2實施形態中的推論裝置11-2的前處理部32及推論部33。於圖8中，參數控制器81係含有圖2的第2實施形態中的推論裝置11-2的參數導出部54及前處理參數更新部56。於圖8中，畫質評價部82係相當於圖2的第2實施形態中的推論裝置11-2的畫質偵測部51。

參數控制器81係例如，將從圖2的學習裝置12-2的畫質偵測部52所被供給的訓練畫質資訊也就是訓練影像的畫質評價值，與從畫質評價部82所被供給的推論畫質資訊也就是推論影像的畫質評價值，進行比較。參數控制器81，係以使得訓練影像與推論影像之畫質會是對齊的方式(變成同等的方式)，來控制供給至前處理部32的前處理參數。例如，假設畫質評價值是輝度平均值，且供給至前處理部32的前處理參數之1者係為輝度增益。此時，參數控制器81，係將供給至前處理部32的輝度增益，設定成(訓練影像之輝度平均值)/(推論影像之輝度平均值)之值。藉此，推論影像就被校正成與訓練影像同等之亮度，可提升推論部33中的推論精度。

(第2例) 圖9係為基於訓練畫質的推論畫質校正方法(第2例)的說明圖。於圖9中，前處理部32及推論部33，係相當於圖2的第2實施形態中的推論裝置11-2的前處理部32及推論部33。但是，在圖9中是說明，與圖2的第2實施形態中的推論裝置11-2不同的推論畫質校正方法。前處理部32，係將從圖2的學習裝置12-2的畫質偵測部52所被供給的訓練畫質資訊也就是訓練影像的畫質評價值，加以取得。例如，作為訓練畫質資訊，係可包含有：關於像素值的平均值、最大值、最小值、中位數、眾數、分散度、直方圖、雜訊位準、色彩空間、訊號處理演算法等。

前處理部32，係對從圖2的攝像部31所被供給的輸入影像(推論影像)，進行和學習裝置12-2相同的畫質評價，並進行使其變成接近於訓練影像之畫質評價值的前處理。例如，假設畫質評價值是輝度平均值，此時，前處理部32，係將前處理中所包含的輝度增益，設定成(訓練影像之輝度平均值)/(推論影像之輝度平均值)之值。藉此，推論影像就被校正成與訓練影像同等之亮度，可提升推論部33中的推論精度。

(第3例) 圖10係為基於訓練畫質的推論畫質校正方法(第3例)的說明圖。於圖10中，前處理部32及推論部33，係相當於圖4的第4實施形態中的推論裝置11-4的前處理部32及推論部33。前處理部32，係將從圖4的學習裝置12-4所被供給的屬於人造影像的訓練影像的特性資訊，加以取得。前處理部32，係前處理部32，係基於訓練影像的特性資訊，而對從圖4的攝像部31所被供給的輸入影像(推論影像)，進行使其變成與訓練影像相同之人造影像的前處理，並當作推論資料而供給至推論部33。藉此，推論影像就被校正成與訓練影像同等的人造影像，可提升推論部33中的推論精度。

＜推論畫質校正時所能使用的參數＞ 圖11係為推論畫質之校正時所能夠使用的前處理參數之種類(要素值)的例示圖。於圖11中，感測器22、前處理部32、及訊號處理部101，係相當於圖1乃至圖4中的推論裝置11-1乃至11-4的感測器22、前處理部32、及推論部33。訊號處理部101，係為執行推論模型所致之演算處理的處理部，訊號處理部101中係含有處理器或工作記憶體。又，訊號處理部101中，係藉由具有NN結構的推論模型之執行，而被虛擬性建構了AI濾波器群。感測器外處理部23，係為有別於感測器22的獨立之處理部，是與攝像部31之攝像相關連的處理部(與推論影像之畫質有關的處理部)。

在圖11的前處理部32內，由前處理部32所執行的前處理之種類，係被例示。前處理部32，係進行類比處理、去馬賽克/縮小處理、色彩轉換處理、前處理(畫質校正處理)、及色階削減處理等。在類比處理中，係進行像素驅動(讀出範圍或模態之控制)、曝光及增益之控制。在去馬賽克/縮小處理中，縮小率之設定或去馬賽克之演算法會被設定，基於其而進行影像的去馬賽克/縮小。在色彩轉換處理中，進行將影像從BGR色彩空間往灰階等的色彩轉換之處理等。在前處理(畫質校正處理)中，係進行色調映射、邊緣強調、雜訊去除等之處理。在色階削減處理中，色階的削減量會被設定，基於其而進行色階削減之處理。

推論影像的畫質之校正，係可藉由控制將這些前處理部32中所被執行之各處理之處理內容加以設定的參數而進行，亦可為控制任一參數的情況。又，不限於感測器22內的與前處理有關的參數，亦可控制感測器外處理部23之參數，來校正推論影像之畫質。感測器外處理部23係進行例如：切換照明之開/關的處理、切換攝影機(攝像部)設定的處理、控制攝影機的橫搖/縱搖或縮放的處理等。亦可藉由控制這些處理的相關參數，來校正推論影像之畫質。

例如，在推論影像較暗的情況下，則亦可藉由送往感測器外處理部23之參數而使照明被開啟。在從推論結果特定出想要看得更詳細的部分的情況下，則亦可藉由送往類比處理的參數而被設定成注目領域已被特定之領域。在推論結果有變動的情況下，則亦可藉由送往去馬賽克/縮小處理之參數來改變縮小率，讓高解析度之推論影像被供給至推論部33(訊號處理部101)。在推論處理中不需要色彩資訊的情況下，則亦可藉由送往色彩轉換處理之參數，而使彩色的推論影像被轉換成灰階的推論影像。在推論影像的動態範圍是較訓練影像還窄的情況下，則亦可藉由送往畫質校正處理之參數，而進行擴大動態範圍的色調映射。在推論影像的雜訊是較訓練影像還多的情況下，則亦可藉由送往畫質校正處理之參數來加強雜訊去除。

＜電腦的構成例＞ 上述一連串處理，係可藉由硬體來執行，也可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦，或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。

圖12係以程式來執行上述一連串處理的電腦的硬體的構成例的區塊圖。

於電腦中，CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203，係藉由匯流排204而被彼此連接。

在匯流排204上係還連接有輸出入介面205。輸出入介面205上係連接有：輸入部206、輸出部207、記憶部208、通訊部209、及驅動機210。

輸入部206，係由鍵盤、滑鼠、麥克風等所成。輸出部207係由顯示器、揚聲器等所成。記憶部208，係由硬碟或非揮發性記憶體等所成。通訊部209係由網路介面等所成。驅動機210係將磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體211，予以驅動。

在如以上構成的電腦中，藉由CPU201而例如將記憶部208中所記憶之程式透過輸出入介面205及匯流排204，而載入至RAM203裡並加以執行，就可進行上述一連串處理。

電腦(CPU201)所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體211中而提供。又，程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。

在電腦中，程式係藉由將可移除式媒體211裝著至驅動機210，就可透過輸出入介面205，安裝至記憶部208。又，程式係可透過有線或無線之傳輸媒體，以通訊部209接收之，安裝至記憶部208。除此以外，程式係可事前安裝在ROM202或記憶部208中。

此外，電腦所執行的程式，係可為依照本說明書所說明之順序而在時間序列上進行處理的程式，也可平行地，或呼叫進行時等必要之時序上進行處理的程式。

此處，於本說明書中，電腦依照程式而進行之處理，係並不一定依照流程圖方式所記載之順序而時間序列性地進行。亦即，電腦依照程式所進行的處理，係包含可平行地或個別地執行之處理(例如平行處理或是物件所致之處理)。

又，程式係可被1個電腦(處理器)所處理，也可被複數電腦分散處理。甚至，程式係亦可被傳輸至遠方的電腦而執行之。

再者，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。

又，例如，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。

又，例如，本技術係亦可將1個功能，透過網路而分擔給複數台裝置，採取共通進行處理的雲端運算之構成。

又，例如，上述的程式，係可於任意的裝置中執行。此情況下，只要讓該裝置，具有必要的功能(功能區塊等)，能夠獲得必要的資訊即可。

此外，電腦所執行的程式，描述程式的步驟之處理，係可為依照本說明書所說明之順序而在時間序列上被執行，也可平行地，或可在進行呼叫時等必要之時序上，而被個別地執行。亦即，只要不產生矛盾，各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至，描述該程式的步驟之處理，亦可與其他程式之處理平行地執行，也可和其他程式之處理組合而執行。

此外，本說明書中所複數說明的本技術，係只要不產生矛盾的情況下，都可分別獨立以單體而加以實施。當然，亦可將任意的複數個本技術加以併用而實施。例如，可以將任一實施形態中所說明的本技術的部分或全部，與其他實施形態中所說明的本技術的部分或全部，加以組合而實施。又，亦可將上述的任意之本技術的部分或全部，與未上述的其他技術加以併用而實施。

＜構成之組合例＞ 此外，本技術係亦可採取如以下之構成。 (1)一種資訊處理裝置，係 具有： 推論部，係對已被輸入之推論影像進行推論處理；和 處理部，係將前記推論影像之畫質，基於前記推論部之學習時所被使用的訓練影像之畫質，而進行校正。 (2)如前記(1)所記載之資訊處理裝置，其中， 前記處理部，係以使得被輸入至前記推論部的前記推論影像會變成與前記訓練影像同等之畫質的方式，來校正前記推論影像之畫質。 (3)如前記(1)或(2)所記載之資訊處理裝置，其中， 前記處理部，係 藉由比較前記推論影像之畫質與前記訓練影像之畫質，以校正前記推論影像之畫質。 (4)如前記(3)所記載之資訊處理裝置，其中， 具有： 畫質偵測部，係將被輸入至前記推論部的前記推論影像之畫質，予以偵測。 (5)如前記(1)至(4)之任一項所記載之資訊處理裝置，其中， 前記處理部，係 藉由把被輸入至前記推論部之前對前記推論影像所被執行的前處理之動作，基於前記訓練影像之畫質而予以變更，以校正前記推論影像之畫質。 (6)如前記(5)所記載之資訊處理裝置，其中， 前記處理部，係 將對前記訓練影像所被執行的前處理之處理內容，當作前記訓練影像之畫質之資訊而加以取得，並基於前記前處理之處理內容，來校正前記推論影像之畫質。 (7)如前記(1)至(4)之任一項所記載之資訊處理裝置，其中， 具有拍攝前記推論影像的攝像部； 前記處理部，係藉由基於前記訓練影像之畫質而變更前記攝像部之動作，以校正前記推論影像之畫質。 (8)如前記(7)所記載之資訊處理裝置，其中， 前記處理部，係 將拍攝了前記訓練影像的第2攝像部之動作，當作前記訓練影像之畫質之資訊而加以取得，並基於前記第2攝像部之動作，來校正前記推論影像之畫質。 (9)如前記(1)至(8)之任一項所記載之資訊處理裝置，其中， 前記處理部，係 基於前記推論部之推論結果，來校正前記推論影像之畫質。 (10)如前記(1)至(9)之任一項所記載之資訊處理裝置，其中， 前記處理部，係 基於針對前記推論部之推論結果的信賴度，來校正前記推論影像之畫質。 (11)如前記(10)所記載之資訊處理裝置，其中， 前記處理部，係 以使得前記信賴度會上升的方式，來校正前記推論影像之畫質。 (12)如前記(1)至(11)之任一項所記載之資訊處理裝置，其中， 前記推論部係執行，藉由機器學習之技術而經過學習的推論模型所致之推論處理。 (13)如前記(1)至(12)之任一項所記載之資訊處理裝置，其中， 前記推論部，係 與拍攝前記推論影像的攝像部被實作在同一晶片上。 (14)一種資訊處理裝置，係 具有： 供給部，對實作了藉由機器學習之技術而被生成之推論模型的推論裝置，供給前記推論模型之學習時所被使用的訓練影像之畫質之資訊。 (15)如前記(14)所記載之資訊處理裝置，其中， 具有： 畫質偵測部，係將前記訓練影像之畫質，予以偵測。 (16)如前記(14)或(15)所記載之資訊處理裝置，其中， 具有： 學習部，係使用前記訓練影像來進行前記推論模型之學習。 (17)一種資訊處理方法，係由具有： 推論部、和 處理部 的資訊處理裝置的 前記推論部，來對已被輸入之推論影像進行推論處理； 前記處理部，將前記推論影像之畫質，基於前記推論部之學習時所被使用的訓練影像之畫質，而進行校正。 (18)一種程式，其係用以使電腦發揮機能成為： 推論部，係對已被輸入之推論影像進行推論處理；和 處理部，係將前記推論影像之畫質，基於前記推論部之學習時所被使用的訓練影像之畫質，而進行校正。

此外，本實施形態係不限定於上述實施形態，在不脫離本揭露主旨的範圍內可做各種變更。又，本說明書中所記載之效果僅為例示並非限定，亦可還有其他的效果。

1-1,1-2,1-3,1-4:推論系統 11-1,11-2,11-3,11-4:推論裝置 12-1,12-2,12-3,12-4:學習裝置 21:光學系 22:感測器 23:感測器外處理部 31:攝像部 32:前處理部 33:推論部 34:記憶體 35:攝像參數輸入部 36:前處理參數輸入部 37:推論模型輸入部 41:光學系 42:攝像部 43:前處理部 44:學習部 51:畫質偵測部 52:畫質偵測部 53:畫質資訊輸入部 54:參數導出部 55:攝像參數更新部 56:前處理參數更新部 61:人造影像取得部 81:參數控制器 82:畫質評價部 101:訊號處理部 201:CPU 202:ROM 203:RAM 204:匯流排 205:輸出入介面 206:輸入部 207:輸出部 208:記憶部 209:通訊部 210:驅動機 211:可移除式媒體

[圖1]適用了本技術的第1實施形態所述之推論系統的構成例的區塊圖。 [圖2]適用了本技術的第2實施形態所述之推論系統的構成例的區塊圖。 [圖3]適用了本技術的第3實施形態所述之推論系統的構成例的區塊圖。 [圖4]適用了本技術的第4實施形態所述之推論系統的構成例的區塊圖。 [圖5]基於信賴度的推論畫質校正方法的說明圖。 [圖6]基於信賴度的推論畫質校正方法的說明圖。 [圖7]基於推論結果的推論畫質校正方法的說明圖。 [圖8]基於訓練畫質的推論畫質校正方法(第1例)的說明圖。 [圖9]基於訓練畫質的推論畫質校正方法(第2例)的說明圖。 [圖10]基於訓練畫質的推論畫質校正方法(第3例)的說明圖。 [圖11]推論畫質之校正時所能夠使用的前處理參數之種類的例示圖。 [圖12]適用了本技術的電腦的一實施形態的構成例的區塊圖。

1-1:推論系統

11-1:推論裝置

12-1:學習裝置

21:光學系

22:感測器

31:攝像部

32:前處理部

33:推論部

34:記憶體

35:攝像參數輸入部

36:前處理參數輸入部

37:推論模型輸入部

41:光學系

42:攝像部

43:前處理部

44:學習部

Claims (18)

1. 一種資訊處理裝置，係 具有： 推論部，係對已被輸入之推論影像進行推論處理；和 處理部，係將前記推論影像之畫質，基於前記推論部之學習時所被使用的訓練影像之畫質，而進行校正。
2. 如請求項1所記載之資訊處理裝置，其中， 前記處理部，係以使得被輸入至前記推論部的前記推論影像會變成與前記訓練影像同等之畫質的方式，來校正前記推論影像之畫質。
3. 如請求項1所記載之資訊處理裝置，其中， 前記處理部，係 藉由比較前記推論影像之畫質與前記訓練影像之畫質，以校正前記推論影像之畫質。
4. 如請求項3所記載之資訊處理裝置，其中， 具有： 畫質偵測部，係將被輸入至前記推論部的前記推論影像之畫質，予以偵測。
5. 如請求項1所記載之資訊處理裝置，其中， 前記處理部，係 藉由把被輸入至前記推論部之前對前記推論影像所被執行的前處理之動作，基於前記訓練影像之畫質而予以變更，以校正前記推論影像之畫質。
6. 如請求項5所記載之資訊處理裝置，其中， 前記處理部，係 將對前記訓練影像所被執行的前處理之處理內容，當作前記訓練影像之畫質之資訊而加以取得，並基於前記前處理之處理內容，來校正前記推論影像之畫質。
7. 如請求項1所記載之資訊處理裝置，其中， 具有拍攝前記推論影像的攝像部； 前記處理部，係藉由基於前記訓練影像之畫質而變更前記攝像部之動作，以校正前記推論影像之畫質。
8. 如請求項7所記載之資訊處理裝置，其中， 前記處理部，係 將拍攝了前記訓練影像的第2攝像部之動作，當作前記訓練影像之畫質之資訊而加以取得，並基於前記第2攝像部之動作，來校正前記推論影像之畫質。
9. 如請求項1所記載之資訊處理裝置，其中， 前記處理部，係 基於前記推論部之推論結果，來校正前記推論影像之畫質。
10. 如請求項1所記載之資訊處理裝置，其中， 前記處理部，係 基於針對前記推論部之推論結果的信賴度，來校正前記推論影像之畫質。
11. 如請求項10所記載之資訊處理裝置，其中， 前記處理部，係 以使得前記信賴度會上升的方式，來校正前記推論影像之畫質。
12. 如請求項1所記載之資訊處理裝置，其中， 前記推論部係執行，藉由機器學習之技術而經過學習的推論模型所致之推論處理。
13. 如請求項1所記載之資訊處理裝置，其中， 前記推論部，係 與拍攝前記推論影像的攝像部被實作在同一晶片上。
14. 一種資訊處理裝置，係 具有： 供給部，對實作了藉由機器學習之技術而被生成之推論模型的推論裝置，供給前記推論模型之學習時所被使用的訓練影像之畫質之資訊。
15. 如請求項14所記載之資訊處理裝置，其中， 具有： 畫質偵測部，係將前記訓練影像之畫質，予以偵測。
16. 如請求項14所記載之資訊處理裝置，其中， 具有： 學習部，係使用前記訓練影像來進行前記推論模型之學習。
17. 一種資訊處理方法，係由具有： 推論部、和 處理部 的資訊處理裝置的 前記推論部，來對已被輸入之推論影像進行推論處理； 前記處理部，將前記推論影像之畫質，基於前記推論部之學習時所被使用的訓練影像之畫質，而進行校正。
18. 一種程式，其係用以使電腦發揮機能成為： 推論部，係對已被輸入之推論影像進行推論處理；和 處理部，係將前記推論影像之畫質，基於前記推論部之學習時所被使用的訓練影像之畫質，而進行校正。

Images