TWI799048B - 環景影像會議系統及方法 - Google Patents

環景影像會議系統及方法 Download PDF

Info

Publication number
TWI799048B
TWI799048B TW110149736A TW110149736A TWI799048B TW I799048 B TWI799048 B TW I799048B TW 110149736 A TW110149736 A TW 110149736A TW 110149736 A TW110149736 A TW 110149736A TW I799048 B TWI799048 B TW I799048B
Authority
TW
Taiwan
Prior art keywords
image
surround view
conference
control device
source
Prior art date
Application number
TW110149736A
Other languages
English (en)
Other versions
TW202327342A (zh
Inventor
羅國治
林智浩
Original Assignee
瑞軒科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞軒科技股份有限公司 filed Critical 瑞軒科技股份有限公司
Priority to TW110149736A priority Critical patent/TWI799048B/zh
Priority to CN202210134657.1A priority patent/CN116437039A/zh
Priority to US17/658,653 priority patent/US20230215011A1/en
Application granted granted Critical
Publication of TWI799048B publication Critical patent/TWI799048B/zh
Publication of TW202327342A publication Critical patent/TW202327342A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一種環景影像會議系統及方法。該環景影像會議系統包含一環景影像產生裝置及一控制裝置。該控制裝置分析一環景影像，以辨識該環景影像中的複數個影像物件。該控制裝置基於一隱私模式，從該等影像物件中，選擇一待移除影像物件。該控制裝置自該環景影像中，移除對應該待移除影像物件之一影像。該控制裝置基於該環景影像及一背景填補影像，產生一環景會議影像。

Description

環景影像會議系統及方法
本發明係關於一種環景影像會議系統及方法。具體而言，本發明係關於一種提供多種功能的環景影像會議系統及方法。
近年來，由於遠端工作與線上會議的需求越來越多，市場上發展出許多不同於一般視訊會議的模式及服務，其中一種為能提供多人同時視訊的環景影像會議。
然而，相較於一般視訊會議的影像，使用環景影像的多人會議通常需要面對更多的技術問題，例如：在會議中環景影像的呈現方式及流暢度。此外，由於環景影像的攝影角度涵蓋範圍較廣，在使用環景影像時可能會拍攝到與會議無關的敏感物件或參與人員，造成企業隱私上的疑慮。
有鑑於此，如何提供一種能夠兼顧隱私權，且在環景影像會議中提供多種功能的環景影像會議技術，以提升環景影像會議的服務品質，乃業界亟需努力之目標。
本發明之一目的在於提供一種環景影像會議系統。該環景影像會議系統包含一環景影像產生裝置及一控制裝置，該控制裝置連接至該環景影像產生裝置。該環景影像產生裝置用以產生一環景影像。該控制裝置分析該環景影像，以辨識該環景影像中的複數個影像物件。該控制裝置基於一隱私模式，從該等影像物件中，選擇一待移除影像物件。該控制裝置自該環景影像中，移除對應該待移除影像物件之一影像。該控制裝置基於該環景影像及一背景填補影像，產生一環景會議影像。
本發明之另一目的在於提供一種環景影像會議方法，該環景影像會議方法用於一環景影像會議系統，該警示系統包含一環景影像產生裝置及一控制裝置。該環景影像會議方法由該控制裝置所執行且包含下列步驟：分析自該環景影像產生裝置接收之一環景影像，以辨識該環景影像中的複數個影像物件；基於一隱私模式，自該等影像物件中選擇一待移除影像物件；自該環景影像中，移除對應該待移除影像物件之一影像；以及基於該環景影像及一背景填補影像，產生一環景會議影像。
本發明所提供之環景影像會議技術（至少包含系統及方法），藉由分析該環景影像，辨識該環景影像中的複數個影像物件。另外，本發明所提供之環景影像會議技術可基於一隱私模式，從該等影像物件中，選擇一待移除影像物件從該環景影像中移除。最後，基於該環景影像及背景填補影像，產生環景會議影像。本發明所提供之環景影像會議技術，透過上述機制可選擇隱藏部分影像物件，提供企業更彈性的隱私需求。此外，本發明所提供之環景影像會議技術更提供了許多功能，提升了線上會議的服務及品質。
以下結合圖式闡述本發明之詳細技術及實施方式，俾使本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之技術特徵。
以下將透過實施方式來解釋本發明所提供之一種環景影像會議系統及方法。然而，該等實施方式並非用以限制本發明需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本發明之目的，而非用以限制本發明之範圍。應理解，在以下實施方式及圖式中，與本發明非直接相關之元件已省略而未繪示，且各元件之尺寸以及元件間之尺寸比例僅為例示而已，而非用以限制本發明之範圍。
先說明本發明的適用場景，其示意圖係描繪於第1圖。如第1圖所示，於本發明的第一實施方式中，環景影像會議系統1至少包含了環景影像產生裝置3及控制裝置2。於該場景中，控制裝置2可透過有線或無線的方式（例如：無線通訊網路）連線至環景影像產生裝置3，環景影像產生裝置3用以持續產生對應於會議的環景影像301（例如：以每秒30幀的頻率）。舉例而言，環景影像產生裝置3可設置於會議室的桌子上，產生所有參與會議人員的影像。
於某些實施方式中，環景影像會議系統1更包含麥克風陣列4及顯示器5，麥克風陣列4及顯示器5可透過有線或無線的方式（例如：無線通訊網路）連線至控制裝置2。
須說明者，環景影像產生裝置3用以產生360度的環景影像301，環景影像產生裝置3可由至少二個攝影裝置所組成，且環景影像301可由該等攝影裝置產生的複數張影像畫面（即，複數個幀）組合而成。舉例而言，環景影像產生裝置3可由三個可拍攝視野範圍（Field Of View；FOV）為120度角的攝影裝置組成，因此可將各該攝影裝置之影像組合後，產生360度環景之環景影像301。
於本發明中，環景影像會議系統1為本地端的會議系統，環景影像會議系統1與其他遠端的會議系統（未繪示）連線，且環景影像會議系統1透過傳輸環景會議影像至遠端的會議系統以進行線上會議，以下段落將聚焦於本地端的環景影像會議系統1的各種功能。本領域具有通常知識者應可理解不同會議系統間連線的實施細節，故不贅言。
於本發明中，為了提升線上會議的品質，環景影像會議系統1主要提供至少三類型功能，分別為隱私物件隱藏功能、發話來源聚焦功能及循環播放功能，以下段落將詳細說明與本發明相關之實施細節。
本發明之第一實施方式中的控制裝置2，其架構示意圖係描繪於第2圖。控制裝置2包含一儲存器21、一收發介面23及一處理器25，處理器25電性連接至儲存器21及收發介面23。儲存器21可為一記憶體、一通用串列匯流排（Universal Serial Bus；USB）碟、一硬碟、一光碟、一隨身碟或本發明所屬技術領域中具有通常知識者所知且具有相同功能之任何其他儲存媒體或電路。收發介面23為一可接收及傳輸資料之介面或本發明所屬技術領域中具有通常知識者所知悉之其他可接收及傳輸資料之介面。收發介面23可透過例如：外部裝置、外部網頁、外部應用程式等等來源接收資料。處理器25可為各種處理單元、中央處理單元（Central Processing Unit；CPU）、微處理器或本發明所屬技術領域中具有通常知識者所知悉之其他計算裝置。
接著，以下將說明本發明之第一實施方式的運作，請同時參考第1圖及第2圖。本發明的第一實施方式是關於環景影像會議系統1提供的隱私物件隱藏功能。需說明者，由於在會議時，基於隱私權或是會議的需求，需要隱藏部分的會議參與人員、敏感物件及會議室中的雜物等等。因此，於本實施方式中，控制裝置2可透過辨識環景影像301中的物件，並將部分之物件移除（例如：將該物件透明化），產生移除後的環景會議影像。
具體而言，控制裝置2分析環景影像301，以辨識環景影像301中的複數個影像物件。當使用者透過控制裝置2選擇一隱私模式時，控制裝置2可從該等影像物件中，選擇一待移除影像物件。於某些實施方式中，控制裝置2亦可從該等影像物件中，選擇複數個待移除影像物件。須說明者，該隱私模式可包含一待移除影像物件的清單，該清單指示需要被隱藏的影像物件。舉例而言，該清單可從複數個預設模板中挑選，或是由控制裝置2辨識完環景影像301中的複數個影像物件後，由使用者動態的選擇所產生（例如：手動勾選需要隱藏的會議參與人員、敏感物件等等）。
於某些實施方式中，控制裝置2更儲存一影像辨識模型，且控制裝置3基於一邊緣偵測（Edge Detection）演算法及該影像辨識模型，辨識環景影像301中的該等影像物件。舉例而言，控制裝置2藉由邊緣偵測演算法，對環景影像301進行邊緣偵測，以找出影像中（即，環景影像301）的物件。接著，透過影像辨識模型，針對此區的影像資料進行分類及特徵值比對，以辨識出影像中物品及人物所在位置及身分資料。
須說明者，該影像辨識模型可用於識別環景影像301中的該等影像物件，該影像辨識模型可由複數個物件特徵及複數個會議人員特徵，經由一類神經網路架構訓練產生，本領域具有通常知識者應可基於上述說明內容理解其運作方式，故不贅言。
接著，於本實施方式中，控制裝置2自環景影像301中，移除對應該待移除影像物件之一影像。最後，控制裝置3基於該環景影像及一背景填補影像，產生一環景會議影像。
於某些實施方式中，控制裝置3先計算該待移除影像物件的複數個鄰近區塊的複數個色彩特徵值，接著控制裝置2基於該等色彩特徵值，產生該背景填補影像。舉例而言，控制裝置2可透過最近鄰居演算法（例如：k-nearest neighbors（KNN）演算法），分離前景物件及背景，且計算移除後的空白區域的色彩特徵值分佈。接著，產生填補該空白區域的背景填補影像。於某些實施方式中，控制裝置2亦可基於半紋理合成演算法（Sub-patch Texture Synthesis Algorithm），再次對於空白區域進行第二次區域填補，以使融合後的影像更為自然。
為便於理解，以一實際範例舉例而言，請同時參考第3A圖及第3B圖。第3A圖例示了具有多個物件特徵的影像303，經由控制裝置2分析影像303後，辨識出影像303中包含影像物件OB1及OB2。於本範例中，當影像物件OB1及OB2均為待移除影像物件時，控制裝置2移除影像303中影像物件OB1及OB2的影像（即，影像物件OB1及OB2所框出的區域），透過前述方法所產生的背景填補影像，控制裝置2產生如第3B圖的影像305。
應理解，為便於例示，影像303及影像305僅為影像中的其中一幀，實際上運作時，控制裝置2是持續的對影像中的一或多個幀（例如：同時基於10個幀）動態的進行判斷，可視控制裝置2實際上運作的需求調整，本領域具有通常知識者應可基於上述內容理解對於多個幀時的實施方式，故不贅言。
接著說明，本發明的環景影像會議系統1提供的發話來源聚焦功能。在會議進行中時，當有會議人員進行發言時，環景影像會議系統1可將影像聚焦至該發言者（例如：產生聚焦於該發言者的影像），以提升會議的品質。
具體而言，環景影像會議系統1更包含麥克風陣列4，透過一有線連接及一無線連接至少其中之一連接至網路通訊連接至控制裝置2，麥克風陣列4用以感測會議室之聲音，以產生一聲音訊號。控制裝置2首先自麥克風陣列4，接收該聲音訊號。接著，控制裝置2基於該聲音訊號，判斷一發話來源（例如：會議發言者）。
隨後，控制裝置2比對複數個會議人員特徵及對應該發話來源的該環景影像，以判斷對應該發話來源的該環景影像中是否具有符合該等會議人員特徵中的一第一會議人員特徵。當判斷對應該發話來源的該環景影像中具有符合該第一會議人員特徵時，控制裝置2產生對應該發話來源之一聚焦影像。最後，控制裝置2基於該聚焦影像及該環景影像，產生該環景會議影像（例如：產生上下的分割影像，上面的影像為該環景影像，下面的影像為該聚焦影像）。
舉例而言，控制裝置2可基於波達方向（Direction of arrival；DOA）及波束成型（beamforming）技術，判斷發話來源。須說明者，控制裝置2透過比對發話來源是否符合該等會議人員特徵，以確定發話來源確實為參與會議的人員所發出，可避免環境中的噪音或是不相關動作所造成的誤判，提升會議的品質。
此外，由於會議進行時，會議室通常設置有用以播放遠端影像及聲音的顯示器，為避免顯示器所播放的遠端會議聲音，將引起聚焦影像聚焦於顯示器的狀況發生。因此，於某些實施方式中，控制裝置2將限制「發話來源聚焦功能」使用的範圍，以避免誤判的情形（即，由顯示器5發出的聲音須主動排除）。具體而言，環景影像會議系統1更包含顯示器5，用以播放一遠端會議影像及一遠端會議聲音。控制裝置2基於該顯示器之一位置，產生一排除區域。控制裝置2比對該發話來源及該排除區域，以判斷該發話來源是否來自該排除區域，當該發話來源來自於該排除區域時，不產生對應該發話來源之該聚焦影像。
須說明者，控制裝置2可透過前述的物件辨識，確認顯示器5的位置。此外，於某些實施方式中，當顯示器5的位置移動時，控制裝置2亦可動態的調整排除區域，以避免誤判的發生。
接著說明，本發明的環景影像會議系統1提供的循環播放功能，以下段落將詳細說明與本發明相關之實施細節。在會議開始前或會議結束後，環景影像會議系統1可在影像偵測到參與會議的人員出現時，產生該參與會議的人員的近距離影像，並開啟循環影像以介紹目前已到場的會議的人員（例如：循環模式播放）。
具體而言，環景影像會議系統1中的環景影像產生裝置3可能更包含一第一攝影裝置及一第二攝影裝置，該第一攝影裝置產生一第一影像，該第二攝影裝置產生一第二影像，環景影像301由該第一影像及該第二影像組成。
於本實施方式中，控制裝置2可偵測該第一影像中是否出現具有一第一會議人員特徵之一第一會議人員，當該第一影像中出現具有該第一會議人員特徵之該第一會議人員時，控制裝置2產生該第一會議人員之一近距離影像以作為該第一影像。
此外，控制裝置2偵測該第二影像中是否出現具有一第二會議人員特徵之一第二會議人員，當該第二影像中出現具有該第二會議人員特徵之該第二會議人員時，控制裝置2產生該第二會議人員之該近距離影像以作為該第二影像。
因此，在會議開始前或會議結束後，環景影像會議系統1可循環播放由該第一影像及該第二影像組成的環景影像301。應理解，本發明並未限制攝影裝置及影像的數量，本領域具有通常知識者應可基於上述內容理解當具有不同數量的攝影裝置及影像（即，大於2）的實施方式，故不贅言。
於某些實施方式中，環景影像會議系統1可更包含一雲端伺服器，環景影像會議系統1可透過有線網路或無線網路傳送會議資料（例如：本次會議的環景會議影像、相關資訊等等）至該雲端伺服器，將會議資料儲存於該雲端伺服器作為歷史會議記錄，提供會議相關人員進行查詢。
由上述說明可知，本發明所提供之環景影像會議系統1，藉由分析該環景影像，辨識該環景影像中的複數個影像物件。另外，本發明所提供之環景影像會議系統1可基於一隱私模式，從該等影像物件中，選擇一待移除影像物件從該環景影像中移除。最後，基於該環景影像及背景填補影像，產生環景會議影像。環景影像會議系統1，透過上述機制可選擇隱藏部分影像物件，提供企業更彈性的隱私需求。此外，環景影像會議系統1更提供了許多功能，提升了線上會議的服務及品質。
本發明之第二實施方式為一環景影像會議方法，其流程圖係描繪於第4圖。環景影像會議方法400適用於一環景影像會議系統，例如：第一實施方式所述之環景影像會議系統1。該環景影像會議系統包含一環景影像產生裝置及一控制裝置，例如：第一實施方式所述之環景影像產生裝置3及控制裝置2。環景影像會議方法400由該控制裝置所執行，且透過步驟S401至步驟S407產生環景會議影像。
於步驟S401，由該控制裝置分析自該環景影像產生裝置接收之一環景影像，以辨識該環景影像中的複數個影像物件。於步驟S403，由該控制裝置基於一隱私模式，自該等影像物件中選擇一待移除影像物件。
接著，於步驟S405，由該控制裝置自該環景影像中，移除對應該待移除影像物件之一影像。最後，於步驟S407，由該控制裝置基於該環景影像及一背景填補影像，產生一環景會議影像。
於某些實施方式中，其中該控制裝置更儲存一影像辨識模型，且環景影像會議方法400更包含下列步驟：基於一邊緣偵測演算法及該影像辨識模型，辨識該環景影像中的該等影像物件，其中該影像辨識模型是基於複數個物件特徵及複數個會議人員特徵訓練產生。
於某些實施方式中，該環景會議系統更包含一麥克風陣列（例如：第一實施方式所述之麥克風陣列4），透過一有線連接及一無線連接至少其中之一連接至該控制裝置，用以感測一會議室之聲音，以產生一聲音訊號。其中環景影像會議方法400更包含下列步驟：自該麥克風陣列，接收該聲音訊號；基於該聲音訊號，判斷一發話來源；比對複數個會議人員特徵及對應該發話來源的該環景影像，以判斷對應該發話來源的該環景影像中是否具有符合該等會議人員特徵中的一第一會議人員特徵；當判斷對應該發話來源的該環景影像中具有符合該第一會議人員特徵時，產生對應該發話來源之一聚焦影像；以及基於該聚焦影像及該環景影像，產生該環景會議影像。
於某些實施方式中，該環景會議系統更包含一顯示器（例如：第一實施方式所述之顯示器5），用以播放一遠端會議影像及一遠端會議聲音。其中環景影像會議方法400更包含下列步驟：基於該顯示器之一位置，產生一排除區域；比對該發話來源及該排除區域，以判斷該發話來源是否來自該排除區域；以及當該發話來源來自於該排除區域時，不產生對應該發話來源之該聚焦影像。
於某些實施方式中，其中該環景影像產生裝置更包含：一第一攝影裝置及一第二攝影裝置，該第一攝影裝置產生一第一影像，該第二攝影裝置產生一第二影像，該環景影像由該第一影像及該第二影像組成。
於某些實施方式中，其中環景影像會議方法400更包含下列步驟：偵測該第一影像中是否出現具有一第一會議人員特徵之一第一會議人員；以及當該第一影像中出現具有該第一會議人員特徵之該第一會議人員時，產生該第一會議人員之一近距離影像以作為該第一影像。
於某些實施方式中，其中環景影像會議方法400更包含下列步驟：偵測該第二影像中是否出現具有一第二會議人員特徵之一第二會議人員；以及當該第二影像中出現具有該第二會議人員特徵之該第二會議人員時，產生該第二會議人員之該近距離影像以作為該第二影像。
於某些實施方式中，其中環景影像會議方法400更包含下列步驟：計算該待移除影像物件的複數個鄰近區塊的複數個色彩特徵值；以及基於該等色彩特徵值，產生該背景填補影像。
除了上述步驟，第二實施方式亦能執行第一實施方式所描述之環景影像會議系統1之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第二實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。
需說明者，於本發明專利說明書及申請專利範圍中，某些用語（包含：影像、會議人員、會議人員特徵及攝影裝置）前被冠以「第一」或「第二」，該等「第一」及「第二」僅用來區分不同之用語。例如：第一影像及第二影像中之「第一」及「第二」僅用來表示不同運作時的影像。
綜上所述，本發明所提供之環景影像會議技術（至少包含系統及方法），藉由分析該環景影像，辨識該環景影像中的複數個影像物件。另外，本發明所提供之環景影像會議技術可基於一隱私模式，從該等影像物件中，選擇一待移除影像物件從該環景影像中移除。最後，基於該環景影像及背景填補影像，產生環景會議影像。本發明所提供之環景影像會議技術，透過上述機制可選擇隱藏部分影像物件，提供企業更彈性的隱私需求。此外，本發明所提供之環景影像會議技術更提供了許多功能，提升了線上會議的服務及品質。
上述實施方式僅用來例舉本發明之部分實施態樣，以及闡釋本發明之技術特徵，而非用來限制本發明之保護範疇及範圍。任何本發明所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，而本發明之權利保護範圍以申請專利範圍為準。
1:環景影像會議系統 2:控制裝置 3:環景影像產生裝置 4:麥克風陣列 5:顯示器 301:環景影像 21:儲存器 23:收發介面 25:處理器 303:影像 305:影像 OB1、OB2:影像物件 S401、S403、S405、S407:步驟
第1圖係描繪第一實施方式之環景影像會議系統之架構示意圖； 第2圖係描繪第一實施方式之控制裝置架構示意圖； 第3A圖係描繪第一實施方式之具有多個物件特徵的影像示意圖； 第3B圖係描繪第一實施方式之移除影像物件的影像示意圖；以及 第4圖係描繪第二實施方式之環景影像會議方法之部分流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
400:環景影像會議方法
S401、S403、S405、S407:步驟

Claims (13)

  1. 一種環景影像會議系統，包含：一環景影像產生裝置，用以產生一環景影像；一控制裝置連接該環景影像產生裝置，並執行以下運作：分析該環景影像，以辨識該環景影像中的複數個影像物件；基於一隱私模式，從該等影像物件中，選擇一待移除影像物件；自該環景影像中，移除對應該待移除影像物件之一影像；以及基於該環景影像及一背景填補影像，產生一環景會議影像；其中，該環景影像會議系統更包含：一麥克風陣列，透過一有線連接及一無線連接至少其中之一連接至網路通訊連接至該控制裝置，用以感測一會議室之聲音，以產生一聲音訊號；其中該控制裝置更執行以下運作：自該麥克風陣列，接收該聲音訊號；基於該聲音訊號，判斷一發話來源；比對複數個會議人員特徵及對應該發話來源的該環景影像，以判斷對應該發話來源的該環景影像中是否具有符合該等會議人員特徵中的一第一會議人員特徵；當判斷對應該發話來源的該環景影像中具有符合該第 一會議人員特徵時，產生對應該發話來源之一聚焦影像；以及基於該聚焦影像及該環景影像，產生該環景會議影像；其中，該環景影像會議系統更包含：一顯示器，用以播放一遠端會議影像及一遠端會議聲音；以及其中該控制裝置，更執行以下運作：基於該顯示器之一位置，產生一排除區域；比對該發話來源及該排除區域，以判斷該發話來源是否來自該排除區域；以及當該發話來源來自於該排除區域時，不產生對應該發話來源之該聚焦影像。
  2. 如請求項1所述之環景影像會議系統，其中該控制裝置更儲存一影像辨識模型，且該控制裝置更執行以下運作：基於一邊緣偵測演算法及該影像辨識模型，辨識該環景影像中的該等影像物件，其中該影像辨識模型是基於複數個物件特徵及複數個會議人員特徵訓練產生。
  3. 如請求項1所述之環景影像會議系統，其中該環景影像產生裝置更包含： 一第一攝影裝置及一第二攝影裝置，該第一攝影裝置產生一第一影像，該第二攝影裝置產生一第二影像，該環景影像由該第一影像及該第二影像組成。
  4. 如請求項3所述之環景影像會議系統，其中該控制裝置更執行以下運作：偵測該第一影像中是否出現具有一第一會議人員特徵之一第一會議人員；以及當該第一影像中出現具有該第一會議人員特徵之該第一會議人員時，產生該第一會議人員之一近距離影像以作為該第一影像。
  5. 如請求項4所述之環景影像會議系統，其中該控制裝置更執行以下運作：偵測該第二影像中是否出現具有一第二會議人員特徵之一第二會議人員；以及當該第二影像中出現具有該第二會議人員特徵之該第二會議人員時，產生該第二會議人員之該近距離影像以作為該第二影像。
  6. 如請求項1所述之環景影像會議系統，其中該控制裝置更執行以下運作：計算該待移除影像物件的複數個鄰近區塊的複數個色彩特徵值；以及 基於該等色彩特徵值，產生該背景填補影像。
  7. 一種環景影像會議方法，用於一環景影像會議系統，該環景影像會議系統包含一環景影像產生裝置及一控制裝置，該環景影像會議方法由該控制裝置所執行且包含下列步驟：分析自該環景影像產生裝置接收之一環景影像，以辨識該環景影像中的複數個影像物件；基於一隱私模式，自該等影像物件中選擇一待移除影像物件；自該環景影像中，移除對應該待移除影像物件之一影像；基於該環景影像及一背景填補影像，產生一環景會議影像；以及其中，該背景填補影像是透過下列步驟產生：計算該待移除影像物件的複數個鄰近區塊的複數個色彩特徵值；以及基於該等色彩特徵值，產生該背景填補影像。
  8. 如請求項7所述之環景影像會議方法，其中該控制裝置更儲存一影像辨識模型，且該環景影像會議方法更包含下列步驟：基於一邊緣偵測演算法及該影像辨識模型，辨識該環景影像中的該等影像物件，其中該影像辨識模型是基於複數 個物件特徵及複數個會議人員特徵訓練產生。
  9. 如請求項7所述之環景影像會議方法，該環景會議系統更包含：一麥克風陣列，透過一有線連接及一無線連接至少其中之一連接至至該控制裝置，用以感測一會議室之聲音，以產生一聲音訊號；其中該環景影像會議方法更包含下列步驟：自該麥克風陣列，接收該聲音訊號；基於該聲音訊號，判斷一發話來源；比對複數個會議人員特徵及對應該發話來源的該環景影像，以判斷對應該發話來源的該環景影像中是否具有符合該等會議人員特徵中的一第一會議人員特徵；當判斷對應該發話來源的該環景影像中具有符合該第一會議人員特徵時，產生對應該發話來源之一聚焦影像；以及基於該聚焦影像及該環景影像，產生該環景會議影像。
  10. 如請求項9所述之環景影像會議方法，該環景會議系統更包含：一顯示器，用以播放一遠端會議影像及一遠端會議聲音；其中該環景影像會議方法更包含下列步驟：基於該顯示器之一位置，產生一排除區域； 比對該發話來源及該排除區域，以判斷該發話來源是否來自該排除區域；以及當該發話來源來自於該排除區域時，不產生對應該發話來源之該聚焦影像。
  11. 如請求項7所述之環景影像會議方法，其中該環景影像產生裝置更包含：一第一攝影裝置及一第二攝影裝置，該第一攝影裝置產生一第一影像，該第二攝影裝置產生一第二影像，該環景影像由該第一影像及該第二影像組成。
  12. 如請求項11所述之環景影像會議方法，其中該環景影像會議方法更包含下列步驟：偵測該第一影像中是否出現具有一第一會議人員特徵之一第一會議人員；以及當該第一影像中出現具有該第一會議人員特徵之該第一會議人員時，產生該第一會議人員之一近距離影像以作為該第一影像。
  13. 如請求項12所述之環景影像會議方法，其中該環景影像會議方法更包含下列步驟：偵測該第二影像中是否出現具有一第二會議人員特徵之一第二會議人員；以及當該第二影像中出現具有該第二會議人員特徵之該第 二會議人員時，產生該第二會議人員之該近距離影像以作為該第二影像。
TW110149736A 2021-12-30 2021-12-30 環景影像會議系統及方法 TWI799048B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110149736A TWI799048B (zh) 2021-12-30 2021-12-30 環景影像會議系統及方法
CN202210134657.1A CN116437039A (zh) 2021-12-30 2022-02-14 环景影像会议***及方法
US17/658,653 US20230215011A1 (en) 2021-12-30 2022-04-10 Panoramic video conference system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110149736A TWI799048B (zh) 2021-12-30 2021-12-30 環景影像會議系統及方法

Publications (2)

Publication Number Publication Date
TWI799048B true TWI799048B (zh) 2023-04-11
TW202327342A TW202327342A (zh) 2023-07-01

Family

ID=86948753

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110149736A TWI799048B (zh) 2021-12-30 2021-12-30 環景影像會議系統及方法

Country Status (3)

Country Link
US (1) US20230215011A1 (zh)
CN (1) CN116437039A (zh)
TW (1) TWI799048B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447105A (zh) * 2018-02-02 2018-08-24 微幻科技(北京)有限公司 一种全景图像的处理方法及装置
TW201901527A (zh) * 2017-05-26 2019-01-01 和碩聯合科技股份有限公司 視訊會議裝置與視訊會議管理方法
CN111918018A (zh) * 2019-05-08 2020-11-10 奥图码科技股份有限公司 视频会议***、视频会议设备以及视频会议方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116901B2 (en) * 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US10636154B2 (en) * 2015-04-01 2020-04-28 Owl Labs, Inc. Scaling sub-scenes within a wide angle scene by setting a width of a sub-scene video signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201901527A (zh) * 2017-05-26 2019-01-01 和碩聯合科技股份有限公司 視訊會議裝置與視訊會議管理方法
CN108447105A (zh) * 2018-02-02 2018-08-24 微幻科技(北京)有限公司 一种全景图像的处理方法及装置
CN111918018A (zh) * 2019-05-08 2020-11-10 奥图码科技股份有限公司 视频会议***、视频会议设备以及视频会议方法

Also Published As

Publication number Publication date
US20230215011A1 (en) 2023-07-06
CN116437039A (zh) 2023-07-14
TW202327342A (zh) 2023-07-01

Similar Documents

Publication Publication Date Title
JP4474013B2 (ja) 情報処理装置
US10257465B2 (en) Group and conversational framing for speaker tracking in a video conference system
US11128793B2 (en) Speaker tracking in auditoriums
US20180192002A1 (en) Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components
US9179098B2 (en) Video conferencing
CN104580992B (zh) 一种控制方法及移动终端
US8130978B2 (en) Dynamic switching of microphone inputs for identification of a direction of a source of speech sounds
US20110157299A1 (en) Apparatus and method of video conference to distinguish speaker from participants
JP2019220848A (ja) データ処理装置、データ処理方法及びプログラム
TWI588590B (zh) 影像產生系統及影像產生方法
US11477393B2 (en) Detecting and tracking a subject of interest in a teleconference
TWM594202U (zh) 發言人員音訊追蹤系統
JP4934158B2 (ja) 映像音声処理装置、映像音声処理方法、映像音声処理プログラム
CN114513622A (zh) 说话人检测方法、设备、存储介质及程序产品
TWI799048B (zh) 環景影像會議系統及方法
Pingali et al. Audio-visual tracking for natural interactivity
JP4585380B2 (ja) 次発言者検出方法、装置、およびプログラム
EP4075794A1 (en) Region of interest based adjustment of camera parameters in a teleconferencing environment
JP2017108240A (ja) 情報処理装置、及び情報処理方法
JP2009060220A (ja) コミュニケーションシステム及びコミュニケーションプログラム
JP2012114511A (ja) 会議システム
JP2020115609A (ja) 音声録音装置及びその制御方法、並びにプログラム
TWI791314B (zh) 視訊會議系統及其方法、感測裝置及介面產生方法
JP6860178B1 (ja) 映像処理装置及び映像処理方法
TWI840300B (zh) 視訊會議系統及方法