TWI338504B - - Google Patents

Description

1338504 九、發明說明： 【發明所屬之技術領域】 本發明係關於一種智慧型監控系統；特別關於一種 透過監控攝影機進行監控所需之視訊分析與儲存方 法。 【先前技術】 不論是金融_献經常會有大4現金的触，大乡會裝設柄 機，-方面嚇阻歹徒不要有非份之想，另—方_提供警^在^ 辦搶案的資料。只是，-般攝影機_固定位置、狀拍攝角度 進行拍攝，舒採咖粒置特定範_來_攝，因此對於有 心閃避被減的人，仍可辭沒辦法補朗完整㈣像。' 為了克服這侧題，已有廠商提出中華關專利公告號第则_ 號「以影像齡之物體追聰^識技術為基礎的儲存及翻裝置」， 並藉著追财狀對狀場所作_彡監控，尤其是針對會移_ 物體（例如人員）進行監控。 為了能夠藉著追财式針騎定場所作錄影監控，除了追蹤技術 本身以外’更需要如中華民國專利公告號第㈣咖號「追縱式 攝影機結構」。有了此嶋影機之後，在接受到相對的控制命令 後’便能使其__影辆作垂直、水平，進行無縫、無 5 死角的拍攝動作。 =概若能加讀靡控的話，將妓更 糸為。為此，中華民國公告號第46 : 對象進二:對特定特徵物，進而允許或不允許特定 超商的人員都必須脫去牛赚說’為強迫母個進入 亦即賴㈣㈣存在時， ”覚員未脱去*全帽時，自動Η就不會開啟。 入術中’除了上述追縱、辨識等應用，還把遠端監控也納 單來講，遠端監控主要是將攝影機拍攝到的視訊傳 控域，再朗監控主機進行視靖料_錢將攝影機 的視HI透過&線網路傳遊到錶端、移動裝置。 如中華民·告號㈣G53_4號專利「絲式影像監控系統」， 其主要是儲存入侵物件前後固定時間的視訊影像，並提供使用者 可藉由網際網路去取得當時影像。 除了上述網路監控外，還可制移祕更高的GPRS來達到遠端監 控目的。如中華民國公告號第M287021號專利「具整合封包無線 電服務(GPRS)之監簡影裝置」’其主要賴影機錄到的入侵物 件影像資料’透過整合封包無線電服務㈣S)傳送至使用者手 機並讓使用者利用簡訊服務(SMS)傳送簡訊控制指令，去控制監 控攝影機。在此習知技術中，雖然可利用SMS來控麵影機，但 無法在透過SMS傳紐制命令給攝频，額賴看人侵影像， 故無法讓制者可真即時監控。 無法㈣監控關題’如中咖公告號第_脇號 ^ ^翻職賴㈣敍料」，其轉簡频拍攝到的 …彳視訊讀’透過無線鳴傳送至網路值器，使用者再 透過網際鱗連翻關職去取得監控·，_所提供 的"面控制監控攝影機以達到即時監控。

_ ’透__路或3G/GPRS作遠端監控，有著諸多的便利與 好處’但疋不論是’娜鱗或3G/GpRs，麵寬上仍射限若同 =監控數個場鱗，不巧全部都發生關，而同時都在傳遞當時 :像時’極谷易因線路謹塞，而無法接收到任何影像或訊息。就 A用依序播放上述視訊影像，以避免·而無法收到任何影像 或訊心但疋萬一真正有入侵情況發生的影片，是被排在比較後 面的順序時’等伽者逐-觀看才制時，人侵者恐怕早已離開 現場了。

為了解決透過網際網路或3G/GpRS作遠端監控上的問題，即盡可 能減少對頻寬的使用4，⑽射實有必要(糖有人侵者時)時 才使用頻寬，進而達到真正的即時監控。除此之外，在本發明中 仍沿用上述追縱、遙控攝影機、人臉_等特性，以強化本發明 糸統的監控能力！> 1338504 【發明内容】 本發明之主要目的在提供一種智慧型監控分析系統與方法，其藉 著預先儲存疑似入侵者的影像或圖像，來提供給相關者(例如屋L) 自行判定是否確實有人侵物件(例如小偷），不會因電腦誤判而至導 致不必要的慌|匕。 本發明之:欠要目的在提供-種智慧型監控分㈣雌方法，其需 鲁要監控大量的場所時，為了減少頻寬上的負擔，絲傳送相： 每個場所的圖像（比較不佔頻寬），然後在使用者確認疑似有小偷 時，才播放事先儲存的入侵者影像，作更進一步的確認。 ⑴ 基於上述目的，在本發明智慧型監控分析系統與方法中，先判斷 並揭取疑似入侵物件的輪廊，然後依據此輪廟持續追縱並透過攝 .影機持續拍攝，並將所獲得影片暫存起來，最後透過各種通訊管 道’以上述影片中最清晰畫面(佔用較少頻寬)通化主，若確定 籲確實疑似小偷時，才佔職多頻寬來實際下載與播放該影片。疋 關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得 到進一步的瞭解。 -- 寸 【實施方式】 在本發明智慧型監控分㈣、統與方法中，可大致區分成傳送清晰 晝面（即含有人侵者_)、傳送場所細t_含有入侵者的 影片）、遙控攝影機方位這r:夫4 _ 化一大部分，並將於底下分別詳細描述其 UJ8504 流程。 >閱第ΙΑ 1β圖’第1A,為本發明傳送清晰晝面之示意圖。 ^圖所示’本發明智慧型監控編統H)主要包含攝影機 、 ^人侵判斷模组16、_追縱模組18、影像資料庫2G、清晰畫 秘組22、發賴組24，縣察覺有射认侵者的人侵物件時T 把相對的清晰畫面傳送至用戶端裝置12。這其中，攝影機Μ會對 預定的場所進行拍攝，並獲得連續拍攝的複數筆場所圖框 (frame)。右本發日騎财數個綠監控的場所時， 所安裝相對的攝影機14。 琢 2來說’本發明智慧魏控分析魏1Q料縣人侵判斷模組 “判斷攝❸機14所提供的場所圖框，是否有人侵物件(例如小 偷）。若初步判斷有人侵物件時，便會擷取疑似人侵物件的物件輪 =當偵測追賴組18接峨物件輪廓後，就能依據此輪廓持 攸縱並透過攝影機14持續拍攝’並將所麟則暫存至影像資 料庫20中。最後’透過各種可能的通訊管道(例如網際網路、 3主G/GPRS、傳真㈣’將清楚晝面模組22從上_中挑選出最 =畫面(佔職少頻寬的例如卿檔)傳遞給用戶端m(例 王土夕 ° ^侵判斷模組16在娜疑似人侵物件的物件輪廓時，會先利用影 2減(例如和空的場景影像作相減）、影像二值化後得到可疑物 〜像’再利用形態學（m〇rphc)1〇gy )去除影像雜訊和使用 1338504 CCL( C〇nnected c_纖t㈣一）及最小矩形_)，而獲 得上述物件輪廓。 ， 又 侧追縱模組18控腦雜Η作賴工作，主要是在場所圖框 中含有入侵物件時，才開始將相關於入侵物件的該些筆場所圖框 :存成場所視訊職，並直到場所難中不再含有人侵物件。 =晰里面模、组22主要藉著對場所圖框作物件切割、特徵萃取、特 徵分析等料’從含有人·件的·筆場所難中，找出物件 輪廓佔用場所圖框的比例最大和/或物件輪齡有可辨識之人臉 之相對的場所圖框，並將相對的場所圖框錢成清晰畫面。以人 為如人臉、身高等’必須要輕易能從清晰晝面（或關鍵晝面） 付头才足以供屋主欺是否為小偷，才關於清晰畫面。以 =為例，車牌影像必須要出現在影像中，方為清晰晝面。此外， 清晰晝面模組的另-方法，在於讓物件的各部分能被清晰顯示。 /人為例’如頭、手、躺幹、腳等部位，背部的衣服圖案花紋等， /員出_關鍵晝面中；以車為例，正面與背面之影像，涵蓋車燈 形狀、車頭造型、車尾之鱗等，都含括在晝面巾，將有助於以 人工或自動影像分析方法建立車子之索引龍。由於人的正背面 與柯的正背面無法於—張影像中同時出現，因此關鍵之清晰晝 °、不/、U象。原則上來說，物件清晰與否，受到三個因 素的影響’即攝影機、環境、與物件。攝影機的解析度、光圈焦 距的調整等’則會影響物件崎較。魏的亮歧^夠，是 1338504 否有背景#?遮蔽物件’也會影響物件的清晰度^此外，物件本身 的移動速度、姿態方式是奴面朝向攝影鮮，也會辟清晰度。 為達上述齡清晰畫面之目的，本技術騎對—段影# t每張影 像進行特徵分析’鋪徵分析包含物賴雛度分析、物件顏色 分析、物件紐分析、物件職分析、物件祕分析、物件正背 面偵測等六類。物件馳程度分析，可透财賴測(Edge

Detect ion)或High-pass Filter等技術，抽取物件影像中的邊緣 或高頻訊息以分析其模糊程度。物件紋理分析，可有助於抽取物 件身上之圖案，可制High-passFi 11er或馬可规機場(Markov Random Field)等來絲。物件顏色分析，可透過顏色在色彩空間 中的分佈獅’進行群粒(Glustering)或高斯混合模型法 (GaussianMlxture Models)來擷取顏色資訊，例如擷取膚色⑼化 Color)資訊。物件形狀分析’以分析物件的形狀資訊，如長度、 寬度、轴心、軸距、面積、輪鱗’可透過—般統計方法或如主 動輪廓法(Active toitoui·)來完成。物件動態分析，有助於瞭解 物件的移動方向，可透過Bl〇ekMatGhing、光流法(㈣⑺丨F1〇w) 等來完成。物件正#面分析，可透過人臉_、車關測、動態 分析所得之物件移動方向等來完成。 根據以上之六種分析方法得到物件的諸多特徵，並進行以期望 值的極大化來挑選關鍵晝面，如下公式所示：

Keyframes = arg max 0(/,, Λ, /3，Λ, /5, /J Framet) 1338504 其中的/,代絲賴_度分析所得之—組量聽，蛾表物件 顏色分析麟之傾驗，/3代絲倾理分析所得之一 組量化特雜’錢絲件職讀所得之—組量轉徵值4 代表物件祕分析所得之—組量化特徵值，械表物件正背面偵 之—組量化特·;斤撕代表某幾張影㈣/1知齡） 代表從某魏雜練_，並計算其符合職之紐分數。 _代表將分數最大的幾張晝面拿出來，作為關鍵畫面。其中的期 望函數(X)可採用常見之線性加權法來計算：

叫，Λ，/3,以，Λ) = M W ⑽ W 祕式中加權值越大的特徵代表其對影像的清晰度越重要。該公 ^亦可進一步延伸，不僅一組量化特徵值有—個加權值，亦可以 母個特徵值都有—個⑽應的加權值： 〇C/i，-Wr_,) = W+... + v^ 其中的/)“.Λ為六種分析方法總共得到的糊量化特徵值。 晰全==之ΤΙ分析與期望值極大化等步驟，即可完成最清 晰旦面的擷取。此外，有時為了要進行 ::更詳細的物件清晰晝面，可進行「物件切割：： 二有二:::’並分析各部位一 顏色訊崎知妒方絲將求勒職頭部之 。于口"。_徵，此特徵可供作為清晰晝面函數令 12 1338504 的特徵值。以車為例’可蝴車子的車頭、車舰、車尾、行李 相等部位’並分析各雜的職贿，如此會比做 模糊程度，更明確的研判出影像清晰度。 如 如第1B_示’若本發明I統有數個需要監控的場所時，則可透 過每個場所安裝的攝影機14把上述清晰畫面全部都傳遞至用戶端 裝置12。用戶端裝置12會透過顯示模組34將顯示器3〇所顯示的 晝面’切割成相對的區塊咖〜30d，以便同時呈現來自不同場所的 清晰畫面。 如此-來’除了藉著影錄料庫2Q預先齡疑似人侵者的影像或 圖像，來提供給相關者(例如屋主）自行判定是否確實有入侵物件 (例如小偷）’不會因電腦誤判而導致不必要亂，就算需要監 控大里的場所時，僅先傳送相對於每個場所的圖像（比較不佔頻 見）’然後在使用者確駿似有小糾，才紐事先齡在影像資 料庫20的人侵者影像’作更進—步的確認。這樣，不但可以減少 頻寬上的負擔，更能同時監控數個場所。 在說明如何播放事先儲存在影像資料庫2G的入侵者影像之前，先 回過頭來·上縣統巾域傳遞的手段。在每個場所的攝影機 14與入㈣嶋組丨6和/或制追_組丨8之間可制傳輸距離 較遠的網際網路或是類比缓線(有線或無線均可），而在發送模組 24與用戶端裝置12之間’則相對於用戶端裝置12的不同而有不 同的管道。若用户端裝置12為支援GPRS或3G的行動電話(例如 13 1338504 GSMCGlobal System for Mobile Communications) >CDMA(Code division multiple access) ^ WCDMA(Wideband Code Division Multiple Access)手機）時，其管道則為GpRS或3G網路 ，所以相 對地發送模纽24可採用腿s(Multimedia

Messaging Service)方 式傳送上述清晰晝面。若用戶端裝置12為支援網際網路和劉覽器 的電腦裝置時’其管道就為網際網路，所以發送模組24可採用 TCP/IP協定來傳送上述清晰晝面。

不過’不卿哪種官道或手段傳送清晰畫面，都可關時傳遞入侵 訊息（例如：系統發現疑似入侵者丨請注意！），並附上相對於清 晰晝面的場所視訊_之資源地址(㈣⑽⑽鐵L⑽攸， 祖)和顧場所視賴穌身，續供制者從如㈣圖所示 之顯示器.30令選擇性收看場所視訊播案。需特別注意的是，若需 要直接傳輕所視賴案本身，絲藉由如第2β圖咐之格式轉 換換組26來轉換成用戶端裝置丨2所能支援的格式。 請參閱第㈣㈣’第2A〜㈣本剌傳輯職鋪案之示意 圖。如第2A圖所示，本發明知# 科恥慧处控分析系統H)主要仍包含 =ι、入侵判斷模組16、_追賴組18、影像資跡 >月晰晝面模組22、發送模組24，還 還進―步包含格式轉換模組26。 右使用者從如第1B圖所示之顯 30a之後，本發明夺统1〇gp‘# —面中、擇了左上角的區塊 料枝.㈣即會透過格式轉換模 視訊播案（相對於區塊咖所 把相對的场所 所』不的凊晰畫面)轉換成多種格式(例 1338504 如 3GPP (Third-Generation Partnership Program) 、 3GPP2 (Third-Generation Partnership Program 2) ' OMA (Open Mobile Alliance))，以提供給發送模組24實際傳送場所視訊檔案至相對 的用戶端裝置12，如第2B圖所示。 倘若格式轉換模組26於使用者選擇了區塊後才開始進行格式轉 換，常造成的問題是制者需等練長賴才能觀看錄影晝面，

因此另-方法是在侧追賴組18與清啦賴組22分別執行 追縱錄影與產生清啦面之後，立即使格捕顯組Μ將該次物 件的圖框轉換為視訊職’並儲存起來。如此，#伽者選擇了 區塊30a之後，即可立即播放已轉換儲存之物件錄影片段。 若用戶端裝置12為手機時，那麼發送模組24則採用符合手機視 訊串流訊號·式(3gP、_) ’實際傳送場所視訊難至 用戶端裝置12。若用戶端裝置12為電腦時，發送模_可採用例 如WMA的格式傳送檔案。 請參閱第3A侧，第3A〜3B為本發料控攝影機方位之示咅圖。 如第3B圖所示’本發明智慧型監控分析系統1〇主要仍包 機14、入侵判斷模組16、_追縱模組ΐδ、影像資料庫2。、： 晰晝面模組22、發送模組24、格式轉換模組沈。 / 為了讓使时也能透戶魏置丨2 -’使用者可透過如第3A圖所示之操:兄有更進 紐來减操賴雜14。_纽，錢岐透顯作介面1 1338504 ’，操作模組36便會如第3b圖所示 而使攝影機14移動至相對於方位資 下達往右移動的方位資訊之後 把方位資訊傳達至攝影機14, 訊的位置來拍攝場所。 除此之外，偵測追縱模組18在入侵判斷模組16提供入侵物件的 物件輪廓時，狀相對的場所圖框中含有人侵物件時，會使可上、 下、左、右移動的攝影機14，自動地對準入侵物件的中心點進行 ^ 拍攝，以便獲得最完整的晝面。 2參Μ 4A〜4B圖’請參閱第4A，圖為本發日种心點拍攝之示 意圖。如第4A圖所示，入侵判斷模組16可把所接收到的場所圖 框劃分成九個控制格(在中央的控制格為控制格4〇小舉例來說， 右入知物件只橫跨到控制格40a、杨，並且入侵物件的中心點只 落在控制格働時，便會使攝影機14自動地往右移動，以便讓入 侵齡的中心點落在控制格術中。若入侵物件的中心點本來就 春已洛在控制格他時，便不會送出控制訊號給攝影機u，而攝影 機14就維持原狀不動。如此，攝影機14就能自動持續追縱入侵 物件讓入知物件保持在監控攝影機Μ的監視晝面中，直到入侵 物件移動監控攝影機14所能監視之範圍外為止β 藉由以上較佳具體實關之魏，鱗望能更加清楚描述本發明 之特徵與精神’而麟以上騎揭露的麵具體實關來對本發 明之範嘴加以限制。相反地’其目的是希望能涵蓋各種改變及具 相等性的安排於本發明所欲申請之專利範圍的範疇内。 16 1338504 【圖式簡單說明】 第1A〜1B為本發明傳送清晰畫面之示意圖。 第2A〜2B為本發明傳送場所視訊檔案之示意圖。 第3A〜3B為本發明遙控攝影機方位之示意圖。 第4A〜4B圖為本發明中心點拍攝之示意圖。 【主要元件符號說明】 10智慧型監控分析系統 12用戶端裝置 14攝影機 16入侵判斷模組 18偵測追蹤模組 20影像資料庫 • 22清晰畫面极組 24發送模組 26格式轉換模組 30顯示器 30a〜30d區塊 32操作介面 34顯示模組 36操作模組 17 1338504 40a〜40b控制格

18

Claims (1)

1338504 十、申請專利範圍： 、一種智慧型監控分析丰 刀啊糸統如用以監控一埸所 該智慧型監控分析系統包含： ===:)，得_攝 、、、从 I 小 /71 丨人T.j卿丨棋

出含有-人侵物件，並從相對的料所圖框 中榻取出該入侵物件的一物件輪廓. 憤測追縱模組，係用以在該人侵判斷模組提供 該入侵物件的該物件輪廓時’判定相對的該 場所圖框中含有該入侵物件時，開始將含有 該入侵物件的該些筆場所圖框儲存成一場所 視訊檔案；

一清晰晝面模組，係用以從含有該入侵物件的該 些筆場所圖框令，找出該物件輪廓佔用該場 所圖框的比例最大之該場所圖框，並將該場 所圖框定義成一清晰晝面；以及 一發送模組’係用以傳遞該清晰晝面、關於該場 所視sfl檔案之資源地址（Uniform Resource Locator, URL)和/或該場所視訊檔案本身至 19 一用戶端裝置。 2如申凊專利範圍第1項所述之智慧型監控分析系 、'’ /、中。亥偵測追縱模組在該場所圖框中含有該 入侵物件時，開始將相關於該入侵物件的該些筆 場所圖框儲存成該場所視訊檔案，直到該場所圖 框中不再含有該入侵物件。 3、 如申請專利範圍第1項所述之智慧型監控分析系 統’其中該清晰晝面、該場所視訊檔案的格式均 相對於該用戶端裝置所能展示的格式。 4、 如申請專利範圍第丨項所述之智慧型監控分析系 統，其中該用戶端裝置可為支援GPRS*3G網路的 行動電話、或是支援網際網路和瀏覽器的電腦裝 置。 " 5、 如申凊專利範圍第1項所述之智慧型監控分析系 統’其中該用戶端裝置進一步包含： 一顯示模組，係用以透過一顯示器呈現該清晰畫 面或/和該場所視訊檔案； 一操作模組，係用以提供一操作介面來接收使用 者所指*的-方位f訊，並使該攝影機移動 至相對於該方位資訊的位置來拍攝該場所。 20 1338504 6、 如申請專利範圍第5項所述之智慧型監控分析系 統，其中當該用戶端裝置接收到來自該發送模組 所傳遞的該清晰晝面、關於該場所視訊樓案之資 源地址（Uniform Resource Locator，URL)和 / 或 該場所視訊檔案本身之後，使用者要求播放該場 所視訊檔案時，該顯示模組會依據該場所視訊檔 案之資源地址，以串流封包格式傳送該場所視訊 檔案，並透過該顯示器呈現該場所視訊檔案。 7、 如申請專利範圍第1項所述之智慧型監控分析系 統，其中該偵測追蹤模組在該入侵判斷模組提供 該入侵物件的該物件輪廓時，判定相對的該場所 圖框中含有該入侵物件時，使該攝影機對準該入 侵物件的甲心點進行拍攝。 8、 如申請專利範圍第i項所述之智慧型監控分析系 統，其中該清晰畫面模組係用以從含有該入侵物 件的該些筆場所圖框中，找出該物件輪廓含有可 ㈣之人臉之相對的該場所圖框，並將相對的該 %所圖框定義成一清晰晝面。 9、 —種智慧型監控分析方法，係用以監控一場所， 該智慧型監控分析方法包含： 21 1338504 I:::而獲得連續拍攝的複數筆場所圖樞 從該些筆場所圖框中找出含有-入侵物件； “物:的。亥场所圖框中擷取出該入侵物件的-物件輪廓； 判定相對的該場所圖樞 肀s有έ亥入钕物件時，開 。：有該入侵物件的該些筆場所圖框儲存 成一場所視訊檔案； k含有该入侵物件的該吡 ^ ^ ^ 二聿琢所圖框中，找出該 力郭佔用該場所圖框的比例最 所圖框，並將兮j日此人两 將5亥％所圖框定義成一清晰書 面；以及 傳=清晰晝面、闕於該場所視訊標案之資源地 nif〇rm Resource Locator, URL)^/^ 該場所視訊檔案本身至一用戶端 ^如^㈣_第9項所述之智慧型監控分析方 將，關中該場所圖框中含有該入侵物件時，開始 將相關於該入侵物來 場所視訊㈣，直❹^場所圖框儲存成該 侵物件。 “亥场所圖框中不再含有該入 22 ^申凊專利範圍第9項所述之智慧型監控分析方 相其中该清晰畫面、該場所視訊檔案的格式均 十於该用戶端裝置所能展示的格式。 、如申請專利範圍第9項所述之智慧型監控分析方 〜其中該用戶端裝置可為支援GPRS或3G網路的 仃動電話、或是支援網際網路和瀏覽器的電腦裝 置。 13' 、如申請專利範圍第9項所述之智慧型監控分析方 法，其中該用戶端裝置進一步包含： 一顯示模組’係用以透過一顯示器呈現該清晰晝 面或/和該場所視訊槽案； 操作杈組，係用以提供一操作介面來接收使用 者所指示的一方位資訊，並使該攝影機移動 至相對於該方位資訊的位置來拍攝該場所。 14、如申請專利範圍第13項所述之智慧型監控分析 方法，其中當該用戶端裝置接收到來自該發送模 組所傳遞的該清晰晝面、關於該場所視訊檔案之 資源地址（Uniform Resource L〇cat〇r，url^〇/ 或該場所視訊檔案本身之後，使用者要求播放該 場所視訊檔案時，該顯示模組會依據該場所視訊 23 槽案之資源地址，以串 訊樓案，並透過㈣'傳送柄所視 X ‘.，，員不器呈現該場所視訊檔案。 15\.如申請專利範”9項所述之智慧型監控分析方 去八中判疋相對的該場所圖框中含有該入侵物 件時，使該攝影機對準該入侵物件的中心點進行 拍攝。 16、如申請專利範圍第9項所述之智慧型監控分析方 法，進一步包含： 從含有該入侵物件的該些筆場所圖框中，找出嗜 物件輪廓含有可辨識之人臉之相對的該場所圖 框，並將相對的該場所圖框定義成一清晰晝面。 24