TWI406181B - 一種建構和搜尋三維影像資料庫之方法 - Google Patents

一種建構和搜尋三維影像資料庫之方法 Download PDF

Info

Publication number
TWI406181B
TWI406181B TW098115595A TW98115595A TWI406181B TW I406181 B TWI406181 B TW I406181B TW 098115595 A TW098115595 A TW 098115595A TW 98115595 A TW98115595 A TW 98115595A TW I406181 B TWI406181 B TW I406181B
Authority
TW
Taiwan
Prior art keywords
image
neuroimaging
search
database
dimensional
Prior art date
Application number
TW098115595A
Other languages
English (en)
Other versions
TW201040848A (en
Inventor
Sheng Chuan Wang
Ann Shyn Chiang
Ping Chang Lee
Ching Yao Lin
Yu Tai Ching
Chao Jun Zhuang
Hsiu Ming Chang
Yung Chang Chen
Kuen Long Tsai
Chang Huain Hsieh
Original Assignee
Nat Univ Tsing Hua
Nat Applied Res Laboratories
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Tsing Hua, Nat Applied Res Laboratories filed Critical Nat Univ Tsing Hua
Priority to TW098115595A priority Critical patent/TWI406181B/zh
Priority to US12/690,424 priority patent/US8520933B2/en
Publication of TW201040848A publication Critical patent/TW201040848A/zh
Application granted granted Critical
Publication of TWI406181B publication Critical patent/TWI406181B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Description

一種建構和搜尋三維影像資料庫之方法
本發明有關一種搜尋及建構三維影像資料庫之方法。
大腦功能的研究可自微觀角度至巨觀角度,分成基因表現、蛋白質生化反應、神經細胞結構、大腦神經網路形成及動物行為等幾個層次。二十世紀六十年***始蓬勃發展的分子生物學,在基因層次操控上,基因產物可反應不同尺度的生物功能。也就是說,根據生命科學的基礎研究,研究人員可以找出果蠅嗅覺與記憶相關的記憶基因(memory genes),而改變這些基因,可以影響到果蠅的行為表現。雖然在最巨觀的動物行為表現,及微觀的分子基因表現,科學家都有相當的瞭解,但在微米級的中觀尺度,由於實驗技術的限制,使神經細胞結構及大腦神經網路的三度空間立體結構不易取得。現今結合生物螢光標定及共軛焦顯微鏡光學切片技術,可以取得大腦組織及其神經網路的高解析度數位影像。
生命科學的研究者對生物體進行研究時的最大希望,是在得到生物體內部結構影像(資訊)的同時,能夠不必破壞到生物體。但在取得生 物影像的時候,由於實驗設備的物理限制,往往得到的是一序列平面的二維影像,無法立即獲得生物體內器官之間的空間資訊。為了得到生物體內器官之間的空間資訊,藉由電腦輔助,將一序列的二維平面影像經由電腦軟體的協助,進行3D立體影像的重建(reconstruction),重建後的三維立體模型可以任意旋轉,提供不同的角度觀察我們所要研究的對象,可以幫助我們在電腦螢幕上,從任意角度及方向來觀察生物體的結構。
經過二十世紀一世紀的努力,人們普遍接受了大腦模型可以完全地用模組化(completely modular)來描述。因此對於大腦功能的解釋,也以解剖學的概念依各部位功能進行分析說明。據此,我們可以利用3D立體影像重建技術,建立大腦各重要部位的物件模型,同時依研究的需要,任意組合出要進一步觀察研究的神經叢及神經網路在空間的關係。
雖然人腦的訊息處理與傳遞,最令科學家著迷,不過由於人腦中大約有1000億個神經元、人類的生命相對而言比較長、又不可能任意操弄人體內的基因,因此許多神經科學的研究,只能以其他動物為對象,例如小鼠、斑馬魚和果蠅等模式動物。果蠅的腦大約只有13 萬5000個神經元,也能夠展現記憶、學習等較複雜的行為,因此最受青睞,成為研究神經科學的重要對象。此外,果蠅的所有基因都已經定出序列、生命週期又短(大約60天),也使得研究容易進行。
本發明之目的在於揭露一種建構和搜尋三維空間網路影像資料庫之方法,可以用來了解三維空間網路(如神經網路)之連結關係。文中所述之網路模組影像係強調單一神經元(模組,motif)影像,空間網路影像係指集合多個模組所成的影像。
本發明提供一種建構和搜尋三維網路模組影像資料庫的方法包含下列步驟:
1.提供一種以上三維網路模組(motif)影像,如由生物顯微影像製造裝置得到不同組果蠅神經元影像。其中三維網路模組影像為神經影像,係利用路徑追蹤演算法(tracing algorithm)將神經影像以樹枝狀表示。路徑追蹤演算法(tracing algorithm)係指在神經影像中選取任兩點,根據此兩點間的神經影像外型輪廓,算出其曲線長度s,代入如下的公式中: 其中E(C)代表估計追蹤路徑的總能量,α、β、γ是正實數的常數,C(s)代表神經影像的輪廓曲線,Ω=[0,L]其中L是輪廓曲線的長度;P(C(s))代表選取最理想圖形的能量方程式,依據神經影像的亮度決定其外型的最適區域。前述神經影像係由生物顯微影像製造裝置提供,生物顯微影像製造裝置包含帶電粒子掃描顯微鏡、雷射掃描或共軛焦顯微鏡或螢光顯微鏡。神經影像包含至少一個完整的神經元(neuron)影像。一完整的神經元包含神經細胞本體(soma)、神經軸突(axon)或神經樹突(dendrite)或部份完整的神經。神經影像的來源為不同年齡大小的公(male)果蠅或母(female)果蠅。
2.將前一步驟中產生的三維網路模組影像(如神經元影像),經過對位校正,使得不同組影像能有共同的座標空間。校正處理係將不同來源之神經影像以標準化座標進行對位校正。
3.掃描每一組影像,將影像中所有的值大於臨界值的像素(Pixel)點的座標存入一電腦可讀取之記錄媒體,並建立資料庫來存取前述像素點座標的資訊。其中電腦可讀取之記錄媒體係包含磁性儲存裝置,光學儲存裝置或電性儲存裝置,此類儲存裝置可位於個人電腦或位於遠端經由傳輸裝置連接的系統上。而資料庫係包含三維果蠅腦神經影像 資訊及其檔案和果蠅腦神經資訊、計算結果和其記錄及其檔案。果蠅神經影像資訊和果蠅腦神經資訊、計算結果及其記錄係以對應方式儲存。對應方式包含神經元名稱和所包含的空間點之對應,或某空間點上有哪些神經元通過的計算結果、記錄與空間點之對應。
4.提供一種三維網路模組影像資料庫,並建立互動式搜尋介面。資料庫係包含三維果蠅神經影像和果蠅神經影像空間資訊。該搜尋介面係提供使用者至少一可視化介面和至少一搜尋字串鍵入欄位,於使用者輸入搜尋指令時,自動辨認使用者指定之資料庫並搜尋資料,並將對應搜尋條件的影像資訊以文字、點陣或圖像呈現於可視化介面。其中可視化介面係將影像以三維影像方式顯示,並將影像內容做任意角度的旋轉及縮小放大,以方便從不同角度觀察。可視化介面另將神經影像以半透明效果顯示,以呈現多個網路模組影像。
使用者可在搜尋介面選取至少一空間區域或輸入至少一搜尋字串,對資料庫做以下搜尋:
4.1使用者於搜尋介面選取至少一空間區域或鍵入至少一搜尋字串。空間區域包含至少一立體矩形空間或至少一樹枝狀線路或將前兩者做布林運算組合之區域。其中線路的選取方法係指使用者於可視化介面選取至少一三維網路模組影像,並由此影像連接至少兩個網路模組影像所延伸之線路。前述網路模組影像係指神經影像。其中搜尋字串係包含至少一目標神經元名稱或至少一神經影像來源或將以上字串以布林運算組合之搜尋指令。
4.2空間區域的搜尋方法可從所有三維網路模組中,找出和目標三維網路模組有空間連結關係的其它三維網路模組;或從所有三維網路模組中,找出通過目標空間區域的三維網路模組如神經元。
4.3另可利用4.2之搜尋條件,加上二元布林運算(AND,OR,NOT)等操作,做更複雜的混合搜尋。例如,通過空間A和空間B,但不通過空間C的三維網路模組(如神經元)。布林法則包含AND、OR、NOT,舉例說明:(A AND B)NOT C表示搜尋通過空間A和B,但不通過空間C的網路模組(如神經元)。空間關係有空間的交集(INTERSECT),如A INTERSCET BOX[1],就是找出通過空間A和空間區域[1]交集的地方。
5.將對應搜尋條件的影像資訊以列表、點陣或三維影像方式呈現於可視化介面。搜尋方法中對應搜尋條件的影像資訊係為網路(如神經)的名稱、網路(如神經)影像之特性和三維網路(如神經)影像。其中網路(如神經)影像之特性包含網路(如神經)影像的來源及單位空間網路(如神經)樹狀影像的末稍密度,前述單位空間網路末稍的密度可用灰階之點陣代表其單位空間網路(如神經)的密集程度,用以預測(神經)網路的匯聚中心,在神經中為不同神經的突觸聚集所在。對應搜尋條件的影像資訊另包含通過選取線路的網路(如神經)名稱、網路(如神經)影像之特性和三維網路(如神經)影像。
搜尋方法另外包含將對應搜尋條件的影像資訊再次搜尋該資料庫中相似影像資訊,並將結果顯示於搜尋介面。其中相似的影像資訊係包含和原本對應搜尋條件之神經影像之來源相同或空間位置相近的網路(如神經)影像空間資訊。
可視化介面係將影像以三維影像方式顯示,並可將影像內容做任意角度的旋轉及縮小放大,以方便從不同角度觀察;可視化介面並可將神經影像以半透明效果顯示,以呈現多個網路模組影像。為求即時顯示效果,可以將三維空間網路影像如神經影像之神經纖維(fiber),利 用路徑追蹤演算法(tracing algorithm)簡化為樹枝狀(skeletal form)。可視化介面包含電腦螢幕、立體或非立體多媒體顯示器及接收投射自立體或非立體投影裝置之展示空間或平面。
請參考圖示與下列之說明,其中之目的係為說明本發明之最佳實施例,而非用以限制本發明之範圍。本發明提供建構和搜尋三維空間網路影像資料庫之方法,一較佳實施例為果蠅三維神經影像資料庫。
三維影像產生
該三維影像資料庫的建構方法先由生物顯微影像製造裝置輸入果蠅神經影像,該影像係藉由一雷射掃描顯微鏡掃瞄一含有螢光分子標示之樣品,由雷射激發樣品中之螢光分子而產生。在掃描過程中,至少一部分之樣品係藉由雷射光掃描,並依據一預定序列而掃描不同深度之橫切面,結果得到不同深度之複數個數表面影像之掃描影像資料。得到相同橫切面之不同部分之影像可以組合成為其整體,並藉由電腦軟體AMIRA之使用將不同橫切面重建為三維影像。
簡化神經影像
將三維神經影像輸入後,利用路徑追蹤演算法(tracing algorithm)可得出神經網路影像的樹狀結構,以樹狀結構來表示神經元,可以大幅加速可視化所需時間及互動速度。
路徑追蹤演算法
在神經影像中選取任兩點,根據此兩點間的神經影像的外型輪廓,算出其曲線長度s,代入如下的公式中:
其中E(C)代表估計追蹤路徑的總能量,α、β、γ是正實數的常數,C(s)代表神經影像的輪廓曲線,Ω=[0,L]其中L是輪廓曲線的長度;P(C(s))代表選取最理想圖形的能量方程式,依據神經影像的亮度決定其外型的最適區域。
如果將輪廓簡化為弧形,則s代表弧長,ω為一常數,控制輪廓的平滑度,簡化為如下公式:
或寫為=ω+λP。當神經影像的輪廓接近理想範圍時設定P>0且P為小。當選取神經影像中的任兩點有最小距離時,則=ω+λP為最小。
決定神經影像兩點間的最小路徑
代表神經影像Po和P兩點間路徑的最小能量,而Apop代表Po和P兩點間的所有路徑集合。當最小能量方程被確定之後(如下所示),則Po和P兩點間的最小路徑則易得到。
建立三維網路資料庫
資料庫包含神經資訊表及三維空間表(圖六)。由三維影像產生步驟輸出一神經元資料加入神經資訊表,此筆新資料包含其編號、種類、起始及終止座標、神經末稍位置座標、檔案位置等。另將此三維影像資料,以單一個體元素(voxel)或多個體元素組成之自定義區塊(brick)為一空間單位分割做處理,若此空間單位之累積影像強度值(intensitv)大於自定義之門檻值(threshold),則將此空間單位新增至三維空間表中,此筆新資料包含其三維座標及此三維影像所代表的神經編號;若此空間單位已存於三維空間表中,則修改更新其內容,新增此通過之神經編號。
將三維神經影像和神經資訊表及三維空間表存入一電腦可讀取之記錄媒體,包含磁性儲存裝置如磁碟、磁帶,光學儲存裝置如光碟或電 性儲存裝置如快閃式硬碟,此類儲存裝置可位於現地電腦中或位於設在遠端經由傳輸裝置連接的系統上。
搜尋三維網路資料庫
本發明提供一搜尋腦神經影像資料庫的方法,一較佳實施例為互動式搜尋果蠅腦三維神經影像資料庫的方法。
本發明中的資料庫以三維互動場景顯示果蠅腦部神經網絡的連結。在此資料庫中,研究人員可在知悉某種氣味受體及與之結合的氣味分子種類後,根據其刺激訊號查詢神經訊息的傳遞路徑。結果顯示神經傳遞路徑至嗅覺小球的資訊,研究人員可再查詢蕈狀體中哪個部位接受這個訊息。為了達到快速顯示效果,這些三維神經網路影像都是以樹枝狀呈現。互動式搜尋方法係指使用者可以透過使用者介面(user interface)輸入搜尋指令,連結至遠端伺服器,搜尋儲存於遠端伺服器資料庫中的資訊。搜尋結果會呈現於可視化(visualization)界面,使用者可以透過此可視化介面呈現的結果修改搜尋指令,以達到符合使用者要求之搜尋結果。(圖一、圖二)
可視化(visualization)介面可匯入三維神經影像檔案加以顯示, 並將搜尋結果以三維方式呈現於顯示裝置。此介面可自由的對場景做任意角度旋轉或縮放。為避免神經彼此遮蔽,神經影像也可用半透明方式呈現,增加可視性。三維影像也可用立體顯示方式表示,使用者透過特殊的偏光眼鏡所見到的三維影像,就好像浮凸在空間之中,幾乎伸手就可以觸摸到該神經元伸出的分支。(圖三)
搜尋介面包含至少一搜尋字串鍵入欄位和至少一檔案上傳欄位,並提供使用者至少一可視化介面和一可點選三維空間選取區的介面(3D picking interface),此介面將果蠅神經元以線路模式(tracing-line mode)呈現,果蠅神經連結以網格模式(mesh mode)呈現。使用者介面提供神經元(neuron)及神經叢(neuropils)名稱列表供使用者選取,使用者也可直接在三維空間選取區的介面選取欲研究的神經。(圖四)
果蠅三維神經影像資料庫(50)包含神經影像檔案和此檔案的名稱、畫素大小和果蠅腦神經名稱、來源、神經編號、起始及終止座標及檔案位置等,以表格方式儲存。將前述神經影像檔案和神經資料表儲存於遠端伺服器(51)。遠端伺服器(51)係和搜尋介面(20)以網路連結(60),接收由使用者介面(30)和可視化界面(40)匯入之搜尋指令。互 動式搜尋果蠅三維神經影像資料庫之裝置(10)係經由網路連結(60)進行資料傳輸並且當使用者介入搜尋指令時,自動辨認使用者指定之資料庫搜尋資料。使用者介面(30)包含(31)搜尋指令介入欄位、(32)三維空間選取區及(33)檔案上傳欄位。(圖五)
搜尋方式分為兩類:單一搜尋(Single Query)和混合搜尋(Multi-Query)。
(一)單一搜尋,單一指令的搜尋,有以下幾項:
甲、神經名稱搜尋(Query By ID)
乙、空間區域搜尋(Query By ROI Box):搜尋通過空間某個矩形區塊的神經元。
丙、空間區域包含搜尋(Inside BOX Query):搜尋包在空間某個矩形區塊內的神經元。
丁、比對搜尋(Query By Data):使用者提供新未知神經元影像,搜尋資料庫找出最接近的神經元。
(二)混合搜尋:將(一)之結果,再以布林函式(如AND、OR、NOT等指令將搜尋條件以文字邏輯組合,搜尋資料庫中符合前述檢索指令的資料。混合搜尋,可以有下列幾項應用:
甲、經過線路搜尋指令(En Route Query):選取兩個不相連接的空間位置或神經元,透過第三者來連接兩個不相連的空間或神經元。例如:選取A、B、C三點,搜尋條件為A到C經過B,顯示所有透過B可以連結A和C兩位置點的神經連結。
乙、空間搜尋指令(Spatial Query):在使用者介面上選取至少一可調整大小的方格狀空間單位(box),搜尋通過此空間單位的神經元(neuron)或神經叢(neuropils)。或是被包含在此空間單位裡的神經元或神經網路。
丙、穿越搜尋指令(Across Query):做布林檢索搜尋或空間搜尋時,還可以進一步篩選搜尋結果。方法是選定空間某一可調整大小的格狀空間區域(box),從搜尋結果中找出所有穿越那目標空間區域的神經元,並將結果顯示在屏幕上。
丁、三度空間神經連結搜尋指令(3D Innervations Query):選擇一神經元或神經連結,以此為起始點搜尋所有和起始點在三度空間相連的神經,將結果呈現於可視化介面。在可視化介面上從結果中選取另一個欲研究的神經元或神經連結為次起始點,系統會自動呈現起始點和次起始點間 所有的神經連結,並將神經連結的資訊表列於可視化介面上,重覆前述步驟,就可以找出一序列的神經連結資訊。前述資訊可為神經連結的名稱或編號。
預測三維網路匯聚中心
將三維空間中的網路(如神經)末稍密度以點陣方式呈現,並計算單位空間神經末稍的密度,再以灰階表示(圖七)。灰階密度高的空間位置代表網路連繫(在神經則為神經突觸)較密集的地方,為網路的匯聚中心,在神經網路中則訊號傳遞較頻繁的區域。
(10)‧‧‧互動式搜尋果蠅三維神經影像資料庫之裝置
(20)‧‧‧搜尋介面
(30)‧‧‧使用者介面
(31)‧‧‧搜尋指令介入欄位
(32)‧‧‧三維空間選取區
(33)‧‧‧檔案上傳欄位
(40)‧‧‧可視化介面
(50)‧‧‧果蠅三維神經影像資料庫
(51)‧‧‧遠端伺服器
(60)‧‧‧網路聯結
圖一為果蠅三維神經影像資料庫之可視化介面,可具體呈現果蠅腦部任一部份的神經分佈,如具有特殊結構的蕈狀體神經叢(腦上方深色部份),也可以任意畫出幾何形狀(如方格)。小圓球代表神經末稍,大圓球代表神經細胞本體(亦稱神經核)。
圖二為果蠅三維神經影像資料庫之搜尋介面及可視化介面,利用此介面可在三維空間中做任意空間組合以選出相關的神經,本圖中選擇經 過方塊1和2的部份雌果蠅腦神經。使用者可以任意移動方塊1或方塊2並調整方塊大小(可以為長方體)。
圖三顯示果蠅三維神經影像資料庫之搜尋介面及可視化介面可在空間任意轉動所要呈現的物件,以方便從不同角度觀察;本圖並以半透明效果顯示,圖中可見有多組神經路徑連接所欲研究之區域。
圖四顯示果蠅三維神經影像資料庫之搜尋介面及可視化介面可依序建立神經連接的路徑,本圖顯示從蕈狀體經過某個神經元,從右側方格連接另一神經叢,再經一條神經元某一末稍的小立方體(編號1)連到第三個神經叢。
圖五顯示互動式搜尋果蠅三維神經影像資料庫的方法。互動式搜尋果蠅三維神經影像資料庫之裝置(10)係經由網路連結(60)進行資料傳輸並且當使用者介入搜尋指令時,自動辨認使用者指定之資料庫(50)搜尋資料。遠端伺服器(51)係和搜尋介面(20)以網路連結(60),接收由使用者介面(30)和可視化界面(40)匯入之搜尋指令。使用者介面(30)包含(31)搜尋指令介入欄位、(32)三維空間選取區及(33)檔案上傳欄位。
圖六顯示建置資料庫之流程圖。神經資料表中I表示神經編號,Type表神經種類(包含公、母、神經功能區域),Sx、Sy、Sz表此神經範圍在空間中起始座標,Ex、Ey、Ez表此神經範圍在空間中結束座標,Filename表此神經之原始檔案。三維空間表中X、Y、Z表此空間單位(voxel或brick)於三維空間中之座標,V中之值表示通過此空間單位之神經編號。
圖七將三維空間神經分佈以灰階點陣方式呈現其單位空間中神經末稍的密度,並以灰階表示。灰階點數多的空間位置代表神經突觸較密集的地方,為神經網路的匯聚中心,也是神經訊號傳遞較頻繁的區域。由本圖可看出果蠅腦的外型輪廓,代表點陣的形態與神經網路的功能確實相關。
(10)‧‧‧互動式搜尋果蠅三維神經影像資料庫之裝置
(20)‧‧‧搜尋介面
(30)‧‧‧使用者介面
(31)‧‧‧搜尋指令介入欄位
(32)‧‧‧三維空間選取區
(33)‧‧‧檔案上傳欄位
(40)‧‧‧可視化介面
(50)‧‧‧果蠅三維神經影像資料庫
(51)‧‧‧遠端伺服器
(60)‧‧‧網路聯結

Claims (30)

  1. 一種建立資料庫的方法,包含下列步驟:(a)提供一種以上之三維網路模組影像;(b)將(a)產生之影像經由一標準化座標進行對位校正處理;及(c)將(b)的結果影像中的累積之影像強度值大於自定義之門檻值的點座標資訊存入一電腦可讀取之記錄媒體,並建立資料庫,其中該資料庫包含該三維網路模組影像及利用路徑追蹤演算法(tracing algorithm)簡化該三維網路模組影像所獲得的樹枝狀結構資料。
  2. 根據申請專利範圍第1項所述之方法,其中該三維網路模組影像為神經影像。
  3. 根據申請專利範圍第1項所述之方法,其中該路徑追蹤演算法(tracing algorithm)係指在神經影像中選取任兩點,根據此兩點間的神經影像外型輪廓,算出其曲線長度s,代入如下的公式中:其中E(C)代表估計追蹤路徑的總能量,α、β、γ是正實數的常數,C(s)代表神經影像的輪廓曲線,Ω=[0,L]其中L是輪廓曲線的長度;P(C(s))代表選取最理想圖形的能量方程式,其適用 區域係依據神經影像的亮度決定。
  4. 根據申請專利範圍第2項所述之方法,其中該神經影像係由生物顯微影像製造裝置提供。
  5. 根據申請專利範圍第4項所述之方法,其中該生物顯微影像製造裝置係包含帶電粒子掃描顯微鏡、雷射掃描或共軛焦顯微鏡或螢光顯微鏡。
  6. 根據申請專利範圍第2項所述之方法,其中該神經影像包含至少一個完整的神經元(neuron)或部份完整的神經。
  7. 根據申請專利範圍第6項所述之方法,其中該完整的神經元係包含神經細胞本體(soma)、神經軸突(axon)或神經樹突(dendrite)。
  8. 根據申請專利範圍第2項所述之方法,其中該神經影像的來源為不同年齡大小的公(male)果蠅或母(female)果蠅。
  9. 根據申請專利範圍第1項所述之方法,其中該校正處理係將不同來源之神經影像以標準化座標進行對位校正。
  10. 根據申請專利範圍第1項所述之方法,其中該資料庫係包含三維果蠅腦神經影像資訊及其檔案和果蠅腦神經資訊、計算結果和其記錄及其檔案。
  11. 根據申請專利範圍第10項所述之方法,其中該果蠅神經影像資 訊和果蠅腦神經資訊、計算結果及其記錄係以對應方式儲存。
  12. 根據申請專利範圍第11項所述之方法,其中該對應方式包含神經元名稱和所包含的空間點之對應,或某空間點上有哪些神經元通過的計算結果、記錄與空間點之對應。
  13. 根據申請專利範圍第1項所述之方法,其中該電腦可讀取之記錄媒體係包含磁性儲存裝置,光學儲存裝置或電性儲存裝置,此類儲存裝置可位於個人電腦或位於遠端經由傳輸裝置連接的系統上。
  14. 一種互動式搜尋三維空間網路資料庫的方法,包含下列步驟:(a)提供一種三維網路模組影像之資料庫,並建立互動式搜尋介面;(b)於搜尋介面上選取至少一空間區域或鍵入至少一搜尋字串,搜尋(a)資料庫對應搜尋條件的影像資訊;及(c)將(b)對應搜尋條件的影像資訊以文字,點陣或圖像方式呈現於可視化介面,其中該資料庫包含該三維網路模組影像及利用路徑追蹤演算法(tracing algorithm)簡化該三維網路模組影像所獲得的樹枝狀結構資料。
  15. 根據申請專利範圍第14項所述之方法,其中該資料庫係包含三維果蠅神經影像和果蠅神經影像空間資訊。
  16. 根據申請專利範圍第14項所述之方法,其中該搜尋介面係提供使用者至少一可視化介面至少一搜尋字串鍵入欄位。
  17. 根據申請專利範圍第16項所述之方法,其中該可視化介面係將影像以三維影像方式顯示,並將影像內容做任意角度的旋轉及縮小放大,以方便從不同角度觀察。
  18. 根據申請專利範圍第16項所述之方法,其中該可視化介面另將神經影像以半透明效果顯示,以呈現多個網路模組影像。
  19. 根據申請專利範圍第14項所述之方法,其中該搜尋介面係於使用者輸入搜尋指令時,自動辨認使用者指定之資料庫並搜尋資料。
  20. 根據申請專利範圍第14項所述之方法,其中該空間區域包含至少一立體矩形空間或至少一樹枝狀線路或將前兩者做布林運算組合之區域。
  21. 根據申請專利範圍第20項所述之方法,其中該線路的選取方法係指使用者於可視化介面選取至少一網路模組影像,並由此影像連接至少兩個網路模組影像所延伸之線路。
  22. 根據申請專利範圍第21項所述之方法,其中該網路模組影像係指神經影像。
  23. 根據申請專利範圍第14項所述之方法,其中該搜尋字串係包含 至少一目標神經元名稱或至少一神經影像來源或將以上字串以布林運算組合之搜尋指令。
  24. 根據申請專利範圍第14項所述之方法,其中該對應搜尋條件的影像資訊係為神經的名稱、神經影像之特性和三維神經影像。
  25. 根據申請專利範圍第24項所述之方法,其中該神經影像之特性包含神經影像的來源及單位空間神經末稍的密度。
  26. 根據申請專利範圍第25項所述之方法,其中該單位空間神經末梢的密度係以具灰階之點陣代表單位空間中神經突觸的密集程度,用以預測神經網路的匯聚中心。
  27. 根據申請專利範圍第14項所述之方法,其中該對應搜尋條件的影像資訊另包含通過選取線路的神經名稱、神經影像之特性和三維神經影像。
  28. 根據申請專利範圍第14項所述之方法,其另包含將對應搜尋條件的影像資訊再次搜尋該資料庫中相似影像資訊,並將結果顯示於搜尋介面。
  29. 根據申請專利範圍第28項所述之方法,其中該相似影像資訊係包含和原本對應搜尋條件之神經影像之來源相同或空間位置相近的神經影像空間資訊。
  30. 根據申請專利範圍第14項所述之方法,其中該可視化介面係包 含電腦螢幕、立體或非立體多媒體顯示器及接收投射自立體或非立體投影裝置之展示空間或平面。
TW098115595A 2009-05-11 2009-05-11 一種建構和搜尋三維影像資料庫之方法 TWI406181B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098115595A TWI406181B (zh) 2009-05-11 2009-05-11 一種建構和搜尋三維影像資料庫之方法
US12/690,424 US8520933B2 (en) 2009-05-11 2010-01-20 Method for searching and constructing 3D image database

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098115595A TWI406181B (zh) 2009-05-11 2009-05-11 一種建構和搜尋三維影像資料庫之方法

Publications (2)

Publication Number Publication Date
TW201040848A TW201040848A (en) 2010-11-16
TWI406181B true TWI406181B (zh) 2013-08-21

Family

ID=43062341

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098115595A TWI406181B (zh) 2009-05-11 2009-05-11 一種建構和搜尋三維影像資料庫之方法

Country Status (2)

Country Link
US (1) US8520933B2 (zh)
TW (1) TWI406181B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI626621B (zh) * 2016-07-12 2018-06-11 國立清華大學 以高動態範圍臨界值切割單一神經元影像的方法及其電腦可讀儲存媒體

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9103671B1 (en) 2007-11-29 2015-08-11 American Vehicular Sciences, LLC Mapping techniques using probe vehicles
JP2014527420A (ja) * 2011-06-29 2014-10-16 ザ・ジョンズ・ホプキンス・ユニバーシティ 3次元インターフェイス及びデータベースのためのシステム
US9086378B2 (en) * 2012-09-06 2015-07-21 Olympus Corporation Method of analyzing image of cell in laminated structure and method of evaluating laminated structure for corneal transplantation
WO2014165047A1 (en) 2013-03-12 2014-10-09 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona Acting For And On Behalf Of Arizona State University Dendritic structures and tags
US10810731B2 (en) 2014-11-07 2020-10-20 Arizona Board Of Regents On Behalf Of Arizona State University Information coding in dendritic structures and tags
CN106372721B (zh) * 2016-08-29 2018-08-21 中国传媒大学 大规模神经网络的3d可视化方法
US11607165B2 (en) 2016-11-15 2023-03-21 Cornell University Adaptive illumination apparatus, method, and applications
US11430233B2 (en) 2017-06-16 2022-08-30 Arizona Board Of Regents On Behalf Of Arizona State University Polarized scanning of dendritic identifiers
CN108573226B (zh) * 2018-04-08 2021-10-08 浙江大学 基于级联姿势回归的果蝇幼虫体节关键点定位方法
US11598015B2 (en) 2018-04-26 2023-03-07 Arizona Board Of Regents On Behalf Of Arizona State University Fabrication of dendritic structures and tags
JP7200605B2 (ja) * 2018-11-02 2023-01-10 富士フイルムビジネスイノベーション株式会社 三次元形状データの生成装置、三次元造形装置、及び三次元形状データの生成プログラム
US11593627B2 (en) 2019-12-31 2023-02-28 X Development Llc Artificial neural network architectures based on synaptic connectivity graphs
US11593617B2 (en) 2019-12-31 2023-02-28 X Development Llc Reservoir computing neural networks based on synaptic connectivity graphs
US11631000B2 (en) 2019-12-31 2023-04-18 X Development Llc Training artificial neural networks based on synaptic connectivity graphs
US11620487B2 (en) * 2019-12-31 2023-04-04 X Development Llc Neural architecture search based on synaptic connectivity graphs
US11568201B2 (en) * 2019-12-31 2023-01-31 X Development Llc Predicting neuron types based on synaptic connectivity graphs
US11625611B2 (en) 2019-12-31 2023-04-11 X Development Llc Training artificial neural networks based on synaptic connectivity graphs
US20220058230A1 (en) * 2020-08-19 2022-02-24 Marwan Hassan 3d search engine
CN112465127B (zh) * 2020-11-29 2024-05-28 西北工业大学 一种基于改进的生物启发神经网络的多智能体协同目标搜索方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200601086A (en) * 2004-06-17 2006-01-01 Bridgewell Inc Portable database search agent processing system
TW200638225A (en) * 2005-04-26 2006-11-01 Univ Nat Tsing Hua Bio-expression system and the method of the same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660437B2 (en) * 1992-05-05 2010-02-09 Automotive Technologies International, Inc. Neural network systems for vehicles
US6377833B1 (en) * 1999-01-25 2002-04-23 Douglas Albert System and method for computer input of dynamic mental information
US7054850B2 (en) * 2000-06-16 2006-05-30 Canon Kabushiki Kaisha Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements
US6472216B1 (en) * 2001-07-24 2002-10-29 Ann-Shyn Chiang Aqueous tissue clearing solution
JP4493408B2 (ja) * 2003-06-06 2010-06-30 富士フイルム株式会社 画像読影支援方法及び装置並びにプログラム
WO2005023086A2 (en) * 2003-08-25 2005-03-17 University Of North Carolina At Chapel Hill Systems, methods, and computer program products for analysis of vessel attributes for diagnosis, disease staging, and surgical planning
US7406187B2 (en) * 2004-02-23 2008-07-29 Canon Kabushiki Kaisha Method and system for processing an image
JP2007536644A (ja) * 2004-05-06 2007-12-13 ザ・レジェンツ・オブ・ザ・ユニバーシティ・オブ・カリフォルニア 画像を整列させ分類するための方法およびシステム
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
CA2642041C (en) * 2005-12-23 2014-07-15 Le Tan Thanh Tai Spatio-temporal pattern recognition using a spiking neural network and processing thereof on a portable and/or distributed computer
US20090140887A1 (en) * 2007-11-29 2009-06-04 Breed David S Mapping Techniques Using Probe Vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200601086A (en) * 2004-06-17 2006-01-01 Bridgewell Inc Portable database search agent processing system
TW200638225A (en) * 2005-04-26 2006-11-01 Univ Nat Tsing Hua Bio-expression system and the method of the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
江安世,從果蠅之小見生命之大,科學人,200706,P72-75。 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI626621B (zh) * 2016-07-12 2018-06-11 國立清華大學 以高動態範圍臨界值切割單一神經元影像的方法及其電腦可讀儲存媒體

Also Published As

Publication number Publication date
TW201040848A (en) 2010-11-16
US8520933B2 (en) 2013-08-27
US20100284585A1 (en) 2010-11-11

Similar Documents

Publication Publication Date Title
TWI406181B (zh) 一種建構和搜尋三維影像資料庫之方法
Bates et al. The natverse, a versatile toolbox for combining and analysing neuroanatomical data
Cardona et al. An integrated micro-and macroarchitectural analysis of the Drosophila brain by computer-assisted serial section electron microscopy
CN103207910B (zh) 基于分层特征和遗传规划相关反馈的图像检索方法
TWI460684B (zh) 三維影像資料處理方法
Cuntz et al. The morphological identity of insect dendrites
US20220036151A1 (en) System for Finding Shortest Pathway between Neurons in Neuronal Linkage Pathways
US20170372195A1 (en) System for Finding Shortest Pathway between Neurons in A Neural Network
Chung et al. Multiscale exploration of mouse brain microstructures using the knife-edge scanning microscope brain atlas
Lin et al. The Neuron Navigator: Exploring the information pathway through the neural maze
Mantovan et al. The computerization of archaeology: Survey on artificial intelligence techniques
Stern et al. Deconstructing gastrulation at single-cell resolution
Marx Charting the brain's networks
CN108986210A (zh) 三维场景重建的方法和设备
Kitano et al. The perfect C. elegans project: an initial report
TWI291630B (en) Bio-expression system and the method of the same
Pereanu et al. Digital three-dimensional models of Drosophila development
CN114549516B (zh) 一种应用于多种类高密度极小虫体行为学的智能分析***
CN115346055A (zh) 一种基于多核宽度图神经网络特征提取与分类方法
US7742878B2 (en) Bio-expression system and the method of the same
US20140114894A1 (en) Method for Finding Shortest Pathway between Neurons in A Neural Network
Torben-Nielsen et al. Evol-neuron: Neuronal morphology generation
US8315809B2 (en) Bio-expression system with module for creating the standard Drosophila brain model and its coordinate system
Chang et al. Deep learning method to classification Human Protein Atlas
Teo et al. An automated 3D modeling pipeline for constructing 3D models of MONOGENEAN HARDPART using machine learning techniques