XtremLab

來自中國分布式計算總站
跳轉至: 導航搜索
XtremLab
XtremLab logo
XtremLab logo
無屏保圖形
無屏保圖形
開發者 Laboratoire de Recherche
en Informatique of the
University of Paris-Sud
版本歷史 2005年9月
計算程序 Windows
子項目
項目平臺 BOINC 平臺
項目類別 網絡類
項目狀態 已結束
官方網址 XtremLab
項目文獻 分類:XtremLab 相關文獻
http://xw01.lri.fr:4320/rss_main.php 通過 RSS 獲取項目新聞

XtremLab 是一個使用BOINC平臺的項目。與其他使用分布式計算的項目相反,這個項目是研究分布式計算自身,研究分布式計算的實際性能,并且嘗試整合多種分布式計算的技術來提升其他所有采用分布式計算技術的項目。

項目已于2007年10月11日停止,不再收集新的數據。在一年半時間內監測了32000個節點,收集和分析了超過17百萬的結果。所有用戶的信息仍被保留,項目將可能在未來恢復并使用新版本程序。

簡介

桌面網格(DG)系統使用眾多志愿者桌面電腦的閑置計算能力來支持大規模計算與儲存。在過去的的十數年中,桌面網格系統已經發展成為最大、最強的分布式計算系統,它以遠遠少于超級計算機的成本提供了海量的計算能力。參加桌面網格項目的志愿者電腦互有差異,提供的算力也不穩定,我們也沒有關于這種不穩定性和差異性的詳細信息。然而,這些信息對于此類系統的模擬和組建至關重要。本項目的短期目標是弄清楚桌面網格的總體情況,長期目標是創造一個網絡與分布式計算的實驗平臺。為此,我們開發了基于BOINC平臺的項目XtremLab,用以主動測量志愿者桌面電腦CPU與網絡通訊能力。該項目總結出的結果與特性會在分布式計算、點對點計算以及錯誤控制等廣泛的研究領域中發揮作用。我們的長期目標是創造一個網絡與分布式計算的實驗平臺。我們相信,最終本項目的結果將有助于擴大桌面網格系統的使用范圍,促進各個科學領域產生新的發現。


背景

自20世紀90年代末起,桌面網格系統,比如[email protected],已經發展成為世界上最大、最強的分布式計算系統,以定制超級計算機的成本的零頭提供了充裕的計算能力。各個科學領域涌現的諸多應用——包括生物學計算、氣候預測、粒子物理學、天文學——都使用了桌面網格系統提供的計算能力。桌面網格系統允許這些應用大規模運行,帶來了許多原本不可能實現的重大科學發現。

維持桌面網格系統運行的計算資源由志愿者們的計算機提供,因為提供這些資源是志愿提供的的,我們必須確保桌面網格任務不會妨礙每一個計算機所有者的活動;桌面網格任務會在計算機忙碌時暫停或終止。這就造成了桌面網格的不穩定性,因為許多因素都可以導致桌面網格應用的任務無法完成。這些因素包括使用鍵盤和鼠標、使用其他應用、重啟計算機、硬件錯誤。此外,桌面網格計算資源有差異性——不同的操作系統、CPU速度、網絡帶寬、內存與硬盤大小等等。這最終對整個系統的設計及其應用的運行而言是一項嚴峻的挑戰。

目標

XtremLab的長期整體目標是創造一個網絡與分布式計算的實驗平臺。這個實驗平臺將會允許空前規模的計算試驗(即數千個節點或者更多)并且非常準確(就是在網絡的“另一邊”的節點)。

最近,XtremLab的短期目標是通過測量大量電腦的網絡通訊與CPU的可用性以推算網絡計算資源分布情況。當桌面網格系統由不穩定并且互有差異的計算機組成時,我們不知道這些計算機提供的資源到底有多么的不穩定,也不知道差異到底有多大。之前我們在網絡上進行的計算資源研究并沒有統計鼠標與鍵盤的活動、使用其他應用和重啟計算機等因素。而且,之前這些研究只是粗略的匯總統計,比如計算資源計算錯誤的平均時間。我們需要要大量志愿者計算機的詳細特點以推斷出各種類型的應用是如何使用桌面網格系統的,因為許多桌面網格的應用需要通過模擬——即受控制的可重復實驗——獲得計算結果,這些特點就是模擬和組建桌面網格系統及其應用的先決條件。

舉例來說,有一個應用直接測量BOINC志愿者計算機的CPU調度情況,這樣服務器軟件就能根據情況的不同對各個BOINC客戶端發放適合的分布式工作包。我們計劃模擬BOINC對CPU的調度情況并進行調查記錄(trace-driven),找出改進辦法,保證每一個新的CPU在廣泛使用前都能接受我們的測試。

我們為BOINC桌面網格系統的計算密集型任務提供了適合測量方式,這些任務接受BOINC客戶端的控制,根據用戶的設置僅在計算機空閑的時候運行。這些任務會持續運行并定期記錄任務的完成度,產生的統計結果隨后被我們收集、統計并整理出每個志愿者計算機的CPU情況與每個任務完成時間。我們會盡力保護志愿者的隱私。我們簡易的主動追蹤法可以辨別用來完成計算密集型任務的計算機資源是哪些。與其他被動測量手段相比,我們的辦法不易受操作系統特質(計算調度)、計算機負載和其他應用程序的影響,也不會記錄鼠標與鍵盤的活動。

影響

XtremLab的研究結果對研究分布式計算與其他領域有諸多助益。首先,跟蹤數據會使桌面網格系統的模擬和建立更加精確。舉例來說,跟蹤的結果可以直接驅動模擬試驗或者創建可用計算機資源的宏觀模型,進而可以被模擬器用于探索各種可能存在的情況。

其次,這些結果可以用來評估各種應用對計算機資源的使用情況。最近,能夠有效利用桌面網格系統所提供的計算機資源的應用只有獨立的松散耦合的應用;計算機資源的不穩定性和差異性使得運行互相關聯的、有復雜任務的緊密耦合應用非常困難。有了XtremLab的跟蹤信息,我們可以找出某些應用使用桌面網格資源的效率瓶頸,并建議對這些瓶頸展開新的研究。

此外,我們相信我們的研究對于其他計算機科學的分支領域——錯誤控制、點對點計算、網格計算等——有一些幫助。舉例來說,錯誤控制研究方面有一個問題是計算機資源當機的頻繁程度與原因,我們會收集計算機資源錯誤的數據并對外公開這些數據,這對錯誤控制研究很有幫助。

最后,我們相信XtremLab項目的研究結果能夠提高桌面網格系統中各種應用的性能,拓展桌面網格的使用范圍。近期,只有一個發布獨立的計算密集型任務的應用能夠高效的使用桌面網格系統。我們希望近期獲得的數據能幫助我們建立一套廣泛適用評估技術,例如用于評估那些緊密聯系、緊密耦合的任務。

過去的工作

我們過去進行了一系列的相關研究工作。首先,我們在加利福尼亞州大學-圣克魯斯分校(University of California at SanDiego)和巴黎第十一大學(University of Paris-Sud)測量幾個桌面網格系統并賦予特性,獲得了那些系統中數百臺桌面電腦的共工作數據。通過匯總這些特性我們可以建立一個模型,用來表示桌面網格系統下各個應用是如何工作的,令桌面網格系統更有效的制定任務。其他人也可以使用我們收集數據的辦法,我們建立了一個聯網的桌面網格系統的公共資料庫。這個資料庫有一個缺點,就是沒有為整個桌面網格系統做出顯著貢獻的家用臺式電腦的數據。

XtremLab 小組

XtremLab的成員隸屬于巴黎第十一大學的計算機科學實驗室(Laboratoirede Recherche en Informatique,LRI)。特別的,Paul Malecot先生是一個對分布式計算、平行計算有濃厚興趣的在校碩士研究生,是XtremLab的主要開發人員。Derrick Kondo 博士和Gilles Fedak博士是該項目的學術顧問。Derrick Kondo博士是法國國家信息與自動化研究所(Institut National de Recherche en Informatique et en Automatique,INRIA)的博士后,他對大規模分布式系統的模擬和建設很感興趣。Gilles Fedak 博士是法國國家信息與自動化研究所的研究員,對分布式系統的設計與運行有興趣。Franck Cappello教授是計算機中心和本項目的主管。

XtremLab 項目由法國國家信息與自動化研究所提供資金支持,該組織是法國進行計算機科學研究的非盈利組織。

Boinc Icon.png伯克利開放式網絡計算平臺BOINC
· ·
生命科學類項目 Computational Structural Biology · [email protected] · GPUGRID · Malariacontrol.net · [email protected] (Alpha內測項目)· RNA World · [email protected] · The Lattice Project
地球科學類項目 Climateprediction.net · Quake-Catcher Network Seismic Monitoring
人工智能類項目 [email protected]
天文學項目 Astropulse · [email protected] · [email protected] · [email protected] · [email protected]/AstroPulse Beta (Beta公測項目)· [email protected]
物理化學類項目 [email protected] · [email protected] · Leiden Classical · [email protected] · [email protected]
數學類項目 Collatz Conjecture · [email protected] · primaboinca · PrimeGrid · SZTAKI Desktop Grid · WEP-M+2 Project
密碼類項目 [email protected] · Moo! Wrapper
藝術類項目 BURP
多種應用的項目 [email protected] · World Community Grid · [email protected]
與 BOINC 平臺相關的項目 BOINC Alpha Test · [email protected] · [email protected]
已結束/暫停/合并的項目 [email protected] · AlmereGrid Boinc Grid · [email protected] · [email protected] · BBC Climate Change Experiment · Biochemical Library · [email protected] · [email protected] · [email protected] · CPDN Beta · DepSpid · DistrRTgen · [email protected] · [email protected] · [email protected] · [email protected] · DynaPing · [email protected] · eOn: Long timescale dynamics · [email protected] · Eternity2.fr · [email protected] · Goldbach's Conjecture Project · Ibercivis · [email protected] · [email protected] · [email protected] · MilestoneRSA · [email protected] · [email protected] · NQueens Project · [email protected] · Open Rendering Environment · [email protected] · PicEvolvr.com] · [email protected] · QuantumFIRE alpha · [email protected] ·RamseyX · Rectilinear Crossing Number · Renderfarm.fi · RSA Lattice Siever (2.0) · Seasonal Attribution Project · SHA-1 Collision Search Graz · SIMAP · [email protected] · [email protected] · [email protected] · [email protected] · TANPAKU · Virtual Prairie · Virus Respiratorio Sincitial · XtremLab · Zivis
BOINC 相關的工具 BOINCstats BAM! · BOINC Translation Services · BOINC TThrottle