計算機網(wǎng)絡技術個人總結

計算機網(wǎng)絡技術個人總結

通過本次項目的研究與實踐，認識到了理論指計算機網(wǎng)絡工程這門學科學習上的重要性，也了解到了知識不是孤立的一點兒，或者一部分，它都有一定的知識架構和知識體系，本次網(wǎng)絡工程課中的很多知識都是基于計算機網(wǎng)絡原理，計算機組成原理的，如果沒有前導課作為基礎，對本門課程的掌握就難上加難了。這次項目的研究，使得所學的專業(yè)知識得到了統(tǒng)一化的理解。
由于對程序這塊基礎不夠扎實，我主要就對理論知識進行了深層次的學習�？戳宋墨I MapReduce模型在Hadoop平臺下實現(xiàn)作業(yè)調度算法的研究與改進。本文首先簡要介紹了云計算的定義，特點和應用場景；然后對云計算的最廣泛運用的開源平臺Hadoop的關鍵技術-MapRe
……（新文秘網(wǎng)http://jey722.cn省略497字，正式會員可完整閱讀）……　
s)來組織作業(yè)，并把資源公平的分到這些資源池里。默認情況下，每一個用戶擁有一個獨立的資源池，以使每個用戶都能獲得一份等同的集群資源而不管他們提交了多少作業(yè)。按用戶的Uni*群組或作業(yè)配置屬性來設置作業(yè)的資源池也是可以的。在每一個資源池內，會使用公平共享的方法在運行作業(yè)之間共享容量(capacity)。也可以給予資源池相應的權重，以不按比例的方式共享集群。除了提供公平共享方法外，公平調度器允許賦給資源池保證最小共享資源，這個用在確保特定用戶、群組或生產(chǎn)應用程序總能獲取到足夠的資源時是很有用的。當一個資源池包含作業(yè)時，它至少能獲取到它的最小共享資源，但是當資源池不完全需要它所擁有的保證共享資源時，額外的部分會在其它資源池間進行切分。
相關算法的了解，僅限于數(shù)學角度的對知識的理解。這里主要有：權重計算及更新權值、更新最小共享額、更新公平共享額算法。
1、作業(yè)權重計算
(1)默認情況下，權重是基于作業(yè)優(yōu)先權的，但也可以基于作業(yè)的大小和年 齡。權重的計算方法如下：
JobWeight=
(2)根據(jù)優(yōu)先權計算權重：jobWeight =jobWeight*priorityFactor
(3)根據(jù)用戶自定義的weightAdjusteI’類調整權重
(4) 更新權重每個已經(jīng)運行的作業(yè)權重更新公式：jobWeight=jobWeight
2、更新作業(yè)的最小共享額
在每個pool中，將其擁有的Slot按作業(yè)的權重分配給各個作業(yè)(由步驟(1)完成)，分完之后將剩余的Slot按作業(yè)的權重和缺額分配給仍需slot的作業(yè)(由步驟(2)和(3)完成)，如果還有S10t剩余，則將這些slot共享給其他Pool。
初始化:
當前所有作業(yè)的最小共享額置零；poo1的minMapS數(shù)或者minReduees數(shù)由用戶在配置文件中設定。重復以下幾步，直到slotsLeft=0：
(1)計算每個作業(yè)的最小共享額：jobinfo.minMaps或jobinfo.minReduCeS
首先計算該作業(yè)可獲得的共享值：min Slots=
根據(jù)當前pool的剩余slot數(shù)，調整該共享值；
slotToGive=min｛main｛slots，runnableNum-curMin｝，min slots｝，將slotsToGive作為最小共享額賦予相應的作業(yè)，修改值為值減去slotsToGive。
如果此輪循環(huán)中，SlotSLeft值未變，即沒有51。t分給任何作業(yè)，則將剩余的Slot共享給pool中所有作業(yè)，即，執(zhí)行(2 ……（未完，全文共2193字，當前僅顯示1394字，請閱讀下面提示信息。收藏《計算機網(wǎng)絡技術個人總結》）