Jame’sReading07-25

來(lái)源：懂視網(wǎng) 責(zé)編：小采時(shí)間：2020-11-09 13:11:22

Jame’sReading07-25

JamesReading07-25:論文類(lèi)的閱讀與分析 http://t.cn/zHFP5Yj 云存儲(chǔ)環(huán)境下的低成本虛擬機(jī)數(shù)據(jù)去重，Hong Tang與其在Ask.tom的前同事現(xiàn)伯克利圣芭芭拉分校的Tao Yang合作撰寫(xiě)的論文，對(duì)于在云環(huán)境下的備份方式（Sharding Meta 信息），先計(jì)算指紋再去重，雖然整體算法上的改

推薦度：

點(diǎn)擊下載本文 文檔為doc格式

導(dǎo)讀JamesReading07-25:論文類(lèi)的閱讀與分析 http://t.cn/zHFP5Yj 云存儲(chǔ)環(huán)境下的低成本虛擬機(jī)數(shù)據(jù)去重，Hong Tang與其在Ask.tom的前同事現(xiàn)伯克利圣芭芭拉分校的Tao Yang合作撰寫(xiě)的論文，對(duì)于在云環(huán)境下的備份方式（Sharding Meta 信息），先計(jì)算指紋再去重，雖然整體算法上的改

論文類(lèi)的閱讀與分析 http://t.cn/zHFP5Yj 云存儲(chǔ)環(huán)境下的低成本虛擬機(jī)數(shù)據(jù)去重，Hong Tang與其在Ask.tom的前同事現(xiàn)伯克利圣芭芭拉分校的Tao Yang合作撰寫(xiě)的論文，對(duì)于在云環(huán)境下的備份方式（Sharding Meta 信息），先計(jì)算指紋再去重，雖然整體算法上的改進(jìn)不

論文類(lèi)的閱讀與分析

http://t.cn/zHFP5Yj 云存儲(chǔ)環(huán)境下的低成本虛擬機(jī)數(shù)據(jù)去重，Hong Tang與其在Ask.tom的前同事現(xiàn)伯克利圣芭芭拉分校的Tao Yang合作撰寫(xiě)的論文，對(duì)于在云環(huán)境下的備份方式（Sharding Meta 信息），先計(jì)算指紋再去重，雖然整體算法上的改進(jìn)不大，不過(guò)由于拆分＋并行處理，總體的效率與開(kāi)銷(xiāo)還不錯(cuò)。

http://t.cn/zHF7hqo Facebook推出的修正版RS code來(lái)緩解傳統(tǒng)的RS code恢復(fù)導(dǎo)致的網(wǎng)絡(luò)帶寬問(wèn)題，在基本的10+4的RS code模式下，他們平均每天會(huì)消耗180TB的網(wǎng)絡(luò)帶寬用于進(jìn)行數(shù)據(jù)恢復(fù)，使用新的修正版RS code從理論上可以降低30%左右的網(wǎng)絡(luò)帶寬需求，主要思路為計(jì)算校驗(yàn)碼時(shí)附帶一份上一個(gè)條帶的數(shù)據(jù)。

http://t.cn/zQZCowQ Murat Demirbas對(duì)Google Spanner Paper的解讀(博客中有大量經(jīng)典論文的解讀), 重點(diǎn)解讀了這篇論文章TrueTime API的實(shí)現(xiàn)與作用, 實(shí)現(xiàn): 依賴于原子鐘, 通過(guò)比較Paxos以及2PC Prepare的時(shí)間戳來(lái)獲得Snapshot Time,作用: 簡(jiǎn)化Snapshot Read時(shí)的設(shè)計(jì),實(shí)現(xiàn)類(lèi)似于Oracle閃回Time->SCN.

http://t.cn/zHFKAKr Velocity 2013 上幾個(gè)不錯(cuò)的主題推薦, 除前幾天已經(jīng)發(fā)在微薄的部分內(nèi)容,還有Performance Methodologies for Production Systems (Brendan Gregg),Quantifying Abnormal Behavior(Baron Schwartz), A Systematic Approach to Capacity Planning in the Real World (Twitter)

統(tǒng)計(jì)與監(jiān)控的分析

http://t.cn/zQZNFxc Baron Schwartz的新公司博客, 解釋統(tǒng)計(jì)過(guò)程控制的4個(gè)基本規(guī)則,1.有指標(biāo)超出3個(gè)標(biāo)準(zhǔn)差的范圍,2.連續(xù)3個(gè)點(diǎn)中的2個(gè)在2-3個(gè)標(biāo)準(zhǔn)差之間,3.連續(xù)5個(gè)點(diǎn)中的4個(gè)在2個(gè)標(biāo)準(zhǔn)差之外,4.連續(xù)9個(gè)點(diǎn)在平均數(shù)的一側(cè). Etsy的Skyline(http://t.cn/zQZNFxV與oculus參考了統(tǒng)計(jì)過(guò)程控制的方法論.

http://t.cn/zQqS4OT 為什么平均數(shù)不好使, 而百分位(percentile)卻很好用. 在圖中同時(shí)顯示avg/min/max的圖表, 沒(méi)有顯示50%,75%,90%等幾個(gè)百分位的延時(shí)信息的圖表, 后者可以顯著的提高分析/定位問(wèn)題的效率.

產(chǎn)品以及系統(tǒng)的設(shè)計(jì)使用.

http://t.cn/zQZCDkp Lars Hofhansl 介紹HDFS(HBase同)的一個(gè)設(shè)計(jì)缺陷, 在極端情況下,當(dāng)機(jī)房突然掉電時(shí), HBase不僅可能丟失最新更新的數(shù)據(jù), 如果剛好又在做Compact,也可能丟失較早之前更新的數(shù)據(jù),此文中給出了他們的解決辦法,通過(guò)調(diào)整參數(shù)dfs.datanode.sync.behind.writes和dfs.datanode.synconclose

http://t.cn/zQZpWtF Oracle NoSQL database的訪談. 重點(diǎn)討論了它的Major/Minor Key的設(shè)計(jì)(個(gè)人比較喜歡此設(shè)計(jì),非常接近于DB Sharding);Master/Slave的Replication設(shè)計(jì),通過(guò)Paxos以及簡(jiǎn)單多數(shù)仲裁來(lái)確保寫(xiě)一致性;對(duì)avro序列化的支持(更好的Json集成);支持簡(jiǎn)單轉(zhuǎn)換后成為Oracle的外部表,便于數(shù)據(jù)互通.

http://t.cn/zQZWRaz 獲得安靜(沒(méi)有輸出)的Slow Query log在擴(kuò)展性上就比較happy了. 作者的想法其實(shí)很簡(jiǎn)單, 大部分?jǐn)U展性問(wèn)題, 都是來(lái)自數(shù)據(jù)庫(kù)的Query效率不夠, 尤其是Query的索引設(shè)計(jì)不合理. 通過(guò)較好的SQL設(shè)計(jì), 較好的索引設(shè)計(jì), 大部分公司的Scalability都可解決. 還有一小部分,需要再配合Sharding

對(duì)于技術(shù)的理解與方法論介紹

http://t.cn/zQbKq2g 從Brendan Gregg角度看,成為專(zhuān)家的一些基本原則:1. 嚴(yán)謹(jǐn),2.世上無(wú)難事,不過(guò)從時(shí)間上看,有代價(jià),3.使用科學(xué)方法,并注意其假設(shè),4.不要(輕易)信任任何事情,尤其是壓測(cè),OS的指標(biāo)也會(huì)撒謊,5.注意known knowns, known unknowns, and unknown unknowns的事情分類(lèi).

http://t.cn/zQbOYj8 Lessons from Building and Scaling LinkedIn By Jay Kreps . 很多經(jīng)驗(yàn)都比較有參考意義. 1. Scale 系統(tǒng)大部分都與Scale State(或存儲(chǔ)State的數(shù)據(jù)庫(kù))有關(guān)系,2. 如何Scale內(nèi)部的開(kāi)發(fā)能力, 3. 如何Scale 系統(tǒng)的規(guī)模, 4. 如何管理Large scale的SOA化的服務(wù)(Service).

http://t.cn/zQ55h2U Theo認(rèn)為當(dāng)Scale Up是可行的時(shí)候(滿足未來(lái)1-2年的需求), 就不應(yīng)該做Scale out.如果你的系統(tǒng)/項(xiàng)目的增長(zhǎng)率低于摩爾定律, 應(yīng)該始終考慮使用更大的機(jī)器(更好的廉價(jià)PC)來(lái)滿足需求. Scale out需要耗費(fèi)大量的工程師資源來(lái)解決基礎(chǔ)設(shè)施的問(wèn)題, 而工程師資源應(yīng)該用在更高效的地方.

To be truly excellent,one must treat it as a craft.one must become a craftsman.through experience learn discipline. and through practice achieve excellence. By Theo. 《A Career in Web Operation》
step 1,educate yourself,step 2,be disciplined,step 3,learn from & share with your peers,step 4,be patient.experience takes time(and mistakes). Everyone in your organization needs Operational Mentality.operations is a state of mind it is a state of being it is a mentality.

http://t.cn/zQZYxn5 If you want to get the factor 50 speed-up of SSDs, you’d better avoid reading large chunks of sequential data, because that’s where you can only gain a factor five improvement. 非常有洞見(jiàn)的一句話.

社科類(lèi)

http://t.cn/zHs11Jl 【周其仁】還是沒(méi)有“公平”，因?yàn)檫€有將來(lái)增加的人口。無(wú)論未來(lái)新生的，還是下嫁到下?tīng)I(yíng)村的人口，因?yàn)闆](méi)參與此次財(cái)富分配的存量，一定會(huì)引起未來(lái)村民家庭之間財(cái)富的不均等。那就等著吧，為了未來(lái)的“起點(diǎn)公平”，人們只好在永無(wú)寧日的沖突中，等待著誕生永恒公平的土地制度。

http://t.cn/zjz0p4F “特定的社會(huì)結(jié)構(gòu)決定了一套陳述是否為謊言或知識(shí)。換句話說(shuō)，知識(shí)不是客觀的，它首先依賴于它所在社會(huì)的權(quán)力結(jié)構(gòu)，這樣的權(quán)力結(jié)構(gòu)” . “費(fèi)孝通命題”，大意就是：你有什么樣的社會(huì)結(jié)構(gòu)，你就積累什么樣的知識(shí)結(jié)構(gòu)。【汪丁丁：謊言與知識(shí) 自由是整體之事】

社科書(shū)籍推薦

丹.艾瑞里《不誠(chéng)實(shí)的誠(chéng)實(shí)真相》從行為學(xué)的角度分析, 人類(lèi)為什么會(huì)不誠(chéng)實(shí), 在哪些場(chǎng)景下會(huì)不誠(chéng)實(shí), 如何通過(guò)規(guī)則的控制來(lái)降低人的不誠(chéng)實(shí)程度.

賈森·弗里德《重來(lái)》37Signals的創(chuàng)始人介紹如何通過(guò)簡(jiǎn)單的思維來(lái)做系統(tǒng)的開(kāi)發(fā)與處理，深入的內(nèi)容，可以參考 @左耳朵耗子的相關(guān)博客文章.

羅爾夫·多貝里《清醒思考的藝術(shù)》書(shū)中列舉了52個(gè)人類(lèi)常犯錯(cuò)誤的思維陷阱，也即人類(lèi)在認(rèn)知上的一些缺陷，多讀讀有助于修正自己的思維缺陷。