above feelings

今天託老師的福 有機會聽中研院孔祥重院士的演講
題目是關於雲端運算的挑戰 大多拿google當例子
雖然我聽完還是不太懂雲端確切的定義是啥(院士根本沒講XD)
同樣是分散式運算的概念
實際要處理的問題跟grid computing卻有很大的差異
我自己解讀就像資本主義和共產主義的對應

1.節能
user看似便宜(gmail的免費8G)的服務
其實消耗了非常多的社會成本(水、電、排熱、排CO2)
目前政府睜隻眼閉隻眼 但等某天要處理時就麻煩大了
單一server的些許浪費累積到data center的規模是相當恐怖的
院士提到是server的load跟power consumption不成比例
(100%load用400w , 5%load就得用320w)
目前作法是零散的工作儘量塞到一起 維持working server 近100% load
但這牴觸了後面的locality

另外目前大容量低成本的storage唯一選擇是hd 但hd的損壞率太高
為了維持可靠度 用raid+log放了很多redundency
大家都認為ssd應該可以有效降低這方面的耗能 但實際的數據從未發表
而且ssd除了成本高 他的壽命和連續讀寫速率都還需改進

2.locality
這是很多層面的 除了地域性的data center分佈有locality
為了降低整個model的複雜度 以平行處理取代階層式的分配
data center中各個cab、rack或server彼此在computing能力上是相等的
google另外有一套mastering system在做loading assignment
當然這個mastering system是整個data center處理能力的bottle neck之一
然後很直觀的 同一件或相關的工作
必須儘量在同一server或鄰近的rack、cab做運算和儲存 避免搬來搬去拖慢速度
所以data和computing也是有locality

以增快速度為前提 面對未來未知的work要維持locality
現有的work應該有效率地做均勻的分配(google已經考慮要導入DHT的技術)
但前面提過 均勻分布是會增加整體功耗的
孔院士目前在哈佛就是研究能否以wireless broadcast的方式
簡化server間的溝通程序進而cost down

3.跟我比較相關的網路
這部分是一般人比較有迷思的 user會覺得雲端必須建構在"高速"的終端網路上
其實正確的說 雲端必須建構在"一定速率"(and delay)的終端網路上
端視使用者需要的服務而定 人的感官敏銳度有其極限 所以那個速率需求是有限的

從user的角度 以資料量來看
雲端適合處理input&output data size小 而processing load大的工作
以資料性質來看
雲端適合處理 高保存價值但低隱私性 且希望隨處皆可進行的工作
即便在終端網路速率低的環境 只要有上述的工作需求 雲端就有存在的價值

所以這裡網路的挑戰指的是data center裡server之間的networking
計網老師也提過 目前光纖網路用量最大的就是google
因為data center裡處理的 正是終端user丟上來那些超大processing load的工作
即便有再高的locality 終究還是有networking的需求
這也是雲端運算存在的價值(不然少少幾台server就搞定啦幹嘛搞得這麼複雜)
所以networking的capacity就成了整個系統另一個bottle neck
這裡的需求是沒有極限的 速率越高就能承載越多的server

單純的傳輸、處理、儲存速率都可以經由多工程序去拉高
但要怎麼作控制才是麻煩的問題 特別是網路的部分
還跟不上multi-processor、raid的效率
這一塊目前文獻很少 院士覺得google是被cisco掐著脖子

更具體一點講 以實體距離來看data center內部應該是local area network
但server的數量超過了LAN的極限 必須以WAN的架構去實現LAN的速率
也就是以往layer3和layer4的工作必須在layer2完成
要讓layer2完成這些工作 得使用到layer3和layer4的技術 形成所謂virtual layer2
院士覺得這裡滿容易confuse的 簡單說就是要把WAN弄成LAN來傳

Q&A時間 交大的教授們比較注重user interface這邊
有請院士開示browser和virtualize service
不過我覺得院士興趣在server那邊 回答都滿簡略的orz
另外資策會問到network addressing的問題
院士的回答令人感到意外
因為server本身computing能力都是同等級的
google用的addressing是沒有hierarchical的(不像IP 比較像網路卡號)
這樣要怎麼達到locality 我也覺得滿詭異的
但google實際這樣用就是效率比較高 讓sun傻眼
所以最後院士要我們拋開舊有的思維 好好面對現實吧~
雲端未來不會只有像google這樣的大公司才用得到
更深遠會引導到服務超越製造的價值觀
就像food產業價值會從農夫轉到通路、餐廳一樣
對整個IT產業是有重大影響的

以上都是憑印象寫的 可能有誤解院士的意思
我跟雲端也不熟 觀念有錯歡迎指正