第246章 數據中心定乾坤
飛信和微信打得難解難分,用戶量雙雙破億,可趙明每天都活在伺服器崩潰的恐懼中。
後台監控系統的告警聲從早響到晚,CPU使用率常常衝到百分之九十以上,內存永遠不夠用,磁碟讀寫慢得像老牛拉車。
這天,飛信的存儲集群又滿了,新用戶註冊失敗,老用戶發不出消息。
趙明在機房裡蹲了一個多小時,手工遷移數據,釋放空間,才把服務恢復。
他坐在地板上,看著那一排排閃著綠色指示燈的伺服器機櫃,心裡冒出一個念頭——這樣下去不是辦法。
第二天一早,他把問題帶到了程遠的辦公桌上。
「程總,飛信的伺服器又滿了,這已經是這個月第四次了。
按照現在的增長速度,我們每三個月就要翻一倍伺服器。
機房放不下了,電也快不夠用了,機房裡的空調全速運轉,溫度還是壓不住。」
程遠皺著眉頭,沒有說話。
趙明繼續說:「不只是飛信,長青視頻和長青商城也需要大量的伺服器。
我們現在東一台西一台,每個項目組自己管自己的機器,資源利用率不到百分之三十。
有的伺服器CPU跑滿了,旁邊的伺服器閒著。
這是浪費,也是風險。」
程遠站起來,走到白板前,畫了一個大大的問號。
「你的意思是,我們需要一個統一的數據中心?
把所有的伺服器集中起來,統一管理,統一調度?」
趙明點了點頭:「對,不只是集中,是要建一個真正的數據中心,高密度、高可靠、可擴展。不是把伺服器堆在機房裡就叫數據中心,那叫倉庫。」
程遠沉默了良久,然後拿起電話撥通了陸長青的號碼。
「老闆,我們需要建一個數據中心。」
電話那頭安靜了兩秒,然後傳來陸長青的聲音:「來我辦公室,仔細說。」
長青大廈的頂樓,陸長青,坐在椅子,程遠和趙明坐在對面,把飛信和其他業務線的伺服器困境一五一十地講了一遍。
【寫到這裡我希望讀者記一下我們域名 TW 看書網解書荒,𝔰𝔥𝔲.𝔱𝔴超實用 】
數據量在爆炸,伺服器在膨脹,機房在飽和,電費在飆升,運維成本在翻倍。
按照現在的節奏,三年之內,光伺服器的電費就能吃掉長青手機一半的利潤。
陸長青聽完之後,沒有立刻回答,低下頭在筆記本上寫了幾個字。
寫完抬起頭,看著趙明。
「趙明,你心裡有沒有一個大概的方案?」
趙明從包里掏出一份自己畫的草圖,鋪在桌上。
「陸先生,我這些天想了一下,數據中心不能是簡單的伺服器堆砌,必須是一個完整的系統。
我把這個系統分成六塊——計算、存儲、網絡、供電、製冷、管理。
這六塊缺一不可,哪一塊是短板,整個數據中心就是廢鐵。」
陸長青把草圖拉過來,一頁一頁地翻,翻完之後看著趙明:「你說說,每一塊打算怎麼做?」
趙明深吸了一口氣,指著草圖上的第一塊。
「計算是數據中心的心臟,我們不能再像現在這樣一台一台地買伺服器,每台伺服器只跑一個作業系統,資源利用率太低。
我的方案是引入虛擬化技術——在一台物理伺服器上跑多個虛擬機,每個虛擬機互相隔離,可以跑不同的任務。
這樣一台物理機能當好幾台用,資源利用率能從現在的百分之三十提升到百分之七十以上。」
陸長青問了一句:「虛擬化成熟嗎?」
趙明說:「成熟,VMware的技術已經很穩定了,開源的方案也可以用。我傾向於用開源方案,成本低,可控性強。」
陸長青在筆記本上記了一筆,示意趙明繼續。
「存儲是數據中心的底座,飛信每天產生幾億條消息,圖片、語音、視頻,全是非結構化數據。傳統的存儲方案不適合這種場景,太貴,太慢。
我的方案是採用分布式存儲架構——把幾百台伺服器的本地硬碟組織成一個統一的存儲池,數據分散存放在不同的伺服器上,一台壞了,其他伺服器頂上,數據不會丟。
這種架構成本低、擴展容易、性能好。」
陸長青點了點頭,問了一句:「可靠性夠不夠?」
趙明說:「夠,分布式存儲會把每份數據複製三份,存放在不同的機櫃裡。一個機櫃斷電了,數據還在,一塊硬碟壞了,系統自動從另外兩個副本恢復。
理論上,只要不是同時壞掉兩個副本,數據就是安全的。」
陸長青又記了一筆,趙明繼續說下去。
「網絡是數據高速公路,飛信和微信的消息要在一秒鐘之內送到幾百萬用戶的手機上,伺服器之間的通信必須快、必須穩。
傳統的三層網絡架構太慢了,瓶頸太多。
我的方案是採用葉脊架構——伺服器連接葉交換機,葉交換機再連接脊交換機,任何兩台伺服器之間的通信路徑都一樣長,延遲低,帶寬高。」
陸長青問了一句:「需要什麼硬體?」
趙明說:「萬兆交換機,最好是二十五G或者四十G的,光纖連接,不要用網線。」
陸長青在筆記本上寫下「葉脊架構」和「萬兆交換機」,然後抬起頭看了一眼程遠。
程遠點了點頭,表示同意。
「供電是數據中心的命脈,伺服器不能斷電,一斷電,飛信就癱了,微信就贏了。
我的方案是三級供電保障——市電進來,經過不間斷電源,再到機櫃的配電單元。
不間斷電源採用兩套獨立系統互為備份,一套壞了,另一套無縫切換。
柴油發電機作為最後的保險,市電斷了,不間斷電源扛住切換的這幾秒,柴油發電機啟動,能撐十二個小時以上。」
陸長青問了一句:「柴油發電機的油怎麼保證?」
趙明說:「建一個油庫,儲備至少三天的油量,跟石化公司簽長期供應合同,定期補油。」
陸長青滿意地點了點頭。
「製冷是數據中心的環境保障。
伺服器運行的時候發熱量巨大,溫度高了會降頻,甚至會燒毀。
傳統的風冷方案效率低,噪音大,電費高。
我的方案是液冷——用液體把伺服器的熱量帶走,效率比風冷高几十倍。
液冷有兩種方向,一種是把液冷板貼在處理器和內存上,另一種是把整個伺服器泡在絕緣冷卻液里。
後一種效率最高,技術也最成熟,可以做到全年不需要開空調。」
陸長青問了一句:「液冷的安全性怎麼樣?漏液怎麼辦?」
趙明說:「漏液檢測是標配。
冷卻液本身不導電,漏了也不會短路。
系統檢測到漏液會自動切斷對應的供電,防止事故擴大。」
陸長青在筆記本上寫下「液冷」兩個字,畫了一個圈。
「管理是數據中心的大腦。
幾百台伺服器、幾千塊硬碟、幾十個網絡設備,靠人工管不過來。
我的方案是建設統一的運維管理平台——自動監控所有設備的運行狀態,CPU、內存、硬碟、網絡、溫度、功耗,全部實時顯示。
故障自動告警,推送到運維人員的手機上。
常見故障自動修復,比如硬碟壞了,系統自動把數據從其他副本恢復過來,不需要人工介入。」
陸長青放下筆,靠在沙發上,閉上眼睛。
趙明以為他不同意,正要開口解釋,陸長青睜開了眼睛,看著趙明,說了一句讓趙明熱血沸騰的話。
「方案我同意了,預算你報上來,多少都批。
可我有三個要求。
第一,PUE必須做到一點三以下。
第二,可用性必須做到五個九。
第三,建好之後,我要親自去驗收。」
趙明愣了一下:「五個九?百分之九十九點九九九的可用性,一年宕機時間不超過五分鐘。」
陸長青說:「對,五分鐘,飛信不能斷,一分鐘都不能斷,斷一分鐘,用戶就走了,走了就不會再回來。」
程遠在旁邊插了一句:「陸先生,五個九的標準,全球只有最頂級的數據中心能做到。
我們的預算可能不夠。」
陸長青說:「預算不夠就加。錢不是問題,問題是用戶等不等得起,飛信和微信在打仗,我們斷一分鐘,TT那邊就笑一分鐘。」
陸長青拿起桌上的紅色馬克筆,在白板上寫下了八個大字——「數據為王,中心為基。」
「數據中心不是成本中心,是長青的未來。沒有數據中心,飛信跑不動,跑不快,跑不穩。沒有數據中心,長青海量的用戶數據存不下,算不了,用不上。
沒有數據中心,長青在網際網路這條路上永遠走不遠,走不快,走不穩。
這個數據中心,不只是一個機房,是長青網際網路戰略的基石,砸多少錢都值。」
程遠和趙明離開之後,陸長青一個人坐在辦公室里,把那本筆記本翻開,看著上面記的那些技術要點。
虛擬化、分布式存儲、葉脊架構、液冷、自動化運維,每一個詞都是一扇門。
數據中心就是網際網路時代的中軍帳和後勤部。
沒有數據中心,伺服器就是一堆廢鐵。
沒有數據中心,數據就是一堆亂碼。
沒有數據中心,長青在網際網路戰場上的子彈遲早會打光,打光了就只能挨打。
周明義推門進來,手裡拿著一份預算估算表。
「陸先生,趙明的方案我讓財務部粗略算了一下。
第一期投入至少要幾個億,每年的運營成本也要上億,這個數字,在行業內是領先的。」
陸長青接過估算表看了一遍,把估算表放在桌上,說了一句讓周明義愣住的話。
「第一期投入太少了。至少再加一倍 ,趙明的方案是立足於當下的,長青的數據中心要立足於未來 ,未來三年的需求要提前布局,未來五年的空間要提前預留,現在省一塊錢,三年後要花十塊錢來補。」
周明義張了張嘴,想說什麼,又咽了回去。
他在預算表上改了一個數字,然後把新的預算表遞迴給陸長青。
陸長青看了一眼,簽了字。
周明義拿起預算錶轉身走的時候,說了一句:「陸先生,趙明剛才在樓下跟我說了一句話,我覺得應該告訴您。」
陸長青問:「什麼話?」
周明義說:「趙明說,長青的數據中心建好之後,飛信再也不用怕微信了,不是因為伺服器多了,是因為伺服器跑得穩了,穩了,用戶就安心了,安心了,就離不開長青了。」
陸長青沉默了片刻,然後說了一句:「告訴趙明,數據中心建好的那天,我請他喝酒。」
周明義笑了,帶上了門。
窗外,維多利亞港的夜色又一次降臨。
陸長青站起來,走到窗前,看著那片燈火。
他想起了趙明說的那六個字——穩了,用戶就安心了。
用戶安心了,長青才能安心。
後台監控系統的告警聲從早響到晚,CPU使用率常常衝到百分之九十以上,內存永遠不夠用,磁碟讀寫慢得像老牛拉車。
這天,飛信的存儲集群又滿了,新用戶註冊失敗,老用戶發不出消息。
趙明在機房裡蹲了一個多小時,手工遷移數據,釋放空間,才把服務恢復。
他坐在地板上,看著那一排排閃著綠色指示燈的伺服器機櫃,心裡冒出一個念頭——這樣下去不是辦法。
第二天一早,他把問題帶到了程遠的辦公桌上。
「程總,飛信的伺服器又滿了,這已經是這個月第四次了。
按照現在的增長速度,我們每三個月就要翻一倍伺服器。
機房放不下了,電也快不夠用了,機房裡的空調全速運轉,溫度還是壓不住。」
程遠皺著眉頭,沒有說話。
趙明繼續說:「不只是飛信,長青視頻和長青商城也需要大量的伺服器。
我們現在東一台西一台,每個項目組自己管自己的機器,資源利用率不到百分之三十。
有的伺服器CPU跑滿了,旁邊的伺服器閒著。
這是浪費,也是風險。」
程遠站起來,走到白板前,畫了一個大大的問號。
「你的意思是,我們需要一個統一的數據中心?
把所有的伺服器集中起來,統一管理,統一調度?」
趙明點了點頭:「對,不只是集中,是要建一個真正的數據中心,高密度、高可靠、可擴展。不是把伺服器堆在機房裡就叫數據中心,那叫倉庫。」
程遠沉默了良久,然後拿起電話撥通了陸長青的號碼。
「老闆,我們需要建一個數據中心。」
電話那頭安靜了兩秒,然後傳來陸長青的聲音:「來我辦公室,仔細說。」
長青大廈的頂樓,陸長青,坐在椅子,程遠和趙明坐在對面,把飛信和其他業務線的伺服器困境一五一十地講了一遍。
【寫到這裡我希望讀者記一下我們域名 TW 看書網解書荒,𝔰𝔥𝔲.𝔱𝔴超實用 】
數據量在爆炸,伺服器在膨脹,機房在飽和,電費在飆升,運維成本在翻倍。
按照現在的節奏,三年之內,光伺服器的電費就能吃掉長青手機一半的利潤。
陸長青聽完之後,沒有立刻回答,低下頭在筆記本上寫了幾個字。
寫完抬起頭,看著趙明。
「趙明,你心裡有沒有一個大概的方案?」
趙明從包里掏出一份自己畫的草圖,鋪在桌上。
「陸先生,我這些天想了一下,數據中心不能是簡單的伺服器堆砌,必須是一個完整的系統。
我把這個系統分成六塊——計算、存儲、網絡、供電、製冷、管理。
這六塊缺一不可,哪一塊是短板,整個數據中心就是廢鐵。」
陸長青把草圖拉過來,一頁一頁地翻,翻完之後看著趙明:「你說說,每一塊打算怎麼做?」
趙明深吸了一口氣,指著草圖上的第一塊。
「計算是數據中心的心臟,我們不能再像現在這樣一台一台地買伺服器,每台伺服器只跑一個作業系統,資源利用率太低。
我的方案是引入虛擬化技術——在一台物理伺服器上跑多個虛擬機,每個虛擬機互相隔離,可以跑不同的任務。
這樣一台物理機能當好幾台用,資源利用率能從現在的百分之三十提升到百分之七十以上。」
陸長青問了一句:「虛擬化成熟嗎?」
趙明說:「成熟,VMware的技術已經很穩定了,開源的方案也可以用。我傾向於用開源方案,成本低,可控性強。」
陸長青在筆記本上記了一筆,示意趙明繼續。
「存儲是數據中心的底座,飛信每天產生幾億條消息,圖片、語音、視頻,全是非結構化數據。傳統的存儲方案不適合這種場景,太貴,太慢。
我的方案是採用分布式存儲架構——把幾百台伺服器的本地硬碟組織成一個統一的存儲池,數據分散存放在不同的伺服器上,一台壞了,其他伺服器頂上,數據不會丟。
這種架構成本低、擴展容易、性能好。」
陸長青點了點頭,問了一句:「可靠性夠不夠?」
趙明說:「夠,分布式存儲會把每份數據複製三份,存放在不同的機櫃裡。一個機櫃斷電了,數據還在,一塊硬碟壞了,系統自動從另外兩個副本恢復。
理論上,只要不是同時壞掉兩個副本,數據就是安全的。」
陸長青又記了一筆,趙明繼續說下去。
「網絡是數據高速公路,飛信和微信的消息要在一秒鐘之內送到幾百萬用戶的手機上,伺服器之間的通信必須快、必須穩。
傳統的三層網絡架構太慢了,瓶頸太多。
我的方案是採用葉脊架構——伺服器連接葉交換機,葉交換機再連接脊交換機,任何兩台伺服器之間的通信路徑都一樣長,延遲低,帶寬高。」
陸長青問了一句:「需要什麼硬體?」
趙明說:「萬兆交換機,最好是二十五G或者四十G的,光纖連接,不要用網線。」
陸長青在筆記本上寫下「葉脊架構」和「萬兆交換機」,然後抬起頭看了一眼程遠。
程遠點了點頭,表示同意。
「供電是數據中心的命脈,伺服器不能斷電,一斷電,飛信就癱了,微信就贏了。
我的方案是三級供電保障——市電進來,經過不間斷電源,再到機櫃的配電單元。
不間斷電源採用兩套獨立系統互為備份,一套壞了,另一套無縫切換。
柴油發電機作為最後的保險,市電斷了,不間斷電源扛住切換的這幾秒,柴油發電機啟動,能撐十二個小時以上。」
陸長青問了一句:「柴油發電機的油怎麼保證?」
趙明說:「建一個油庫,儲備至少三天的油量,跟石化公司簽長期供應合同,定期補油。」
陸長青滿意地點了點頭。
「製冷是數據中心的環境保障。
伺服器運行的時候發熱量巨大,溫度高了會降頻,甚至會燒毀。
傳統的風冷方案效率低,噪音大,電費高。
我的方案是液冷——用液體把伺服器的熱量帶走,效率比風冷高几十倍。
液冷有兩種方向,一種是把液冷板貼在處理器和內存上,另一種是把整個伺服器泡在絕緣冷卻液里。
後一種效率最高,技術也最成熟,可以做到全年不需要開空調。」
陸長青問了一句:「液冷的安全性怎麼樣?漏液怎麼辦?」
趙明說:「漏液檢測是標配。
冷卻液本身不導電,漏了也不會短路。
系統檢測到漏液會自動切斷對應的供電,防止事故擴大。」
陸長青在筆記本上寫下「液冷」兩個字,畫了一個圈。
「管理是數據中心的大腦。
幾百台伺服器、幾千塊硬碟、幾十個網絡設備,靠人工管不過來。
我的方案是建設統一的運維管理平台——自動監控所有設備的運行狀態,CPU、內存、硬碟、網絡、溫度、功耗,全部實時顯示。
故障自動告警,推送到運維人員的手機上。
常見故障自動修復,比如硬碟壞了,系統自動把數據從其他副本恢復過來,不需要人工介入。」
陸長青放下筆,靠在沙發上,閉上眼睛。
趙明以為他不同意,正要開口解釋,陸長青睜開了眼睛,看著趙明,說了一句讓趙明熱血沸騰的話。
「方案我同意了,預算你報上來,多少都批。
可我有三個要求。
第一,PUE必須做到一點三以下。
第二,可用性必須做到五個九。
第三,建好之後,我要親自去驗收。」
趙明愣了一下:「五個九?百分之九十九點九九九的可用性,一年宕機時間不超過五分鐘。」
陸長青說:「對,五分鐘,飛信不能斷,一分鐘都不能斷,斷一分鐘,用戶就走了,走了就不會再回來。」
程遠在旁邊插了一句:「陸先生,五個九的標準,全球只有最頂級的數據中心能做到。
我們的預算可能不夠。」
陸長青說:「預算不夠就加。錢不是問題,問題是用戶等不等得起,飛信和微信在打仗,我們斷一分鐘,TT那邊就笑一分鐘。」
陸長青拿起桌上的紅色馬克筆,在白板上寫下了八個大字——「數據為王,中心為基。」
「數據中心不是成本中心,是長青的未來。沒有數據中心,飛信跑不動,跑不快,跑不穩。沒有數據中心,長青海量的用戶數據存不下,算不了,用不上。
沒有數據中心,長青在網際網路這條路上永遠走不遠,走不快,走不穩。
這個數據中心,不只是一個機房,是長青網際網路戰略的基石,砸多少錢都值。」
程遠和趙明離開之後,陸長青一個人坐在辦公室里,把那本筆記本翻開,看著上面記的那些技術要點。
虛擬化、分布式存儲、葉脊架構、液冷、自動化運維,每一個詞都是一扇門。
數據中心就是網際網路時代的中軍帳和後勤部。
沒有數據中心,伺服器就是一堆廢鐵。
沒有數據中心,數據就是一堆亂碼。
沒有數據中心,長青在網際網路戰場上的子彈遲早會打光,打光了就只能挨打。
周明義推門進來,手裡拿著一份預算估算表。
「陸先生,趙明的方案我讓財務部粗略算了一下。
第一期投入至少要幾個億,每年的運營成本也要上億,這個數字,在行業內是領先的。」
陸長青接過估算表看了一遍,把估算表放在桌上,說了一句讓周明義愣住的話。
「第一期投入太少了。至少再加一倍 ,趙明的方案是立足於當下的,長青的數據中心要立足於未來 ,未來三年的需求要提前布局,未來五年的空間要提前預留,現在省一塊錢,三年後要花十塊錢來補。」
周明義張了張嘴,想說什麼,又咽了回去。
他在預算表上改了一個數字,然後把新的預算表遞迴給陸長青。
陸長青看了一眼,簽了字。
周明義拿起預算錶轉身走的時候,說了一句:「陸先生,趙明剛才在樓下跟我說了一句話,我覺得應該告訴您。」
陸長青問:「什麼話?」
周明義說:「趙明說,長青的數據中心建好之後,飛信再也不用怕微信了,不是因為伺服器多了,是因為伺服器跑得穩了,穩了,用戶就安心了,安心了,就離不開長青了。」
陸長青沉默了片刻,然後說了一句:「告訴趙明,數據中心建好的那天,我請他喝酒。」
周明義笑了,帶上了門。
窗外,維多利亞港的夜色又一次降臨。
陸長青站起來,走到窗前,看著那片燈火。
他想起了趙明說的那六個字——穩了,用戶就安心了。
用戶安心了,長青才能安心。