阿里巴巴員工 2 萬,百度技術人員超過6000,京東也有三四千攻城獅。
就拿淘寶來說說,當作給新人一些科普。
▼先說你看到的頁面上,最重要的幾個:
【搜索商品】這個功能,如果你有幾千條商品,完全可以用select * from tableXX where title like %XX%這樣的操作來搞定。但是——當你有10000000000(一百億)條商品的時候,任何一個數(shù)據(jù)庫都無法存放了,請問你怎么搜索?這里需要用到分布式的數(shù)據(jù)存儲方案,關注公眾號:程序員大咖,另外這個搜索也不可能直接從數(shù)據(jù)庫里來取數(shù)據(jù),必然要用到搜索引擎(簡單來說搜索引擎更快)。好,能搜出商品了,是否大功告成可以啵一個了呢?早著呢,誰家的商品出現(xiàn)在第一頁?這里需要用到巨復雜的排序算法。要是再根據(jù)你的購買行為做一些個性化的推薦——這夠一幫牛叉的算法工程師奮斗終生了。
【商品詳情】就是搜索完畢,看到你感興趣的,點擊查看商品的頁面,這個頁面有商品的屬性、詳細描述、評價、賣家信息等等,這個頁面的每天展示次數(shù)在 30 億以上,同樣的道理,如果你做一個網(wǎng)站每天有 10 個人訪問,你絲毫感覺不到服務器的壓力,但是 30 億,要解決的問題就多了去了。首先,這些請求不能直接壓到數(shù)據(jù)庫上,任何單機或分布式的數(shù)據(jù)庫,承受 30 億每天的壓力,都將崩潰到完全沒有幸福感,這種情況下要用到的技術就是大規(guī)模的分布式緩存,所有的賣家信息、評價信息、商品描述都是從緩存里面來取到的,甚至更加極致的一點“商品的瀏覽量”這個信息,每打開頁面一次都要刷新,你猜能夠從緩存里面來取嗎?淘寶做到了,整個商品的詳情都在緩存里面。
【商品圖片】一個商品有 5 個圖片,商品描述里面有更多圖片,你猜淘寶有多少張圖片要存儲? 100 億以上。這么多圖片要是在你的硬盤里面,你怎么去查找其中的一張?要是你的同學想拷貝你的圖片,你需要他準備多少塊硬盤?你需要配置多少大的帶寬?你們的網(wǎng)卡是否能夠承受?你需要多長時間拷貝給他?這樣的規(guī)模,很不幸市面上已經沒有任何商業(yè)的解決方案,最終我們必須自己來開發(fā)一套存儲系統(tǒng),如果你聽說過google的GFS,我們跟他類似,叫TFS。順便說一下,騰訊也有這樣的一套,也叫TFS。
【廣告系統(tǒng)】淘寶上有很多廣告,什么,你不知道?那說明我們的廣告做的還不錯,居然很多人不認為它是廣告,賣家怎么出價去買淘寶的廣告位?廣告怎么展示?怎么查看廣告效果?這又是一套算法精奇的系統(tǒng)。
【BOSS系統(tǒng)】淘寶的工作人員怎么去管理這么龐大的一個系統(tǒng),例如某時刻突然宣布某位作家的作品全部從淘寶消失,從數(shù)據(jù)庫到搜索引擎到廣告系統(tǒng),里面的相關數(shù)據(jù)在幾分鐘內全部消失,這又需要一個牛叉的后臺支撐系統(tǒng)。
【運維體系】支持這么龐大的一個網(wǎng)站,你猜需要多少臺服務器?幾千臺?那是零頭。這么多服務器,上面部署什么操作系統(tǒng),操作系統(tǒng)的內核能否優(yōu)化?Java虛擬機能否優(yōu)化?通信模塊有沒有榨取性能的空間?軟件怎么部署上去?出了問題怎么回滾?你裝過操作系統(tǒng)吧,優(yōu)化過吧,被 360 坑過沒,崩潰過沒?這里面又有很多門道。
不再多寫了,除了上面提到的這些,還有很多很多需要做的技術,當然并不是這些東西有多么高不可攀,任何復雜的龐大的東西都是從小到大做起來的,里面需要牛叉到不行的大犇,也需要充滿好奇心的菜鳥,最后這一句,你當我是別有用心好了。
評論(0人參與,0條評論)
發(fā)布評論
最新評論