編者按：本文來源創(chuàng)業(yè)邦專欄 InfoQ，作者 唐小智。

雙十一從 2009 年到現(xiàn)在，剛好也走過了第 11 個年頭，交易規(guī)模也從第一年的 0.5 億迅猛增長到了 2018 年的 2135 億。世界范圍內(nèi)也很難找到這樣高并發(fā)、高復(fù)雜度的電商場景，背后支撐的技術(shù)能力也從最開始的捉襟見肘、拆東墻補西墻到現(xiàn)在的游刃有余，吃著火鍋唱著歌就把洪峰般的瞬時流量給完美承接下來。這背后，少不了程序員們的辛勤付出。

“如果等會兒出問題，我就從這跳下去。”

陽振坤是支付寶背后自研分布式數(shù)據(jù)庫 OceanBase 的負(fù)責(zé)人。

2009 年，第一次雙十一大促開始，當(dāng)時誰都沒想到電商大促會這么成功，正如也沒多少人預(yù)見當(dāng)年誕生的 Redis、MongoDB 等非關(guān)系型數(shù)據(jù)庫能在業(yè)界掀起一場 NoSQL 革命一樣。加入阿里之后，陽振坤發(fā)現(xiàn)無論對淘寶還是支付寶，關(guān)系數(shù)據(jù)庫都扮演著十分關(guān)鍵的角色，在使用上根本不可能擺脫。但已有的數(shù)據(jù)庫，無論是商業(yè)數(shù)據(jù)庫還是開源數(shù)據(jù)庫，都有非常多的局限，遠(yuǎn)遠(yuǎn)無法滿足如淘寶、支付寶這樣的互聯(lián)網(wǎng)和金融業(yè)務(wù)對高擴展、高并發(fā)、高可用和低成本的需求。

單機數(shù)據(jù)庫已經(jīng)走到了盡頭，下一步只能走向分布式。2010 年，OceanBase 項目啟動。

OceanBase 遇上了阿里巴巴集團去 IOE 的天時地利，但人和卻來得比較遲。直到 2013 年，支付寶也開始去 IOE 以后，陽振坤向魯肅毛遂自薦了 OceanBase 的解決方案，得到了攻堅 2014 年雙十一的機會。

大促開始前的凌晨，各個團隊都在自己的作戰(zhàn)室里熱火朝天地準(zhǔn)備。當(dāng)時任螞蟻金服董事長的彭蕾去了 OceanBase 團隊的作戰(zhàn)室，問大家：“有沒有信心？”陽振坤跟彭蕾開了個玩笑說：“你看我們窗子都已經(jīng)打開了，如果等會出問題，我們就準(zhǔn)備從這跳下去?！?/p>

最終陽振坤并沒有跳下去。

最初的計劃里，OceanBase 只會承接雙十一大促流量的 1%，剩下 99% 的流量由 Oracle 數(shù)據(jù)庫負(fù)責(zé)。但因為當(dāng)時的 Oracle 數(shù)據(jù)庫支撐不了洶涌而來的巨大流量，最后 OceanBase 承接了 10% 的雙十一流量，十倍于最初計劃。

后來，OceanBase 團隊獲得了 2015 年螞蟻金服的 CEO 大獎，這也是第一次由技術(shù)團隊拿到這個獎。彭蕾希望借這個獎鼓勵那些能夠沉下心來、扎扎實實地把一項技術(shù)做好做扎實的技術(shù)人們。

后來發(fā)生的故事大家也都知道了，OceanBase 不僅走出了支付寶，走向了金融業(yè)界，也成了國產(chǎn)自研分布式數(shù)據(jù)庫的佼佼者?？烧l能知道，當(dāng)初這個團隊數(shù)度面臨解散危機？如果不是雙十一獲得的巨大成功，也許 OceanBase 還在蟄伏中。

（以上內(nèi)容來自此前 InfoQ 對陽振坤的采訪）

“這是我這么多年雙十一過來最沒有底氣的一年?！?/p>

今年是四虎第十一次參加雙十一。

2009 年，四虎第一次參加雙十一，值班守交易的服務(wù)器。在此之后的每一年，他都深度參與了雙十一大促。2017 年開始的三年間，他開始參與雙十一的指揮層，作為負(fù)責(zé)雙 11 的技術(shù)團隊的業(yè)務(wù)研發(fā)線大隊長。

作為根正苗紅的雙十一親歷者，四虎表示 2012 年之前，阿里巴巴的系統(tǒng)設(shè)計是沒有考慮到能夠支撐上百倍的流量壓力的。所以系統(tǒng)如何做到高壓情況下不宕機是他們前幾年主要努力的方向。隨著全鏈路壓測技術(shù)的成熟，技術(shù)團隊可以很快定位系統(tǒng)水位短板，提升高壓下的突變應(yīng)對能力。

2012 年以后，主要解決的就是業(yè)務(wù)問題：超賣、重復(fù)下單、優(yōu)惠復(fù)雜性，這些嚴(yán)重影響消費者和商家體驗的難題是技術(shù)團隊需要逐個突破解決的。2016 年，開始做系統(tǒng)吞吐量的提升工作，讓業(yè)務(wù)快速發(fā)展的時候，保證服務(wù)器數(shù)量，到了今年全面上云成了最重要的工作。

2017 年雙十一，四虎遇到了一個難題。

當(dāng)時雙十一活動中，主互動發(fā)獎出現(xiàn)中獎用戶和金額數(shù)據(jù)計算不一致的問題。如果把錯誤的金額發(fā)給了消費者，會讓辛辛苦苦參與了 20 多天前序活動的消費者拿不到應(yīng)有的紅包，在雙十一這種全民參與的購物狂歡節(jié)下，這個 Bug 對于用戶體驗的損害有多大不敢想象。

在當(dāng)時的情況下，技術(shù)團隊不僅需要緊急開發(fā)程序重新計算發(fā)獎，同時還需要修復(fù)系統(tǒng)故障確保下一次開獎能夠保證準(zhǔn)確不出錯。

解決時間只有 2 個小時。

活動發(fā)獎系統(tǒng)是用 Python 寫的，但四虎帶領(lǐng)的技術(shù)團隊主開發(fā)語言是 Java。只能臨時拉集團熟悉 Python 的項目組同學(xué)火線救援。

我們只能抓狂地在邊上出主意，實際 bug 排查和修復(fù)我們都沒法幫上忙，哪怕是代碼 review 我們也做不了，這是我這么多年雙十一過來最沒有底氣的一年。

最終 2017 年雙十一在前臺層面風(fēng)平浪靜地度過了，但背后技術(shù)團隊的驚心動魄卻無人能知。

雙十一已經(jīng)做了十一年，各種組織保障和流程都已經(jīng)很完善，同學(xué)們也大部分都比較熟練。四虎說，最怕的就是大家看起來做的井井有條，但是實際上有很多漏過的事項。

技術(shù)團隊為此做了各種攻防和破壞性演練，在考驗系統(tǒng)抗風(fēng)險能力的同時，鍛煉組織的協(xié)作能力，以及項目成員在高壓力情況下的緊急處理故障的應(yīng)變能力。在全鏈路驗收的時候，加入了對云機房的攻擊演練，通過這次演練還真發(fā)現(xiàn)了不少較嚴(yán)重的問題，可以針對性地做預(yù)案、解決。

四虎雙十一籌備期間，每天早上 9 點到公司， 晚上回家時間不定，大部分是在 0 點前后。跟平時來比早上來晚了，晚上回去也更晚了。因為平時會在 8：00 左右到公司，晚上在 20：00 左右回家。

過程中我會盡量抽空回家陪陪家人，來補充能量。雙 11 當(dāng)天一般會睡 4 小時，當(dāng)然我們期望沒有問題，可以好好的睡上 8 個小時。

如果以后不做雙十一了，希望能和家人一起躺在被窩里 shopping。

“從未想過放棄。無論 618 還是 11.11，都是工作的一部分?！?/p>

這是劉海鋒在京東的第 7 個 11.11。參加工作十年后，劉海鋒已是京東技術(shù)副總裁、零售基礎(chǔ)架構(gòu)負(fù)責(zé)人。

他曾先后帶領(lǐng)團隊負(fù)責(zé)分布式存儲、商品圖片服務(wù)、中間件平臺、容器云平臺、CDN、數(shù)據(jù)可視化、各種數(shù)據(jù)庫系統(tǒng)、全鏈路壓測、統(tǒng)一數(shù)據(jù)中心調(diào)度等一系列技術(shù)基礎(chǔ)設(shè)施。

劉海鋒說，這些年大促備戰(zhàn)，技術(shù)準(zhǔn)備時間的整體趨勢是越來越短。這兩年基本上在國慶節(jié)過后開始正式啟動備戰(zhàn)工作，持續(xù)大約一個月的時間。這背后，既是大促團隊的業(yè)務(wù)熟練度達(dá)到了一個高的水平，同樣也是技術(shù)上的基礎(chǔ)設(shè)施等保障發(fā)展到了一個很高的水平，才能做到這樣的游刃有余。

機器雖然比人力可靠，但也避免不了出錯的時候。

2015 年 11 月 11 號當(dāng)天，我們團隊負(fù)責(zé)的微服務(wù)注冊中心發(fā)生了故障，持續(xù)時間很長。而這個模塊是公司幾乎所有線上服務(wù)的強依賴。那一天，灰頭土臉。

高光時刻似乎沒有特別的印象，研發(fā)人員在大促的使命就是為業(yè)務(wù)保駕護航。使得系統(tǒng)平穩(wěn)運行，是我們應(yīng)該做的事情。

從前線開發(fā)到帶團隊一起攻堅大促，劉海鋒的心境發(fā)生了挺大的變化。

• 2013 年雙 11，獨立開發(fā)的第一個系統(tǒng)上線，服務(wù)訂單履約中心與物流 WMS 兩個業(yè)務(wù)，整體運行非常平穩(wěn)，如同看著自己的孩子考試成績出色那樣開心。

• 2014 與 2015 年，我負(fù)責(zé)的核心系統(tǒng)多了起來，也成為公司技術(shù)備戰(zhàn)的中堅力量，感覺壓力但也充滿責(zé)任感。

• 2016 年，第一次作為一線負(fù)責(zé)人來協(xié)同整個公司的大促備戰(zhàn)。對架構(gòu)與公司業(yè)務(wù)的關(guān)系有了更深的理解。

• 2017 年晉升為公司的技術(shù) VP，整體帶領(lǐng)基礎(chǔ)架構(gòu)部門，支撐各個在線業(yè)務(wù)的應(yīng)用開發(fā)以及大促備戰(zhàn)。

這些年來，親身經(jīng)歷互聯(lián)網(wǎng)零售業(yè)務(wù)的高速發(fā)展以及相應(yīng)技術(shù)領(lǐng)域的逐步成熟，應(yīng)對大促高峰流量，越來越有信心。

劉海鋒：左起第五位

電商大促對于技術(shù)團隊而言有多累，不言而喻?？v覽業(yè)界，不乏因為太累、忽視了家人的感受而選擇離職的電商技術(shù)團隊同學(xué)。但劉海鋒表示，自己從未想過放棄。

無論 618 還是 11.11，都是工作的一部分。

如果以后不負(fù)責(zé)大促了，想寫個程序來測試幾個主要電商平臺的性能指標(biāo)。

“空吼無益，實干維穩(wěn)！”

如果說雙十一對于技術(shù)人員來說是一場沉重的考驗，那運維人員也許是最累的那些人之一。

普智，2015 年加入蘑菇街運維團隊，到今年為止已經(jīng)參加五次雙十一。

2016 年，普智第二次參與雙十一大促活動，就遇上了滑鐵盧。

當(dāng)晚 0 點高峰時發(fā)生部分業(yè)務(wù)容量不夠，服務(wù)器網(wǎng)卡被打爆的情況。當(dāng)時我們團隊慌了神，做了對節(jié)點進(jìn)行緊急擴容的決定，但擴容上去后發(fā)現(xiàn)新的節(jié)點又發(fā)現(xiàn)引爆其他的問題，反反復(fù)復(fù)折騰了一天，用戶體驗也不太好。

現(xiàn)在回想起來還心有余悸。當(dāng)業(yè)務(wù)現(xiàn)實流量大于預(yù)估容量時，我們從內(nèi)心是希望系統(tǒng)能處理每一個請求，不希望讓用戶出現(xiàn)不可訪問的場景；但實現(xiàn)場景下，我們必須拒絕這種幻想。業(yè)務(wù)限流是應(yīng)對超出預(yù)估流量合理處理方案。

今年雙十一是蘑菇街全面云化后的第一次大促，對服務(wù)的穩(wěn)定和性能挑戰(zhàn)非常大。為了應(yīng)對本次雙十一，普智的團隊和業(yè)務(wù)同學(xué)一共組織了多達(dá)七次全鏈路壓測。

通過每次壓測檢查去發(fā)現(xiàn)每條鏈路的問題，不斷核對各個接口量和響應(yīng)時間是否符合預(yù)期。如果不滿足，就針對該節(jié)點進(jìn)行優(yōu)化或擴容；通過一次次加量壓測，確保服務(wù)可靠穩(wěn)定；如果按 100% 預(yù)估容量壓測通過后，我們還會組織 120%，140% 的流量壓測，確保流量大于預(yù)期情況下業(yè)務(wù)系統(tǒng)限流是有效的。

在雙十一的籌備期，普智所在團隊的大部分人員作息時間仍舊根據(jù)公司日常上班時間走，只有在全鏈路壓測的時候會全體輪流 參與值班。

輪流的目的是為了團隊的人通過壓測更加了解熟悉業(yè)務(wù)各個系統(tǒng)情況，能把日常工作互備起來?？傮w來說我們團隊的工作壓力還好，如果壓力大的話，我們會搞搞聚餐，樓下運動運動啥的。

雙十一當(dāng)天，對于很多技術(shù)團隊而言都是一個不眠之夜。能睡幾個小時通常不是由技術(shù)同學(xué)決定，而是看業(yè)務(wù)情況，系統(tǒng)負(fù)載情況，普智說雙十一是團隊作戰(zhàn)，不是單兵攻堅，睡眠一般還能得到保證。

不同于其他技術(shù)團隊在雙十一前喊出的各種口號，普智覺得喊了狠話以后精神壓力反而會更大，“空吼無益，實干維穩(wěn)！”

我們團隊是運維保障部門，雙十一貌似是躲不過的。如果不負(fù)責(zé)雙十一了，除非換一個工種。當(dāng)一個產(chǎn)品如何？讓業(yè)務(wù)開發(fā)抓狂一下。

“雙十一，我家老二出生了。”

2014 年，喬新亮以顧問身份參與蘇寧的雙十一籌備。

當(dāng)時的他還在 IBM，蘇寧請他做顧問去帶領(lǐng)雙十一的技術(shù)團隊。2014 年的雙十一，是他最全面組織并下到一線組織、最沒有經(jīng)驗的第一次雙十一。

當(dāng)時，蘇寧在 818 過后的 8 月底就啟動了 2014 年雙十一的籌備。喬新亮一手組織，包括搭建準(zhǔn)備雙十一的項目團隊，調(diào)集所有研發(fā)中心參與準(zhǔn)備，分析雙十一有什么風(fēng)險，分析核心系統(tǒng)設(shè)計中影響高可用、影響業(yè)務(wù)連續(xù)性的設(shè)計，針對不能通過系統(tǒng)設(shè)計自動處理的部分，明確應(yīng)急方案，響應(yīng)機制。

2014 年的雙十一，自己就帶領(lǐng)團隊建立了完整的雙十一保障體系，確保了自己負(fù)責(zé)的第一個雙十一就是一個成功的雙十一。不過從后續(xù)幾年的進(jìn)一步深入準(zhǔn)備看，也有運氣的成分。細(xì)節(jié)決定成敗，很多事故都是小概率事件，整個雙十一的保障就是要確保每個小概率的風(fēng)險都在掌控中，不能有任何僥幸心理，后續(xù)每年的雙十一都在不斷完善體系，優(yōu)化設(shè)計確保每個極低的風(fēng)險都在掌控中。

2014 年雙十一后，喬新亮就加入了蘇寧，經(jīng)歷了歷屆雙十一的大促活動，整體負(fù)責(zé)了 2015-2018 年的雙十一大促，不過逐步從一線指揮轉(zhuǎn)向了幕后指揮，值得自豪的是從 2014 年開始，每年都是一個穩(wěn)定成功的雙十一。

2014 年那次雙十一，其實跟我自己生活還稍微有點關(guān)系。我女兒是 11 月 7 號生的，我記得印象特別深，本來預(yù)產(chǎn)期應(yīng)該是在雙十一之后，結(jié)果提前出生了。當(dāng)時因為蘇寧在南京，7 號打電話說生了以后，8 號又飛回北京看了孩子，然后繼續(xù)回來組織雙十一的大促。回到南京后收到了團隊成員很多的祝福，帶著女兒出生的幸福繼續(xù)投入雙十一的保障準(zhǔn)備中。

在喬新亮看來，歷屆雙十一沒有出現(xiàn)故障的原因除了運氣好，更多是因為事情做在了前面，大促保障，工作在平時，檢驗在大促。2014 年，是喬新亮組織的第一次雙十一，當(dāng)成功度過以后，他長出了一口氣。

人很有意思，人必須是在壓力下，就是有挑戰(zhàn)的時候才會覺得印象深刻，沒有壓力沒有挑戰(zhàn)的時候覺得其實也就這樣吧。人生就是個旅程，經(jīng)歷雙十一，讓自己更愿意不斷接受挑戰(zhàn)，享受那種經(jīng)歷極大挑戰(zhàn)然后又盡在掌控的感覺，還有那種和團隊?wèi)c祝成功的喜悅是難以形容的，一句話，一起扛過雙十一！

喬新亮認(rèn)為類似的大促場景，一定要把設(shè)計做到足夠完善，才能應(yīng)對高并發(fā)流量帶來的沖擊。技術(shù)負(fù)責(zé)人必須得有價值主張：第一，少出事故；第二，故障時間短；第三，故障影響??；第四，盡量用低的成本。與之對應(yīng)的就是高可用、容量足、容錯強、要做變更、可視化、全生產(chǎn)鏈路壓測等等。

雙十一未來只會越來越輕松。最終那些東西都會歸到基礎(chǔ)的云平臺去，都是成熟了的技術(shù)。

一個企業(yè)這種大促的成功，絕對要靠體系化的管理，而不是僅僅只依賴一線員工的責(zé)任心或者能力。

喬新亮離開蘇寧以后去了環(huán)球易購，仍舊在籌備雙十一的主戰(zhàn)場上。

一個人再有能力，還是需要平臺的，需要這種機會去鍛煉實踐的。所以我覺得也借這個機會對老東家蘇寧表示一下感激，祝福老東家越來越好，也期盼環(huán)球易購能夠做得越來越好，希望兩家公司都能在雙十一大賣。

寫在最后：致敬技術(shù)人與這個時代

2009 年到 2019 年，雙十一已經(jīng)走到了十一年。中國互聯(lián)網(wǎng)也從 Web 2.0 到移動互聯(lián)網(wǎng)時代，再到 5G 時代。

對于身處其中的消費者而言，雙十一、618 等大促意味著全年最實惠的價格，最狂歡的購物體驗，屢創(chuàng)新高的消費金額。但對于背后的技術(shù)人員來說，這是一次技術(shù)實力的考驗，也是一次超大壓力的辛苦旅程。在這個過程中，哪怕稍有差池，系統(tǒng)故障，流量告警，宕機，影響到的都是以億計的消費者，程序員們太不容易。

讓我們致敬技術(shù)人默默做出的貢獻(xiàn)，真正讓技術(shù)普惠到了商業(yè)的發(fā)展。

讓我們致敬這個時代，能讓中國技術(shù)持續(xù)生根發(fā)芽，長成參天大樹。

謹(jǐn)以此文，獻(xiàn)給這個時代下，向陽生長的各位技術(shù)人們。

本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表，版權(quán)歸原作者所有。文章系作者個人觀點，不代表創(chuàng)業(yè)邦立場，轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問，請聯(lián)系editor@cyzone.cn。