編者按：本文來源創(chuàng)業(yè)邦專欄 InfoQ，作者 唐小智。

雙十一從 2009 年到現(xiàn)在，剛好也走過了第 11 個年頭，交易規(guī)模也從第一年的 0.5 億迅猛增長到了 2018 年的 2135 億。世界范圍內(nèi)也很難找到這樣高并發(fā)、高復(fù)雜度的電商場景，背后支撐的技術(shù)能力也從最開始的捉襟見肘、拆東墻補(bǔ)西墻到現(xiàn)在的游刃有余，吃著火鍋唱著歌就把洪峰般的瞬時流量給完美承接下來。這背后，少不了程序員們的辛勤付出。

“如果等會兒出問題，我就從這跳下去?！?/p>

陽振坤是支付寶背后自研分布式數(shù)據(jù)庫 OceanBase 的負(fù)責(zé)人。

2009 年，第一次雙十一大促開始，當(dāng)時誰都沒想到電商大促會這么成功，正如也沒多少人預(yù)見當(dāng)年誕生的 Redis、MongoDB 等非關(guān)系型數(shù)據(jù)庫能在業(yè)界掀起一場 NoSQL 革命一樣。加入阿里之后，陽振坤發(fā)現(xiàn)無論對淘寶還是支付寶，關(guān)系數(shù)據(jù)庫都扮演著十分關(guān)鍵的角色，在使用上根本不可能擺脫。但已有的數(shù)據(jù)庫，無論是商業(yè)數(shù)據(jù)庫還是開源數(shù)據(jù)庫，都有非常多的局限，遠(yuǎn)遠(yuǎn)無法滿足如淘寶、支付寶這樣的互聯(lián)網(wǎng)和金融業(yè)務(wù)對高擴(kuò)展、高并發(fā)、高可用和低成本的需求。

單機(jī)數(shù)據(jù)庫已經(jīng)走到了盡頭，下一步只能走向分布式。2010 年，OceanBase 項(xiàng)目啟動。

OceanBase 遇上了阿里巴巴集團(tuán)去 IOE 的天時地利，但人和卻來得比較遲。直到 2013 年，支付寶也開始去 IOE 以后，陽振坤向魯肅毛遂自薦了 OceanBase 的解決方案，得到了攻堅(jiān) 2014 年雙十一的機(jī)會。

大促開始前的凌晨，各個團(tuán)隊(duì)都在自己的作戰(zhàn)室里熱火朝天地準(zhǔn)備。當(dāng)時任螞蟻金服董事長的彭蕾去了 OceanBase 團(tuán)隊(duì)的作戰(zhàn)室，問大家：“有沒有信心？”陽振坤跟彭蕾開了個玩笑說：“你看我們窗子都已經(jīng)打開了，如果等會出問題，我們就準(zhǔn)備從這跳下去?！?/p>

最終陽振坤并沒有跳下去。

最初的計(jì)劃里，OceanBase 只會承接雙十一大促流量的 1%，剩下 99% 的流量由 Oracle 數(shù)據(jù)庫負(fù)責(zé)。但因?yàn)楫?dāng)時的 Oracle 數(shù)據(jù)庫支撐不了洶涌而來的巨大流量，最后 OceanBase 承接了 10% 的雙十一流量，十倍于最初計(jì)劃。

后來，OceanBase 團(tuán)隊(duì)獲得了 2015 年螞蟻金服的 CEO 大獎，這也是第一次由技術(shù)團(tuán)隊(duì)拿到這個獎。彭蕾希望借這個獎鼓勵那些能夠沉下心來、扎扎實(shí)實(shí)地把一項(xiàng)技術(shù)做好做扎實(shí)的技術(shù)人們。

后來發(fā)生的故事大家也都知道了，OceanBase 不僅走出了支付寶，走向了金融業(yè)界，也成了國產(chǎn)自研分布式數(shù)據(jù)庫的佼佼者?？烧l能知道，當(dāng)初這個團(tuán)隊(duì)數(shù)度面臨解散危機(jī)？如果不是雙十一獲得的巨大成功，也許 OceanBase 還在蟄伏中。

（以上內(nèi)容來自此前 InfoQ 對陽振坤的采訪）

“這是我這么多年雙十一過來最沒有底氣的一年?！?/p>

今年是四虎第十一次參加雙十一。

2009 年，四虎第一次參加雙十一，值班守交易的服務(wù)器。在此之后的每一年，他都深度參與了雙十一大促。2017 年開始的三年間，他開始參與雙十一的指揮層，作為負(fù)責(zé)雙 11 的技術(shù)團(tuán)隊(duì)的業(yè)務(wù)研發(fā)線大隊(duì)長。

作為根正苗紅的雙十一親歷者，四虎表示 2012 年之前，阿里巴巴的系統(tǒng)設(shè)計(jì)是沒有考慮到能夠支撐上百倍的流量壓力的。所以系統(tǒng)如何做到高壓情況下不宕機(jī)是他們前幾年主要努力的方向。隨著全鏈路壓測技術(shù)的成熟，技術(shù)團(tuán)隊(duì)可以很快定位系統(tǒng)水位短板，提升高壓下的突變應(yīng)對能力。

2012 年以后，主要解決的就是業(yè)務(wù)問題：超賣、重復(fù)下單、優(yōu)惠復(fù)雜性，這些嚴(yán)重影響消費(fèi)者和商家體驗(yàn)的難題是技術(shù)團(tuán)隊(duì)需要逐個突破解決的。2016 年，開始做系統(tǒng)吞吐量的提升工作，讓業(yè)務(wù)快速發(fā)展的時候，保證服務(wù)器數(shù)量，到了今年全面上云成了最重要的工作。

2017 年雙十一，四虎遇到了一個難題。

當(dāng)時雙十一活動中，主互動發(fā)獎出現(xiàn)中獎用戶和金額數(shù)據(jù)計(jì)算不一致的問題。如果把錯誤的金額發(fā)給了消費(fèi)者，會讓辛辛苦苦參與了 20 多天前序活動的消費(fèi)者拿不到應(yīng)有的紅包，在雙十一這種全民參與的購物狂歡節(jié)下，這個 Bug 對于用戶體驗(yàn)的損害有多大不敢想象。

在當(dāng)時的情況下，技術(shù)團(tuán)隊(duì)不僅需要緊急開發(fā)程序重新計(jì)算發(fā)獎，同時還需要修復(fù)系統(tǒng)故障確保下一次開獎能夠保證準(zhǔn)確不出錯。

解決時間只有 2 個小時。

活動發(fā)獎系統(tǒng)是用 Python 寫的，但四虎帶領(lǐng)的技術(shù)團(tuán)隊(duì)主開發(fā)語言是 Java。只能臨時拉集團(tuán)熟悉 Python 的項(xiàng)目組同學(xué)火線救援。

我們只能抓狂地在邊上出主意，實(shí)際 bug 排查和修復(fù)我們都沒法幫上忙，哪怕是代碼 review 我們也做不了，這是我這么多年雙十一過來最沒有底氣的一年。

最終 2017 年雙十一在前臺層面風(fēng)平浪靜地度過了，但背后技術(shù)團(tuán)隊(duì)的驚心動魄卻無人能知。

雙十一已經(jīng)做了十一年，各種組織保障和流程都已經(jīng)很完善，同學(xué)們也大部分都比較熟練。四虎說，最怕的就是大家看起來做的井井有條，但是實(shí)際上有很多漏過的事項(xiàng)。

技術(shù)團(tuán)隊(duì)為此做了各種攻防和破壞性演練，在考驗(yàn)系統(tǒng)抗風(fēng)險(xiǎn)能力的同時，鍛煉組織的協(xié)作能力，以及項(xiàng)目成員在高壓力情況下的緊急處理故障的應(yīng)變能力。在全鏈路驗(yàn)收的時候，加入了對云機(jī)房的攻擊演練，通過這次演練還真發(fā)現(xiàn)了不少較嚴(yán)重的問題，可以針對性地做預(yù)案、解決。

四虎雙十一籌備期間，每天早上 9 點(diǎn)到公司， 晚上回家時間不定，大部分是在 0 點(diǎn)前后。跟平時來比早上來晚了，晚上回去也更晚了。因?yàn)槠綍r會在 8：00 左右到公司，晚上在 20：00 左右回家。

過程中我會盡量抽空回家陪陪家人，來補(bǔ)充能量。雙 11 當(dāng)天一般會睡 4 小時，當(dāng)然我們期望沒有問題，可以好好的睡上 8 個小時。

如果以后不做雙十一了，希望能和家人一起躺在被窩里 shopping。

“從未想過放棄。無論 618 還是 11.11，都是工作的一部分?！?/p>

這是劉海鋒在京東的第 7 個 11.11。參加工作十年后，劉海鋒已是京東技術(shù)副總裁、零售基礎(chǔ)架構(gòu)負(fù)責(zé)人。

他曾先后帶領(lǐng)團(tuán)隊(duì)負(fù)責(zé)分布式存儲、商品圖片服務(wù)、中間件平臺、容器云平臺、CDN、數(shù)據(jù)可視化、各種數(shù)據(jù)庫系統(tǒng)、全鏈路壓測、統(tǒng)一數(shù)據(jù)中心調(diào)度等一系列技術(shù)基礎(chǔ)設(shè)施。

劉海鋒說，這些年大促備戰(zhàn)，技術(shù)準(zhǔn)備時間的整體趨勢是越來越短。這兩年基本上在國慶節(jié)過后開始正式啟動備戰(zhàn)工作，持續(xù)大約一個月的時間。這背后，既是大促團(tuán)隊(duì)的業(yè)務(wù)熟練度達(dá)到了一個高的水平，同樣也是技術(shù)上的基礎(chǔ)設(shè)施等保障發(fā)展到了一個很高的水平，才能做到這樣的游刃有余。

機(jī)器雖然比人力可靠，但也避免不了出錯的時候。

2015 年 11 月 11 號當(dāng)天，我們團(tuán)隊(duì)負(fù)責(zé)的微服務(wù)注冊中心發(fā)生了故障，持續(xù)時間很長。而這個模塊是公司幾乎所有線上服務(wù)的強(qiáng)依賴。那一天，灰頭土臉。

高光時刻似乎沒有特別的印象，研發(fā)人員在大促的使命就是為業(yè)務(wù)保駕護(hù)航。使得系統(tǒng)平穩(wěn)運(yùn)行，是我們應(yīng)該做的事情。

從前線開發(fā)到帶團(tuán)隊(duì)一起攻堅(jiān)大促，劉海鋒的心境發(fā)生了挺大的變化。

• 2013 年雙 11，獨(dú)立開發(fā)的第一個系統(tǒng)上線，服務(wù)訂單履約中心與物流 WMS 兩個業(yè)務(wù)，整體運(yùn)行非常平穩(wěn)，如同看著自己的孩子考試成績出色那樣開心。

• 2014 與 2015 年，我負(fù)責(zé)的核心系統(tǒng)多了起來，也成為公司技術(shù)備戰(zhàn)的中堅(jiān)力量，感覺壓力但也充滿責(zé)任感。

• 2016 年，第一次作為一線負(fù)責(zé)人來協(xié)同整個公司的大促備戰(zhàn)。對架構(gòu)與公司業(yè)務(wù)的關(guān)系有了更深的理解。

• 2017 年晉升為公司的技術(shù) VP，整體帶領(lǐng)基礎(chǔ)架構(gòu)部門，支撐各個在線業(yè)務(wù)的應(yīng)用開發(fā)以及大促備戰(zhàn)。

這些年來，親身經(jīng)歷互聯(lián)網(wǎng)零售業(yè)務(wù)的高速發(fā)展以及相應(yīng)技術(shù)領(lǐng)域的逐步成熟，應(yīng)對大促高峰流量，越來越有信心。

劉海鋒：左起第五位

電商大促對于技術(shù)團(tuán)隊(duì)而言有多累，不言而喻?？v覽業(yè)界，不乏因?yàn)樘?、忽視了家人的感受而選擇離職的電商技術(shù)團(tuán)隊(duì)同學(xué)。但劉海鋒表示，自己從未想過放棄。

無論 618 還是 11.11，都是工作的一部分。

如果以后不負(fù)責(zé)大促了，想寫個程序來測試幾個主要電商平臺的性能指標(biāo)。

“空吼無益，實(shí)干維穩(wěn)！”

如果說雙十一對于技術(shù)人員來說是一場沉重的考驗(yàn)，那運(yùn)維人員也許是最累的那些人之一。

普智，2015 年加入蘑菇街運(yùn)維團(tuán)隊(duì)，到今年為止已經(jīng)參加五次雙十一。

2016 年，普智第二次參與雙十一大促活動，就遇上了滑鐵盧。

當(dāng)晚 0 點(diǎn)高峰時發(fā)生部分業(yè)務(wù)容量不夠，服務(wù)器網(wǎng)卡被打爆的情況。當(dāng)時我們團(tuán)隊(duì)慌了神，做了對節(jié)點(diǎn)進(jìn)行緊急擴(kuò)容的決定，但擴(kuò)容上去后發(fā)現(xiàn)新的節(jié)點(diǎn)又發(fā)現(xiàn)引爆其他的問題，反反復(fù)復(fù)折騰了一天，用戶體驗(yàn)也不太好。

現(xiàn)在回想起來還心有余悸。當(dāng)業(yè)務(wù)現(xiàn)實(shí)流量大于預(yù)估容量時，我們從內(nèi)心是希望系統(tǒng)能處理每一個請求，不希望讓用戶出現(xiàn)不可訪問的場景；但實(shí)現(xiàn)場景下，我們必須拒絕這種幻想。業(yè)務(wù)限流是應(yīng)對超出預(yù)估流量合理處理方案。

今年雙十一是蘑菇街全面云化后的第一次大促，對服務(wù)的穩(wěn)定和性能挑戰(zhàn)非常大。為了應(yīng)對本次雙十一，普智的團(tuán)隊(duì)和業(yè)務(wù)同學(xué)一共組織了多達(dá)七次全鏈路壓測。

通過每次壓測檢查去發(fā)現(xiàn)每條鏈路的問題，不斷核對各個接口量和響應(yīng)時間是否符合預(yù)期。如果不滿足，就針對該節(jié)點(diǎn)進(jìn)行優(yōu)化或擴(kuò)容；通過一次次加量壓測，確保服務(wù)可靠穩(wěn)定；如果按 100% 預(yù)估容量壓測通過后，我們還會組織 120%，140% 的流量壓測，確保流量大于預(yù)期情況下業(yè)務(wù)系統(tǒng)限流是有效的。

在雙十一的籌備期，普智所在團(tuán)隊(duì)的大部分人員作息時間仍舊根據(jù)公司日常上班時間走，只有在全鏈路壓測的時候會全體輪流 參與值班。

輪流的目的是為了團(tuán)隊(duì)的人通過壓測更加了解熟悉業(yè)務(wù)各個系統(tǒng)情況，能把日常工作互備起來。總體來說我們團(tuán)隊(duì)的工作壓力還好，如果壓力大的話，我們會搞搞聚餐，樓下運(yùn)動運(yùn)動啥的。

雙十一當(dāng)天，對于很多技術(shù)團(tuán)隊(duì)而言都是一個不眠之夜。能睡幾個小時通常不是由技術(shù)同學(xué)決定，而是看業(yè)務(wù)情況，系統(tǒng)負(fù)載情況，普智說雙十一是團(tuán)隊(duì)作戰(zhàn)，不是單兵攻堅(jiān)，睡眠一般還能得到保證。

不同于其他技術(shù)團(tuán)隊(duì)在雙十一前喊出的各種口號，普智覺得喊了狠話以后精神壓力反而會更大，“空吼無益，實(shí)干維穩(wěn)！”

我們團(tuán)隊(duì)是運(yùn)維保障部門，雙十一貌似是躲不過的。如果不負(fù)責(zé)雙十一了，除非換一個工種。當(dāng)一個產(chǎn)品如何？讓業(yè)務(wù)開發(fā)抓狂一下。

“雙十一，我家老二出生了?！?/p>

2014 年，喬新亮以顧問身份參與蘇寧的雙十一籌備。

當(dāng)時的他還在 IBM，蘇寧請他做顧問去帶領(lǐng)雙十一的技術(shù)團(tuán)隊(duì)。2014 年的雙十一，是他最全面組織并下到一線組織、最沒有經(jīng)驗(yàn)的第一次雙十一。

當(dāng)時，蘇寧在 818 過后的 8 月底就啟動了 2014 年雙十一的籌備。喬新亮一手組織，包括搭建準(zhǔn)備雙十一的項(xiàng)目團(tuán)隊(duì)，調(diào)集所有研發(fā)中心參與準(zhǔn)備，分析雙十一有什么風(fēng)險(xiǎn)，分析核心系統(tǒng)設(shè)計(jì)中影響高可用、影響業(yè)務(wù)連續(xù)性的設(shè)計(jì)，針對不能通過系統(tǒng)設(shè)計(jì)自動處理的部分，明確應(yīng)急方案，響應(yīng)機(jī)制。

2014 年的雙十一，自己就帶領(lǐng)團(tuán)隊(duì)建立了完整的雙十一保障體系，確保了自己負(fù)責(zé)的第一個雙十一就是一個成功的雙十一。不過從后續(xù)幾年的進(jìn)一步深入準(zhǔn)備看，也有運(yùn)氣的成分。細(xì)節(jié)決定成敗，很多事故都是小概率事件，整個雙十一的保障就是要確保每個小概率的風(fēng)險(xiǎn)都在掌控中，不能有任何僥幸心理，后續(xù)每年的雙十一都在不斷完善體系，優(yōu)化設(shè)計(jì)確保每個極低的風(fēng)險(xiǎn)都在掌控中。

2014 年雙十一后，喬新亮就加入了蘇寧，經(jīng)歷了歷屆雙十一的大促活動，整體負(fù)責(zé)了 2015-2018 年的雙十一大促，不過逐步從一線指揮轉(zhuǎn)向了幕后指揮，值得自豪的是從 2014 年開始，每年都是一個穩(wěn)定成功的雙十一。

2014 年那次雙十一，其實(shí)跟我自己生活還稍微有點(diǎn)關(guān)系。我女兒是 11 月 7 號生的，我記得印象特別深，本來預(yù)產(chǎn)期應(yīng)該是在雙十一之后，結(jié)果提前出生了。當(dāng)時因?yàn)樘K寧在南京，7 號打電話說生了以后，8 號又飛回北京看了孩子，然后繼續(xù)回來組織雙十一的大促。回到南京后收到了團(tuán)隊(duì)成員很多的祝福，帶著女兒出生的幸福繼續(xù)投入雙十一的保障準(zhǔn)備中。

在喬新亮看來，歷屆雙十一沒有出現(xiàn)故障的原因除了運(yùn)氣好，更多是因?yàn)槭虑樽鲈诹饲懊?，大促保障，工作在平時，檢驗(yàn)在大促。2014 年，是喬新亮組織的第一次雙十一，當(dāng)成功度過以后，他長出了一口氣。

人很有意思，人必須是在壓力下，就是有挑戰(zhàn)的時候才會覺得印象深刻，沒有壓力沒有挑戰(zhàn)的時候覺得其實(shí)也就這樣吧。人生就是個旅程，經(jīng)歷雙十一，讓自己更愿意不斷接受挑戰(zhàn)，享受那種經(jīng)歷極大挑戰(zhàn)然后又盡在掌控的感覺，還有那種和團(tuán)隊(duì)?wèi)c祝成功的喜悅是難以形容的，一句話，一起扛過雙十一！

喬新亮認(rèn)為類似的大促場景，一定要把設(shè)計(jì)做到足夠完善，才能應(yīng)對高并發(fā)流量帶來的沖擊。技術(shù)負(fù)責(zé)人必須得有價值主張：第一，少出事故；第二，故障時間短；第三，故障影響?。坏谒?，盡量用低的成本。與之對應(yīng)的就是高可用、容量足、容錯強(qiáng)、要做變更、可視化、全生產(chǎn)鏈路壓測等等。

雙十一未來只會越來越輕松。最終那些東西都會歸到基礎(chǔ)的云平臺去，都是成熟了的技術(shù)。

一個企業(yè)這種大促的成功，絕對要靠體系化的管理，而不是僅僅只依賴一線員工的責(zé)任心或者能力。

喬新亮離開蘇寧以后去了環(huán)球易購，仍舊在籌備雙十一的主戰(zhàn)場上。

一個人再有能力，還是需要平臺的，需要這種機(jī)會去鍛煉實(shí)踐的。所以我覺得也借這個機(jī)會對老東家蘇寧表示一下感激，祝福老東家越來越好，也期盼環(huán)球易購能夠做得越來越好，希望兩家公司都能在雙十一大賣。

寫在最后：致敬技術(shù)人與這個時代

2009 年到 2019 年，雙十一已經(jīng)走到了十一年。中國互聯(lián)網(wǎng)也從 Web 2.0 到移動互聯(lián)網(wǎng)時代，再到 5G 時代。

對于身處其中的消費(fèi)者而言，雙十一、618 等大促意味著全年最實(shí)惠的價格，最狂歡的購物體驗(yàn)，屢創(chuàng)新高的消費(fèi)金額。但對于背后的技術(shù)人員來說，這是一次技術(shù)實(shí)力的考驗(yàn)，也是一次超大壓力的辛苦旅程。在這個過程中，哪怕稍有差池，系統(tǒng)故障，流量告警，宕機(jī)，影響到的都是以億計(jì)的消費(fèi)者，程序員們太不容易。

讓我們致敬技術(shù)人默默做出的貢獻(xiàn)，真正讓技術(shù)普惠到了商業(yè)的發(fā)展。

讓我們致敬這個時代，能讓中國技術(shù)持續(xù)生根發(fā)芽，長成參天大樹。

謹(jǐn)以此文，獻(xiàn)給這個時代下，向陽生長的各位技術(shù)人們。

本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表，版權(quán)歸原作者所有。文章系作者個人觀點(diǎn)，不代表創(chuàng)業(yè)邦立場，轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問，請聯(lián)系editor@cyzone.cn。