編者按：本文來(lái)自微信公眾號(hào) 阿爾法公社（ ID：alphastartups），創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。

目前獲得融資最多的兩家大模型創(chuàng)業(yè)公司是OpenAI和Anthropic，而這兩家公司最大的投資者分別是微軟和亞馬遜，他們投資的很大一部分不是資金，而是等值的云計(jì)算資源。這其實(shí)也就把這兩家知名的閉源大模型公司“綁上了”科技巨頭的“戰(zhàn)車(chē)”。

在閉源大模型之外，還有另一個(gè)陣營(yíng)是開(kāi)源大模型，MetaAI的llama系列就是其中的代表。Meta還牽頭組建AI聯(lián)盟（AI Alliance），旨在推進(jìn)人工智能領(lǐng)域的開(kāi)源發(fā)展，對(duì)抗AI閉源巨頭如OpenAI和英偉達(dá)。

使用開(kāi)源大模型做應(yīng)用的創(chuàng)業(yè)公司，大部分也希望保持自己的獨(dú)立性，會(huì)使用多云策略，而一個(gè)能力強(qiáng)，成本低的AI云平臺(tái)就非常需要。

together.ai就是一個(gè)為AI創(chuàng)業(yè)公司提供訓(xùn)練，推理服務(wù)云平臺(tái)的公司，事實(shí)上，它也是一個(gè)擁抱開(kāi)源生態(tài)的全棧AI公司，擁有自己的模型和數(shù)據(jù)集，在A(yíng)I底層技術(shù)方面有很深的積累。

近日，together.ai獲得Kleiner Perkins領(lǐng)投的1.025億美元A輪融資，NVIDIA和Emergence Capital等投資者也參與本輪，其他的投資者還包括NEA、Prosperity7、Greycroft、137 Ventures和Lux Capital、Definition Capital、Long Journey Ventures、SCB10x、SV Angel等Together種子輪的投資者。

它的種子輪投資者除了機(jī)構(gòu)外，還包括IronPort聯(lián)合創(chuàng)始人Scott Banister、Cloudera聯(lián)合創(chuàng)始人Jeff Hammerbacher、Oasis Labs創(chuàng)始人Dawn Song、OpenSea聯(lián)合創(chuàng)始人Alex Atallah等。本輪融資是公司之前融資規(guī)模的五倍，累計(jì)融資額1.2億美元。

together.ai的聯(lián)合創(chuàng)始人兼CEO Vipul Ved Prakash表示：“如今，訓(xùn)練、微調(diào)或產(chǎn)品化開(kāi)源生成AI模型極具挑戰(zhàn)性。當(dāng)前的解決方案要求企業(yè)在人工智能方面擁有重要專(zhuān)業(yè)知識(shí)，同時(shí)能夠管理大規(guī)模基礎(chǔ)設(shè)施。together.ai平臺(tái)一站式解決了這兩大挑戰(zhàn)，提供了易于使用和獲取的解決方案。我們的目標(biāo)是幫助創(chuàng)建超越封閉模型的開(kāi)放模型，并將開(kāi)源作為整合人工智能的默認(rèn)方式。”

蘋(píng)果前高管和大學(xué)教授打造AI開(kāi)源云平臺(tái)

together.ai創(chuàng)建于2022年6月，聯(lián)合創(chuàng)始人包括Vipul Ved Prakash、Ce Zhang、Chris Re和Percy Liang。

Prakash此前創(chuàng)立了社交媒體搜索平臺(tái)Topsy，該平臺(tái)于2013年被蘋(píng)果收購(gòu)，隨后他成為蘋(píng)果的高級(jí)總監(jiān)。

Ce Zhang是蘇黎世聯(lián)邦理工學(xué)院計(jì)算機(jī)科學(xué)副教授，領(lǐng)導(dǎo)“去中心化”人工智能的研究。

Percy Liang是斯坦福大學(xué)計(jì)算機(jī)科學(xué)教授，指導(dǎo)該校的基礎(chǔ)模型研究中心（CRFM）。

Chris Re共同創(chuàng)立了多家初創(chuàng)公司，包括SambaNova，該公司為人工智能構(gòu)建硬件和集成系統(tǒng)。

Prakash表示：“去年Chris、Percy、Ce和我聚在一起時(shí)，我們都清楚地感覺(jué)到，AI基礎(chǔ)模型代表了技術(shù)的一次代際轉(zhuǎn)變，而且可能是自晶體管發(fā)明以來(lái)最重要的一次。

與此同時(shí)，過(guò)去幾十年在人工智能創(chuàng)新中突出的開(kāi)源社區(qū)在塑造即將到來(lái)的人工智能世界方面的能力有限。

我們看到這些模型趨向于在少數(shù)幾家公司中心化（OpenAI、Anthropic、Google），這是由于訓(xùn)練所需的高端GPU集群的巨大開(kāi)銷(xiāo)。

這正是together.ai試圖改變的，通過(guò)創(chuàng)建開(kāi)放和去中心化的替代方案，來(lái)挑戰(zhàn)現(xiàn)有的云系統(tǒng)（如AWS、Azure和Google Cloud），這對(duì)未來(lái)的商業(yè)和社會(huì)將是'至關(guān)重要的'。

隨著企業(yè)界定義其生成式人工智能策略，他們正在尋找隱私、透明度、定制化和部署的便利性。目前的云服務(wù)，由于其封閉源模型和數(shù)據(jù)，無(wú)法滿(mǎn)足他們的需求?！?/p>

華人學(xué)者攜FlashAttention技術(shù)和Mamba模型加入團(tuán)隊(duì)任首席科學(xué)家

今年7月份，Tri Dao作為首席科學(xué)家加入公司團(tuán)隊(duì)，Tri Dao在斯坦福大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位，導(dǎo)師是Christopher Ré和Stefano Ermon，他還即將成為普林斯頓大學(xué)的助理教授。他的研究曾獲得2022年國(guó)際機(jī)器學(xué)習(xí)大會(huì)（ICML）杰出論文亞軍獎(jiǎng)。

Tri Dao還是FlashAttention v2的作者，這是一個(gè)突出且開(kāi)源的大語(yǔ)言模型工具，可以加速大語(yǔ)言模型的訓(xùn)練和推理速度。

FlashAttention-2將大型語(yǔ)言模型（LLMs）的訓(xùn)練和微調(diào)速度提高了最多4倍，并在NVIDIA A100上實(shí)現(xiàn)了72%的模型FLOPs利用率。

FlashAttention-2在核心注意力操作上實(shí)現(xiàn)了2倍的加速，在端到端訓(xùn)練Transformer時(shí)實(shí)現(xiàn)了1.3倍的加速，鑒于大型語(yǔ)言模型的訓(xùn)練成本高達(dá)數(shù)千萬(wàn)美元，這些改進(jìn)可能節(jié)省數(shù)百萬(wàn)美元，并使模型能夠處理兩倍長(zhǎng)的上下文。

目前各個(gè)大語(yǔ)言模型公司，包括OpenAI、Anthropic、Meta和Mistral等都在使用FlashAttention。

最近，Tri Dao還參與了一項(xiàng)叫“Mamba”的研究，并提出了“選擇性狀態(tài)空間模型（selective state space model）”這個(gè)新架構(gòu)，Mamba在語(yǔ)言建模方面可以媲美甚至擊敗Transformer，且隨上下文長(zhǎng)度的增加實(shí)現(xiàn)線(xiàn)性擴(kuò)展，性能在實(shí)際數(shù)據(jù)中可提高到百萬(wàn)token長(zhǎng)度序列，并實(shí)現(xiàn)5倍的推理吞吐量提升。

Mamba作為通用序列模型的骨干，在語(yǔ)言、音頻和基因組學(xué)等多種模態(tài)中都達(dá)到了SOTA性能。在語(yǔ)言建模方面，無(wú)論是預(yù)訓(xùn)練還是下游評(píng)估，Mamba-3B模型都優(yōu)于同等規(guī)模的Transformer模型，并能與兩倍于其規(guī)模的Transformer模型相媲美。

在強(qiáng)大的技術(shù)團(tuán)隊(duì)支持下，together.ai在推理方面的屢有創(chuàng)新，除FlashAttention-2外，他們還利用了如Medusa和Flash-Decoding等技術(shù)，已經(jīng)形成了Transformer模型最快的推理技術(shù)堆棧。通過(guò)Together推理API，這個(gè)堆棧允許快速訪(fǎng)問(wèn)超過(guò)100個(gè)開(kāi)放模型進(jìn)行快速推理。

關(guān)于這次融資，Kleiner Perkins合伙人Bucky Moore如此評(píng)論：“人工智能是改變我們開(kāi)發(fā)軟件方式的新基礎(chǔ)設(shè)施層。為了最大化其影響，我們需要讓開(kāi)發(fā)者在任何地方都能使用它。我們預(yù)計(jì)，隨著開(kāi)源模型性能接近閉源模型，它們將得到廣泛采用。together.ai使任何組織都能在其基礎(chǔ)設(shè)施上構(gòu)建快速、可靠的應(yīng)用程序。”

Together AI的種子輪投資人Lux Capital的Brandon Reeves在接受采訪(fǎng)時(shí)說(shuō)：“通過(guò)提供跨計(jì)算和一流基礎(chǔ)模型的開(kāi)放生態(tài)系統(tǒng)，together.ai正在引領(lǐng)人工智能的‘Linux時(shí)刻’。together.ai團(tuán)隊(duì)致力于創(chuàng)建一個(gè)充滿(mǎn)活力的開(kāi)放生態(tài)系統(tǒng)，讓從個(gè)人到企業(yè)的任何人都能參與其中?！?/p>

不僅有推理速度最快的開(kāi)源AI云平臺(tái)，還有自己的數(shù)據(jù)集和模型

together.ai不僅有AI算力云平臺(tái)Together GPU Clusters，而且有專(zhuān)門(mén)優(yōu)化的推理，訓(xùn)練和微調(diào)服務(wù)，還能用自己的數(shù)據(jù)集為客戶(hù)定制AI模型，也推出了自己的示例性的開(kāi)源AI模型。

Together GPU Clusters：訓(xùn)練速度比標(biāo)準(zhǔn)PyTorch快9倍

Together GPU Clusters（原名Together Compute）為AI模型訓(xùn)練專(zhuān)門(mén)優(yōu)化的GPU算力集群。它擁有極快的模型訓(xùn)練速度和極高的成本效率。客戶(hù)可以在平臺(tái)上對(duì)模型進(jìn)行訓(xùn)練和微調(diào)。

together.ai為這個(gè)集群配備了訓(xùn)練軟件堆棧，這樣用戶(hù)可以專(zhuān)注于優(yōu)化模型質(zhì)量，而不是調(diào)整軟件設(shè)置。

在速度方面，使用了FlashAttention-2的它比使用標(biāo)準(zhǔn)PyTorch快9倍，在成本方面，它比AWS成本降低4倍。它使用的都是NVIDIA的A100和H100高端GPU。

此外，它還具有極佳的擴(kuò)展性，用戶(hù)可以選擇16個(gè)GPU到2048個(gè)GPU的算力規(guī)模，對(duì)應(yīng)不同大小的AI模型。對(duì)于客戶(hù)，它也提供專(zhuān)家級(jí)別的支持服務(wù)，目前它的續(xù)訂率超過(guò)95%。公司已經(jīng)在美國(guó)和歐洲建立了初步的數(shù)據(jù)中心網(wǎng)絡(luò)，數(shù)據(jù)中心合作伙伴包括Crusoe Energy和Vultr。

Together Fine-Tuning：使用私有數(shù)據(jù)微調(diào)

together.ai還提供了模型微調(diào)服務(wù)，客戶(hù)可以使用自己的私有數(shù)據(jù)以微調(diào)的方式定制開(kāi)源模型。together.ai讓用戶(hù)在微調(diào)時(shí)對(duì)超參數(shù)擁有完全控制，它的平臺(tái)還與Weights&Biases對(duì)接，讓客戶(hù)的模型微調(diào)更加可控和透明。

最后，當(dāng)模型調(diào)優(yōu)完成后，客戶(hù)可以在平臺(tái)上托管自己的模型，并進(jìn)行推理。

Together Inference Engine：比TGI或vLLM快3倍

Together Inference Engine（推理引擎）基于NVIDIA的CUDA構(gòu)建，并在NVIDIA Tensor Core GPU上運(yùn)行。Together的團(tuán)隊(duì)使用了包括FlashAttention-2、Flash-Decoding和Medusa在內(nèi)的一系列優(yōu)化推理性能的技術(shù)（基本是開(kāi)源的），優(yōu)化了推理的性能。

Together推理引擎的速度優(yōu)于其他推理的加速框架或服務(wù)在相同硬件上運(yùn)行時(shí)，它的速度比TGI或vLLM（大模型推理加速框架）快達(dá)3倍，這意味著，基于大模型的生成式AI應(yīng)用現(xiàn)在可以提供更快的用戶(hù)體驗(yàn)，同時(shí)效率更高，成本更低。

例如，都使用相同的硬件，利用開(kāi)源的LLM Perf基準(zhǔn)測(cè)試工具對(duì)Llama-2-70B-Chat模型進(jìn)行推理（500個(gè)輸入Token，150個(gè)輸出Token），測(cè)試結(jié)果如下圖。

此外，在速度超快的同時(shí)，Together推理引擎也不會(huì)犧牲任何質(zhì)量，下表顯示了幾項(xiàng)準(zhǔn)確性基準(zhǔn)測(cè)試的結(jié)果。Together推理引擎的結(jié)果與參考的Hugging Face實(shí)現(xiàn)保持一致。

Together Custom Models：使用自由數(shù)據(jù)加開(kāi)源數(shù)據(jù)集訓(xùn)練

對(duì)于企業(yè)用戶(hù)，together.ai還推出了Together Custom Models ，他們可以幫助企業(yè)從從零開(kāi)始構(gòu)建模型，這本質(zhì)上是一種咨詢(xún)服務(wù)。

他們擁有專(zhuān)家團(tuán)隊(duì)，幫助企業(yè)為特定工作負(fù)載設(shè)計(jì)和構(gòu)建定制化的AI模型，這些模型基于together.ai的RedPajama-v2數(shù)據(jù)集（30T的Tokens）和企業(yè)自有的專(zhuān)有數(shù)據(jù)訓(xùn)練。

據(jù)悉，開(kāi)源的RedPajama-V2數(shù)據(jù)集已被下載120萬(wàn)次。

together.ai會(huì)提供訓(xùn)練的基礎(chǔ)設(shè)施，訓(xùn)練技術(shù)（FlashAttention-2等）和模型架構(gòu)（基于Transformer的和不基于Transformer的）及訓(xùn)練配方選擇，模型訓(xùn)練好后，還提供調(diào)優(yōu)和對(duì)齊服務(wù)。

當(dāng)模型訓(xùn)練出來(lái)后，其所有權(quán)完全歸于客戶(hù)企業(yè)，這對(duì)于數(shù)據(jù)安全很重要的行業(yè)大企業(yè)來(lái)說(shuō)，具有吸引力；在OpenAI此前的DevDay上，它們也推出了基于GPT模型的模型定制服務(wù)，正是看中了這一點(diǎn)。

事實(shí)上together.ai在開(kāi)源模型上已經(jīng)有不少積累，除了RedPajama-v2數(shù)據(jù)集外，還包括GPT-JT（一個(gè)基于研究小組EleutherAI發(fā)布的開(kāi)源文本生成模型GPT-J-6B的分支），以及OpenChatKit（類(lèi)似于ChatGPT的聊天機(jī)器人）。

在客戶(hù)方面，除了近日獲得5500萬(wàn)美元融資的Pika Labs外，還有Nexusflow、Voyage AI和Cartesia等知名創(chuàng)業(yè)公司。

開(kāi)源生態(tài)打破閉源模型的封閉和權(quán)利中心化

目前在A(yíng)I大模型，尤其是基礎(chǔ)模型的發(fā)展上，工業(yè)界（大廠(chǎng)，創(chuàng)業(yè)公司）已經(jīng)明顯突出于大學(xué)和學(xué)術(shù)研究機(jī)構(gòu)，而閉源的大模型，也在性能上全面突出開(kāi)源大模型。

造成這種差距的原因主要在于訓(xùn)練大模型需要的巨量成本（算力成本，人力成本，時(shí)間成本），這使得學(xué)校和研究機(jī)構(gòu)只能用規(guī)模很小的模型（6B或7B）參數(shù)去做一些相對(duì)邊緣的研究；或者去卷基礎(chǔ)理論，試圖顛覆現(xiàn)有的格局。

閉源大模型超越開(kāi)源大模型是一個(gè)現(xiàn)實(shí)，但是這種趨勢(shì)持續(xù)下去，會(huì)讓AI的權(quán)利變得越來(lái)越中心化，形成幾家巨頭（微軟、Google）+幾家新巨頭（OpenAI+Anthropic）的格局。這并不利于整個(gè)AI的創(chuàng)業(yè)生態(tài)向前發(fā)展。同時(shí)這也是llama2發(fā)布時(shí)造成那么大震撼的內(nèi)在原因。

這也就是together.ai的意義所在。一方面，它們搭建算力平臺(tái)，為企業(yè)提供便宜和快速的模型訓(xùn)練和推理服務(wù)，一方面也幫助企業(yè)打造自己的定制模型，給了企業(yè)第三方的選擇空間。

在開(kāi)源方面，它們也提供了自己的數(shù)據(jù)集，自己的訓(xùn)練和推理技術(shù)棧，以及示例性的開(kāi)源模型，這些努力都是在打破“壟斷”。

而together.ai之所以具有這個(gè)能力，也和它自身的技術(shù)實(shí)力分不開(kāi)，連續(xù)創(chuàng)業(yè)者和大學(xué)教授的組合讓他們既清楚企業(yè)的痛點(diǎn)在哪兒，又有能力從底層去解決和優(yōu)化。

其實(shí)這也是一個(gè)很好的示例，大學(xué)教授擁抱創(chuàng)業(yè)，利用社會(huì)資本做研究，讓自己的研究成果影響更多的人。我們也期待更多教授/學(xué)者+產(chǎn)業(yè)人/連續(xù)創(chuàng)業(yè)者的創(chuàng)業(yè)團(tuán)隊(duì)出現(xiàn)。

本文（含圖片）為合作媒體授權(quán)創(chuàng)業(yè)邦轉(zhuǎn)載，不代表創(chuàng)業(yè)邦立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問(wèn)，請(qǐng)聯(lián)系editor@cyzone.cn。