編者按:本文來自微信公眾號 “量子位”(ID:QbitAI),作者:白小交 衡宇,創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。
一份高校教職任命引發(fā)全網(wǎng)熱議,沖上熱搜第一:
1997年出生的清華叉院畢業(yè)生張林峰,今年6月拿下博士學(xué)位,現(xiàn)已擔(dān)任上海交通大學(xué)人工智能學(xué)院助理教授、博士生導(dǎo)師,領(lǐng)導(dǎo) EPIC (Efficient and Precision Intelligent Computing))實驗室。
1997年在濰坊出生,那就是才27歲啊!
張林峰的個人主頁顯示,他的研究方向包括大模型量化、高效推理等。
此前,已發(fā)表一作和通訊作者論文20余篇,谷歌學(xué)術(shù)被引數(shù)超2000次。
其中,最高引論文面向模型壓縮方向,是張林峰大四時候完成的項目。
不僅單篇被引數(shù)過1000,還被同方向大神MIT副教授韓松(2023年斯隆研究獎得主、深鑒科技聯(lián)合創(chuàng)始人),寫進(jìn)了《TinyML and Efficient Deep Learning Computing》這門課程的Lecture 9《Knowledge Distillation》。
一時之間,各大平臺都在討論這位新晉博導(dǎo),不僅在知乎瀏覽量超80萬,還在微博熱搜第一掛了6個小時,閱讀量近6000萬。
網(wǎng)友圍觀感慨之余,有打趣的,be like:
更多的是贊嘆,這教科書版的人生,每一步都值得借鑒。
27歲的上交大博導(dǎo)
張林峰本科畢業(yè)于東北大學(xué)計算機(jī)科學(xué)與工程學(xué)院,是2019年的優(yōu)秀畢業(yè)生。
本科畢業(yè)后,張林峰直博進(jìn)入清華大學(xué)交叉信息研究院,師從副教授馬愷聲。
讀博期間,張林峰發(fā)表了20余篇論文,其中有13篇都是一作。
自2020年起,他還常年擔(dān)任NeurIPS,ICML,ICLR,CVPR,ECCV,ICCV,AAAI、IJCAI、IEEE TPAMI、IEEE TCSVT、IEEE TIP等眾多學(xué)術(shù)會議與期刊的審稿人。
今年6月順利畢業(yè)時,張林峰同時獲北京市優(yōu)秀畢業(yè)生,清華大學(xué)優(yōu)秀博士論文,清華大學(xué)啟航獎金獎,交叉信息研究院優(yōu)秀畢業(yè)生,并作為學(xué)院代表在參與清華大學(xué)畢業(yè)生座談會,在畢業(yè)典禮上發(fā)言。
今年8月,他又在香港科技大學(xué)(廣州)的人工智能學(xué)域助理教授、副研究員以及博士生導(dǎo)師胡旭明的邀請下,赴香港科技大學(xué)(廣州)兼任訪問助理教授。
他的主要研究方向為高效的人工智能,包括大模型、人工智能數(shù)據(jù)集的壓縮與加速等,大概如下:
輕量高效的語言/多模態(tài)大模型
輕量高效的AIGC模型
數(shù)據(jù)高效的人工智能
據(jù)他個人主頁介紹,他的研究成果已在華為、交叉信息核心技術(shù)研究院等公司/機(jī)構(gòu)中得到使用。
翻看張林峰的谷歌學(xué)術(shù)主頁,截至本文發(fā)稿,他的被引數(shù)為2223次。
最高引論文《Be your own teacher: lmprove the performance of convolutional neuranetworks via self distillation》(《通過自蒸餾提高卷積神經(jīng)網(wǎng)絡(luò)的性能》)發(fā)表于ICCV2019,也就是張林峰大四的時候。
他是論文一作,同時這篇論文也是他博導(dǎo)馬愷聲的最高引論文(doge)。
這篇文章提出一種自蒸餾方法:使用模型的深層來蒸餾淺層。
該方法將目標(biāo)CNN按深度和原始結(jié)構(gòu)劃分為幾個淺層部分,在每個淺層部分后設(shè)置一個由瓶頸層和全連接層組成的分類器(僅在訓(xùn)練時使用,推理時可移除)。
訓(xùn)練時,所有淺層部分及其分類器作為學(xué)生模型,通過蒸餾從最深層部分(視為教師模型)獲取知識。
在顯著提高CNN性能的同時,訓(xùn)練時間也更短。
這篇論文首次證明了知識蒸餾中的教師模型并非必需,推動了無教師知識蒸餾領(lǐng)域的發(fā)展。
《人民日報》微信公眾號今早也發(fā)布了一篇介紹張林峰的推文。
其中寫道,畢業(yè)時,張林峰放棄了多家企業(yè)給出的百萬薪資,選擇到上海交通大學(xué)人工智能學(xué)院任教,開展科研與教育工作。
張林峰表示:
我覺得做科研是一件很好玩兒的事。
有一個好老師去引導(dǎo)是非常重要的。在清華時,我的導(dǎo)師就曾經(jīng)很好地引導(dǎo)了我的科學(xué)之路。
我也想為更多的同學(xué)營造一個有趣、有意義的科研環(huán)境。
年輕博士成AI科研主力軍
像張林峰這樣并非個例,越來越多的博士年紀(jì)輕輕就開始當(dāng)博導(dǎo),成為AI科研的主力軍。
他的導(dǎo)師馬愷聲就是一位。
目前他是清華大學(xué)叉院助理教授、博士生導(dǎo)師,2018年才從賓夕法尼亞州立大學(xué)計算機(jī)科學(xué)與工程系博士畢業(yè),同年被姚期智招募回國,并入職清華大學(xué)。而張林峰應(yīng)該算得上他第一波帶出來的博士生。
他的主要研究方向包括Chiplet后摩爾時代體系架構(gòu)、AI算法設(shè)計等,曾設(shè)計出全模式稀疏與量化結(jié)合的AI芯片“啟明910”和“啟明920”,在此基礎(chǔ)上,設(shè)計了基于Chiplet技術(shù)的大算力芯片“啟明930”,在良率、成本、迭代速度方面達(dá)到領(lǐng)先水平。
還有今年曾邀請過他去港科大(廣州)訪問的胡旭明教授。
今年1月,他才從清華大學(xué)軟件學(xué)院博士畢業(yè),3月加入香港科技大學(xué)(廣州)人工智能學(xué)域副研究員、助理教授、博士生導(dǎo)師。本科畢業(yè)于大連理工大學(xué)。
他的研究方向包括自然語言處理和大語言模型,具體包括可信大語言模型探究、大語言模型的蒸餾、加速以及垂類大語言模型的訓(xùn)練研發(fā)。博士期間師從Philip S. Yu教授,是ACM/IEEE Fellow。谷歌學(xué)術(shù)顯示,被引次數(shù)接近1500次。
近年來,重慶大學(xué)、南方醫(yī)科大學(xué)、浙江大學(xué)等都有非常非常年輕優(yōu)秀的人入職當(dāng)博導(dǎo)、教授。
比如像2021年1月,年僅25歲的馮磊加入重慶大學(xué)計算機(jī)學(xué)院工作。據(jù)稱是該學(xué)院首次直接給應(yīng)屆博士畢業(yè)生博導(dǎo)崗位。他只花了三年時間,就從新加坡南洋理工大學(xué)博士畢業(yè),主要研究方向包括機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、AI等。
AI蓬勃發(fā)展加速落地應(yīng)用,對創(chuàng)新和前沿研究的需求十分迫切。
能夠看到的是,這些年輕博士在大學(xué)期間就取得了顯著的科研成果,其創(chuàng)新思維和科研實力也讓他們成為AI科研主力軍,受到學(xué)界認(rèn)可
這當(dāng)然也離不開高校和科研機(jī)構(gòu),他們越來越注重人才培養(yǎng)和引進(jìn),讓更多的年輕學(xué)者施展拳腳。
本人回應(yīng):不希望給大家?guī)砟挲g焦慮
對于這幾天在網(wǎng)上受到的關(guān)注,張林峰透過人民日報也做了一些回應(yīng)。
他表示,
AI也是很年輕的學(xué)科,年輕人是AI研究的主力軍,不希望給大家?guī)砟挲g焦慮。
作為一個做科研的人,因為“年輕”被大家關(guān)注到,會感到有些不安。
未來,希望可以讓更多人因為科研成果認(rèn)識我。
此外,他還透露之后他研究方向仍聚焦在AI,希望在大模型發(fā)展道路上探索一條高效發(fā)展方式。
參考鏈接:
[1]http://www.zhanglinfeng.tech/
[2]https://xuminghu.github.io/
[3]https://www.tsinghua.edu.cn/info/1175/97093.htm
[4]https://mp.weixin.qq.com/s/l1_rWfwkh1vDCgMD5HSTyQ
[5]https://mp.weixin.qq.com/s/t4ofA8sbYEoD8EXpuBB_gQ
[6]https://hanlab.mit.edu/courses/2024-fall-65940
本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表,版權(quán)歸原作者所有。文章系作者個人觀點,不代表創(chuàng)業(yè)邦立場,轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問,請聯(lián)系editor@cyzone.cn。