編者按:本文來自微信公眾號 量子位,作者:白小交 衡宇,創(chuàng)業(yè)邦經(jīng)授權轉載。
一份高校教職任命引發(fā)全網(wǎng)熱議,沖上熱搜第一:
1997年出生的清華叉院畢業(yè)生張林峰,今年6月拿下博士學位,現(xiàn)已擔任上海交通大學人工智能學院助理教授、博士生導師,領導 EPIC (Efficient and Precision Intelligent Computing))實驗室。
1997年在濰坊出生,那就是才27歲?。?/p>
張林峰的個人主頁顯示,他的研究方向包括大模型量化、高效推理等。
此前,已發(fā)表一作和通訊作者論文20余篇,谷歌學術被引數(shù)超2000次。
其中,最高引論文面向模型壓縮方向,是張林峰大四時候完成的項目。
不僅單篇被引數(shù)過1000,還被同方向大神MIT副教授韓松(2023年斯隆研究獎得主、深鑒科技聯(lián)合創(chuàng)始人),寫進了《TinyML and Efficient Deep Learning Computing》這門課程的Lecture 9《Knowledge Distillation》。
一時之間,各大平臺都在討論這位新晉博導,不僅在知乎瀏覽量超80萬,還在微博熱搜第一掛了6個小時,閱讀量近6000萬。
網(wǎng)友圍觀感慨之余,有打趣的,be like:
更多的是贊嘆,這教科書版的人生,每一步都值得借鑒。
27歲的上交大博導
張林峰本科畢業(yè)于東北大學計算機科學與工程學院,是2019年的優(yōu)秀畢業(yè)生。
本科畢業(yè)后,張林峰直博進入清華大學交叉信息研究院,師從副教授馬愷聲。
讀博期間,張林峰發(fā)表了20余篇論文,其中有13篇都是一作。
自2020年起,他還常年擔任NeurIPS,ICML,ICLR,CVPR,ECCV,ICCV,AAAI、IJCAI、IEEE TPAMI、IEEE TCSVT、IEEE TIP等眾多學術會議與期刊的審稿人。
今年6月順利畢業(yè)時,張林峰同時獲北京市優(yōu)秀畢業(yè)生,清華大學優(yōu)秀博士論文,清華大學啟航獎金獎,交叉信息研究院優(yōu)秀畢業(yè)生,并作為學院代表在參與清華大學畢業(yè)生座談會,在畢業(yè)典禮上發(fā)言。
今年8月,他又在香港科技大學(廣州)的人工智能學域助理教授、副研究員以及博士生導師胡旭明的邀請下,赴香港科技大學(廣州)兼任訪問助理教授。
他的主要研究方向為高效的人工智能,包括大模型、人工智能數(shù)據(jù)集的壓縮與加速等,大概如下:
輕量高效的語言/多模態(tài)大模型
輕量高效的AIGC模型
數(shù)據(jù)高效的人工智能
據(jù)他個人主頁介紹,他的研究成果已在華為、交叉信息核心技術研究院等公司/機構中得到使用。
翻看張林峰的谷歌學術主頁,截至本文發(fā)稿,他的被引數(shù)為2223次。
最高引論文《Be your own teacher: lmprove the performance of convolutional neuranetworks via self distillation》(《通過自蒸餾提高卷積神經(jīng)網(wǎng)絡的性能》)發(fā)表于ICCV2019,也就是張林峰大四的時候。
他是論文一作,同時這篇論文也是他博導馬愷聲的最高引論文(doge)。
這篇文章提出一種自蒸餾方法:使用模型的深層來蒸餾淺層。
該方法將目標CNN按深度和原始結構劃分為幾個淺層部分,在每個淺層部分后設置一個由瓶頸層和全連接層組成的分類器(僅在訓練時使用,推理時可移除)。
訓練時,所有淺層部分及其分類器作為學生模型,通過蒸餾從最深層部分(視為教師模型)獲取知識。
在顯著提高CNN性能的同時,訓練時間也更短。
這篇論文首次證明了知識蒸餾中的教師模型并非必需,推動了無教師知識蒸餾領域的發(fā)展。
《人民日報》微信公眾號今早也發(fā)布了一篇介紹張林峰的推文。
其中寫道,畢業(yè)時,張林峰放棄了多家企業(yè)給出的百萬薪資,選擇到上海交通大學人工智能學院任教,開展科研與教育工作。
張林峰表示:
我覺得做科研是一件很好玩兒的事。有一個好老師去引導是非常重要的。在清華時,我的導師就曾經(jīng)很好地引導了我的科學之路。我也想為更多的同學營造一個有趣、有意義的科研環(huán)境。
年輕博士成AI科研主力軍
像張林峰這樣并非個例,越來越多的博士年紀輕輕就開始當博導,成為AI科研的主力軍。
他的導師馬愷聲就是一位。
目前他是清華大學叉院助理教授、博士生導師,2018年才從賓夕法尼亞州立大學計算機科學與工程系博士畢業(yè),同年被姚期智招募回國,并入職清華大學。而張林峰應該算得上他第一波帶出來的博士生。
他的主要研究方向包括Chiplet后摩爾時代體系架構、AI算法設計等,曾設計出全模式稀疏與量化結合的AI芯片“啟明910”和“啟明920”,在此基礎上,設計了基于Chiplet技術的大算力芯片“啟明930”,在良率、成本、迭代速度方面達到領先水平。
還有今年曾邀請過他去港科大(廣州)訪問的胡旭明教授。
今年1月,他才從清華大學軟件學院博士畢業(yè),3月加入香港科技大學(廣州)人工智能學域副研究員、助理教授、博士生導師。本科畢業(yè)于大連理工大學。
他的研究方向包括自然語言處理和大語言模型,具體包括可信大語言模型探究、大語言模型的蒸餾、加速以及垂類大語言模型的訓練研發(fā)。博士期間師從Philip S. Yu教授,是ACM/IEEE Fellow。谷歌學術顯示,被引次數(shù)接近1500次。
近年來,重慶大學、南方醫(yī)科大學、浙江大學等都有非常非常年輕優(yōu)秀的人入職當博導、教授。
比如像2021年1月,年僅25歲的馮磊加入重慶大學計算機學院工作。據(jù)稱是該學院首次直接給應屆博士畢業(yè)生博導崗位。他只花了三年時間,就從新加坡南洋理工大學博士畢業(yè),主要研究方向包括機器學習、數(shù)據(jù)挖掘、AI等。
AI蓬勃發(fā)展加速落地應用,對創(chuàng)新和前沿研究的需求十分迫切。
能夠看到的是,這些年輕博士在大學期間就取得了顯著的科研成果,其創(chuàng)新思維和科研實力也讓他們成為AI科研主力軍,受到學界認可
這當然也離不開高校和科研機構,他們越來越注重人才培養(yǎng)和引進,讓更多的年輕學者施展拳腳。
本人回應:不希望給大家?guī)砟挲g焦慮
對于這幾天在網(wǎng)上受到的關注,張林峰透過人民日報也做了一些回應。
他表示,
AI也是很年輕的學科,年輕人是AI研究的主力軍,不希望給大家?guī)砟挲g焦慮。
作為一個做科研的人,因為“年輕”被大家關注到,會感到有些不安。
未來,希望可以讓更多人因為科研成果認識我。
此外,他還透露之后他研究方向仍聚焦在AI,希望在大模型發(fā)展道路上探索一條高效發(fā)展方式。
參考鏈接
[1]http://www.zhanglinfeng.tech/
[2]https://xuminghu.github.io/
[3]https://www.tsinghua.edu.cn/info/1175/97093.htm
[4]https://mp.weixin.qq.com/s/l1_rWfwkh1vDCgMD5HSTyQ
[5]https://mp.weixin.qq.com/s/t4ofA8sbYEoD8EXpuBB_gQ
[6]https://hanlab.mit.edu/courses/2024-fall-65940
本文為專欄作者授權創(chuàng)業(yè)邦發(fā)表,版權歸原作者所有。文章系作者個人觀點,不代表創(chuàng)業(yè)邦立場,轉載請聯(lián)系原作者。如有任何疑問,請聯(lián)系editor@cyzone.cn。