編者按：本文來(lái)自微信公眾號(hào) GenAI新世界（ID：gh_e06235300f0d），作者：遠(yuǎn)川研究所，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。
雖然我們每天都已經(jīng)習(xí)慣了用手機(jī)來(lái)完成簽到、回復(fù)、發(fā)信息等各種工作，但很多人還是時(shí)不時(shí)的會(huì)感慨，科技都已經(jīng)這么發(fā)達(dá)了，這些事手機(jī)就不能自己動(dòng)手把工作干了嗎？
還真別說(shuō)，這些事可能用不了多久就不需要我們親自動(dòng)手了。
騰訊這兩天聯(lián)手德州大學(xué)達(dá)拉斯分校的研究團(tuán)隊(duì)在 Arxiv上發(fā)布了一篇名為《AppAgent: Multimodal Agents as Smartphone Users》的論文，介紹了一個(gè)名為AppAgent的多模態(tài)模型應(yīng)用項(xiàng)目。論文表示，AppAgent可以學(xué)習(xí)用戶(hù)的手機(jī)操作習(xí)慣，在手機(jī)上自己執(zhí)行各種操作。
它可以模仿用戶(hù)的口吻在社交媒體APP上發(fā)帖，還可以按照人的口氣撰寫(xiě)和發(fā)送郵件，還可以修圖、導(dǎo)航、給視頻進(jìn)行評(píng)論，甚至是通過(guò)APP買(mǎi)東西。
AppAgent的操作分為兩個(gè)階段，分別稱(chēng)為探索階段和部署階段。在探索階段，AppAgent觀察不同應(yīng)用程序用戶(hù)界面的交互情況，這就好像一個(gè)牙牙學(xué)語(yǔ)的孩子，只要通過(guò)充分觀察，AppAgent就能熟練使用某個(gè)應(yīng)用程序。而這些知識(shí)會(huì)被精心整理成文檔，放進(jìn)AppAgent的知識(shí)庫(kù)中。
學(xué)習(xí)階段完成后，AppAgent就可以開(kāi)始自己行動(dòng)了。這個(gè)階段它可以處理任何支持的應(yīng)用程序操作任務(wù)。這種有條不紊的方法使AppAgent能夠高效地完成不同應(yīng)用程序中的各種復(fù)雜任務(wù)。
目前該研究團(tuán)隊(duì)已經(jīng)對(duì) Temu、Gmail、X、Youtube 等十款A(yù)PP進(jìn)行多次測(cè)試，至少確保了50多種不同的任務(wù)。而在開(kāi)放測(cè)試之后，AppAgent還將會(huì)學(xué)習(xí)到更多APP的操作方法，方便不同人群使用。
論文中還放出了一個(gè)案例，直接讓AppAgent 在 Gmail 中給人發(fā)一封郵件。在向AppAgent 發(fā)出要求之后，AppAgent 直接輕車(chē)熟路的打開(kāi) Gmail，找到相應(yīng)的聯(lián)系人，洋洋灑灑的寫(xiě)了一封郵件給人發(fā)過(guò)去。全程根本不需要人類(lèi)自己動(dòng)手。
這聽(tīng)上去是不是很酷，有了AppAgent，一些重復(fù)繁瑣的功能就可以自己完成。最典型的場(chǎng)景，就是拼多多的“砍一刀”。以后再面對(duì)家人朋友幫忙砍一刀的要求時(shí)，大家完全可以把這些無(wú)聊又繁瑣的復(fù)制、點(diǎn)擊操作交給 AppAgent來(lái)完成。
而對(duì)于很多上班族來(lái)說(shuō)，AppAgent完全可以自己完成手機(jī)上下班打卡的工作需求，再也不用擔(dān)心因?yàn)橥洿蚩ǘe(cuò)失全勤獎(jiǎng)的問(wèn)題。AppAgent還解決了安卓用戶(hù)無(wú)法借助Siri這樣的語(yǔ)音助手自己回復(fù)消息的問(wèn)題，只要日后開(kāi)放語(yǔ)音接口，就可以輕松實(shí)現(xiàn)解放雙手，動(dòng)動(dòng)嘴就可以讓手機(jī)自己回復(fù)消息的夢(mèng)想。
AppAgent一經(jīng)公布，讓不少人對(duì)這款解放雙手的AI產(chǎn)品產(chǎn)生了興趣。
App Agent看上去很棒
不過(guò)也有些用戶(hù)在感慨AppAgent很酷的同時(shí)，也在擔(dān)心它的使用場(chǎng)景。
這也可能是個(gè)雙刃劍，它在提高工作效率的同時(shí)，也可以用于操縱社交媒體。
還有人在擔(dān)憂自己的數(shù)據(jù)安全。
有些擔(dān)憂也挺有道理的，畢竟誰(shuí)也不能保證在AppAgent的幫助下手機(jī)會(huì)不會(huì)自己給自己安排一堆任務(wù)。
到時(shí)候一覺(jué)醒來(lái)人們發(fā)現(xiàn)，手機(jī)自己給購(gòu)物車(chē)清空了，恐怕很多人就要覺(jué)得這是一場(chǎng)噩夢(mèng)了。
本文為專(zhuān)欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表，版權(quán)歸原作者所有。文章系作者個(gè)人觀點(diǎn)，不代表創(chuàng)業(yè)邦立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問(wèn)，請(qǐng)聯(lián)系editor@cyzone.cn。
