X10
登入免費註冊
免費閱讀8 次瀏覽

OpenAI 的 Ari Weinstein 與 James Sun 上 a16z：電腦操作 agent 已比一般人快，下一步是超越專家

站長

OpenAI 的 Ari Weinstein 與 James Sun 上 a16z：電腦操作 agent 已比一般人快，下一步是超越專家
人工智慧AI Agent市場觀點OpenAI企業軟體

a16z 這集請來 OpenAI 負責電腦操作（computer use）產品的 Ari Weinstein 與 James Sun，由 a16z 的 Seema Amble 和 Fabrizio Serafini 主持。Seema 和 Fabrizio 在 8 月寫過一篇研究，談電腦操作 agent 如何開始在企業內部做真正的工作，這集等於請做產品的人親自來回答。Ari 開場就丟出一句很有份量的話：OpenAI 的電腦操作 agent 已經比一般人用電腦還快，而且離「超越專家」不遠了。

GPT-6 Astra 帶來的改變：快一點、穩一點、更安全

Seema 先請 Ari 談 GPT-6 Astra 讓電腦操作 agent 前進了什麼。Ari 說，在 Astra 之前，OpenAI 的電腦操作模型其實已經很強，前一代的 GPT-5.6 Sol 本身就很會操作電腦。Astra 的進步比較像是在邊角補強：平均更快，因為完成同樣任務用的思考 token 比較少；更擅長創意類工作，例如發表影片裡一邊對話一邊在 Microsoft Paint 上畫圖；也更可靠。他特別提到 99% 和 97% 可靠度的差別，數字上只差一點，用起來的信任感卻差很多。

James 補充，Astra 也是 OpenAI 對齊程度最好的模型，system card 顯示它更能抵抗 prompt injection，也更不會做出非預期的動作。對要拿 agent 處理採購、聯絡供應商或客戶的企業來說，這是用起來安不安心的關鍵。他也分享比較好玩的一面：內部讓 Astra 和 GPT-5.6 Sol 對打電玩，Astra 每次都贏，網路上也流傳 Astra 大約 30 小時破關 Fallout 的貼文。他笑說這「大概能轉換成某種能力吧」。

我的看法是，這段把電腦操作的瓶頸講得很清楚：模型「會不會」已經不是主要問題，真正決定能不能交出去的是速度、可靠度與對齊。97% 到 99% 這種最後一哩，正是企業願不願意放手的門檻。

消費者與企業：一個推前沿，一個補落差

Seema 問消費者與企業哪邊比較令人興奮，James 說 Ari 比較偏消費者，他自己花比較多時間在企業端。他的分工是：消費者是 OpenAI 推前沿的地方，Astra 更快，就能想像新的使用體驗；企業端的需求則早就很明顯，大企業裡充滿用了 15、20 年、沒有 MCP 工具的老軟體，介面停在上一個十年，連一般員工都不太會用。企業已經開始寫 skill 教模型操作這些系統，能力其實早就到位，企業正在追上。

Ari 則說消費端最好玩的，是讓 agent 幫你處理日常生活裡那些煩人的事。他舉 Dots 為例：每個 dot 都有自己的雲端電腦和完整瀏覽器，可以幫你買東西、預約剪頭髮。

Fabrizio 接著問 James 怎麼用 Dots 處理產品回饋。James 說他喜歡 Dots 的第一點是主動性：公司內部的外部會議邀請不會自動出現在行事曆上，他常因此漏掉會議，現在 Dots 會提醒他「收件匣有一封邀請還沒進行事曆，要幫你在 Gmail 接受嗎？」他說這是小事，卻救了他很多次。第二是處理形狀不固定的工作：以前他用 Codex 的自動化每半小時抓一次 Slack 訊息，最後通知多到直接無視；現在他只給 Dots 一個高層目標，例如「我底下的人說了什麼就告訴我」「看到重要的產品回饋就自己判斷」。收到錯誤回報時，Dots 還能同時操作他的本機瀏覽器和雲端電腦，登入 Sentry 抓 log、分析後回報，把整段流程自動化。

速度為什麼重要：「我自己做還比較快」的感覺

Ari 說 OpenAI 在電腦操作上投入很多，他認為目前已經是最快、最便宜、最可靠的電腦操作產品。速度的微妙之處在於：電腦操作的強項是在背景做事，有時候多久都無所謂；但很多時候你想看著它做，或是得等它做完才能接下一步，這時一慢，就會冒出「我自己做還比較快」的念頭。

他說現在電腦操作已經比一般人快，而且很接近超人等級，也就是比在場這幾位重度電腦使用者還快。他認為那一刻會是分水嶺：只要你做得到的事它都做得更快，除非你有理由想自己動手，預設就是交給 agent。OpenAI 也會提供不同價位與品質的模型，便宜的模型在電腦操作上也越來越好。

James 從另一個角度切入：模型慢的時候，你還能盯著看，但能做的事也被你的注意力綁住；等它快到你無法逐一觀察，就需要給企業調整「人在迴圈裡」程度與稽核的能力。OpenAI 推出了一組企業控制：可以選擇哪些動作要人工核准，也有一個名為 Guardian 的系統（App 裡的自動核准），由另一個模型逐一檢查 agent 的每個動作是否安全、是否符合使用者意圖。消費者可能想要全部自動，企業則能決定哪些動作可以直接放行。

開放網路上的難題：廣告與 WebMCP

Seema 問到應用軟體業者怎麼看 agent 來操作自家產品。James 說在公司內部核准的軟體裡反而單純，大家本來就希望自動化；麻煩在開放網路。靠廣告維生的出版商與網站，商業模式和 agent 使用並不一致，agent 看到的廣告大多不算真正的營收，這是 OpenAI 和合作夥伴團隊一直在處理的問題。

另一群網站則願意擁抱 agent，開始採用讓人和 agent 一起使用網站的標準，例如 OpenAI 已在 App 內建瀏覽器支援的 WebMCP。James 說他自己還是很喜歡逛網站、比較飯店和機票，理想的狀態是 agent 處理繁瑣的部分，你負責瀏覽，決定好了再交回給 agent 完成結帳。

什麼工作可以交給 agent

Seema 換個方向，問什麼工作已經可以交給 agent。James 說他現在會逼自己養成一個習慣：每遇到一件事，先問「能不能讓 agent 做」。除了傳訊息這種希望「感覺是自己發的」的事，他認為自 Astra 起，電腦操作 agent 已經能做一個人在電腦上能做的任何事。需求模糊時，Astra 的彈性輸入會先問細節，若你沒及時回覆，它會自己抓需要的脈絡繼續做。重複性的流程則最好像寫產品規格一樣先把需求講清楚。

Ari 說他也還在培養這個反射，因為人很容易被舊習慣綁住。他認為電腦操作最酷的地方是普遍性：其他整合都需要開發者做事，例如寫 connector 或 MCP server，電腦操作卻能用在任何軟體上，而且是用人類的方式操作，等於讓 agent 擁有你所有的能力。James 也說，他已經不再區分「這是不是電腦操作任務」，電腦操作比較像模型通用的 API，任務越有野心，過程中越可能用到它；只有簡單到點兩下就好的事他才自己來，但等它更快，也許連這些都只要開口說就好。

讓企業安心：確定性的控制加上透明

Seema 問到怎麼讓企業使用者安心，James 把它分成兩層。第一層是確定性的控制：即使模型很會抵抗 prompt injection，企業管理員能明確劃界才有安全感。OpenAI 推出的做法包括替 agent 建沙盒，規定能用哪些 App、哪些網站；以及設定哪些動作需要人工介入，例如上傳下載、進入新網站都要人核准，這些都是企業可以自己調的旋鈕。第二層是把內部與第三方的對齊評測攤給企業看。

Ari 補充，產品設計本身也在幫忙建立信任：你隨時看得到游標，而且它的動畫很有趣，看著它做事不會無聊；使用新 App 或網站前也會先徵求同意。他說這是一種建立信任的過程，先體驗它做事的感覺，再慢慢放手。Fabrizio 接著說他很愛 Codex 那個游標，覺得「好可愛」，雖然是小細節，卻能讓人更有信心，是值得投資的使用者體驗。

最有機會的場景：「無聊就是機會」

Fabrizio 問到企業最該自動化什麼。James 分兩類。第一類是繁瑣流程，他自己說這是「比較無聊的那類」，Seema 馬上接話：無聊就是機會。這類包括 ERP、CRM 等各種系統紀錄。例子之一是採購：以前各團隊填一張上千列的大試算表，營運團隊再輸入內部採購系統，採購團隊再拿結果去聯絡供應商，這整串都能交給電腦操作。財務也是，公司有各種帳本，月底要對帳，很多財務軟體沒有 API，agent 可以逐一翻帳、找出異常、標記給人或自己追查。業務團隊則能讓 agent 做名單開發，再填進 CRM。

市場研究是另一類。James 分享他私下在做一套羽球影片標註軟體，因為他喜歡錄自己打球再讓 agent 分析。為了做得更好，他讓電腦操作 agent 去註冊匹克球、壁球、網球的同類軟體，實際試用、截圖、給回饋，再把心得做回自己的 App。第二類則是更有野心的創意工作：模型的視覺設計能力變強後，電路設計、建築、硬體工程、遊戲設計都是他期待的方向，只是企業現在還多半在想無聊的機會。

Ari 說消費者端也一樣，一部分是處理苦差事，例如填 DMV 表格、退訂一堆電子報；另一部分是做原本沒時間或想不到要做的事。他自己維護財務和備餐的試算表，有位當私人教練的朋友替每位客戶做客製化內容。他用的是 Apple Numbers，「一個冷門的試算表軟體」，模型照樣搞定，Seema 笑說從沒聽過誰在用 Apple Numbers，Ari 則堅持它其實很好用。他最期待的第三類，是用全新方式使用整台電腦，例如直接用聲音跟電腦對話，軟體的型態本身也會因此改變。

老軟體會被取代，還是被延壽？

Seema 拋出一個她自己常想的問題：企業會繼續用 30 年前的老 ERP，上面加一層 agent 就好，還是 AI 原生的新軟體會出頭？Ari 認為兩者會同時發生很久：一方面做新軟體的成本和難度大降，另一方面世界上有太多 10 到 40 年前寫的軟體，電腦操作正好最適合和它們互動。他也認為電腦操作的存在，會反過來逼軟體公司讓產品更適合 agent，WebMCP 就是一例。

James 同意，並說如果網路變成只有 agent 彼此對話、人不再使用任何東西的地方，他會很難過。他相信用心打造的軟體自有價值，並分享一個溫馨的例子：他太太最近迷上一款連成五子就贏的棋類遊戲 Omok（五子棋的韓文名稱），在線上被朋友電得很慘，他就替她做了一個戰術訓練器，依照她喜歡的學習方式量身打造。他認為未來任何人都能很快為小眾需求做出精緻的個人化軟體，而便宜的軟體會逼軟體變得更好，UI 不會消失。

Ari 說人類天生就喜歡直接操作，過去的軟體是為上百萬甚至數十億人設計的，未來可能出現只為一百人甚至一個人設計的軟體。Seema 則提出她的兩個分類：消費端的軟體重點在使用的樂趣或學習；B2B 端則是 agent 執行，人負責設定目標並能回頭稽核，例如追查某筆款項為何付出、套用了多少折扣，這部分需要 UI，而且也應該好用，她直言「為什麼要將就爛軟體？」Ari 也期待出現表面是傳統介面、底下由 agent 驅動的新軟體，甚至由 agent 用電腦操作去自動化背後的老系統。James 補充，如果每個網站都有自己的 agent 卻不和你的 agent 溝通，世界會很破碎，接下來幾個月怎麼讓它們串起來會很有看頭。

給創業者的建議

Fabrizio 問，如果明天要創業、用電腦操作解決企業流程，該怎麼想？Ari 說要看型態：如果是小團隊想讓成員更有效率地使用某套軟體，OpenAI 很多產品已經在服務這種情境；如果是在雲端機器上用 API 跑自己的電腦操作，就要好好設計什麼時候讓人介入，是出錯才通知、成功也通知，還是彙整後再說，免得通知多到被忽略。

James 說他和 Ari 加入 OpenAI 前都是新創創辦人，所以仍然很看好新創。他說 OpenAI 雖然已經有上千人，內部仍覺得人手很吃緊；如果你深刻理解某個產業的法規、銷售與服務方式，那裡仍是一片藍海，而速度與執行力就是現在的護城河。他也觀察到很多垂直產業的 AI 擴散很慢，舉一家公司為例：替餐飲集團拍攝倉庫照片，用視覺預估明天來客需要什麼，再用電腦操作到採購軟體下單，接著進 ERP 依照去年同期客流調整排班。他說住在舊金山很容易以為大家都會裝 Codex，但對一般美國人和中小企業來說，了解工具能做什麼、串接、部署、維運，每一步都是門檻，把散落各處的軟體串成完整流程、再包成用起來舒服的產品，仍是很大的機會。

接下來：超人級速度、即時協作與更一致的體驗

談到下一步，Ari 說他們最期待三件事：速度、讓電腦操作達到超人等級，以及融合多模態輸入輸出的流暢體驗。現在的產品很偏背景執行，交代任務後去做別的事，這是很大的優勢，但未來會看到更多你和 agent 即時協作的情境。他也提到另一個挑戰：現在使用者還得記得去用、想好怎麼用，還要說服自己改變習慣；Dots 的主動性指向另一個方向，agent 會來找你、辨識情境、幫你解決問題，讓 agent 適應人，而不是人去適應 agent。

James 則想先把體驗做得更一致。現在你可以裝 Chrome 擴充功能使用 Chrome 裡的密碼管理，桌面 App 內建瀏覽器又有另一套 cookie 和密碼，雲端電腦也各自獨立，一般消費者會困惑：為什麼我有四個互不相通的瀏覽器？他說電腦操作其實是最好懂的 AI 產品，就是「AI 在用你的電腦」，但實作細節一滲出來就變難懂，把它做到消費者等級是他下一季最期待的事。

Seema 請兩人談談電腦操作這一路的動能。Ari 說過去六到九個月非常刺激：一開始很少人用，今年稍早研究團隊讓模型突然變得很會做這類任務，最近幾個月產品成長得非常快，但仍只有一部分用戶在用，還有很大的成長空間。James 說他 1 月加入 OpenAI 時做的是 Atlas，他很喜歡 Atlas，還說了句「RIP Atlas」；當時 agent 功能不是賣點，多數人把它當一般瀏覽器用。後來模型變強，瀏覽器和瀏覽器操作被整合進已有 agent 使用的產品裡，成長速度像 YC 新創一樣每週往上衝。他認為下一個轉折點是雲端：多數消費者用的是手機，怎麼讓每個 ChatGPT 使用者都有一台不必懂怎麼用、卻能替他把事情辦好的強大電腦，是把它帶給十億用戶的關鍵。Ari 最後總結：電腦操作正在迎來它的規模化時刻，消費者與企業同時發生。

這對讀者代表什麼

如果你在企業裡負責流程，這集最實際的訊息是：沒有 API 的老系統不再是自動化的死角。採購、對帳、CRM 填寫這些「無聊」的工作，是最先被 agent 接手的地方，而真正要準備的是權限邊界、人工核准點和稽核紀錄，而不是等軟體廠商補 API。

對一般使用者來說，agent 正從「你交代、它去做」走向「它主動提醒、主動處理」。James 錯過會議邀請的小故事很有代表性，價值常常藏在這些不起眼的漏接裡。不過也要留意，讓 agent 登入帳號、操作付款前，先了解產品提供哪些核准與限制設定。

對開發者與創業者而言，兩位來賓的共識是 UI 不會消失，反而會更個人化；當寫軟體的成本大降，勝負會落在對產業的理解、執行速度，以及把 agent 包進好用介面的能力。

未來投資可以留意的方向

  • 電腦操作 agent 的速度與成本曲線：是否真的達到「比專家快」，以及便宜模型的追趕速度。
  • 企業軟體：ERP、CRM、財務對帳等系統紀錄類軟體，會因 agent 而延壽還是被 AI 原生產品取代。
  • Agent 安全與治理：沙盒、權限控管、自動核准與稽核工具的需求。
  • 開放網路的商業模式：廣告型網站如何面對 agent 流量，以及 WebMCP 這類標準的採用情況。
  • 垂直產業的 AI 落地：餐飲、零售等數位化程度低的行業，串接既有軟體的服務型新創。
  • 雲端電腦與行動端：每位使用者擁有一台雲端電腦的模式，對算力需求與消費者產品的影響。

來源（聽後整理）

延伸閱讀