只需要几个简单的工具，GPT-4V就能学会控制你的键盘和鼠标，用浏览器上网发帖、买东西甚至是玩游戏。

　　这样，GPT-4V就能将每一步运行思路都通过对话框的形式反映出来，用户来决定是否要继续让它操作。

　　相比让GPT-4V直接“看图说话”，这个工具可以将图片关键细节拆分成不同的部分，并进行编号，让GPT-4V有的放矢：

　　对于网页端也是如此，Set-of-Mark Prompting用类似的方式让GPT-4V知道从网页浏览器的哪个部分找答案，并进行交互。

　　最后，还需要用到一个自动标注器（JS DOM auto-labeler），可以将网页端所有能交互的按键标注出来，让GPT-4V决定要按哪个。

　　一套流程下来， GPT-4V不仅能准确判断图片上的哪些内容符合需求，还能准确找到交互按键，并学会“自动上网”。

　　接下来，还有其他的一些功能要实现，例如试试AI打标器（目前网页端的交互还是通过通过JS接口得知哪里能交互，不是AI识别的）、以及提示用户输入详细信息等。

　　例如，GPT-4V-Act可能会被网页打开后铺天盖地的弹窗小广告给“整懵了”，然后出现交互bug。

　　除非API允许电脑翻墙下载游戏，否则不得使用任何自动化或编程的方法从服务中提取数据并输出，包括抓取、网络收集或网络数据提取。

　　这个在SoM项目中提到过，GPT-4V是能成功解读验证码的（所以以后可能还真不知道是人还是机器在上网

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。