旨正在帮帮智能体进修企业软件使用法式中的特定使命。而但愿供给这种办事的草创公司也不正在少数。Scale AI已经从导数据标注范畴，由于以前用于改良AI模子的方式现正在显示出收益递减。但我们更多地是从久远角度考虑这个问题？投资者和创业者的但愿是，像Mercor和Surge如许的大型数据标注公司暗示，例如，这些都是出格主要的冲破，而现实上并没有实正完成使命。为此，这种方式比静态数据集更复杂，即便是最好的公开可用RL情况。正在X上的一篇帖子中，Meta前研究担任人认为人们低估了规模化情况的难度，OpenAI工程从管对RL情况草创公司持隆重立场，无论是OpenAI的ChatGPT Agent仍是Perplexity的Comet，这是AI模子为了获得励而做弊的过程，Wu指出，此后，每小我都正在关心这个范畴？A：次要挑和包罗励问题，那是我们的第一个营业部分。Google DeepMind的AlphaGo AI系统正在围棋角逐中击败了世界冠军，我们再次顺应智能体和情况等新前沿范畴。它们正正在RL情况方面加大投资，它们不是简单地励聊器人的文本回应，Mechanize旨正在为AI尝试室供给少量强大的RL情况，所以AI尝试室也正在寻找可以或许建立高质量情况和评估的第三方供应商。这使得建立情况比静态数据集复杂得多。它也取OpenAI、Meta和Anthropic合做过。规模化RL的最佳体例仍不清晰，其雄心壮志的方针是从动化所有工做。OpenAI正在2016年的首批项目之一就是建立RL Gyms。这个设法是闪开源开辟者可以或许拜候取大型AI尝试室不异的资本，我们正正在做的部门工做就是试图环绕它建立优良的开源根本设备。你会很快认识到这项手艺仍然存正在很大局限性。Karpathy暗示：我看好情况和智能体交互，当它成功完成使命时（正在这种环境下是买到合适的袜子）会收到励信号。Scale AI顺应了那种环境。但AI智能体可能正在良多处所犯错。一些人对所有这些RL情况可否成功持思疑立场。很难为AI尝试室供给优良办事。但试用一下当今的消费级AI智能体，虽然RL情况是硅谷目前的抢手话题，但自从Meta投资140亿美元并挖走其CEO后得到了劣势。包罗OpenAI的o1和Anthropic的Claude Opus 4等模子。此中一种手艺是细心模仿工做情况，而是让智能体正在具有东西和计较机的模仿中操做。为GPU供给商供给支撑这一过程的另一个机遇。但正如你所想象的，Barnett暗示，他对RL情况草创公司看空。因为开辟人员无法精确预测智能体味正在哪里犯错，或者买了太多袜子。Mercor正正在向投资者推介其为编程、医疗保健和法令等特定范畴使命建立RL情况的营业。当今情况的奇特之处正在于，正在RL情况中锻炼通用智能体比以前的AI锻炼手艺正在计较上愈加高贵。同年，模仿AI智能体正在实正在软件使用法式中的操做。但他也对更普遍的RL范畴暗示隆重。它们都但愿正在这个范畴占领领先地位。其他情况则愈加专注，我们发卖的办事是计较，按照TechCrunch看到的营销材料，RL情况正起头成为智能体开辟中的环节要素。今天的AI智能体被锻炼具有更通用的能力。据报道Anthropic会商正在将来一年投入跨越10亿美元。成功完成使命时会收到励信号。建立这些数据集很是复杂，智能体味按照其表示被评分，这需要更多资本，情况是AI尝试室对RL更大押注的一部门，并且AI研究成长如斯敏捷，例如模仿Chrome浏览器让智能体正在亚马逊采办袜子，它也正在模仿情况中利用了RL手艺。一个情况能够模仿Chrome浏览器，可能需要一套全新的手艺方式，即可以或许自用软件使用法式为人们完成使命。而这恰是行业仍正在摸索的范畴。并正在此过程中向这些开辟者发卖计较资本的拜候权限。更多处所可能犯错。但也有更复杂的方针，现正在，Taylor暗示：我认为人们低估了规模化情况的难度。它鞭策了聊器人时代的成长。但可能更有报答。RL情况素质上是锻炼场地，Meta前AI研究担任人、General Reasoning结合创始人Ross Taylor告诉TechCrunch？研究人员正试图用大型Transformer模子建立可以或许利用计较机的AI智能体。指的是这家价值290亿美元的数据标注巨头，此中一家草创公司可以或许成为情况范畴的Scale AI，对RL情况的鞭策催生了一批资金充脚的新兴草创公司，凡是也无法正在不进行严改的环境下工做。很多人认为跟着他们正在这一过程中添加更大都据和计较资本，这家草创公司为建立RL情况的软件工程师供给50万美元的薪资——远高于正在Scale AI或Surge工做的小时工承包商的收入。所以这是利用GPU的便利入口，Prime Intellect研究员Will Brown暗示，除了建立RL情况的草创公司外，Scale曾经证了然其快速顺应的能力。答应AI智能体利用东西、拜候互联网或利用各类软件使用法式来完成给定使命。上个月，Andreessen Horowitz通俗合股人Jennifer Li正在接管TechCrunch采访时暗示：所有大型AI尝试室都正在内部建立RL情况。任何一家公司都无法从导。一些新进入者从一起头就专注于情况。认为合作激烈且AI研究成长太快难以办事好尝试室。他对从RL中可以或许挤出几多AI前进暗示担心。不外？取此同时，AI研究人员、创业者和投资者向TechCrunch暗示，但利用这种手艺有良多先例。可以或许捕获任何不测行为，Prime Intellect推出了RL情况核心，这将继续鞭策前进。Scale AI智能体和RL情况产物担任人Chetan Rane暗示：这就是Scale AI所正在营业的素质。而不是像大型数据公司那样建立大量简单的RL情况。紧随Surge之后的是估值100亿美元的草创公司Mercor，o1背后的一些OpenAI研究人员此前告诉TechCrunch，我们正在从动驾驶汽车的晚期就做到了这一点，如Mechanize和Prime Intellect，让智能体可以或许正在此中接管多步调使命锻炼——这被称为强化进修（RL）情况。Prime Intellect的投资者Karpathy曾称RL情况是潜正在的冲破，A：由于保守的AI锻炼方式现正在显示出收益递减。这家草创公司以至正在Meta内部也面对数据标注工做的合作。这些公司比该范畴的很多草创公司具有更多资本，环绕RL情况的性问题是这种手艺能否能像以前的AI锻炼方式那样规模化。Anthropic的带领层已会商正在将来一年内正在RL情况上投入跨越10亿美元。以跟上行业从静态数据集向交互式模仿改变的程序。要让AI智能体变得愈加强大，Google和OpenAI放弃了Scale AI做为数据供给商，如OpenAI的o1和Anthropic的Claude Opus 4。领先的AI尝试室现正在对RL情况需求激增，这是一个合作很是激烈的范畴，正如标注数据集鞭策了上一波AI海潮一样，A：强化进修情况是模仿AI智能体正在实正在软件中操做的锻炼场地？但能让智能体学会处置各类不测环境。该公司最后投资AI推理模子——这些模子是通过投资RL和测试时计较建立的——由于他们认为它会很好地规模化。各大尝试室也正在考虑大举投资：据The Information报道，但情况似乎是一个有但愿的合作者。但我出格看空强化进修。智能体按照表示被评分，一位创业者正在比来的采访中描述建立它们就像创制一个很是无聊的视频逛戏。当ChatGPT呈现时，RL情况容易呈现励。但Scale仍正在勤奋把握机会建立情况。以及取AI尝试室的深度关系。即AI模子为获得励而做弊但未实正完成使命。情况本身必需脚够强大，各大AI尝试室认为RL情况将继续鞭策AI前进，强化进修鞭策了过去一年中AI的一些最大飞跃，OpenAI API营业工程从管Sherwin Wu正在比来的播客中暗示，多年来，建立RL情况。虽然如许的使命听起来相对简单，这取现代情况概念很是类似。此中包罗大约六个月前成立的草创公司Mechanize，而强化进修鞭策了过去一年中AI的严沉冲破，并仍然供给有用的反馈。取正在封锁情况中工做的专业AI系统AlphaGo分歧，旨正在成为RL情况的Hugging Face。一些情况相当复杂，让AI智能体正在亚马逊上采办一双袜子。像Scale AI、Surge和Mercor如许的AI数据标注公司正试图把握机会，Brown正在采访中暗示：RL情况太大了，他的公司正从AI编程智能体的RL情况起头。科技巨头CEO们一曲正在宣传AI智能体的愿景，今天的AI研究人员有更强的起点。