31
00:00 TTT模型可能是生成式人工智能的下一个前沿
1:13 Tribe AI在六年自给自足后筹集风险资金以满足需求
2:19 OpenAI联合创始人创办AI教育公司
3:41 Mistral 推出两款模型：擅长数学和代码
5:26 科技巨头被曝未经授权使用YouTube视频内容训练AI
6:41 Spotify增加了一位讲西班牙语的AI DJ“Livi”
7:54 深度伪造检测公司Pindrop获得1亿美元贷款以扩大业务
9:06 关于人工智能，英国新政府将着手制定‘最具影响力模型’的‘适当’规定并加强产品安全监管权力
10:03 Menlo Ventures和Anthropic联手设立1亿美元人工智能基金
文字版
#TTT模型可能成为生成式人工智能的下一个前沿。目前，基于transformer的人工智能模型在处理大规模数据时面临计算障碍，需要巨大的计算资源，而且计算效率并不高。然而，研究人员提出了一种新的架构——测试时训练（TTT）模型，其内部使用机器学习模型代替了transformer的隐藏状态，这使得TTT模型在处理数据时不需要消耗大量的计算资源，且能够高效处理大规模数据。虽然TTT模型目前仍处于研究阶段，但它表现出了比transformer更高的效率，为未来的生成式人工智能带来了希望。除了TTT模型，还有一些其他替代transformer的模型，如state space models (SSMs)，也在加速发展。这些新技术的探索有望使生成式人工智能更加普及和高效。
#Tribe AI是一家人工智能人才和服务公司，自2019年创立后，一直努力说服公司拥有人工智能战略的重要性。2022年推出了ChatGPT后，公司需求大幅增长。创始人Jaclyn Rice Nelson和Noah Gale意识到了这一趋势，因此决定对公司进行风险资金筹集。他们最初的目标是帮助公司招聘合同人工智能人才，但现在已经发展成为一家提供全方位人工智能服务的公司。公司收入情况不便透露，但已实现两位数的年收入，且计划在今年翻番。公司接受了325万美元的种子轮融资，计划用于扩大团队规模和开发一套工具，以更高效地完成项目。尽管面临着像麦肯锡和安永等大型咨询公司的竞争，但Rice Nelson认为，Tribe AI有能力脱颖而出，因为他们不仅是行业新秀，还拥有多年的人工智能产品开发经验。
#Andrej Karpathy，OpenAI创始成员及前特斯拉AI主管，宣布创立Eureka Labs，一所AI原生学校。Karpathy致力于将AI技术应用于教育，打造“教师+人工智能”的共生模式，提供个性化和一对一的学习体验。Eureka Labs的首个产品是LLM101n课程，旨在教授学生如何构建类似ChatGPT的大模型及其Web应用程序。
LLM101n课程从语言建模和机器学习基础开始，逐步深入到现代大模型应用，使用Python、C和CUDA等技术。Karpathy强调，尽管课程内容尚未完全准备好，但他希望通过公开创业的方式，逐步完善并免费提供这些教育内容，以降低教育门槛，让更多人易于学习任何东西。
Karpathy在AI教育领域拥有广泛影响力，曾与李飞飞合作开设斯坦福大学的深度学习课程CS231n。Eureka Labs的成立标志着他在教育和AI领域的结合，致力于推动AI原生教育的发展。课程相关资料已在GitHub上公开，供感兴趣的学习者提前体验。
#法国AI初创公司Mistral近日发布了两款新型大型语言模型（LLMs）：Codestral Mamba和Mathstral，旨在提升代码生成和数学推理能力。Codestral Mamba 7B模型基于Mamba架构，该架构通过简化注意力机制提高效率，使得模型在处理更长输入文本时具有更快的响应时间和更长的上下文理解能力。
Mistral表示，Codestral Mamba在处理代码生产力用例方面表现出色，尤其是在本地编码项目中。该模型在Mistral的la Plateforme API上免费提供，能够处理高达256,000个token的输入，是OpenAI GPT4o的两倍。在HumanEval测试中，Codestral Mamba的表现优于其他开源模型，如CodeLlama 7B、CodeGemma-1.17B和DeepSeek。
Mathstral 7B则是专为数学相关推理和科学发现设计的AI模型，与Project Numina合作开发。该模型具有32K的上下文窗口，并在数学推理基准测试中取得了显著更好的结果。Mathstral同样在la Plateforme和HuggingFace上提供，采用Apache 2.0开源许可证。
Mistral的这两款新模型进一步巩固了其在AI领域的地位，与OpenAI和Anthropic等竞争对手形成竞争。Mistral最近完成了6.4亿美元的B轮融资，估值接近60亿美元，并获得了微软和IBM等科技巨头的投资。
#近日，Wired报道揭露了一些科技巨头未经授权使用YouTube视频内容训练人工智能模型的行为。苹果、英伟达、Salesforce等公司被指利用超过17.3万个YouTube视频的字幕文件进行AI训练，这些视频包括知名博主MKBHD、MrBeast、PewDiePie等的作品。这些字幕文件相当于视频的文字转录，被用于提升AI模型的语言理解能力。
这些数据由非盈利组织EleutherAI下载，并声称其目的是帮助开发者训练AI模型。尽管EleutherAI的初衷可能是为小型开发者和学术研究者提供训练材料，但该数据集也被大型科技公司使用。苹果甚至在发布其OpenELM模型前，使用了这些数据进行训练。尽管苹果没有直接下载数据，但此行为仍引发了关于数据使用和版权的法律风险讨论。这一事件凸显了从网络上抓取数据训练AI系统时的潜在问题，尤其是在未经许可的情况下使用他人内容。
#Spotify推出了一位讲西班牙语的AI DJ“Livi”。这是Spotify的AI DJ功能首次以非英语语言推出。这位AI DJ的声音基于Spotify高级音乐编辑Livi。AI DJ旨在通过逼真的声音介绍音乐，并以增加用户使用Spotify应用中的音乐消费。据内部数据显示，使用AI DJ的用户音乐收听量在过去一年增长了超过200%。AI DJ是使用OpenAI和Sonantic技术构建的，Livi作为AI DJ的新声音是在广泛的选角中被选中的。公司表示，Livi的声音被认为与听众最相关，并且让人感觉像是在听朋友的音乐推荐。同时，Spotify选择让用户可以选择他们喜欢的AI DJ。在墨西哥以及其他拉丁美洲国家市场，“Livi”将成为Spotify高级用户的测试项目。用户可以从应用程序的“搜索”选项卡中访问“Livi”，并在英语和西班牙语之间进行切换。
#深度伪造技术日益成熟，AI工具也越来越易获取，因此深度伪造的威胁不断增长。Pindrop公司最近获得1亿美元的贷款，将用于产品开发和人才招聘，主要用于对抗深度伪造和多因素认证技术，针对银行、金融等行业。该公司利用超过2,000万条真实及合成语音数据训练AI模型，以区分真实人类声音和合成声音，并且已经训练了超过330个文本转语音模型，帮助识别用于制作深度伪造的文本转语音模型。此外，Pindrop计划将技术拓展至医疗保健、零售、媒体和旅游等领域。该公司已经在风险投资中获得了2.3477亿美元的资金，并选择此次以贷款形式融资是为了高效筹集增长资本而不会稀释股权。Pindrop希望通过提供防御欺诈、认证和活体检测解决方案，帮助企业保护自己和消费者免受不断增长的欺诈和深度伪造威胁。
#英国新政府计划着手制定‘最具影响力模型’的‘适当’规定并加强产品安全监管权力。尽管首相大臣府和创新、科学和技术部门证实还没有人工智能法案的计划，但工党的选举宣言承诺了将在最具影响力的人工智能模型开发者中引入约束性规定，并禁止制作深度伪造的性爆炸内容。相比欧盟已于去年年底通过了针对人工智能应用的风险框架法，英国的立法行动有所滞后，可能会观望欧盟人工智能法案的实施情况。同时，新政府还计划推出产品安全与计量法案，以应对新风险和技术进步，如人工智能。此外，英国还有其他技术政策重点，如数字信息与智能数据法案和网络安全与弹性法案，旨在加强公共服务的保护。
#Menlo Ventures和Anthropic联手设立1亿美元人工智能基金“Anthology Fund”，投资于种子轮和A轮的人工智能公司。Menlo最近成为Anthropic的最大投资者之一，正在筹集一个超过7.5亿美元的资金轮。该基金将从100,000美元起步，并为初创公司提供价值25,000美元的Anthropic模型使用权。Menlo将使用其机器学习工具对初创公司进行评分和排名，对这些公司的尽职调查预计将比公司通常的投资更“轻量级”。Menlo将支持Anthology Fund公司的后续融资轮次。
