6/2/2024 - Anthropic AI发布了AI代理的相关新功能 | OpenAI和普华永道签下10万账号的合同 | 大语言模型压缩能带来模型运行的节能和提速

Anthropic AI发布了AI代理的相关新功能

1. 该功能简化了AI代理(agents)的工作 - 只需要提供外部API和一些简单的代码，用户可以创建自己的AI助手；

2. 比如，只需提供邮件API接口，加上一些简单的代码，用户就会得到自己的“AI邮件助理”；

3. AI助手或AI代理，目前是大模型公司的主要发展方向，谷歌和OpenAI的发布会上都有相关的展示；

4. Anthropic AI也加入了这个潮流。

OpenAI和普华永道签下10万账号的合同

1. OpenAI在周三宣布和和管理咨询公司普华永道签订了10万个账号的合同，普华永道成为了OpenAI最大的客户；

2. 这是第一次有公司将OpenAI的产品进行包装并转售给其他公司；

3. 普华永道的AI负责人相信，生成式AI助手并不会取代员工，但是可以在不增加员工数量的基础上，进行业务扩张；

4. 在该合同签署之前，OpenAI有60万企业级用户。

大语言模型压缩能带来模型运行的节能和提速

1. 研究人员正在通过降低参数精度来压缩大语言模型，从而降低模型能耗，提升模型运行速度;

2. 目前有两种通用的模型压缩方式，一种是训练后量化(Post-Training Quantization)即在模型训练完成后进行压缩；另一种是量化感知训练(Quantization-Aware Training)，意在训练的同时进行模型的压缩;

3. 目前的模型压缩技术已经能在较少地牺牲模型的准确性的前提下，节省超过90%的显卡能耗并使模型运行提速2.7倍;

4. 接下来，需要开发新一代的显卡等硬件来进一步提升压缩模型带来的节能和提速。