所有文章
> 当前分类:AI驱动
LLM推理部署（六）：TogetherAI推出世界上LLM最快推理引擎，性能超过vLLM和TGI三倍
2024/12/06
LLM能有多快？答案在于LLM推理的最新突破。 TogetherAI声称，他们在CUDA上构建了世界上最快的LLM推理引擎，该引擎运行在NVIDIA Tensor Core GPU上。Together推理引擎可以支持10...
LLM推理部署（五）：AirLLM使用4G显存即可在70B大模型上进行推理
【AI驱动】
众所周知，大模型的训练和推理需要大量的GPU资源，70B参数的大模型需要130G的GPU显存来存储，需要两个A100（显存为100G）。 在推理过程中，整个输入序列也需要加载到内存中进行复杂的...
2024/12/06
LLM推理部署（四）：一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台FastChat
【AI驱动】
FastChat是用于对话机器人模型训练、部署、评估的开放平台。体验地址为： FastChat核心特性包括： 提供了SOTA模型（比如Vicuna，FastChat-T5）的模型权重，训练代码，评估代码； 分...
2024/12/06
LLM推理部署（一）：LLM七种推理服务框架总结
【AI驱动】
自从ChatGPT发布以来，国内外的开源大模型如雨后春笋般成长，但是对于很多企业和个人从头训练预训练模型不太现实，即使微调开源大模型也捉襟见肘，那么直接部署这些开源大模型服务于企业业务将会有很大的前景，本文将介绍七中主流的LLM推理和服务开...
2024/12/06
LLM微调系列：LORA(5)
【AI驱动】
Lora LoRA，英文全称Low-Rank Adaptation of Large Language Models。 冻结预训练好的模型权重参数，然后在每个Transformer块里注入可训练的层，由于不需要对模型的权重参数重...
2024/12/06
LLM微调（三）| 大模型中RLHF + Reward Model + PPO技术解析
【AI驱动】
本文将深入探讨RLHF（Reinforcement Learning with Human Feedback）、RM（reward model）和PPO（Proximal Policy Optimizer）算法的概念。然后，通过代码演示使用...
2024/12/06
LLM微调（二）| 微调LLAMA-2和其他开源LLM的两种简单方法
【AI驱动】
本文将介绍两种开源工具来微调LLAMA-2。 一、使用autotrain-advanced微调LLAMA-2 AutoTrain是一种无代码工具，用于为自然语言处理（NLP）任务、计算机视觉（CV）任务、语音任务甚...
2024/12/06
扩散模型实战（二）：扩散模型的发展
【AI驱动】
扩散模型从最初的简单图像生成模型，逐步发展到替代原有的图像生成模型，直到如今开启 AI 作画的时代，发展速度可谓惊人。下面介绍一下2D图像生成相关的扩散模型的发展历程，具体如下： 开始扩散：基础扩散模型的提出与改进； 加速...
2024/12/06
扩散模型实战（一）：基本原理介绍
【AI驱动】
扩散模型（Diffusion Model）是⼀类⼗分先进的基于物理热⼒学中的扩散思想的深度学习⽣成模型，主要包括前向扩散和反向扩散两个过程。⽣成模型除了扩散模型之外，还有出现较早的VAE（Variational Auto-Enc...
2024/12/06
LLM之Agent（十二）| OpenAI Agent-Swarm简单入门
【AI驱动】
参考文献： 项目地址： 本文简单介绍一下如何使用Swarm： 一、首先需要安装环境（python3.10+） # 创建python虚拟环境（可选） conda create -n python=3.10 ...
2024/12/06
LLM之Agent（十一）| 多智能体框架CrewAI与AutoGen相比
【AI驱动】
基于LLM构建的Agent中有一个明显的现象就是多智能体体系结构的表现要超越单智能体，即使单智能体使用无可挑剔的提示策略。本文将探索另一个有趣的多智能体框架——CrewAI。 一、CrewAI整体优势 CrewAI...
2024/12/06
LLM之Agent（十）| 本地安装Microsoft AutoGen Studio 2.0教程
【AI驱动】
2021年3月，微软发布了AutoGen[2]，这是一个使用多个代理开发LLM应用程序的框架，这些代理可以协作解决任务。 2024年1月，微软推出了一款新的应用程序，它名为AutoGen S...
2024/12/06
LLM之Agent（九）| 通过API集成赋能Autogen Multi-Agent系统
【AI驱动】
随着大型语言模型（LLM）的迅猛进步，开发由LLM驱动的自主智能体（autonomous agents）已经成为研究和实践的热点领域。在过去的一年里，涌现出许多基于这一概念的创新技术和平台。 但作为一个仍处于早期阶段的框架，通过AP...
2024/12/06
LLM之Agent（八）| 使用CrewAi、Solor/Hermes、Langchain和Ollama构建超级Agent
【AI驱动】
随着大模型技术的发展，AI Agent正在成为大模型游戏规则的改变者，它可以帮助用户分解任务、规划任务和执行任务，这就是CrewAI的独特之处。CrewAI是AutoGEN的顶级替代品，为您提供轻松组建人工智能Agent团队执行自动化任...
2024/12/06
API描述语言如何赋能AI
【AI驱动】
人工智能驱动的 API 已经取得了长足的进步，尤其是当人工智能知道会发生什么时候。这就是API 描述语言对于 AI 的未来如此重要的原因之一，这要归功于代码脚手架等趋势。要了解有关这一新兴领域的更多信息，让我们深入研究 API 描述语言的进步如何推动人工智能的未来。
2024/12/04
LLM之Agent（七）| AutoGen介绍
【AI驱动】
一、Autogen介绍 Autogen是Microsoft开发的一个用于简化LLM工作流的编排、优化和自动化的框架。它提供了可定制和可交谈的代理，充分利用了大模型（比如GPT-4）的能力，并且可以集成人类智慧和工具，在多...
2024/12/04
搜索文章
热门话题
