所有文章
> 当前分类:AI驱动
扩散模型实战（八）：微调扩散模型
2024/12/09
微调在LLM中并不是新鲜的概念，从头开始训练一个扩散模型需要很长的时间，特别是使用高分辨率图像训练。那么其实我们可以在已经训练好的”去噪“扩散模型基础上使用微调数据集进行二次微调训练。 ...
扩散模型实战（七）：Diffusers蝴蝶图像生成实战
【AI驱动】
在本文中，我们以生成绚丽多彩的蝴蝶图像为例，学习Diffusers库相关知识，并学会训练自己的扩散模型。 一、环境准备工作 1.1 安装Diffusers库 %pip install -qq -U diffusers...
2024/12/09
扩散模型实战（五）：采样过程
【AI驱动】
在扩散模型实战（四）：从零构建扩散模型文章中已经介绍了在原始数据集MNIST中添加噪声以及基于基本的UNet网络训练扩散模型，模型已经可以进行预测，但是发现输入数据噪声量很大的时候预测的效果并不好，如下图所示： ...
2024/12/09
扩散模型实战（四）：从零构建扩散模型
【AI驱动】
本文以MNIST数据集为例，从零构建扩散模型，具体会涉及到如下知识点： 退化过程（向数据中添加噪声） 构建一个简单的UNet模型 训练扩散模型 采样过程分析 下面介绍具体的实现过程...
2024/12/09
扩散模型实战（三）：扩散模型的应用
【AI驱动】
扩散只是一种思想，扩散模型也并非固定的深度网络结构。除此之外，如果将扩散的思想融入其他领域，扩散模型同样可以发挥重要作用。 在实际应用中，扩散模型最常见、最成熟的应用...
2024/12/09
LLM漫谈（四）| ChatDOC：超越ChatPDF性能并支持更多功能的阅读聊天工具
【AI驱动】
在过去的一年里，ChatGPT的兴起催生了许多基于GPT的人工智能工具，其中Chat PDF工具得到了广泛关注。这些工具对知识密集型专业人员来说尤其有价值，大大提高了生产力。随着Chat PDF工具的激增，选择正确的工具变得至关重要。 ...
2024/12/09
LLM漫谈（三）| 使用Chainlit和LangChain构建文档问答的LLM应用程序
【AI驱动】
一、Chainlit介绍 Chainlit是一个开源Python包，旨在彻底改变构建和共享语言模型（LM）应用程序的方式。Chainlit可以创建用户界面（UI），类似于由OpenAI开发的ChatGPT用户界面，Chain...
2024/12/09
FastAPI:高效的Python Web框架的库
【AI驱动】
1. 为啥选FastAPI？ 写过Django或Flask的都知道，这俩框架各有各的好。但FastAPI借鉴了它们的优点，还加入了很多现代特性。它基于Python 3.6+的类型提示功能，写代码时编辑器直接就能提示哪里写错了，不用等到...
2024/12/06
LangChain | 一种语言模型驱动应用的开发框架
【AI驱动】
1. LangChain介绍 LangChain 是一个框架，用于开发由语言模型驱动的应用程序，它使基于AI模型工作和应用构建的复杂部分变的更容易。LangChain可以将LLMs与外部数据源链接，也允许LMMs模型间的交互。 ...
2024/12/06
LLM之RAG理论（十二）| RAG和Graph RAG对比
【AI驱动】
最近Graph RAG非常火，它来自微软的一篇论文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》，论文地址： 和...
2024/12/06
LLM之RAG理论（十一）| 面向生产的RAG应用程序的12种调整策略指南
【AI驱动】
本文对文本RAG涉及到的主要12种关键“超参数”进行简单总结，主要包括摄取阶段（数据清洗、数据分块、embedding模型选择、元数据过滤、多重索引和索引算法）和推理阶段【检索和生成】（查询转换、检索参数、高级检索策略、重排序、大模型和Pr...
2024/12/06
LLM之RAG理论（十）| RAT：一种协同CoT和RAG的 AI 提示策略，助力解决长任务推理和生成
【AI驱动】
论文地址： Github地址： Demo地址： 北京大学、加州大学洛杉矶分校和北京通用人工智能研究院的研究人员探索如何在信息检索的帮助下迭代修改思想链提高大型语言模型在长生成任务中的推理和生成能力，同时极大地减轻幻觉。特...
2024/12/06
LLM之RAG理论（九）| 如何在LLM应用程序中提高RAG结果：从基础到高级
【AI驱动】
如果你正在用LLM（大型语言模型）构建产品或者功能，你可能会使用一种名为RAG（检索增强生成）的技术。RAG允许用户将LLM的训练数据中不可用的外部数据集成到LLM的文本生成过程中，这可以大大减少幻觉的产生，并提高文本响应的相关性。 ...
2024/12/06
LLM之RAG理论（八）| 提高RAG性能的9种技术
【AI驱动】
2023年是迄今为止NLP发展最快的一年。这年，ChatGPT与许多其他大型语言模型层出不穷，包括开源的和闭源的。 与此同时，各个行业对个性化和全面运营的RAG的需求也在飙升，每个客户都渴望拥有自己的量身定制...
2024/12/06
LLM之RAG理论（七）| 高提升RAG检索的四种方法
【AI驱动】
RAG两大核心组件：检索和生成。本文将总结四种提高RAG系统检索质量的技术：1）子问题查询引擎（来自LlamaIndex），2）RAG-Fusion、3）RAG-end2end和4）著名的LoRA技巧。 一、LLM对问题进...
2024/12/06
LLM之RAG理论（六）| 高级RAG指南和技巧
【AI驱动】
一、基本RAG介绍 基本RAG需要从外部知识数据库中获取文档，然后，将这些文档与用户的查询一起被传输到LLM，用于生成响应。从本质上讲，RAG包括一个检索组件、一个外部知识数据库和一个生成组件。 在基本的R...
2024/12/06
搜索文章
热门话题
