简单有效！差分Transformer竟能消除注意力噪声
2024/12/27
Transformer 的强大实力已经在诸多大型语言模型（LLM）上得到了证明，但该架构远非完美，也有很多研究者致力于改进这一架构，比如 Reformer 和 Infini-Transformer。 今天我们又将介绍另一种新...
超完整！11 种经典时间序列预测方法！
【AI驱动】
一、 概述 本文演示了 11 种不同的经典时间序列预测方法，以及时间序列方法的对比及实践教程。 自回归 （AR） 移动平均线 （MA） 自回归移动平均线 （ARMA） 自回...
2024/12/27
人工智能需要怎样的计算范式和理论？
【AI驱动】
本文首先通过字节跳动人工智能实验室的一些研究成果介绍最前沿的人工智能技术，总结这一两年来人工智能领域的研究发展动态。之后本文分享了对人工智能领域长期发展的看法。 前言 冯 · 诺伊曼的《计算机和人脑》是人类历史上第一部将计算机...
2024/12/27
ChatGPT等大规模语言模型的综述（全）
【AI驱动】
为什么仿佛一夜之间，自然语言处理（NLP）领域就突然突飞猛进，摸到了通用人工智能的门槛？如今的大语言模型（LLM）发展到了什么程度？未来短时间内，AGI 的发展路线又将如何？ 自 20 世纪 50 年代图灵测试提出以来，人们始终在探...
2024/12/27
生成式人工智能（AIGC）研究综述: 从Google Gemini到OpenAI Q*
【AI驱动】
1 介绍 人工智能的发展源于艾伦·图灵的“模仿游戏”和早期计算理论，通过深度学习和强化学习等关键时刻的推动，形成了复杂的混合专家模型和多模态人工智能系统。大型语言模型如OpenAI的ChatGPT和谷歌的Gemini标志着人工智能的...
2024/12/27
傅里叶分析的最通俗解释！
【AI驱动】
一、什么是频域 从我们出生，我们看到的世界都以时间贯穿，股票的走势、人的身高、汽车的轨迹都会随着时间发生改变。这种以时间作为参照来观察动态世界的方法我们称其为时域分析。而我们也想当然的认为，世间万物都在随着时间不停的改变，并且永远不会...
2024/12/27
8种时间序列分类方法总结
【AI驱动】
时间序列定义 在涵盖各种类型的时间序列 (TS) 分类方法之前，我们先统一时间序列的概念，TS 可以分为单变量或多变量 TS。 单变量 TS 是一组有序的（通常）实数值。 多变量 TS 是一组单变量 TS。每个时间戳都是...
2024/12/27
Transformer时间序列预测！
【AI驱动】
1.介绍 预测是时间序列分析中的关键任务之一。随着深度学习模型的迅速发展，有关时间序列预测的研究也大大增加。深度模型不仅在预测任务中表现出色，而且在表征学习方面也表现出优异的性能。它能够提取抽象的表征，并将其转移到...
2024/12/27
Python实现时间序列的分类预测
【AI驱动】
本文将以股票交易预测作为示例项目。我们用 AI 模型预测股票第二天是涨还是跌。在此背景下，比较了分类算法 XGBoost、随机森林和逻辑分类器。文章的另外一个重点是数据准备，我们必须如何转换数据以便模型可以处理它。 在本文中，我们将遵...
2024/12/27
度量时间序列相似度的方法：从欧氏距离到DTW及其变种
【AI驱动】
0 摘要 根据时间序列本身的不同特点，时间序列相似度的衡量存在多种方法。本文从欧氏距离出发，进一步延伸至动态时间规整 Dynamic Time Warping（DTW）、一些 DTW 存在的缺点和相关的解决办法以及 DTW...
2024/12/27
深度时间序列预测和基础模型的研究进展
【AI驱动】
1 介绍 本文综述了深度学习在时间序列预测中的应用，特别是在流行病预测领域。尽管深度学习在时间序列预测中表现出显著优势，但仍面临挑战，如时间序列不够长、无法利用积累的科学知识以及模型的解释性。 基础模型的发展允许模型在大量训练数...
2024/12/27
大模型的模型压缩与有效推理综述
【AI驱动】
1 介绍 本文对大型语言模型的压缩和效率推理进行了综述。大型语言模型基于Transformer架构，具有强大的性能，但也带来了巨大的内存和计算成本。本文从算法角度对大型语言模型的压缩和效率推理方法进行了分类，包括量化、剪枝...
2024/12/27
深度学习时间序列异常检测方法
【AI驱动】
本文全面概述了深度学习用于时间序列异常检测的最新架构，提供了基于策略和模型的方法，并讨论了各种技术的优点和局限性。此外，还举例说明了近年来深度学习在时间序列异常检测中各领域的应用。 1 背景 时间序列是一系列按照时间...
2024/12/27
几何图神经网络综述：数据结构、模型与应用
【AI驱动】
几何图是一种具有几何特征的特殊类型的图，对于建模许多科学问题至关重要。与通用图不同，几何图通常表现出平移、旋转和反射等物理对称性，使得它们无法有效地由当前的图神经网络（GNN）处理。为了解决这个问题，研究人员提出了许多具有不变/同构属性的几...
2024/12/27
大模型背后的6大核心技术
【AI驱动】
大家好，今天我们一同来探讨一下那些大模型背后的核心技术！ 一、Transformer Transformer模型，无疑是大型语言模型的坚实基石，它开启了深度学习领域的新纪元。在早期阶段，循环神经网络（RNN）曾是处理序列数据的核...
2024/12/27
扩散模型及其应用进展综述
【AI驱动】
扩散模型是一种通过模拟扩散过程的概率模型，逐步向数据中添加和去除噪声，从而生成逼真的样本。这些模型由于能够生成高质量的样本，已经在图像处理、语音合成和自然语言处理等领域中获得了广泛的关注。随着扩散模型在各个领域的广泛应用，现有的文献综述往往...
2024/12/27
搜索文章
热门话题
