【日积月累】 本文介绍了使用 ModernBert 和原版 BERT 进行文本分类的实战案例，任务是基于真假新闻数据集进行分类。作者详细阐述了从数据处理到模型训练和验证的完整流程。首先，通过 `AutoTokenizer` 和自定义的 `collate_fn` 函数处理文本数据，实现动态填充和批量处理。接着，定义了四种池化方法（平均池化、最大池化、最小池化和注意力池化），用于将序列特征压缩为固定大小的向量。模型部分，作者自定义了 `FakeNewsModel`，结合预训练的 ModernBert 和 BERT，支持四种池化方式，并通过全连接层输出分类结果。训练过程包括数据加载、模型初始化、优化器和学习率调度器配置，以及使用交叉熵损失进行训练和验证。最终，通过验证集和测试集评估模型性能，ModernBert 在长文本输入和优化后的架构上表现优于原版 BERT。