初级工程师NLP面试题集：预训练模型、文本处理与项目实战技巧

一、为什么面试官要考核预训练模型？

行业标配：绝大多数线上/线下NLP系统均基于 BERT、GPT 等预训练模型进行二次开发；
效率与效果：预训练＋微调方式显著减少标注工作量，提高下游任务性能；
知识深度：考核候选人对 Transformer、Attention、Masking 等原理理解程度。

二、预训练模型面试必问题详解

2.1 GPT vs. BERT

GPT（自回归）：按顺序生成，下游常用于生成/对话；
BERT（双向编码）：同时考虑左右上下文，下游常用于分类/NER/相似度。

2.2 MLM vs. CLM

MLM（Masked Language Modeling）：BERT掩码预测；
CLM（Causal Language Modeling）：GPT自回归预测。

2.3 Attention 机制与多头

计算 Query‑Key‑Value 加权和；
多头并行捕捉不同子空间特征。

2.4 位置编码

Transformer无序列机制，需显式添加位置信息：正余弦编码或可学习编码。

三、文本预处理与特征工程基础

3.1 Tokenization

WordPiece/BPE/SentencePiece：常用于处理OOV与控制词表规模；

3.2 停用词、Stemming、Lemmatization

去除噪声、统一词形，提高向量表达质量；

3.3 向量化方法

BoW+TF-IDF：经典基线；
Word2Vec/Glove：静态词向量；
BERT嵌入：上下文动态向量。

3.4 序列标注

POS标注、NER、依存句法：常用BiLSTM+CRF或Transformer架构。

四、项目实战技巧：分类与聊天机器人

项目1：BERT微调情感分类

数据：IMDb/Yelp；
技术栈：HuggingFace Transformers + PyTorch；
部署：Flask+Docker提供REST API。

项目2：RAG增强问答机器人

流程：向量检索（FAISS）→Prompt生成→GPT响应；
平台：Streamlit网页或Slack Bot。

五、典型代码示例解读

1. 微调BERT分类（HuggingFace）

from transformers import BertForSequenceClassification, Trainer, TrainingArguments, AutoTokenizer
# 加载
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
# 预处理
def preprocess(batch):
    return tokenizer(batch['text'], truncation=True, padding='max_length')
dataset = dataset.map(preprocess, batched=True)
# 训练
args = TrainingArguments(output_dir='out', per_device_train_batch_size=16, epochs=3)
trainer = Trainer(model, args, train_dataset=dataset['train'], eval_dataset=dataset['test'])
trainer.train()

2. Tokenize示例

tokens = tokenizer.tokenize("Transformers are great for NLP tasks!")
print(tokens)

3. 构建RAG问答

from langchain import RetrievalQA, OpenAI, FAISS
# 索引
vector_db = FAISS.from_documents(docs, OpenAIEmbeddings())
qa = RetrievalQA.from_chain_type(llm=OpenAI(), chain_type="stuff", retriever=vector_db.as_retriever())
print(qa.run("What is RAG?"))

六、面试真题与答题思路

问题	答题要点
为什么要用预训练模型？	节省标注，提高泛化；覆盖多任务
GPT与BERT的核心区别？	自回归 vs 双向编码；生成 vs 理解
如何应对数据不平衡？	过/欠采样、class weight、Focal Loss
Transformer为什么需位置编码？	无序列机制需显式引入顺序信息
评价分类模型性能哪些指标？	Accuracy、F1、AUC，并结合混淆矩阵