大模型学习笔记：从 Transformer 到 RAG

大模型的学习曲线陡峭，但拆开来看，核心模块是清晰的。

目前理解的框架

1. Transformer：自注意力机制是基石
2. 预训练 + 微调：通用能力从哪来
3. RAG：当参数记忆不够用时的外挂知识库

尚未想通的问题

• 上下文窗口扩大后，RAG 的边界在哪里？
• 小模型 + 好工具，能否逼近大模型体验？

这些会陆续写成更细的笔记。