预训练

📚 简单定义

预训练是让模型在正式使用前，先“读”大量文本，从中获得对语言的基本感知。这样，当它开始回答问题时，就像一位已经熟悉语言规则的“预备选手”。

🌱 形象类比

好比请一位新帮手为你工作前，先让他把图书馆里的书读一遍。这样，当你真正问他问题时，他不需要从零开始，而是能立刻用已有的知识作答。

✨ 常见用途

各种智能对话工具、翻译程序或写作辅助软件，都要先经历预训练，以确保它们对语言有基本的理解。

🔑 关键特征

1.大量阅读：在正式回答前，模型先阅读海量文本

2.打好基础：预训练为模型提供基本的语言框架

3.提升效率：预训练后，模型回答更快、更自然

🔧 工作原理（简化版）

1️⃣ 从零开始的模型
↓
2️⃣ 预训练：看无数文本，学语言规律
↓
3️⃣ 预训练完成，模型对语言已有初步认识

🔍 背后逻辑与工作机制

模型通过反复猜测下一个词来习得语言模式。预训练结束后，它就像一位“读书千万卷”的选手，虽不真正理解意义，但能自然地接出合适的词句。