问答 · ANSWER
如何理解过拟合与欠拟合？
直接回答
过拟合是模型在训练数据上表现好但泛化能力差，欠拟合是模型在训练和新数据上表现均不佳。核心成因分别是模型过于复杂或数据过少，以及模型过于简单。解决思路包括收集更多数据、降低模型复杂度（如正则化）。
关键要点
- 过拟合是模型对训练数据拟合程度过当，失去了泛化能力。
- 欠拟合是模型过于简单，无法捕捉数据的基本规律。
- 过拟合的两个主要原因是训练数据过少和模型过于复杂。
- 解决过拟合的思路是收集更多数据和降低模型复杂度。
- 正则化通过修改优化目标，加入与模型复杂度正相关的惩罚项来控制模型复杂度。
- 正则化系数λ用于平衡‘拟合训练数据’和‘保持模型简单’这两个目标。
- 模型复杂度与测试集性能呈倒U型关系，存在一个最佳平衡点。
- 在K近邻模型中，k值很小可能导致过拟合，k值很大可能导致欠拟合。
怎么选 / 怎么做
判断模型是过拟合还是欠拟合，可以观察模型在训练集和测试集上的表现差异。如果训练集表现很好但测试集表现很差，可能是过拟合。如果训练集和测试集表现都不好，可能是欠拟合。解决过拟合可尝试收集更多数据或使用正则化等技术降低模型复杂度。解决欠拟合可尝试使用更复杂的模型或增加特征。
常见问题
过拟合是什么？
模型在训练数据上表现好，但在新数据上表现差，失去泛化能力。
欠拟合是什么？
模型在训练数据和新数据上表现都不佳，未能捕捉数据规律。
怎么解决过拟合？
收集更多数据，或通过正则化降低模型复杂度。
正则化系数λ的作用？
平衡拟合训练数据和保持模型简单这两个目标。