数据准备（pytorch代码）：dataset/data_loader/
batch -> forward -> loss calculation -> backward -> gradient update
效果评估：validation
反向传播的逐层推导：https://zhuanlan.zhihu.com/p/562350328
pytorch自动优化器autograd的实现
BGD：全样本
SGD：单样本
mini-batch SGD：批次样本
优化器：SGD/Momentum/NAG/Adagrad/RMSprop/Adadelta/Adam/AdamW
数学原理：凸优化/最优化算法
损失函数：CRE/MSE/SOFTMAX/SIGMOID
过拟合：数据增强/L1/L2正则/EarlyStop/Dropout
欠拟合：模型调小/加数据
梯度消失/梯度爆炸：BN/LN