Deep Learning Notes - Week 1

NLP入门计划第一周 - 笔记内容了解感知机/多层感知机(MLP) 了解前向传播，反向传播，微积分，偏导的基本知识梯度下降，学习率，梯度裁剪了解常用的激活函数，从$tanh$到$gelu$ 了解loss function, cross-entropy, 平方差笔记由于之前有过一点深度学习基础，不算是完全从零开始学起，此次做笔记的目的在于加深对深度学习基础知识的了解，特别是补了一下一些数