归档: 2020/8

2020
0
学习CS224N

CS224N Lecture 8 Notes

CS224N Lecture 8 Notes任务: Neural Machine Translation 结构: Seqence-to-Sequence 技巧: Attention 注：本文所用图片为从课程slides中截取 之前的课程讲到的任务都没有涉及整个句子的输出，Lecture 8的内容就着眼与这个部分。类似的任务有： 翻译 对话 文本摘要 类似的任务都是需要输入一个句子（或者更长）并

0
笔记NLP

Deep Learning Notes - Week 1

NLP入门计划第一周 - 笔记内容 了解感知机/多层感知机(MLP) 了解前向传播，反向传播，微积分， 偏导的基本知识 梯度下降，学习率，梯度裁剪 了解常用的激活函数，从$tanh$到$gelu$ 了解loss function, cross-entropy, 平方差 笔记由于之前有过一点深度学习基础，不算是完全从零开始学起，此次做笔记的目的在于加深对深度学习基础知识的了解，特别是补了一下一些数