归档: 2020
pytorch_basic
pytorch baisc最近用Pytorch的时候发现对于pytorch的一些细节问题掌握不够充分。包括整个框架的使用流程，Tensor的一些初始化，类型转换的细节也理解的不是很深。为了方便以后能够更从容的使用Pytorch，重新学习以下Pytorch的一些基础内容，并对重点做一下记录。 目前大致按照官方tutorials的顺序记录，随着学习的深入和对文档的查阅慢慢补充。 Basic - Te
CS224N Lecture 8 Notes
CS224N Lecture 8 Notes任务: Neural Machine Translation 结构: Seqence-to-Sequence 技巧: Attention 注：本文所用图片为从课程slides中截取 之前的课程讲到的任务都没有涉及整个句子的输出，Lecture 8的内容就着眼与这个部分。类似的任务有： 翻译 对话 文本摘要 类似的任务都是需要输入一个句子（或者更长）并
Deep Learning Notes - Week 1
NLP入门计划第一周 - 笔记内容 了解感知机/多层感知机(MLP) 了解前向传播，反向传播，微积分， 偏导的基本知识 梯度下降，学习率，梯度裁剪 了解常用的激活函数，从$tanh$到$gelu$ 了解loss function, cross-entropy, 平方差 笔记由于之前有过一点深度学习基础，不算是完全从零开始学起，此次做笔记的目的在于加深对深度学习基础知识的了解，特别是补了一下一些数
CS224N-Lecture5-notes
CS224N Assignment 3 Neural Dependency Parser需要理清楚的细节问题网络结构 输入数据的形式 原始输入数据分为3个部分：Word，POS，Label（单词，词性标签，弧的类型）。处理后的输入数据$[x^w, x^t, x^l]$ 其中word是按照一定的规则从数据中抽取的特征，包含18个词（stack，buffer栈顶6个 + stack栈顶2个单词的最左
统计学习方法学习笔记
统计学习方法学习笔记概论本部分主要讲述了： 统计学习的研究内容 统计学习的三要素 监督学习的学习方法 对于模型的评价 监督学习的三个子问题 统计学习 假设数据有统计规律 通过对数据进行分析，发现其中的知识 学习： 一个系统通过执行某个过程来改进它的性能 目的是对数据进行预测和分析 主要方法 监督学习(supervised learning) 非监督学习(insupervised learni