标签: NLP
PromptBERT: Improving BERT Sentence Embeddings with Prompt
PromptBERT: Improving BERT Sentence Embeddings with PromptAbstract本文认为，原始BERT模型在句子语义相似度任务上表现不佳的原因： 静态token嵌入偏差 (static token embeddings biases) 无效的BERT层 (ineffective BERT layers) 而不是因为BERT生成的句子表示的余弦
CS224N Lecture 8 Notes
CS224N Lecture 8 Notes任务: Neural Machine Translation 结构: Seqence-to-Sequence 技巧: Attention 注：本文所用图片为从课程slides中截取 之前的课程讲到的任务都没有涉及整个句子的输出，Lecture 8的内容就着眼与这个部分。类似的任务有： 翻译 对话 文本摘要 类似的任务都是需要输入一个句子（或者更长）并
Deep Learning Notes - Week 1
NLP入门计划第一周 - 笔记内容 了解感知机/多层感知机(MLP) 了解前向传播，反向传播，微积分， 偏导的基本知识 梯度下降，学习率，梯度裁剪 了解常用的激活函数，从$tanh$到$gelu$ 了解loss function, cross-entropy, 平方差 笔记由于之前有过一点深度学习基础，不算是完全从零开始学起，此次做笔记的目的在于加深对深度学习基础知识的了解，特别是补了一下一些数
CS224N-Lecture5-notes
CS224N Assignment 3 Neural Dependency Parser需要理清楚的细节问题网络结构 输入数据的形式 原始输入数据分为3个部分：Word，POS，Label（单词，词性标签，弧的类型）。处理后的输入数据$[x^w, x^t, x^l]$ 其中word是按照一定的规则从数据中抽取的特征，包含18个词（stack，buffer栈顶6个 + stack栈顶2个单词的最左