PromptBERT: Improving BERT Sentence Embeddings with PromptAbstract本文认为，原始BERT模型在句子语义相似度任务上表现不佳的原因： 静态token嵌入偏差 (static token embeddings biases) 无效的BERT层 (ineffective BERT layers) 而不是因为BERT生成的句子表示的余弦
面试遇到的一个基础问题：使用PyTorch求一个函数的最优值代码如下： import torch.optim as optim import torch # 参数为x，(1,1) x = torch.randn([1],requires_grad=True) def function(x): return x**2 - 2*x + 1 optimizer = optim.SGD([x
pytorch baisc最近用Pytorch的时候发现对于pytorch的一些细节问题掌握不够充分。包括整个框架的使用流程，Tensor的一些初始化，类型转换的细节也理解的不是很深。为了方便以后能够更从容的使用Pytorch，重新学习以下Pytorch的一些基础内容，并对重点做一下记录。 目前大致按照官方tutorials的顺序记录，随着学习的深入和对文档的查阅慢慢补充。 Basic - Te
CS224N Lecture 8 Notes任务: Neural Machine Translation 结构: Seqence-to-Sequence 技巧: Attention 注：本文所用图片为从课程slides中截取 之前的课程讲到的任务都没有涉及整个句子的输出，Lecture 8的内容就着眼与这个部分。类似的任务有： 翻译 对话 文本摘要 类似的任务都是需要输入一个句子（或者更长）并
CS224N Assignment 3 Neural Dependency Parser需要理清楚的细节问题网络结构 输入数据的形式 原始输入数据分为3个部分：Word，POS，Label（单词，词性标签，弧的类型）。处理后的输入数据$[x^w, x^t, x^l]$ 其中word是按照一定的规则从数据中抽取的特征，包含18个词（stack，buffer栈顶6个 + stack栈顶2个单词的最左
统计学习方法学习笔记概论本部分主要讲述了： 统计学习的研究内容 统计学习的三要素 监督学习的学习方法 对于模型的评价 监督学习的三个子问题 统计学习 假设数据有统计规律 通过对数据进行分析，发现其中的知识 学习： 一个系统通过执行某个过程来改进它的性能 目的是对数据进行预测和分析 主要方法 监督学习(supervised learning) 非监督学习(insupervised learni