MoDS

[TOC] MoDS: Model-oriented Data Selection for Instruction TuningPaper: https://arxiv.org/abs/2311.15653 核心思想作者提出了一种针对模型做数据选择的框架，从质量、覆盖范围、必要性三个角度评估指令微调数据对于 LLM 指令微调的增益。质量：指令本身的质量和相应回复/反馈的质量覆盖范围：数据集内

论文阅读数据合成及过滤

2024-08-25

强化学习基础

强化学习入门（一）学习资料整理强化学习基础学习李宏毅老师强化学习课程 Reinforce Learning Book 2020 强化学习论文学习 GAE论文（优势函数估计） InstructGPT论文强化学习实践学习 Trlx代码仓库 PlayGround 其他相关文章（简单介绍） https://spinningup.openai.com/en/latest/spinningu

2021

论文阅读Prompt Learning

2021-12-10

PromptBERT: Improving BERT Sentence Embeddings with Prompt

PromptBERT: Improving BERT Sentence Embeddings with PromptAbstract本文认为，原始BERT模型在句子语义相似度任务上表现不佳的原因：静态token嵌入偏差 (static token embeddings biases) 无效的BERT层 (ineffective BERT layers) 而不是因为BERT生成的句子表示的余弦

子在川上曰：逝者如斯夫！不舍昼夜

分类: 论文阅读

MoDS

强化学习基础

PromptBERT: Improving BERT Sentence Embeddings with Prompt