标签: Data Selection

0

MoDS

[TOC] MoDS: Model-oriented Data Selection for Instruction TuningPaper: https://arxiv.org/abs/2311.15653 核心思想作者提出了一种针对模型做数据选择的框架,从质量、覆盖范围、必要性三个角度评估指令微调数据对于 LLM 指令微调的增益。 质量:指令本身的质量和相应回复/反馈的质量 覆盖范围:数据集内