用self-instruct方法合成数据并微调法律大模型
# 生成微调数据 # 准备工作 DISC-LawLLM 主要基于 DISC-Law-SFT-Pair 和 DISC-Law-SFT-Triplet 数据集进行训练,这两个数据集对应了法律专业人员助手、法律咨询服务、法律考试助手、法律专业人员助手和法律咨询服务的情景。 这次实践,使用 Self-Instruct 方法,利用 DISC-Law-SFT-Pair 和 DISC-Law-SFT-Triplet 数据集生成微调数据,以此微调 DISC-LawLLM。Self-Instruct 方法是怎么工作的?如下图: seed tasks 是源数据,Self-Instruct...
more...











