全参预训练怎么设置数据集目录

rex · 2025 年10 月 29 日 08:42

大佬们，请教一下，如果finetuning_type：full ，stage：pt，数据集有很多的情况下，yaml或者data_info怎么设置指定的数据集目录。谢谢！

XMD · 2025 年10 月 29 日 08:45

每个数据集按照规定的格式定义好，然后在配置文件中的dataset字段用逗号分隔应该就行了

rex · 2025 年10 月 29 日 08:47

谢谢，如果目录下有很多，比如5000份，每个写上太不方便了。可以支持指定到目录吗？

XMD · 2025 年10 月 29 日 08:48

可以先自己处理下合并数据成一份

rex · 2025 年10 月 29 日 08:52

好的，谢谢大佬！

rex · 2025 年10 月 29 日 09:18

大佬，这样配置：finetuning_type：full ，stage：pt ，算是continue pretraining吗？谢谢！

XMD · 2025 年10 月 29 日 09:35

是的，但是要注意继续预训练的训练超参数设置，stage设置为pt仅仅是说这个训练方式是预训练，但是效果不一定就好了

rex · 2025 年10 月 29 日 09:43

大佬，有没有文档或者博客可以参考。

XMD · 2025 年10 月 29 日 09:56

XMD · 2025 年10 月 29 日 09:57

其实你可以借助大模型deep research相关的功能帮你找一些文章