llama factory会自动为增量预训练修改嵌入层和输出层的维度吗

fanjiaonong · 2025 年11 月 5 日 08:10

有没有训练过的大佬可以解答一下，对千问做增量预训练，直接上传扩充的词表，llama factory会自动修改嵌入层和输出层的维度吗？

XMD · 2025 年11 月 5 日 08:25

可以参考这个issue

github.com/hiyouga/LLaMA-Factory

在Qwen3上进行新语言的CPT和sft后, 模型无法正常停止，会一直重复回答。同样的数据与参数在qwen2.5则正常

已打开 07:33AM - 12 Jun 25 UTC

已关闭 03:14AM - 04 Sep 25 UTC

LightingFx

solved

### Reminder - [x] I have read the above rules and searched the existing issues…. ### System Info - `llamafactory` version: 0.9.3.dev0 - Platform: Linux-4.15.0-175-generic-x86_64-with-glibc2.27 - Python version: 3.10.16 - PyTorch version: 2.6.0+cu124 (GPU) - Transformers version: 4.51.3 - Datasets version: 3.6.0 - Accelerate version: 1.7.0 - PEFT version: 0.15.2 - TRL version: 0.9.6 - GPU type: NVIDIA A100 80GB PCIe - GPU number: 2 - GPU memory: 79.14GB - DeepSpeed version: 0.17.0 - Bitsandbytes version: 0.46.0 - Git commit: a9211a730eb3fc7fe0d008107a0a135c3a8734d8 ### Reproduction ### 问题概述在qwen系列base模型（qwen2，qwen2.5，qwen3）上进行CPT和SFT训练，以适配藏文能力。目前qwen2.5上CPT+SFT后具备藏文指令跟随能力，但在qwen3上CPT+sft后，模型输出无法正常结束，会出现重复回答地现象。而且回答内容混乱，效果远差于qwen2.5. 是否是qwen3模板有变化？或者微调时需要额外配置什么参数？ ### 模型细节三个模型均做了藏文的词表扩充，扩充了1万左右的藏文常用词，并手动resize了模型embedding和lmhead层。处理代码： ``` # 5. Add tokens to tokenizer print(f"[5/7] Adding tokens to tokenizer...") added_count = tok.add_tokens(new_tokens) print(f"Number of tokens actually added: {added_count}") print(f"New tokenizer vocab size: {len(tok)}") # 6. Load original model and resize embeddings print(f"[6/7] Loading original Qwen model and resizing embeddings...") model = AutoModelForCausalLM.from_pretrained( orig_model_dir, device_map="auto", torch_dtype=torch.float16, # 半精度可选 ) orig_embs = model.get_input_embeddings().weight.size(0) model.resize_token_embeddings(len(tok)) new_embs = model.get_input_embeddings().weight.size(0) print(f"Resized model embeddings: {orig_embs} -> `{new_embs}")` ``` ### 数据情况 CPT和SFT的数据均一致，20G纯文本+110K混合指令数据 ### 设备均在A100 80G上完成训练 ### qwen3训练配置文件 ``` ### model model_name_or_path: /model/qwen3-8b-basebo trust_remote_code: true enable_liger_kernel: True ### method stage: pt do_train: true finetuning_type: lora lora_rank: 8 lora_target: all additional_target: embed_tokens,lm_head flash_attn: fa2 deepspeed: examples/deepspeed/ds_z0_config.json ### dataset dataset: ptbo cutoff_len: 4096 preprocessing_num_workers: 16 dataloader_num_workers: 16 ### output logging_steps: 50 save_steps: 5000 plot_loss: true overwrite_output_dir: true save_only_model: false report_to: none # choices: [none, wandb, tensorboard, swanlab, mlflow] ### train per_device_train_batch_size: 2 gradient_accumulation_steps: 4 learning_rate: 8.0e-5 num_train_epochs: 1.0 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true ddp_timeout: 180000000 resume_from_checkpoint: null ``` ### 其他信息 qwen3在cpt阶段的loss在2.5左右，高于qwen2.5（2.1左右）。 **此外还想咨询，在PT得到的qwen3-basebo模型上进行SFT，无<think>标签，template用什么？default还是qwen3，还是qwen** ### Others _No response_