jeeejeee

/

qwen25-vl-lora-pokemon

like 0

Hey @jeeejeee !

Why am I seeing missing adapter keys for the visual layers when loading the LoRA, and does this indicate that the vision backbone wasn’t actually finetuned?

Code:

from peft import PeftModel,
from transformers import Qwen2_5_VLForConditionalGeneration

lora_model_id = "jeeejeee/qwen25-vl-lora-pokemon"
base_model_id = "Qwen/Qwen2.5-VL-3B-Instruct"

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(base_model_id)
lora_model = PeftModel.from_pretrained(model, lora_model_id)

for name, p in lora_model.named_parameters():
    if "lora" in name and ("vision" in name.lower() or "visual" in name.lower() or "image" in name.lower()):
        print(name, p.requires_grad, p.abs().mean())

When executing PeftModel line, seeing below:

/home/ubuntu/miniconda3/envs/asset/lib/python3.12/site-packages/tqdm/auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html
  from .autonotebook import tqdm as notebook_tqdm
base_model_id: Qwen/Qwen2.5-VL-3B-Instruct
Loading checkpoint shards: 100%|██████████| 2/2 [00:00<00:00,  2.11it/s]
/home/ubuntu/miniconda3/envs/asset/lib/python3.12/site-packages/peft/peft_model.py:598: UserWarning: Found missing adapter keys while loading the checkpoint: ['base_model.model.model.visual.blocks.0.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.0.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.0.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.0.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.0.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.0.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.1.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.1.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.1.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.1.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.1.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.1.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.2.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.2.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.2.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.2.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.2.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.2.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.3.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.3.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.3.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.3.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.3.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.3.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.4.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.4.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.4.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.4.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.4.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.4.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.5.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.5.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.5.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.5.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.5.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.5.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.6.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.6.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.6.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.6.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.6.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.6.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.7.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.7.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.7.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.7.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.7.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.7.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.8.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.8.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.8.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.8.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.8.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.8.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.9.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.9.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.9.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.9.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.9.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.9.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.10.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.10.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.10.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.10.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.10.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.10.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.11.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.11.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.11.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.11.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.11.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.11.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.12.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.12.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.12.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.12.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.12.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.12.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.13.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.13.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.13.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.13.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.13.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.13.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.14.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.14.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.14.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.14.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.14.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.14.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.15.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.15.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.15.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.15.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.15.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.15.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.16.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.16.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.16.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.16.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.16.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.16.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.17.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.17.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.17.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.17.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.17.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.17.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.18.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.18.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.18.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.18.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.18.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.18.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.19.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.19.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.19.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.19.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.19.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.19.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.20.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.20.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.20.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.20.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.20.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.20.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.21.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.21.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.21.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.21.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.21.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.21.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.22.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.22.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.22.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.22.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.22.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.22.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.23.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.23.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.23.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.23.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.23.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.23.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.24.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.24.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.24.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.24.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.24.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.24.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.25.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.25.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.25.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.25.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.25.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.25.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.26.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.26.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.26.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.26.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.26.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.26.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.27.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.27.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.27.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.27.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.27.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.27.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.28.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.28.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.28.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.28.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.28.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.28.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.29.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.29.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.29.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.29.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.29.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.29.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.30.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.30.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.30.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.30.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.30.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.30.mlp.down_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.31.mlp.gate_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.31.mlp.gate_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.31.mlp.up_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.31.mlp.up_proj.lora_B.default.weight', 'base_model.model.model.visual.blocks.31.mlp.down_proj.lora_A.default.weight', 'base_model.model.model.visual.blocks.31.mlp.down_proj.lora_B.default.weight'].
  warnings.warn(warn_message)