该模型是一个蒸馏版的 Vision Transformer (ViT)。它除了类 token 外，还使用了蒸馏 token，以便在预训练和微调期间有效地从教师模型（CNN）中学习。蒸馏 token 通过自注意力层与类 token ([CLS]) 和图像块 token 交互，并通过反向传播进行学习。

Go to file

YYJ-aaaa e4e9aa1711 first commit		2024-11-12 10:13:39 +08:00
.gitattributes	Add .gitattributes	2024-11-12 10:06:37 +08:00
README.md	Initial commit	2024-11-12 10:06:37 +08:00
config.json	first commit	2024-11-12 10:13:39 +08:00
preprocessor_config.json	first commit	2024-11-12 10:13:39 +08:00
pytorch_model.bin	first commit	2024-11-12 10:13:39 +08:00
tf_model.h5	first commit	2024-11-12 10:13:39 +08:00

README.md

deit-base-distilled-patch16-224_a13567891499773952587369

该模型是一个蒸馏版的 Vision Transformer (ViT)。它除了类 token 外，还使用了蒸馏 token，以便在预训练和微调期间有效地从教师模型（CNN）中学习。蒸馏 token 通过自注意力层与类 token ([CLS]) 和图像块 token 交互，并通过反向传播进行学习。