From 500e5e6f482dd013ee61582fba165fc3ae797d73 Mon Sep 17 00:00:00 2001
From: pice35408784b54431987c4d13c457b9cd <c457b9cd@leinao.ai>
Date: Tue, 12 Nov 2024 10:06:37 +0800
Subject: [PATCH] Initial commit

---
 README.md | 3 +++
 1 file changed, 3 insertions(+)
 create mode 100644 README.md

diff --git a/README.md b/README.md
new file mode 100644
index 0000000..7100d8a
--- /dev/null
+++ b/README.md
@@ -0,0 +1,3 @@
+# deit-base-distilled-patch16-224_a13567891499773952587369
+
+该模型是一个蒸馏版的 Vision Transformer (ViT)。它除了类 token 外，还使用了蒸馏 token，以便在预训练和微调期间有效地从教师模型（CNN）中学习。蒸馏 token 通过自注意力层与类 token ([CLS]) 和图像块 token 交互，并通过反向传播进行学习。
\ No newline at end of file