Swin Transformer v2 引入了三项主要改进：1）结合余弦注意力的残差后规范化方法，以提高训练的稳定性；2）对数间隔连续位置偏置方法，有效地将使用低分辨率图像预训练的模型迁移到高分辨率输入的下游任务中；3）一种自监督预训练方法SimMIM，以减少对大量标记图像的需求。

Go to file

YYJ-aaaa 521d0e70b8 first commit		2024-11-13 09:31:28 +08:00
.gitattributes	Add .gitattributes	2024-11-12 17:58:11 +08:00
README.md	Initial commit	2024-11-12 17:58:10 +08:00
config.json	first commit	2024-11-13 09:31:28 +08:00
preprocessor_config.json	first commit	2024-11-13 09:31:28 +08:00
pytorch_model.bin	first commit	2024-11-13 09:31:28 +08:00

README.md

swinv2-base-patch4-window8-256_a13571599987503104680343

Swin Transformer v2 引入了三项主要改进：1）结合余弦注意力的残差后规范化方法，以提高训练的稳定性；2）对数间隔连续位置偏置方法，有效地将使用低分辨率图像预训练的模型迁移到高分辨率输入的下游任务中；3）一种自监督预训练方法SimMIM，以减少对大量标记图像的需求。