BEiT 模型在 ImageNet-21k（1400 万张图像，21841 个类别）上以自我监督的方式以 224x224 的分辨率进行预训练，并在 ImageNet 2012（100 万张图像，1000 个类别）上以 512x512 的分辨率进行微调。