BEiT 模型在 ImageNet-22k（也称为 ImageNet-21k（1400 万张图像，21841 个类别））上以自我监督的方式进行预训练，并在分辨率为 224x224 的同一数据集上进行微调。