11
Updated 2024-11-04 16:42:35 +08:00
11
Updated 2024-11-04 16:42:24 +08:00
介绍
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：
更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。
更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
Updated 2024-11-04 09:39:26 +08:00
100adsfsdf
Updated 2024-11-02 22:18:40 +08:00
诗句
Updated 2024-11-01 20:09:05 +08:00
General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model
Updated 2024-11-01 17:57:35 +08:00
chatglm3
Updated 2024-11-01 17:50:58 +08:00
作者设计了搜索空间来进行神经架构搜索（NAS）。他们首先从一个高维的搜索空间开始，然后根据当前搜索空间采样出的最佳模型的经验，逐步施加约束来迭代缩小搜索空间。
Updated 2024-11-01 17:35:50 +08:00
data2vec: 一种用于语音、视觉和语言自监督学习的通用框架
Updated 2024-11-01 17:20:31 +08:00
ResNet（残差网络）是一种卷积神经网络，它普及了残差学习和跳跃连接的概念。这使训练更深的模型成为可能。
Updated 2024-11-01 17:04:30 +08:00
百川2-7B-对话模型
Updated 2024-11-01 16:53:06 +08:00
文档图像变换器（DiT）是一种类似于BERT的变换器编码器模型，通过自监督方式在大量图像集合上进行预训练。该模型的预训练目标是根据遮蔽补丁预测离散变分自编码器（dVAE）编码器的视觉标记。
Updated 2024-11-01 16:49:00 +08:00
ConvNeXt V2是一个纯卷积模型（ConvNet），它引入了全卷积遮蔽自编码器框架（FCMAE）和一个新的全局响应归一化层（GRN）。ConvNeXt V2显著提高了纯卷积网络在各种识别基准测试上的性能。
Updated 2024-11-01 16:37:40 +08:00
Vision Transformer (ViT)模型使用DINOv2方法进行训练。
Updated 2024-11-01 16:25:12 +08:00
BiT是一种简单的方法，用于扩大ResNet类架构（具体是ResNetv2）的预训练规模。该方法在迁移学习中取得了显著的改进。
Updated 2024-11-01 16:11:15 +08:00
Qwen2.5-0.5B-Instruct
Updated 2024-11-01 15:54:38 +08:00
YOLO 系列因其在速度和准确性之间的合理权衡而成为最流行的实时对象检测框架。 然而，我们观察到 YOLO 的速度和准确性受到 NMS 的负面影响。 最近，基于变压器的端到端检测器 （DETR） 为消除 NMS 提供了一种替代方案。
Updated 2024-11-01 14:58:02 +08:00