Apertus是什么
apertus是瑞士epfl、eth zurich和瑞士国家超级计算中心（cscs）联合推出的瑞士首个大规模开放、多语言的大型语言模型，有70b和8b两个参数版本，用大规模语言进行训练，其中40%的数据为非英语，包括瑞士德语、罗曼什语等此前在llm中被低估的语言。apertus用解码器仅的transformer架构，基于新的xielu激活函数和ademamix优化器。模型完全开放，模型权重、数据和训练细节，用户能在自己的服务器上使用，保持数据控制权。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
Apertus的主要功能
- 文本生成：根据用户输入的提示生成连贯、相关的文本。
- 多语言支持：支持超过1811种语言，包括许多此前在LLM中被低估的小语种。
- 透明性和开放性：模型权重、数据和训练细节完全公开，用户能在自己的服务器上使用。
- 长上下文处理：支持长上下文处理，适用于复杂的任务。
Apertus的技术原理
- 模型架构：Apertus用仅密集解码器Transformer架构，模型有8B和70B两种规模，分别有32层/32个注意力头和80层/64个注意力头。使用xIELU激活函数、RMSNorm归一化、RoPE位置编码和分组查询注意力机制，提升模型效率和长上下文处理能力。
- 预训练目标：用Goldfish目标函数，通过随机掩盖部分标记，防止模型学习精确的上下文映射，有效抑制逐字回忆，同时保留下游任务性能。预训练数据完全来自公开可用的来源，尊重内容所有者的退出意愿，避免使用受版权保护、非许可、有毒或包含个人身份信息的内容。
- 预训练数据：Apertus在超过15万亿个标记的数据上进行预训练，涵盖超过1800种语言。数据来源多样，包括高质量的网络爬取数据、代码数据、数学数据等。通过多种过滤机制，如尊重robots.txt文件中的爬取限制、移除个人身份信息和毒性内容，确保数据的合规性。为提高模型的多语言能力和数据多样性，在预训练数据中分配大量非英语内容。
- 训练过程：用AdEMAMix优化器和WSD学习率调度进行训练，确保训练的稳定性和效率。通过逐步增加上下文长度，使模型能处理更长的文本序列，支持长达65,536个标记的上下文。
- 后训练（Post-Training）：通过指令微调和对齐训练，用QRPO算法优化模型的行为，使其在生成文本时更加安全、有用和符合人类价值观。后训练阶段使模型能更好地理解和生成符合指令的文本。
Apertus的项目地址
- 项目官网：http://www.swiss-ai.org/apertus
- HuggingFace模型库：http://huggingface.co/collections/swiss-ai/apertus-llm-68b699e65415c231ace3b059
- 技术论文：http://github.com/swiss-ai/apertus-tech-report
