马斯克突然开源 Grok :3140亿参数,打脸OpenAI,免费可商用,点击下载,安装史上最大模型!

IT资讯
IT资讯
IT资讯
1238
文章
241
评论
2024-03-2211:39:54
评论
375 1041字

马斯克的xAI公司正式开源了3140亿参数的大型语言模型Grok-1,包括权重和网络架构。这使Grok-1成为目前参数量最大的开源大语言模型。Grok-1采用混合专家(MoE)架构,在给定token上的激活权重为25%。xAI在2023年10月使用自定义训练堆栈从头训练了该模型,并遵守Apache 2.0许可证开源。

马斯克突然开源 Grok :3140亿参数,打脸OpenAI,免费可商用,点击下载,安装史上最大模型!

1.Grok-1 开源模型下载:【磁力链接】 ,然后使用 【Torrent 客户端 提取码:kZmW】进行下载即可!

2.Grok 开源项目:【Github

3.如果需要在云端安装Grok-1大模型,可以通过【租赁H100 云GPU】进行云端搭建

4.当然也可以直接调用HuggingFace 🤗 Hub:

git clone https://github.com/xai-org/grok-1.git && cd grok-1
pip install huggingface_hub[hf_transfer]
huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks Fals

模型详情:

  • 基于大量文本数据训练,未针对任何特定任务微调
  • 3140亿参数MoE模型,激活权重25%
  • 使用旋转嵌入而非固定位置嵌入
  • Tokenizer词汇大小131,072,嵌入大小6,144
  • 64层Transformer,每层解码器层包含多头注意力块和密集块
  • 多头注意力:48头查询,8头键/值,键值大小128
  • 密集块:加宽因子8,隐藏层大小32768
  • 每个token从8个专家选择2个
  • 旋转位置嵌入大小6,144
  • 上下文长度8192 tokens,精度bf16

模型能力:

  • 在标准LM基准测试中表现超过同等计算量模型
  • HumanEval编码任务63.2%,MMLU 73%
  • 在匈牙利高中数学考试中获C级(59%)
  • 整体在推理和编码任务中表现出色

 

马斯克突然开源 Grok :3140亿参数,打脸OpenAI,免费可商用,点击下载,安装史上最大模型!
马斯克突然开源 Grok :3140亿参数,打脸OpenAI,免费可商用,点击下载,安装史上最大模型!
马斯克突然开源 Grok :3140亿参数,打脸OpenAI,免费可商用,点击下载,安装史上最大模型!
马斯克突然开源 Grok :3140亿参数,打脸OpenAI,免费可商用,点击下载,安装史上最大模型!

 

局限性:

  • 缺少独立搜索网络能力,需结合搜索工具增强
  • 可能产生幻觉,需人工审查
  • 目前无法像X平台付费版实现实时获取信息

开源意义:

  • 遵循Apache 2.0许可证,用户可自由使用修改分发
  • 体现了xAI追求透明化和社区开放的理念
  • 为进一步研究和创新提供了宝贵资源

 

总的来说,Grok-1作为一款大规模开源语言模型,在模型能力和透明度方面都具有重要意义,值得业内外人士关注和探索。当然,模型的实际应用还需要结合其他工具和人工审查,以发挥其最大潜能。

 

 

 

  • Copyright ©  PC在线云端  版权所有.
  • 转载请务必保留本文链接:https://nrcs.xyz/ai-share-tutorial/12005.html
Orgorg速率最高可达1000Mbps,流畅观看Youtube 4K、TikTok,支持 Windows、Android、iOS、Mac,支持 微信、支付宝 付款!
全球数据中心,多点BGP保证速度,无视晚高峰,全天4K秒开,IPLC专线无惧封锁
全IEPL /青云跨境,高峰时期稳定8K播放,流媒体影视, ChatGPT 解锁保障,客户端无日志保护您的隐私安全,稳定运行5年+
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: