tongchenkeji 发表于：2023-3-1 14:59:210次点击 已关注取消关注 关注 私信 GPT-3-中文-large 有多少参数[阿里云机器学习PAI] 暂停朗读为您朗读 GPT-3-中文-large、base 分别 有多少参数呢？请大佬告知下。 「点点赞赏，手留余香」 赞赏 还没有人赞赏，快来当第一个赞赏的人吧！ 海报 机器学习PAI# 人工智能平台 PAI1410
柒号华仔AM 2023-11-28 3:05:52 3 GPT-3的参数量高达1750亿，相比之下，GPT-2的最大版本只有15亿个参数，由此可见GTP-3的强大能力，根据深度学习之父、图灵奖得主Geoffrey Hinton的表示，从GPT-3惊人的性能可以推测：生命、宇宙和万物的答案，只需要4.398万亿个参数而已。由此可见GTP-3的强大能力是划时代的。
Carl_奕然AM 2023-11-28 3:05:52 4 【回答】 gpt-3使用的数据集容量达到了45TB， gpt-3具有1750亿个参数， 一个gpt-3 模型可能需要要 700G的硬盘空间来存储
飞云觅宙AM 2023-11-28 3:05:52 6 有base/large/1.3B/2.7B/13B/30B/175B等不同参数的版本，现在除了175B的版本都已经上线，175B的版本正在训练中， 阿里巴巴达摩院发布中文社区最大规模预训练语言模型PLUG（Pre-training for Language Understanding and Generation）。该模型参数规模达270亿，集语言理解与生成能力于一身，在小说创作、诗歌生成、智能问答等长文本生成领域表现突出，其目标是通过超大模型的能力，大幅提升中文NLP各类任务的表现，取得超越人类表现的性能。发布后，PLUG刷新了中文语言理解评测基准CLUE分类榜单历史纪录。 BERT论文中提到的BERT-base有1亿参数和BERT-large有3亿参数；最近的GPT-3和PaLM的large更是高达1750亿参数和5400亿参数。
GPT-3-中文-large模型有175亿个参数，是一种大型预训练自然语言处理（NLP）模型。
GPT-3-中文-large有175亿参数，而GPT-3-中文-base有17.5亿参数。
GPT-3的参数量高达1750亿，相比之下，GPT-2的最大版本只有15亿个参数，由此可见GTP-3的强大能力，根据深度学习之父、图灵奖得主Geoffrey Hinton的表示，从GPT-3惊人的性能可以推测：生命、宇宙和万物的答案，只需要4.398万亿个参数而已。由此可见GTP-3的强大能力是划时代的。
【回答】
gpt-3使用的数据集容量达到了45TB，
gpt-3具有1750亿个参数，
一个gpt-3 模型可能需要要 700G的硬盘空间来存储
gpt-3具有1750亿个参数
有base/large/1.3B/2.7B/13B/30B/175B等不同参数的版本，现在除了175B的版本都已经上线，175B的版本正在训练中，
阿里巴巴达摩院发布中文社区最大规模预训练语言模型PLUG（Pre-training for Language Understanding and Generation）。该模型参数规模达270亿，集语言理解与生成能力于一身，在小说创作、诗歌生成、智能问答等长文本生成领域表现突出，其目标是通过超大模型的能力，大幅提升中文NLP各类任务的表现，取得超越人类表现的性能。发布后，PLUG刷新了中文语言理解评测基准CLUE分类榜单历史纪录。
BERT论文中提到的BERT-base有1亿参数和BERT-large有3亿参数；最近的GPT-3和PaLM的large更是高达1750亿参数和5400亿参数。