googlebot 昨天访问了 。

红星发展:sh600367[时间:12/6/2024,价格:12.57]
华辰装备:sz300809
汇成真空:sz301392

安凯客车:sz000868[时间:11/12/2024,价格:6.06]
能科科技:sh603859[时间:11/12/2024,价格:31.77]
华虹公司:sh688347[时间:11/12/2024,价格:54.00]
海航控股:sh600221[时间:11/12/2024,价格:2.01]

当升科技 sz300073[时间:4/2/2024,价格:44.06]
多弗多 sz002407[时间:4/2/2024,价格:15.19]

sz300093[时间:11/24/2023,价格:19.30] 金刚光伏

http://www.mobanwang.com/mb/demo/20958/

抽象图片

chatglm-6B:
其次，ChatGLM-6B 的模型架构如下：

解码器层数：48
隐藏层大小：6144
注意力头数：48
注意力头维度：128
嵌入维度：6144
输出维度：50257（词汇表大小）
Dropout 比例：0.1

然后，根据这些信息，我们可以计算出 ChatGLM-6B 的各个部分的参数量如下：

解码器自注意力层参数量：(6144∗128+128)∗48∗48=2,260,172,800
解码器前馈网络层参数量：(6144∗6144+6144)∗2∗48=2,865,274,880
解码器总参数量：2,260,172,800+2,865,274,880=5,125,447,680
嵌入层参数量：50257∗6144=308,719,616
输出层参数量：50257∗6144=308,719,616
模型总参数量：5,125,447,680+308,719,616+308,719,616=5,742,886,912

这个结果和 ChatGLM-6B 的论文中给出的结果相符合1。因此，我们可以得出结论，ChatGLM-6B 的参数 6B 是由模型的所有参数的数量得到的。