一文读懂大模型的Transformer
17天前大模型时代人人都在说这玩意底层是个Transformer，但Transformer到底长啥样。这篇就从底层结构拆开，讲清它是怎么把文字变成可计算的思维的。 打开今日头条查看图片详情 1 输入嵌入与位置 …
一封来自Transformer之父的分手信：8年了！世界需要新的AI架构
1个月前新智元报道 编辑：定慧 【新智元导读】Transformer之父「叛逃」？8年前掀起AI革命的男人，如今嫌「自己孩子」太吵太卷！当资本狂飙、论文堆积如山，他却高喊：是时候放弃Transform …
大语言模型的本质与Transformer技术原理深度剖析
4个月前别把大语言模型神化，它没法术，靠的是一整套“把语言变成概率”的工程手艺。直白点：大语言模型就是在海量语料里学会预测下一个词的分布，Transformer把“注意力机制、多头注意力、残差、层归一化、位置 …
国产AI首次「长出」原生记忆，非Transformer架构成新王！
4个月前编辑：编辑部 【新智元导读】就在刚刚，这家国产黑马首创的非Transformer架构大模型，再次重磅更新！训练效率远超Transformer架构，在WAIC上直接引起了火爆围观。现在，端侧智能的iPh …
掌握Transformer之注意力为什么有效
1年前01 引言 在过去的几年里，Transformer在 NLP 领域掀起了一场风暴。现在，它们在 NLP 之外的应用中也取得了成功。Transformer结构之所以有如此大的能量，是因为注意力模块。 …
Transformer中的编码器详解
1年前👀 前言 Transformer中编码器的构造和运行位置如下图所示，其中编码器内部包含多层，对应下图encoder1…encoder N，每个层内部又包含多个子层：多头自注 …