Tag: transformer

Transformer(6) - LayerNorm

attention 输出的长度取决于注意力有多集中,不同 token 之间能差好几倍。LayerNorm 把每个 token 的向量拉回均值 0、方差 1,这一篇只说它怎么算、按什么方向统计。

Transformer(5) - multi-head attention

Transformer(4) - self-attention

Transformer(3) - 位置编码

Transformer(2) - embedding

Transformer(0) - 总览

把 Transformer 当成一个黑盒，先搞清楚它的输入输出和特性

Transformer(1) - tokenizer