All Posts

Transformer(6) - LayerNorm

attention 输出的长度取决于注意力有多集中,不同 token 之间能差好几倍。LayerNorm 把每个 token 的向量拉回均值 0、方差 1,这一篇只说它怎么算、按什么方向统计。

Transformer(5) - multi-head attention

Transformer(4) - self-attention

Transformer(3) - 位置编码

Transformer(2) - embedding

Transformer(0) - 总览

把 Transformer 当成一个黑盒，先搞清楚它的输入输出和特性

用太阳能和 18650 让 ESP32-C3 持续运行

只靠一块 3W 太阳能板和一节 18650，让 XIAO ESP32-C3 长期在户外运行：供电链路设计、电量检测、功耗估算，以及根据电量和昼夜动态切换持续运行与深度睡眠的策略。文中以土壤湿度传感器作为示例负载。

Transformer(1) - tokenizer

web前端性能优化经验 - 后置优化

机器学习 - 符号化求导

线性代数 - 换基操作

线性代数 - 矩阵乘法的几何意义

机器学习 - 反向传播算法（后向模式自动微分）

机器学习 - 逻辑回归

机器学习 - 线性回归

webpack系列 — 插件系统

webpack系列 — 总览

园艺植物 之 月季

月季品种 之 秋日胭脂

月季品种 之 龙沙宝石

声明式编程