ATTAYN Intelligence
REPORT NO. 002 / 2026.02.01

日报:每日AI观察 - 2026.02.01

2026.02.01   |   Report

Andrej Karpathy (@karpathy):GPT-2 训练成本的极致压缩

Karpathy 再次刷新了业界对大模型训练门槛的认知。他宣布使用 nanochat 项目,仅需约 73 美元(单台 8xH100 节点运行 3 小时)即可训练出 GPT-2 级别的模型。

  • 成本曲线:2019 年 GPT-2 原始训练成本约 4.3 万美元,目前实现了 600 倍的成本削减。
  • 关键优化技术:使用 Flash Attention 3 内核,Muon 优化器,以及由可学习标量控制的残差路径。
nanochat can now train GPT-2 grade LLM for <<$100 (~$73, 3 hours on a single 8XH100 node). ... The biggest improvements: Flash Attention 3 kernels, Muon optimizer, residual pathways and skip connections gated by learnable scalars.
🔗 Source Text

Marc Lou (@marclou):单月 9.4 万美金背后的极简主义

Marc Lou 公布了 2026 年 1 月的营收明细($94,799),其中 DataFast 首次超越了 ShipFast。

  • 营收构成:TrustMRR ($31.4k)、CodeFast ($23.5k)、DataFast ($17.5k)。
  • 核心认知:不需要在 Mac Mini 上跑 3 个 Claude Code。基本功没变:一个核心功能 + 一个购买按钮。
I made $94,799 in January 2026. ⭐️ TrustMRR — $31.4k, 🧑💻 CodeFast — $23.5K... Wake up. You don't need to run 3 Claude Code on a Mac Mini to build a profitable startup.
🔗 Source Text

ATTAYN 总结

今日最深刻的洞察来自 @kloss_xyz:不要指望 AI 能代替你的大脑。真正的机会在于,当一个学习了所有 AI 系统的 18 岁少年能在一个周末就超越你几十年的经验时,你是否站在了正确的一边。保持学习,保持构建,保持发布。