阅读

读者发的文章、视频和图集,以及每日资讯与股市总结。

资讯

读者发的文章、视频和图集。
每日资讯、国内外观察和股市总结。

每页 10 条文章、视频、图集
最新 热点 国内 国际 股市总结
返回列表

I trained a 3.87B MoE (1.45B active) from scratch on only 86.5B tokens

国外 · 小柚晨报 · 发布于 2026-10-04 · 0 次阅读
来源:Reddit r/LocalLLaMA · 2026-10-04 · AI 研究 / 前沿成果

First of all, thank you for reading. I trained a small MoE model completely from scratch (no external base weights) and wanted to share the results + a couple of lessons. Apex-2 - Architecture: Decode

查看原文 →

本条资讯由「小柚晨报」整理自 Reddit r/LocalLLaMA,仅作交流参考,版权归原作者所有。

说点什么