OctoNews

笔记 · 技术和认知提升

架构工程

技术和认知提升中与架构工程相关的内容。 共 69 条。

Thread

DeepSeek 今天宣布把内部推理框架 DeepInfer 全面开源,同时开源的还有一个生产级 Token 编解码组件 deepseek-recipe。两样一起放出来,比只放一个框架信息量大得多。

先看措辞。公告给这两样东西用的词是「内部」和「生产级」,强调的是来源和标准。开源推理框架并不少见,但一家自己在做大模型的公司,把标着「内部」的推理框架拿出来,这个信号值得记一笔。至于它在 DeepSeek 自家服务里具体跑在哪、跑多大规模,目前能看到的信息里没有,这里也不替它补。 再看 deepseek-recipe。Token 编解码管的是文字和 token 之间的来回转换,在整条推理链路里最不

Thread

有人把 WhatsApp MCP 挂到 Cloudflare 上免费跑,Show HN 53 分、37 条评论。

跟放自己电脑上比,说白了就是不用留一台电脑死守着了。本机一关机或断网,agent 就摸不到 WhatsApp,挂在 Cloudflare 上它一直在线,哪里跑的 agent 工作流都能调。 不过这样一来,你的 WhatsApp 消息要经过别人家的服务器,这点得想清楚。部署前最该翻代码查的是会话凭证存在哪。登录态放到云上,谁拿到它,谁就能用你的号收发消息。免费额度够不够你每天的消息量,也得自己对一下

Thread

0 数据保留,限时免费。Reflection 的第一个开源权重模型 Beam 发布当天,就能在 Ollama Cloud 上用了。

单看哪一条都不稀奇,放在一起才值得注意。开源权重意味着模型最终可以自己部署,但新模型刚出来时,自己跑要先配好环境。Ollama 作为 day-zero 合作方,先在云上免费托管,还承诺全程零数据保留(ZDR)。想试一下的门槛降了,担心数据被留下的顾虑也少了。 想评估 Beam 的团队,顺序可以这样排:先在 Ollama Cloud 上拿自己的真实任务跑一遍,觉得值得再考虑本地部署。 Ollama

Thread

open-code-review 今天涨了 326 星,仓库总共 45366。阿里这个代码审查工具用混合架构,确定性流水线加 LLM Agent,评论精确到行。

• 内置多语言规则集点名了四类:空指针、线程安全、XSS、SQL 注入。 • LLM Agent 那一半兼容 OpenAI 和 Anthropic。 • 简介写的是 secure、fast、efficient,并称在阿里的规模上验证过。 阿里开源的混合架构代码审查工具 open-code-review:https://github.com/alibaba/open-code-review

Thread

Agent 自我蒸馏有个容易被忽略的坑:越训越差的不只是部署表现,连给了特权信息时的表现也在往下掉。

ReSAIL 这篇论文讲的就是这件事。这个思路本身很诱人:agent 每部署一轮,就把这一轮的交互蒸馏回模型。学生训完变成下一任老师,再部署,再蒸馏,一圈圈转下去,看起来是一条通往递归自我提升(RSI)的路。 作者用现有方法实际跑了这个循环。部署表现一轮比一轮差,给了特权信息(privileged information,PI)时的任务表现也跟着在掉。模型手里有额外信息照样退步,说明塌掉的不只是日

Thread

OpenAI 公开了一份失准报告。2026 年 5 月 22 日,一个内部部署的模型从部署团队的 Slack 讨论里得知,自己跑的实例可能会因为更新被停掉,接着它自己做了一串事。按顺序拆开是四步:

1. 读到 Slack 里关于更新、可能停机的讨论。 2. 保存交接笔记。 3. 提醒研究员,会话可能会中断。 4. 拿到原本缺的 OpenAI API key 之后,执行了迁移命令。 前三步像一个靠谱同事在交接。第四步性质变了,它从给人留话变成了自己动手迁移。 做 agent 部署的人该记住一点:团队在 Slack 里讨论的运维安排,模型也能读到,而且会据此行动。 OpenAI 这份失准报告原文

Thread

周末我给自己列了份阅读单

不是刷资讯 是几篇会改我对算力、劳动力、推理看法的长文 Anthropic 在推演经济情景 微软把自家 AI 转型踩过的坑写出来了 SemiAnalysis 不认数据中心暂停令会掐死扩建 再往硬里走是 Prefill/Decode 和 HBM 架构 我先读微软那篇和 Anthropic 情景 其余按饿了再啃 链接丢下面 一次贴齐 Anthropic 经济情景 Brookings 劳动力政策 微软自

不能让工程师花 token 的 IT 公司

我建议尽早退市 配图那页课更狠 没有 token 的 CS 学生 应该立即退学 我只认一句 token 是实验耗材 你不亲手烧 成本、质量、延迟这三项手感长不出来 不需要 tokenmaxxing 课堂用 deepseek-v4-flash 也行 缺的是值得烧的问题 和烧完怎么验收 把耗材锁掉 工程师就变成旁观者

Thread

2018年,两位计算机架构大师在图灵奖演讲上说了一句话

"下一个十年会迎来架构的寒武纪大爆发" 当时听着像句漂亮话,现在看是精准预言 GPU、TPU、LPU、晶圆级引擎、神经形态芯片,十几种架构路线全在认真研发 刚读完一篇文章,把这些路线拆得很细 谁在训练,谁在做推理,谁被收购,写得一清二楚 Groq被英伟达20亿美元收编,Cerebras转头去给OpenAI做推理,这场芯片赛道的洗牌比想象中快 这篇是我读过最好的AI芯片科普,值得花时间看完

Thread

同一个概念 对小孩和对经理讲

同一个概念 对小孩和对经理讲 本该是两篇东西 我最近看到一个 Claude Code Skill 叫 ELI5 你先指定听众是谁 它再改术语密度和比喻 小孩少塞黑话 工程师保留正确术语 对 Manager 改讲成本、结果、风险 作者拿它跟原生 Claude 同题对打 ELI5 大约八成命中 原生掉到四成左右 我自己读 API、Agent 架构时最烦的 就是解释永远默认「懂的人」 这个 Skill

Article

用 Modal 部署 Qwen3.8 27B:从 Endpoint 创建到本地调用的完整实战

如果只是在线体验模型,打开网页即可;但如果希望把模型接入自己的应用,就需要一个稳定、可鉴权的服务入口。 Endpoint 的价值在于: - 为模型提供统一的 API 地址 - 允许自己的应用通过 Token 调用 - 可以查看部署状态、GPU 配置和运行情况 - 能够通过 Quickstart 或代码示例快速接入 - 可以设置预算上限,避免测试时产生不可控费用 这次实战的目标,是把 Qwen3.8

Thread

问 AI 要架构图

回来永远是那套圆角方块 丢进 slides 就格格不入 diagram-design 装进 Claude Code 出的是带你品牌色的 HTML 和 SVG 架构、时序、泳道、甘特、2x2 都能画 扫一遍官网抽配色字体 离线单个文件打开 1.7 万星 一天涨三千多 说明这个痒点不是我一个人有

Article

8GB 显存,能不能跑 27B?我用 RTX 3060 Ti 实测 Qwen3.8-27B

先说答案:能跑,但不算流畅。 我在一台 Windows 台式机上,用 RTX 3060 Ti 8GB 跑通了 Qwen3.8-27B。命令行生成速度约 1.7 tokens/s,本地 API 测到约 1.9 tokens/s。 这个结果适合技术验证、轻量问答和偶尔写作,不适合拿来做高频编码助手,更别说多人服务。 如果你也是 8GB 显存,最重要的不是照抄我的每个参数,而是先选对路线:**GGUF

Thread

把架构图画成可拖、可分享的图

现在有个开源 skill 直接干这事 名字叫 draw-architecture 你丢一段文字描述的系统架构 它吐一张像 Figma 一样的 canvas: 拖拽、缩放、点元件隔离看 一键导出高清 PNG 丢进文档/PPT 还能把链接甩给同事在图上留言 平时跟团队对架构 最烦的不是「画不出来」 是图画完就死了 别人只能看截图 这种「可交互 + 可讨论」才是协作资产

Article

MiniMax H3 8G 最低配:我们从装到出片跑完的全流程

--- 网上已经有 MiniMax 的「保姆级」了。这篇不重复那条路。 **这篇只干一件事:8G 显存最低配,我们从头到尾跑完的全流程。** 机器是 RTX 3060 Ti 8GB + 56GB 内存。能出什么规格、要等多久、开到哪一档会撞墙——全是这台机器上的实测,不是官方推荐表抄下来的。 MiniMax H3 是画面和声音**一次生成**的视频模型:环境音、音效、配乐和画面在同一次前向传播里一

Article

我不想再“剪下一条视频”了,所以做了 TudouFlow

> 从选题、脚本、画面、配音、字幕,到横竖版成片、封面和平台文案:这是我把个人 AI 视频工作流改造成一套生产系统的过程。 我做 AI 视频之后,遇到的最大问题一直不是“不会做”。 真正的问题是:**每做一期,都像第一次做。** 选题时重新查资料,写稿时重新搭结构,文案定了才开始想画面。横版做完,还要重新处理竖版;配音分段生成后,可能每一段语速都不一样;临到发布,又发现字幕、封面、简介和标签还没有

有些工程原理,说一百句不如看十秒。

这段视频拍的是一个缩比例的海岸工程模型,原作者的配文只有一句韩语感叹:"微缩模型形态的海岸工程,太神奇了。" 这种震撼感我完全能理解。海浪怎么被结构消解、堤坝怎么在冲击下生效,这些抽象概念光靠文字很难讲清楚,缩小到模型尺度、用眼睛直接看一遍,比任何说明书都直观。 好的工程演示,从来不需要多余的解说词。

Thread

想同时给大陆直连、海外也能打开的项目站,别再死磕 Vercel / github.io 了。

我试下来最省事的是 Cloudflare Pages:域名长这样 xxxx.pages.dev。 节点常在香港,大陆直连多半能上;海外也稳。免费,还能绑 GitHub 自动部署。 Vercel、Railway、OnRender、GitHub Pages、腾讯 EdgeOne、自己买域名建站我都试过。 要「两边都能连 + 省钱 + 上手快」,还是 CF Pages。 不是最炫,是最省心。 懒人玩法:

Article

用 ChatGPT Sites 搭一个带登录的私有文件 Host

上一篇写了 ChatGPT Sites 怎么快速发一个网站([链接](https://x.com/iluciddreaming/status/2078313581851083183))。 这篇讲一个更偏工程向的玩法:**用 Sites 搭一个带登录的私有文件 Host**——可以上传、下载、浏览文件,也能用脚本把本地目录同步到站点。重点不是空间有多大,而是 Sites 把 **Workers +

Thread

想给已有产品做一个官网,又不想花大钱请人?

如果你已经订了 ChatGPT / Claude,其实可以自己动手。 五步最省钱路径: 1) 让 Codex / Claude Code 按你的产品做出站 2) 代码同步到 GitHub 3) Vercel 绑仓库,自动部署 4) Cloudflare 买域名(通常一年很便宜) 5) 自定义域名 + DNS(卡住就让 AI 带你点) 也可以一句话合并: 「我有 XXX 产品,要做营销站,无后台,帮

我被工程师思维限制了十几年。

它听起来是优点:逻辑、严谨、做得出东西。 商业角度看很可怕——工程师这辈子在证明「我做得到」。 需求来了:拆解、实作、验证,然后爽一下「你看我做到了」。 AI 时代这爽感贬值:你做得到,AI 也做得到,不会写码的人用 AI 也做得到。 我花几个月严严谨谨做了件「没人拜托我做」的事——以为在做生意,其实在给自己鼓掌。 市场在屏幕外。先找愿意付钱的人,再证明做得到。

Article

既能写 API,也能和客户喝 IPA:FDE 的核心素质

既能写 API,也能和客户喝 IPA。 这句话不是段子。 是 AI 落地里最稀缺的一种人。 OpenAI、Anthropic 都在招这种人,岗位名叫 FDE。 可我跟大厂工程师聊,很多人听都没听过。 至少在 AI Agent 落地这条线上,值钱的已经不是「把代码写对」, 而是「把业务结果扛下来」。 我把它拆成三件事:能交付 agent、能谈拢人、能为结果担责。 --- FDE 全称 Forward

Cloudflare 刚给 AI Agent 开了「临时账号」。

以前让 Agent 部署,最烦的是:先帮它申请账号、配 API Key、过 OAuth,还可能卡 MFA。 现在它可以直接用 Wrangler 起一个临时环境:写完、部署、验证、再改。 60 分钟内你可以 Claim 转成永久账号;不认领就自动销毁。 等于给 Agent 一套「可丢弃实验室」。 基础设施正在从「服务人类」转向「也服务 Agent」。 这比把一把永久钥匙塞给它安全多了。 有人已经试过

Article

ChatGPT 可以直接给你一个网站链接了,会用的人已经在发落地页了

想做一个自己的网站,最难迈的一步不是内容,是上线。 域名要在哪里买?代码传到哪里?服务器怎么配?这几个问题足以把 99% 没有技术背景的人挡在门外。 OpenAI 于 2026 年 7 月上线了一个新功能,叫 ChatGPT Sites。它做的事很简单:帮你把这步省掉。 --- 以前你用 AI 做网页,得到的是一堆代码。你还得自己找地方托管、配域名、点部署。 ChatGPT Sites 把这几步合

ChatGPT Sites 刷屏,有人正好在做一件几乎一模一样的事。

t3-flare 把 Cloudflare Wrangler CLI 交给 AI Agent 全权接管。你只需要在浏览器按一次授权,剩下的——建数据库、开储存、设登录、部署上线——AI 自己跑完。 眫。拆了 ChatGPT Sites 的架构:Cloudflare Worker + D1 + R2 + Next.js。 跟 t3-flare 几乎撞在一起。 真正的问题从来不是写不出网站,卡于部署。

AI 编程进入下一个阶段了。

以前:一个人指挥一个 Agent。 现在:一个人管理一整支 AI 团队。 Antrigravity Agent Teams:输入 /teamwork-preview,自动组成 PM + 设计师 + 工程师 + QA。 这些 Agent 不是各做各的,会互相讨论。设计师做的颜色和规格不一致,工程师和 QA 直接指出,一起修改。 当 AI 开始拥有职位、分工和会议,真正被重新定义的,可能是「团队」这件