OctoNews

笔记 · 技术和认知提升

大模型

技术和认知提升中与大模型相关的内容。 共 70 条。

Article

为什么 AI 时代还需要继续用 Anki

跟 ChatGPT 聊完,我会有种「这下懂了」的爽感 两周后再被问到同一个细节 脑子里经常只剩浆糊 模型讲得挺清楚 是我会忘 我现在的用法就一句 **AI 负责学得快** **Anki 负责忘得慢** 下载:[Anki](https://apps.ankiweb.net/) --- 我现在学东西,大量靠大模型 追问、举反例、当场考我 启动成本几乎为零 当场理解变强了 过一阵还是会忘 当场 quiz

想试本地大模型,别一上来乱下 70B。

我的起步顺序: 1. 先上 Qwen3.6 27B——手感/速度平衡 2. 觉得慢,再试 Qwen3.6 35B-A3B(MoE 路线更省) 3. 显存紧:Qwen3.5 9B 先把「能稳定跑、愿意天天用」做出来,再卷更大模型。本地玩的是工程,不是榜单。

Article

百度网盘 - 闲鱼 MCP 一键发布,让你有价值的资料变成持续赚钱的机器

你网盘里是不是也躺着几十个 G 的资料?真正卡住你上架闲鱼的,往往不是「有没有货」,而是那套重复劳动:翻文件夹找素材、下载到本地、开闲鱼网页填标题图价格、点发布——每一件新货都要重来一遍。 这套重复劳动,够格交给 Agent 做,你只需要最后点头确认。 今天讲的就是这条链路:**百度网盘 + 闲鱼 + Agent(MCP)**。 把网盘接成工具,把闲鱼接成工具,再串成「找资料 → 写介绍 → 打草

Thread

学大模型最缺的不是理论,是能跟着敲代码的教程——尤其还得是中文的。

dive-into-llms 刚好补上这个空:上海交大张倬胜团队出的 11 章实战课,每章配讲义 PDF 加可执行 Notebook,从微调、提示工程讲到 RLHF、多模态、GUI agent,连越狱攻击和 agent 安全这种进阶内容都覆盖了。 GitHub 44.9K star,今天单日涨 654,说明真有人在用。 全中文,边学边改代码,不需要去看大量英文论文。

Thread

想同时给大陆直连、海外也能打开的项目站,别再死磕 Vercel / github.io 了。

我试下来最省事的是 Cloudflare Pages:域名长这样 xxxx.pages.dev。 节点常在香港,大陆直连多半能上;海外也稳。免费,还能绑 GitHub 自动部署。 Vercel、Railway、OnRender、GitHub Pages、腾讯 EdgeOne、自己买域名建站我都试过。 要「两边都能连 + 省钱 + 上手快」,还是 CF Pages。 不是最炫,是最省心。 懒人玩法:

很多人以为美国 AI 核心只在 OpenAI 和 Anthropic。

我更看 Google。文本模型吃文字 token;世界大模型更吃视觉 token——数据量另一个量级,也更贴物理。 文本能服务的场景小于视觉理解;外挂多模态常常不划算。路线对了,榜会重排。

Article

用 ChatGPT Sites 搭一个带登录的私有文件 Host

上一篇写了 ChatGPT Sites 怎么快速发一个网站([链接](https://x.com/iluciddreaming/status/2078313581851083183))。 这篇讲一个更偏工程向的玩法:**用 Sites 搭一个带登录的私有文件 Host**——可以上传、下载、浏览文件,也能用脚本把本地目录同步到站点。重点不是空间有多大,而是 Sites 把 **Workers +

Thread

玩 Multi-Agent 大半年,我仍坚持:

LLM 可替换;Architecture 可替换;Harness 可替换;IDE / Skill / Knowledge 都可替换。 值得长期养的,是 Identity / Memory——你是谁、做过什么、偏好什么。 工程上也一样:记得住上下文,才谈得上持续协作。

Thread

Code review 最烦的,常常不是模型不会写。

是你只改一个 function,它仍把半个 monorepo 重读一遍——token 烧掉,判断还飘。 code-review-graph 先把函数、class、import、调用建成图,再摘出 blast radius。 README 例子:大 monorepo 可少读 2.7 万+ 文件,只留约 15 个必要文件;2900 文件增量重建可在约 2 秒内。 接在 agent 前面,省的是上下文噪

Thread

语音助理的四层架构:VAD → 语音识别 → LLM → 语音合成,这四层常常来自不同服务商。想换掉其中一家,往往得整组管线重写。

Hugging Face 开源了 speech-to-speech,把这四层模块化,让你像换零件一样替换其中一段。 • VAD、STT、LLM、TTS 各自都能替换,不绑死单一供应商 • 可以直接把 OpenAI Realtime API 换成本地版本,不用重写整套逻辑 • 所有模型都能在本地跑,语音数据不必离开自己的机器

Thread

微软为什么几乎没有参与基础大模型竞赛?

谷歌有 Gemini,Meta 有 Llama,字节有豆包,阿里有通义千问。 微软与其他巨头不同,它早就没有主人了。Satya Nadella 只是个打工的。 Carl Icahn 说过,美国 CEO 的选拔机制往往是「反达尔文」的——老好人缘好、不做争议性决策、安全听话。Ballmer 敢打大赌,Nadella 选择了最稳妥的路:投资 OpenAI。 从 Windows Phone、收购诺基亚,

这看起来比 FreeLLMAPI 还厉害,准备部署试试。

OmniRoute — 免费 AI 网关,TypeScript 编写,单一本地端点(/v1)聚合 237 个 AI 提供商,其中 90+ 有免费额度。 核心是 4 层自动回退(订阅 → API Key → 便宜 → 免费),毫秒切换,17 种路由策略,再用 RTK + Caveman 堆栈压缩省掉 15–95% 的 token。 能自动在免费额度的提供商之间切换,不用自己一个个试了。

微信真正厉害的,不是它突然拥有了一个大模型,而是它本来就拥有一个巨大的上下文宇宙。聊天记录告诉它你最近在关心什么,群聊告诉它你所在的关系圈,支付和小程序记录告诉它你真正做过什么,内容和订阅告诉它你长期偏好什么。这样一来,AI 不只是回答问题

微信真正厉害的,不是它突然拥有了一个大模型,而是它本来就拥有一个巨大的上下文宇宙。聊天记录告诉它你最近在关心什么,群聊告诉它你所在的关系圈,支付和小程序记录告诉它你真正做过什么,内容和订阅告诉它你长期偏好什么。这样一来,AI 不只是回答问题,而是能判断你此刻最可能想做什么,甚至比你自己还快一步。 上下文是什么?上下文就是存储!存储就是上下文!

Thread

video-use — 把粗剪素材丢进去,一句话描述想要什么,直接出 final mp4。11.2K ⭐

browser-use 团队新作。诀窍是 LLM 不逐帧看视频(那要烧 4500 万 token),改读转写文本 + 少量截图,省钱又准。 · 自动剪掉「嗯」「啊」口头禅和空白 · 每段自动调色,剪辑点加淡入淡出 · 自动烧录字幕、生成动画叠层 · 渲染后自我检查,有问题自动重剪 粗剪丢给 coding agent,这个方向值得关注。

Thread

中国开发者用 1 折甚至 5% 的价格买到 Claude token,而且多半是真的 Claude。

价差背后叫「中转站」——一台架在海外的 proxy,用「合法地区」账号替你转发 request,你付人民币走支付宝。 这门生意叫「一鱼三吃」: 第一吃:套利。批量注册新账号刷 $5 免费额度、收别人用不完的额度转手、钻企业折扣、把 $200 订阅切给多人共用,最黑的是直接用盗刷信用卡开账号。 第二吃:换模型。你选 Opus,它悄悄换成 Sonnet 或 Qwen,标签改回来,你看不出来。德国 CI

OpenAI 发了第一款自研 AI 芯片 Jalapeño,主打 LLM 推理。

早期测试 performance per watt 优于 SOTA,这类说法关键不在口号,在对比环境和 workload。是不是自家吹的,得等 technical report 才知道。 九个月 tape-out 确实快。官方说是模型加速了芯片设计;我更倾向另一个解释:目标 workload 就是 LLM inference,设计空间收,Broadcom 扛了大部分工程活。 从模型到芯片到云,fu

Thread

想搭知识库?GitHub 上这几个开源工具分工很清晰:

FastGPT:基于 LLM 的知识库平台,工作流、问答、数据集管理完整,适合企业快速搭建。 LLM Wiki:桌面端文件整理成互联知识库,适合个人笔记和本地查阅。 llm-wiki-agent:扔资料让 AI 自动读、整理、维护,像会自己更新的 wiki。 OpenKB:轻量开源知识库,适合先跑最小可用版本。 不同需求选不同工具。 项目链接: FastGPT: https://github.co

腾讯AI开发面试题看下来,有点意思。

他们最看重的不是大模型能写多漂亮的回答,而是: - 怎么解决Token限制和长期记忆问题 - 用什么架构让Agent可控(LangGraph、FSM、ReAct) - 工具怎么Skill化、复用 - 加上扎实的后端基础(设计模式、高可用) 一句话:现在大厂要的是既懂大模型特性,又能把系统真正跑起来的工程师。 只会调API的,越来越没竞争力了。

Thread

想自己动手造一个 LLM 吗?

EveryonesLLM 是一个在 Google Colab 上从零手搓 nanoGPT 的完整填空教程。 30+ 章节 + 大量练习 + 张量可视化地图,带你一步步理解 Transformer 的每一个组件。 还有预训练、指令微调和 Vision LLM 内容 + 在线 Demo。 中文支持,强烈推荐给想真正搞懂原理的人!

Thread

最近很多人吐槽 Claude(尤其是新版)变了:

- 啰嗦 - 过度拒绝 - 态度越来越差 - 在复杂 coding 任务里经常「摆烂」 这不是个例,是很多重度用户共同的感受。 可能的原因: 1. Safety 训练越做越重,模型越来越「政治正确」和保守。 2. 长上下文 + Agent 场景下,模型为了「负责」开始过度解释、过度警告。 3. 公司为了对齐某些价值观,把「不冒犯」优先级提得太高。 有趣的是,这和用户实际需求产生了冲突。 用户想要的

Thread

1️⃣ 智谱的 GLM-5.2 最近全量开放了。

很多开发者已经在实际项目里用了,尤其是搭配 Claude Code、Cursor 这类工具。 反馈两极分化,但总体比预期好。 2️⃣ 积极的一面: - 编码能力追得很近,有些场景接近 Claude Sonnet 级别 - 中文理解和长文本表现不错 - 价格和 token 额度对国内用户更友好 - 很多人在试「Claude Code + GLM」混合使用,降本增效 3️⃣ 需要注意的问题: - 复杂

Thread

1 三个便宜模型凑在一起「开了个会」,把贵一倍的顶级模型打平了。

Fable 5 被限制访问?没关系。 OpenRouter 刚公布的实测:用一半价格,表现几乎一样。 这不是理论。 Gemini 3 Flash + Kimi K2.6 + DeepSeek V4 Pro Fusion 的做法是让它们并行接同一道题,各自带工具跑完。 然后 judge 模型把所有回答摊开,抓共识、矛盾、盲点,最后合成最终答案。 这个平价三人组 fused 之后,成绩和 Claude

Thread

1 一家牙膏公司悄悄把整个市场调研产业给干掉了,却几乎没人在讨论。

高露洁(Colgate)发表了一篇论文:只要让大模型(LLM)扮演消费者,就能以90%的准确率预测真实购买意愿。 这也太离谱了吧。 研究人员想了个办法,叫做语义相似度评分(Semantic Similarity Rating,SSR)。 他们不再让AI直接打分,而是让它角色扮演。 之后把这些想法和真实消费者的反馈做语义相似度对比。 结果:90%准确率 传统的市场调研(焦点小组、问卷、数据分析)可能