OctoNews

笔记 · AI 工具

模型部署

AI 工具中与模型部署相关的内容。 共 22 条。

Thread

Kruk2/jasna 今天上了 GitHub Trending,一天涨了 115 星,总共 2499。项目描述只有一句:Video restoration tool。

拿这类视频修复工具处理老视频之前,先看这几件事: - 从同一帧截图,把修复前后并排放着比,别只看作者挑出来的演示片段。 - 重点看人脸和字幕。修复模型最容易在这两处补出原片里根本没有的细节。 - 记下处理一分钟视频要多久、显存占了多少。 - 原片越糊,越要先备份原始文件。 项目地址,描述目前只有一句 Video restoration tool:https://github.com/Kruk2/j

Thread

vLLM v0.31.0 发布了,717 次提交,307 位贡献者,其中 96 位是第一次贡献。Highlights 第一条是 DeepSeek-V4.1-Flash。通读下来,这一版在这个模型上做的事可以概括成一句话:能合并的步骤都尽量合

vLLM v0.31.0 发布了,717 次提交,307 位贡献者,其中 96 位是第一次贡献。Highlights 第一条是 DeepSeek-V4.1-Flash。通读下来,这一版在这个模型上做的事可以概括成一句话:能合并的步骤都尽量合并,SM100 上的默认注意力路径也换成了新方案。 第一个证据是默认路径变了。FlashMLA mega attention 配合 V4.1 的 NVFP4 压

Thread

125B 参数,一张 RTX 4090,每秒 100 个 token。这组数字来自 HN 上今天的一个开源项目 Strata,跑的是 Qwen 3.8 Flash Next,帖子拿到 644 分、302 条评论。

如果这个速度在消费级显卡上站得住,125B 这一档的模型就不用再租卡,自己桌上那台机器就能跑。 不过标题只给了速度,没写量化到几 bit、上下文开多长,也没说 100T/s 是单条请求还是批量跑出来的。这三个条件决定它对你有没有用,看仓库时先找这三项。 Strata 项目仓库:https://github.com/Niko1221/Strata

Thread

美团开源的 LongCat-Video 在 GitHub 上有 8783 个星,今天又涨了 44。我写的 agent octopy 每天从十几个信息源里挑选题,今天它从 GitHub Trending 里把这个项目挑了出来。

星数能说明关注度,说明不了模型能不能用。要判断一个开源视频生成模型值不值得部署,先看这几件事: - 生成一段几秒的视频要多久,用的是什么卡 - 最低要多少显存,消费级显卡跑不跑得动 - 人物动作连着几秒以后会不会变形 - 许可证让不让商用 LongCat-Video 的 GitHub 仓库,上面这几项可以对着它去查:https://github.com/meituan-longcat/LongCa

Thread

PageIndex 今天在 GitHub 上涨了 835 个星,总数到了 37497。它给自己的定位是 Vectorless、Reasoning-based RAG:给文档建索引,但不用向量,靠推理去找内容。

财报、合同这类长文档最该关注它。常见的 RAG 先切块,再按语义相似度召回。长文档里措辞相近的段落一多,召回的未必是真正要的那一段。不按相似度找,改让模型顺着文档索引推理去定位,思路正好对着这个问题。 PageIndex 的仓库,做的是不用向量、靠推理检索的文档索引:https://github.com/VectifyAI/PageIndex

Thread

AI Agent 最烦的一点

你得盯着它干活 Pizza Bot 换了个思路 把 Agent 做成邮箱 任务完成 → Unread 需要你拍板 → Action 我不用再守着聊天窗口 它在后台自己跑 卡住了才叫我 我喜欢这个方向 Agent 越像员工 聊天框就越不像正确的 UI 开源 本地优先 Claude / OpenAI / Gemini / Ollama 都能接

Thread

有个项目叫 Vane

你可以把它理解成能自己架的 Perplexity Web Search、SearXNG、本地模型整套串好 OpenAI / Claude / Gemini / Ollama 都能接 原作者想拿它当 Research OS 丢一个主题 自动搜 10–20 个来源、去重、整理观点 吐出摘要、可写角度、草稿、source list 我认同这个底座 本地模型吃小整理 大模型吃规划 他也老实写了一句 还没动

Thread

125B 塞进小内存 Mac

听着像魔法 先看那盆冷水 slotstream 把 MoE 专家从硬盘动态载入 Qwen3.8-Flash-Next 四 bit 盘上大约一百零四 GB 作者自述大约 12 tok/s 数据不出机器 GitHub 才两百出头星 HN 已经在泼 README 读起来像 AI agent 吐的日志 也没有拿 Ollama 做对照 我要分清两件事 离线能跑 125B 和能顺跑对话 目前这条路只交出前者

Thread

8GB 显存到底能跑多大模型

别再靠感觉了 llmfit 扫一眼你的内存、CPU、显卡 按「能不能塞进去」「会不会卡死」「质量够不够」打分 我刚测过 27B 塞进 8GB 这种工具本该先跑一遍 再下载那十几个 G

Article

8GB 显存,能不能跑 27B?我用 RTX 3060 Ti 实测 Qwen3.8-27B

先说答案:能跑,但不算流畅。 我在一台 Windows 台式机上,用 RTX 3060 Ti 8GB 跑通了 Qwen3.8-27B。命令行生成速度约 1.7 tokens/s,本地 API 测到约 1.9 tokens/s。 这个结果适合技术验证、轻量问答和偶尔写作,不适合拿来做高频编码助手,更别说多人服务。 如果你也是 8GB 显存,最重要的不是照抄我的每个参数,而是先选对路线:**GGUF

Thread

吴恩达出了个开源工具:OpenWorker,本地端 AI 桌面助理。

和一般聊天式 AI 不同,它直接交付工作成果——写好文档、排好会议、发完 Slack、整理完收件箱。 四个特点值得关注: - 原生 25+ 办公工具连接器(Gmail、Notion、Jira、GitHub),兼容 MCP 生态 - Local-first 架构 + MIT 协议,数据留在本机 - 发信等关键动作强制人工审核,安全可控 - 不绑定单一模型,OpenAI/Claude/DeepSeek

Thread

如果电脑上的操作都能交给AI代劳,你会先让它干哪件事。

微软最近给了个却意外的答案:Fara,一个专门干“操作电脑”这事的开源模型,刚更新到 1.5。 它不靠聊天工作,而是直接看屏幕截图,跟人一样去点鼠标、敲键盘,自己去填表、比价、订票、搜资料。 更打动我的一点是它能完全本地跑:LMStudio、Ollama、vLLM 直接载入 Fara-7B,MacBook M4 Pro 上跑量化版都没问题,数据不用传上云。 免费,开源,架构也换成了 Qwen3.5

Thread

多数股票分析工具只接一个模型,这个直接接入四个:Gemini、ChatGPT、DeepSeek、Claude。

Daily Stock Analysis 是个近 6 万 Star 的开源项目,自动整合行情、新闻、技术指标和基本面,让多个模型交叉分析同一支股票,生成结构化报告。 用长鑫科技举例,报告会拆解出国产替代、技术差距、IPO 估值、行业周期、潜在风险五个维度,外加乐观/中性/悲观三种情景。 支持 A 股港股美股,带 WebUI、大盘复盘、自选股、历史报告,Docker 一键本地部署。

Thread

一句话生成完整短视频——

Pixelle-Video 全链路闭环:写文案、AI 生图生视频、配音、上字幕,自动吐出成品。 支持开源模型和免费 API,成本极低。 本地部署,批量生产。 一个人顶一个短视频团队。

Thread

做 RAG 踩过最多坑的地方不是模型,是文件前处理。

表单、流程图、多栏 PDF 扔进去,出来的文本全是乱的,召回自然差。 有人开源了一个专门解决这个的小工具:Semark。 把 PDF / Office / HTML / 图片转成适合知识库的 semantic Markdown——不只是 OCR,而是尽量保留表格结构、字段关系和语义层级。 基于 MinerU,可接 Ollama 或 OpenAI-compatible VLM/LLM,支持自动分档。

Thread

想免费跑 Claude Code 和 Codex?

这个项目『Free Claude Code』做了个本地代理,直接把请求路由到各种免费/本地模型上。 支持 NVIDIA NIM、Groq、Gemini、DeepSeek、OpenRouter 免费模型、Ollama、LM Studio 等 17 种后端。 有专用 fcc-claude / fcc-codex launcher,VS Code 扩展、JetBrains 也能接,还支持 Discord

Thread

他们把 FinLab 十年积累的量化知识,打包成 AI 能读懂的格式

让 Claude Code 或 Cursor 直接变成台股策略研发助手 你不用学语法,只要说:「帮我找营收增长但本益比偏低的股票」 AI 就会帮你捞数据、写策略、跑回测 推荐做法是:先用 finlab-ai 让 AI 把策略验证、回测跑完,确认可行再去 XQ 实操 几分钟就能完成手动要花好几个小时的组合测试 这是研发工具,不是印钞机 最后判断还是靠自己 但至少,能更快知道一个想法值不值得试