职来职往

DeepSeek又发新模型，小而美玩出新高度_我的网站

神偷奶爸2

A | 就在刚刚，DeepSeek开源了一个3B模型DeepSeek-OCR。虽然体量不大，但模型思路创新的力度着实不小。 Danielle 编译据英文《先驱报》报道，2024年的首份Curia民调结果于昨晚（1月16日）出炉。结果显示，选民对政府的好感飙升，国家党的支持率突破了40%。

B | Advertise with us 今年1月，国家党获得了41%的支持率，较去年12月民调中的36.5%大幅跃升，工党的支持率稳定在28.4%。众所周知，当前所有LLM处理长文本时都面临一个绕不开的困境：计算复杂度是平方级增长的。序列越长，算力烧得越狠。

C | 于是，DeepSeek团队想到了一个好办法。绿党的支持率为9.5%，下降了一个百分点。既然一张图能包含大量文字信息，而且用的Token还少，那不如直接把文本转成图像？这就是所谓的“光学压缩”——用视觉模态来给文本信息“瘦身”。行动党则从上月的6.3%升至1月份的7.8%。优先党的支持率为5.6%，低于上月的8.1%。毛利党从5%降至3.6%。按照国会席位来计算，国家党能够获得51个席位，行动党10个席位，优先党7个席位。

D | 工党将获得36个席位，绿党12个席位，毛利党6个席位。

E | 而OCR正好天然适合验证这个思路，因为它本身就是在做“视觉→文本”的转换，而且效果还能量化评估。论文显示，DeepSeek-OCR的压缩率能达到10倍，OCR准确率还能保持在97%以上。啥意思呢？就是说，原本需要1000个文本Token才能表达的内容，现在只用100个视觉Token就搞定了。

F | 即使压缩率拉到20倍，准确率也还有60%左右，整体效果相当能打。

G | OmniDocBench基准测试结果显示：只用100个视觉Token，就超过了GOT-OCR2.0（每页256个Token）的表现；用不到800个视觉Token，干翻了MinerU2.0（平均每页超过6000个Token）。在实际生产中，一块A100-40G显卡就能每天生成超过20万页的LLM/VLM训练数据。20个节点（160块A100）直接飙到每天3300万页。个人支持率方面，工党党魁Chris Hipkins的支持率大幅下滑9个百分点，跌至新低。 DeepSeek-OCR由两个核心组件组成： DeepEncoder（编码器）：负责图像特征提取和压缩； DeepSeek3B-MoE（解码器）：负责从压缩后的视觉Token中重建文本。

H | Hipkins一年前接任总理时，支持率为35%，如今则低至13%。

I | 他与Christopher Luxon的差距扩大至18个百分点。让我们来重点说说DeepEncoder这个引擎。Luxon的支持率上升了1个百分点，达到31%。它的架构很巧妙，通过把SAM-base（8000万参数）和CLIP-large（3亿参数）串联起来，前者负责“窗口注意力”提取视觉特征，后者负责“全局注意力”理解整体信息。

J | 净支持率方面，Luxon为5%，而Hipkins仅为3%。 Luxon也比Hipkins更受欢迎。42%的人对Luxon持正面看法，37%的人持负面看法。中间还加了个16×卷积压缩器，在进入全局注意力层之前把Token数量大幅砍掉。举例而言，一张1024×1024的图像，会被切成4096个patch token。Hipkins的数据分别为37%和34%。但经过压缩器处理后，进入全局注意力层的Token数量会大幅减少。

K | 值得一提的是，自2022年2月以来，第一次有更多的人认为新西兰走在“正确的轨道”上。这样的好处是，既保证了处理高分辨率输入的能力，又控制住了激活内存的开销。

L | 净4%的人认为国家正朝着正确的方向前进，较去年12月大幅上升，当时净19%的人认为新西兰正朝着错误的方向前进。而且DeepEncoder还支持多分辨率输入，从512×512的Tiny模式（64个Token）到1280×1280的Large模式（400个Token），一个模型全搞定。

M | 去年年中，有42%的人认为国家走在错误的道路上。目前开源版本支持的模式包括原生分辨率的Tiny、Small、Base、Large四档，还有动态分辨率的Gundam模式，灵活性拉满。

N | 另外，国家党在所有重大问题投票上都领先于工党，包括经济、卫生健康等。

o | 解码器用的是DeepSeek-3B-MoE架构。该民调于1月8日至1月10日进行，对1000名受访者进行了调查，误差率为±3.1%。别看只有3B参数，但采用了MoE（混合专家）设计——64个专家中激活6个，再加2个共享专家，实际激活参数约5.7亿。

p | 相关阅读：最新民调：Luxon支持率下滑，优先党和毛利党成最大赢家大选日临近！过去18个月，各党的支持率发生了怎样的变化？大选前最后的民调出炉，没有谁能“稳赢”！历史是否将再次上演？最新民调：工党支持率上升，“造王者”还是优先党国家党警告称或需“二次选举” 可能性到底有多大？政治学家解读：联合执政面临哪些风险？合作关系破裂怎么办？新民调：优先党支持率继续上升！国家党+行动党席位减少 “造王者”依然是Peters！两大党支持率与上周持平，行动党跌了...... 注：本文为编译/原创，欢迎转发分享；但严禁复制等未经授权的非法使用。这也让模型既有30亿参数模型的表达能力，又保持了5亿参数模型的推理效率。违反上述声明者，本网将追究其相关法律责任。

q | 使用授权请联系[email protected]。 chineseherald.co.nz All Rights Reserved 版权所有 (责编：丹妮) 来源 - 相关内容罗托鲁瓦男孩被胶枪击中面部嫌疑人已被捕颤抖吧！新西兰电动车主要多交钱了！从4月起开始…… 前绿党议员涉嫌行窃案：警方上门调查涉嫌多次行窃的绿党议员从国会辞职：“我辜负了很多人，非常抱歉！” 奥克兰东部铁路线重新开放，但西线和南线马上要开始施工了绿党议员涉嫌第三起偷窃事件！这次发生在惠灵顿涉嫌偷窃的绿党议员，今天回新西兰了，结果…… 一海外游客在公路上逆行10分钟后，迎面撞上一辆汽车，被控危险驾驶。解码器的任务就是从压缩后的视觉Token中重建出原始文本，这个过程可以通过OCR风格的训练被紧凑型语言模型有效学习。

r | 数据方面，DeepSeek团队也是下了血本。

s | 从互联网收集了3000万页多语言PDF数据，涵盖约100种语言，其中中英文占2500万页。数据分两类：粗标注直接用fitz从PDF提取，主要训练少数语言的识别能力；精标注用PP-DocLayout、MinerU、GOT-OCR2.0等模型生成，包含检测与识别交织的高质量数据。对于少数语言，团队还搞了个“模型飞轮”机制——先用有跨语言泛化能力的版面分析模型做检测，再用fitz生成的数据训练GOT-OCR2.0，然后用训练好的模型反过来标注更多数据，循环往复最终生成了60万条样本。此外还有300万条Word文档数据，主要提升公式识别和HTML表格解析能力。场景OCR方面，从LAION和Wukong数据集收集图像，用PaddleOCR标注，中英文各1000万条样本。 DeepSeek-OCR不仅能识别文字，还具备“深度解析”能力，只需一个统一的提示词，就能对各种复杂图像进行结构化提取：图表：金融研究报告中的图表可以直接提取为结构化数据；化学结构式：识别并转换为SMILES格式；几何图形：对平面几何图形进行复制和结构化解析；自然图像：生成密集描述（dense captions）。这在STEM领域的应用潜力巨大，尤其是化学、物理、数学等需要处理大量符号和图形的场景。第一作者Haoran Wei此前曾供职于阶跃星辰，期间发布并开源了GOT-OCR2.0系统值得注意的是，DeepSeek团队在论文里还提出了一个脑洞大开的想法——用光学压缩模拟人类的遗忘机制。

t | 人类的记忆会随时间衰退，越久远的事情记得越模糊。

u | DeepSeek团队想，那能不能让AI也这样？于是，他们的方案是： 1. 把超过第k轮的历史对话内容渲染成图像； 2. 初步压缩，实现约10倍的Token减少； 3. 对于更久远的上下文，继续缩小图像尺寸； 4. 随着图像越来越小，内容也越来越模糊，最终达到“文本遗忘”的效果。这就很像人类记忆的衰退曲线，近期信息保持高保真度，久远记忆自然淡化。虽然这还是个早期研究方向，但如果真能实现，对于处理超长上下文将是个巨大突破——近期上下文保持高分辨率，历史上下文占用更少计算资源，理论上可以支撑“无限上下文”。简言之，DeepSeek-OCR表面上是个OCR模型，但实际上是在探索一个更宏大的命题：能否用视觉模态作为LLM文本信息处理的高效压缩媒介？初步答案是肯定的，7—20倍的Token压缩能力已经展现出来了。当然，团队也承认这只是个开始。

v | 单纯的OCR还不足以完全验证“上下文光学压缩”，后续还计划开展数字–光学文本交替预训练、“大海捞针”式测试，以及其他系统性评估。不过不管怎么说，这在VLM和LLM的进化路上，又多了一条新赛道。去年这个时候，大家还在卷怎么让模型“记得更多”。今年DeepSeek直接反其道行之，不如让模型学会“忘掉一些”。确然，AI的进化，有时候不是做加法，而是做减法。小而美，也能玩出大花样，DeepSeek-OCR这个3B小模型就是最好的证明。

w | GitHub主页：http://github.com/deepseek-ai/DeepSeek-OCR 论文地址：https://github.com/deepseek-ai/DeepSeek-OCR/blob/main/DeepSeek\_OCR\_paper.pdf 模型下载：https://huggingface.co/deepseek-ai/DeepSeek-OCR 本文来自微信公众号：APPSO （ID：appsolution）。