
国产大模子尊龙凯时(中国)官方网站,最近有点卷。
这不,,Qwen2.5 系列又双叒已而更新了——
相连读三本《三体》不费劲,而况45 秒控制就能竣工牵记出这 69 万 token 的主要内容,be like:
还真不是乱来事儿,"大海捞针"践诺线路,这个全新的Qwen2.5-Turbo在 100 万 token 险阻文中有全绿的证实。
也即是说,这 100 万险阻文里,有细节 Qwen2.5-Turbo 是真能 100% 捕捉到。

没错,Qwen2.5 系列新成员Qwen2.5-Turbo,这回主打的即是救援超长险阻文,而况把性价比卷出了花儿:
险阻文长度从 128k 推广到1M,止境于 100 万个英文单词或 150 万个汉字,也即是 10 部长篇演义、150 小时语音记载、30000 行代码的量。

更快的推理速率:基于寥落瞩眼力机制,处治百万险阻文时,首字复返工夫从 4.9 分钟裁减到了 68 秒,收尾了4.3 倍加快。

关节是还低廉:0.3 元 /1M tokens。这意味着,在调换老本下,Qwen2.5-Turbo 不错处治的 token 数目是 GPT-4o-mini 的 3.6 倍。

看到这波更新,不少网友径直爆出了 ***:

有东谈主直言:这样长的险阻文这样快的速率下,RAG 已过程时了。

还有东谈主开启大赞特赞容貌:当今在开源规模,Qwen 比 Llama 还值得期待了。

除了相连啃下 3 本长篇演义,Qwen 官方还展示了 Qwen2.5-Turbo 超长险阻文的更多实费力能。
比如快速掌持一系数这个词代码库的信息。
如 Demo 所演示,上传包含 Qwen-Agent 仓库中系数代码文献的文本文献(13.3 万 token),只需几秒钟,大模子就能读透彻部代码并准确输出多样细节。
用户:这个存储库中有哪些 Agent 子类?提供它们的文献旅途。
Qwen2.5-Turbo:

相连读 7 篇论文,完成论文分类、论文摘记,也不在话下:
咱们也内容测试了一下。不错看到,在莫得给任何辅导的情况下,Qwen2.5-Turbo 能准确掌持不同论文的细节信息,并完成对比分析。

除了大海捞针践诺以外,Qwen 团队还在更复杂的长文本任务上测试了 Qwen2.5-Turbo 的材干。
包括:
RULER:基于大海捞针的推广基准,任务包括在无关险阻文中查找多"针"或回话多个问题,或找到险阻文中出现最多或最少的词。数据的险阻文长度最长为 128K。
LV-Eval:条款同期剖析盛大把柄片断的基准测试。Qwen 团队对 LV-Eval 原始版块中的评估标的进行了诊治,幸免因为过于严苛的匹配律例所导致的假阴性效果。数据的险阻文长度最长为 128K。
Longbench-Chat:一个评价长文本任务中东谈主类偏好对皆的数据集。数据的险阻文长度最长为 100K。

效果线路,在 RULER 基准测试中,Qwen2.5-Turbo 得到了93.1 分,跨越了 GPT-4o-mini 和 GPT-4。
在 LV-Eval、LongBench-Chat 等更接近确凿情况的长文本任务中,Qwen2.5-Turbo 在遍及维度上卓著了 GPT-4o-mini,而况有时进一步推广到跨越 128 tokens 险阻文的问题上。
值得一提的是,现存的险阻文长度推广决策频繁会导致模子在处治随笔本时出现比较显然的性能下落。
Qwen 团队也在随笔本任务上对 Qwen2.5-Turbo 进行了测试。

效果线路,Qwen2.5-Turbo 在大部分任务上显赫卓著了其他险阻文长度为 1M tokens 的开源模子。
和 GPT-4o-mini 以及 Qwen2.5-14B-Instruct 比较,Qwen2.5-Turbo 在随笔本任务上的材干并不失容,但同期能 hold 住 8 倍于前两个模子的险阻文。
此外,在推理速率方面,哄骗寥落瞩眼力机制,Qwen2.5-Turbo 将瞩眼力部分的计较量压缩到了蓝本的 2/25,在不同硬件树立下收尾了 3.2-4.3 倍的加快比。

当今,在 HuggingFace 和魔搭社区,Qwen2.5-Turbo 均提供了不错在线体验的 Demo。
API 处事也已上线阿里云大模子处事平台,跟 OpenAI API 是兼容的。

至于模子权重什么时候开源?
阿里通义开源证实东谈主林俊旸的说法是:目下还莫得开源打算,但正在勉力中。

归正 HuggingFace 谄谀首创东谈主 Thomas Wolf 是帮咱催上了(手动狗头)。
Demo 传送门:
https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo
https://www.modelscope.cn/studios/Qwen/Qwen2.5-Turbo-1M-Demo
参考贯穿:
https://qwenlm.github.io/zh/blog/qwen2.5-turbo/尊龙凯时(中国)官方网站