● 从多模态大模型中「拆」出音频向量模型

📌 一句话摘要 Jina AI 提出一种通过“拆解与重组”多模态大模型（MLLM）组件，以极低数据成本构建高性能、轻量化（1.1B）音频向量模型的新范式。 📝 详细摘要 本文深入探讨了如何利用预训练多模态大模型（如 Qwen2.5-Omni）作为杠杆，构建高效的音频向量模型。Jina AI 团队

● Sparse-BitNet：1.58 位 LLM 与半结构化稀疏性

📌 一句话摘要 研究表明，超低比特（1.58 位）LLM 与半结构化稀疏性具有天然的兼容性，可实现更高的效率。 📝 详细摘要 Sparse-BitNet 探索了 1.58 位量化（由 BitNet 普及）与半结构化稀疏之间的协同作用。论文认为这两种压缩技术是天然互补的，有望催生出极其高效的 LL