Efficient Multimodal Streaming Recommendation via Expandable Side Mixture-of-Experts
Efficient Multimodal Streaming Recommendation via Expandable Side Mixture-of-Experts
Section titled “Efficient Multimodal Streaming Recommendation via Expandable Side Mixture-of-Experts”⚠️ AI 生成 · 建议对照原文 本页为自动整理的学习笔记；关键数据与引用如需引用，请回查 PDF / 官方版本。
学习档位 中文笔记
类型 文献 · 更新 2026-07-19
所属 训练系统与实验管理
中文学习笔记（自动生成，需核验）
Section titled “中文学习笔记（自动生成，需核验）”Topic: training-systems · Tier: recent · Year: 2025 · Venue: —
Evidence level: partial · 本地全文: 是 · 建议阅读: ~35 分钟
Paper: https://arxiv.org/abs/2508.05993
Code: —
Generator: grok
为什么值得读
Section titled “为什么值得读”该论文针对流式推荐中多模态编码器微调成本高、偏好漂移与灾难性遗忘问题，提出可扩展侧向MoE框架XSMoE，结合side-tuning高效适配与专家扩展/剪枝保留长期知识，适合关注流式/持续学习多模态推荐与参数高效调优的研究者。
XSMoE通过在冻结预训练多模态编码器上附加可扩展侧向专家MoE并配合利用率剪枝，实现高效、抗遗忘的多模态流式推荐。
流式推荐系统中用户兴趣漂移且新物品反馈稀疏；引入多模态编码器（如BERT/ViT）可丰富表示，但编码器为通用预训练、未针对用户偏好优化，且用户对模态特定特征（视觉风格、文本语气）的偏好也会漂移（modality-level preference drift）。这带来两大挑战：大规模多模态编码器微调成本高，以及持续更新导致长期偏好遗忘。
流式推荐系统（SRS）、持续学习（CL）中的灾难性遗忘与model-editing/MoE方法、参数高效微调（尤其side-tuning）、多模态推荐（ViT/BERT特征提取与融合）、Mixture-of-Experts路由机制。
- 提出首个通过side-tuning整合视觉与文本特征的多模态流式推荐框架。
- 引入动态可扩展MoE架构，高效适配新数据同时保留过去知识。
- 设计基于利用率的剪枝策略，通过移除低利用率专家控制模型复杂度与效率。
- 在三个真实数据集上进行综合实验，展示相对SOTA SRS基线在推荐质量与计算效率上的优势。
- 冻结预训练骨干（文本BERT、视觉ViT），各附加轻量侧向调优网络；2. 暖启动阶段每层仅单FFN专家；3. 新时间窗口到达时冻结现有专家、每层追加新可训练FFN专家并扩展路由器；4. 各层路由器（轻量FFN）对骨干输出与各专家输出做加权和融合；5. 训练中用基于范数的启发式监控专家贡献，时间窗口末剪枝低利用率专家及对应路由权重；6. 最终用融合表示进行序列推荐预测。
关键模块和设计取舍
Section titled “关键模块和设计取舍”Expandable Side Mixture-of-Experts：侧向网络独立于骨干（无需回传骨干激活，省时省存），每层专家为FFN，新数据时扩展而非覆盖旧专家；Router：轻量FFN输出N_i+1个权重（1个骨干+N_i专家），Softmax加权求和融合输出；Utilization-based pruning：基于输出范数监控相对贡献，阈值下剪枝以控增长。取舍：用扩展专家+冻结旧专家缓解遗忘，相对单可训练专家或全量微调更省存、抗遗忘；剪枝保证可扩展性边界。
数据集、实验设置与指标
Section titled “数据集、实验设置与指标”三个真实世界数据集；模拟流式设置：数据按时间排序划分为T+1互斥部分，暖启动在D0训练，每步s在Ds_train训练、Ds_val验证并在Ds+1评估未来泛化；指标与具体数据集名称/划分细节待来源核验。报告推荐质量与计算效率对比。
主要结果（需原文证据）
Section titled “主要结果（需原文证据）”在三个真实数据集上，XSMoE在推荐质量与计算效率上均优于SOTA流式推荐基线。具体数值指标与消融待来源核验。
局限、失败场景与适用边界
Section titled “局限、失败场景与适用边界”提取中未详细展开失败场景；设计上依赖专家扩展与剪枝控制增长，极端高漂移或专家利用率长期不均时可能需人工调阈值；多模态内容存储/回放在其他方法中成本高，本方法通过侧向避免但未显式讨论所有边界。其他局限待来源核验。
与前序 / 同期 / 后续方法的关系
Section titled “与前序 / 同期 / 后续方法的关系”持续学习：归为model-editing类（冻结旧组件追加新模块），对比rehearsal（回放高维多模态成本高）与regularization（约束更新但未必有效迁移过去知识到当前任务）。流式推荐：多为ID-based，rehearsal或知识迁移类；SML等虽模型无关但融合权重对多模态编码器开销大。多模态推荐：标准管道为特征编码-交互-推荐，但大规模编码器适配效率是瓶颈，尤其在流式场景。本方法填补多模态流式高效更新空白。
官方代码与复现建议
Section titled “官方代码与复现建议”推荐阅读顺序
Section titled “推荐阅读顺序”先读Abstract与Introduction理解问题与挑战；再读Problem Formulation明确流式设定；重点读Section 4 Methodology（Overview + Expandable Side MoE公式）；Related Works定位贡献；最后Experiments（提取中未完整给出，需全文）与结论。代码仓库辅助理解实现。
- Q: XSMoE如何同时解决多模态编码器微调成本与灾难性遗忘？ A: 用side-tuning在冻结骨干上附加轻量可训练侧向网络省时省存；通过可扩展MoE（新数据加新专家、旧专家冻结）编码新模式而不覆盖旧知识，配合路由器加权融合。
- Q: 侧向网络相对Adapter/LoRA等PEFT的优势是什么？ A: 侧向独立于骨干运行，无需存储/回传骨干中间激活，显著降低GPU内存与训练时间。
- Q: 专家扩展与剪枝的触发与机制？ A: 新时间窗口到达时扩展：冻结旧专家并每层加新FFN，路由器加列；训练中范数监控贡献，窗口末相对贡献低于阈值的专家及路由权重被剪枝。
- Q: 论文中modality-level preference drift指什么？ A: 用户对模态特定属性（如视觉设计从复杂到极简、文本从事实到情感表达）的细粒度偏好随时间漂移。
- Q: 流式评估协议如何模拟？ A: 数据按时间排序分成T+1部分；暖启动D0；每步s用Ds_train训练、Ds_val验证，并在下一时间步Ds+1评估对未来交互的泛化。
- Abstract (page 1): To tackle these challenges, we propose Expandable Side Mixture-of-Experts (XSMoE), a memory-efficient framework for multimodal streaming recommendation. XSMoE attaches lightweight side-tuning modules consisting of expandable expert networks to frozen pretrained encoders and incrementally expands them in response to evolving user feedback.
- Abstract (page 1): Experiments on three real-world datasets demonstrate that XSMoE outperforms state-of-the-art baselines in both recommendation quality and computational efficiency. Code is available at https://github.com/qykcq/Efficient-Multimodal-Streaming-Recommendation-via-Expandable-Side-Mixture-of-Experts.
- Introduction (page 1-2): This presents two key challenges in streaming scenarios: the high cost of fine-tuning large multimodal encoders, and the risk of forgetting long-term user preferences due to continuous model updates.
- Contributions (page 2): (1) We propose the first multimodal streaming recommendation framework that integrates visual and textual features via side-tuning. (2) We introduce a dynamically expandable MoE architecture that enables efficient adaptation to new data while preserving past knowledge. (3) We design a utilization-based pruning strategy to maintain memory and computational efficiency by removing underutilized experts.
- Section 4.1 Model Overview (page 3): In a nutshell, XSMoE attaches a lightweight side-tuning network to each frozen pretrained backbone multimodal encoder to enable efficient adaptation to new streaming data. During the warm-up stage, each side-tuning network only has a single FFN expert per layer… As data from a new time window arrives, XSMoE appends a new FFN per layer… a router integrates the outputs… To prevent unbounded model growth, we monitor the utilization of each expert using a norm-based heuristic…
- Section 4.2 (page 4, Eq. 3): h_i = α_{i,0} · l_i + ∑{j=1}^{N_i} α{i,j} · E_{i,j}(h_{i-1}), where α_i = Softmax(W_i h_{i-1}) ∈ R^{N_i+1}
延伸解读与背景补充
Section titled “延伸解读与背景补充”生成：2026-07-21 · 来源条数 2 · 模型
heuristic· 需人工核验数字
围绕「Efficient Multimodal Streaming Recommendation via Expandable Side Mixture-of-Experts」的核心问题与动机（待结合全文核验）。
方法要点补强
Section titled “方法要点补强”- 见原文方法章节；以下为基于摘要/摘录的要点提示。
- Efficient Multimodal Streaming Recommendation via Expandable Side Mixture-of-Experts …
与相近工作的关系
Section titled “与相近工作的关系”与相近工作的关系待核验；请对照 related work。
- 勿仅凭摘要推断未给出的数值指标。
- 这篇工作的输入/输出表示是什么？（Efficient Multimodal Streaming Recommendation via Expandable Side Mixture-of-Experts）
- 训练目标与评测协议各是什么？
- 主要失败模式或局限是什么？
外部解读索引
Section titled “外部解读索引”- [2508.05993] Efficient Multimodal Streaming Recommendation via Expandable Side Mixture-of-Experts — 2026-07-21 — 官方摘要/二次页面（自动抓取）
- [2508.05993] Efficient Multimodal Streaming Recommendation via Expandable Side Mixture-of-Experts — 2026-07-21 — 官方摘要/二次页面（自动抓取）
方法结构（重绘）
Section titled “方法结构（重绘）”flowchart LR A["输入 / 观测"] --> B["表示 / 编码"] B --> C["推理 / 解码"] C --> D["输出 / 动作或检测"] %% method sketch for: Efficient Multimodal Streaming Recommendation via Expandable Side Mixture-of-Exp方法结构示意（重绘；细节以原论文为准，待 PDF 核验）。
论文摘录图/表
Section titled “论文摘录图/表”
来源：原论文约 p.1（arch）；学习用途摘录。
来源：原论文约 p.7（table）；学习用途摘录。
英文自动分析（可折叠）
Section titled “英文自动分析（可折叠）”展开英文 Paper Card / AI deep analysis
Paper Card
Section titled “Paper Card”| Field | Content |
|---|---|
| Year | 2025 |
| Authors | Yunke Qu, Liang Qu, Tong Chen, Quoc Viet Hung Nguyen, Hongzhi Yin |
| arXiv | 2508.05993 |
| DOI | — |
| Topics | training-systems |
| Paper | https://arxiv.org/abs/2508.05993 |
原文摘录与素材（可折叠）
Section titled “原文摘录与素材（可折叠）”展开 Extract / Selections / Local assets
Selections
Section titled “Selections”training-systems: tier=recent rank=4 score=48 — auto refresh 2026-07-19 sources=arxiv
Extract excerpt
Section titled “Extract excerpt”Efficient Multimodal Streaming Recommendation via Expandable Side Mixture-of-Experts Yunke Qu Liang Qu Tong Chen The University of Queensland Edith Cowan University The University of Queensland Brisbane, Australia Perth, Australia Brisbane, Australia yunke.qu@uq.net.au l.qu@ecu.edu.au tong.chen@uq.edu.au
Quoc Viet Hung Nguyen Hongzhi Yin∗ Griffith University The University of Queensland Gold Coast, Australia Brisbane, Australia
arXiv:2508.05993v3 [cs.IR] 23 Oct 2025 henry.nguyen@griffith.edu.au h.yin1@uq.edu.au
Abstract Keywords Streaming recommender systems (SRSs) are widely deployed in real- Recommender Systems, Continual Learning, Parameter-Efficient world applications, where user interests shift and new items arrive Tuning, Streaming Recommender Systems over time. As a result, effectively capturing users’ latest preferences is challenging, as interactions reflecting recent interests are limited ACM Reference Format: Yunke Qu, Liang Qu, Tong Chen, Quoc Viet Hung Nguyen, and Hongzhi Yin.