曾展鹏
厦门大学信息学院人工智能系助理教授、硕士生导师,媒体分析与计算(MAC)教育部重点实验室成员。 分别在2017年和2024年于美国威斯康星大学麦迪逊分校取得本科和博士学位。我的研究方向是大模型的高效计算与模型压缩,近期工作方向是通过设计高效的近似算法以实现Transformers的高效长上下文计算、高效训练、高效推理,并应用于大语言模型中。截止2025年3月,发表CCF-A类论文9篇,其中一作5篇,共一1篇;谷歌引用量600+。Detials
2023.5-2023.8
美国字节跳动 > 研究员 > 实习 与 Mentor Liang-Chieh Chen 合作研究基于 Transformer 的多分辨率模型架构并用于图像扩散模 型。使提出的模型架构在更低参数量以及更低计算量的情况下,生成优于基准模型的图像质量。
2022.5-2022.12
AWS亚马逊网络服务 > 应用科学家 > 实习 与 Mentor Shuai Zheng 合作研究能高效处理超长输入的 Transformer 语言模型。开发了一种由 重要 tokens 与上下文之间的自注意力分数控制的动态压缩算法,使 Transformer 能够以亚线性成本处 理长输入,同时保持与标准 Transformer 以及其他基准模型相似甚至更好的模型性能。
No Content