2024年9月20日,在北京市经济和信息化局的指导下,北京市科学技术协会的支持下,由北京软件和信息服务业协会主办,北京邮电大学人工智能学院和中国软件行业协会智能应用分会共同协办的第四期“人工智能应用大讲堂”系列活动在北京邮电大学成功举办。
在自然语言处理(NLP)领域,大规模预训练模型已成为推动技术进步的引擎。然而,模型在处理长文本时面临着显著挑战。在《突破上下文窗口限制的实践与探索》的主旨报告中,门鑫深入探讨了长窗口技术的重要性和挑战。他指出,长窗口技术能拓展应用场景,提高模型效果,并重构学习方式。门鑫介绍了长窗口技术在基础设施和算法设计方面的最新进展,包括位置编码的创新和模型结构的优化。最后,他对未来的研究方向进行了展望,为NLP领域的未来发展提供了宝贵的洞见。