2024年7月9日,在北京市经济和信息化局的指导下,北京市科学技术协会的支持下,由北京软件和信息服务业协会主办,北京化工大学信息科学与技术学院和中国软件行业协会智能应用分会共同协办的第三期“人工智能应用大讲堂”系列活动在北京化工大学成功举办。
在人工智能领域,大模型的崛起对算力提出更高的要求。尤其是在Scaling Law的指导下,科研人员正致力于开发更多参数和更大规模的模型,以期达到前所未有的智能水平。然而,算力的短缺已成为制约高校、科研院所以及小型创业公司在大模型研究和应用上的瓶颈。黄雷在《小尺寸大模型》的主旨报告中,通过回顾人工智能技术的发展历史,指出了大模型技术最核心在于统一了人工智能任务形式以及学习范式。黄雷通过在深度神经网络模型表达能力、训练动态性分析方面的研究,指明了训练小尺寸大模型的可行性,并介绍其主导训练和发布的小尺寸多模态大模型 TinyLLaVA 模型及TinyLLaVAFactory开源项目。