12月13日,集成电路制造技术重点实验室举办第一期“集成电路名家讲坛”讲座。本场讲座聚焦“大模型算力芯片的机遇与挑战”,邀请北京艾捷科芯科技有限公司蒋毅敏博士深入剖析了大语言模型的发展趋势、计算方法以及面临的机遇与挑战,吸引了众多对大模型算力芯片领域感兴趣的与会者。罗庆研究员主持讲座。
蒋毅敏详细介绍了大语言模型,讲解了其自然语言理解、广义分类以及有条件和无条件自然语言生成等主要功能。通过对transformer基础算法和GPT-2架构参数配置的解读,介绍了大语言模型的强大特性,强调了其内存受限模型的性质,解析了计算带宽、内存带宽和算术强度等指标,展示了模型计算时间受限于处理器的计算和内存带宽以及内存受限对模型运行时间的影响。
蒋毅敏指出,每年模型参数的几何级增长将带来算力和内存需求的指数级增长。同时,半导体工业的发展规律提供了芯片算力每两年增加3倍、内存带宽每两年增加1.6倍的预期。对于我国而言,地缘政治的因素赋予了大模型算力芯片特殊的历史机遇,中国必须建立起国产GPU供应链。他还提出了当前我国GPU发展困境的应对策略。与会人员同蒋毅敏进行了深入的技术交流。
蒋毅敏获清华大学学士、美国马里兰大学硕士和博士学位,先后创立了中天联科(Availink Inc.)公司,迅捷联动(北京)科技有限公司任公司董事长,北京艾捷科芯科技有限公司,曾获美国国家航空航天局(NASA)专利奖,中国国家广播电影电视总局科技进步一等奖,北京市海外高层次人才奖,中关村高端领军人才聚集奖,美国马里兰大学杰出校友奖等奖励。
蒋毅敏作报告
讲座现场
综合信息