一、课程介绍：人工智能技术近年来发展迅速，应用广泛，而门外汉想进去又不知如何入门，尤其是硬件工程师。由于人工智能落地需要在边缘端具有较强的算力和较低的延迟，这就提出了将模型软件算法转变为硬件实现的要求，而FPGA可以任意定制神经网络硬件模型，很好地使用自适应硬件来实现。由于是定制化模型，同等条件下可以提供比GPU更强的算力和更好的性价比，既解决了人工智能落地的问题，也为FPGA开辟了新的热门应用领域。由于这是新的领域，原有的人工智能人才偏重软件，而硬件工程师普通没有人工智能的知识储备，这为FPGA的AI模型移植实现设置了障碍，我们这个讲座就是为了解决这个问题。为了实现将人工智能模型移植到FPGA上，我们需要先拿到模型或训练模型，而大部分硬件或嵌入式工程师没有这方面的知识基础，我们需要先学习掌握这个基础知识。因此在我们讲座的第一部分，介绍了最基本的人工智能实现原理、AI模型的关键组件卷积层、池化层、激活函数、全连接层的概念和作用，以及如何用这些组件实现模型的训练和推理，帮助学员理解消化和掌握人工智能的概念和流程。我们的例程有从网站上直接拿到这些模型和在计算机上先进行迁移训练得到这些模型，再进行FPGA的移植与实现。FPGA由于时延小、算力强、功耗低在汽车自动驾驶、数据中心、5G、挖矿等领域应用广泛。FPGA AI技术以其并行化处理能力提升了模型的算力，以硬件的可配置实现了定制裁剪提升了效率，以硬件的可重构实现了在线升级。同时随着AI模型的快速演进，亦可以灵活升级保护了投资，而不像其他的方式必须更换硬件。其单位功耗算力比GPU方式高出数十倍，更适合于边缘端和移动端的AI应用。但FPGA AI技术有着比GPU更高的技术门槛，它们虽然比任何其他AI技术更加高效灵活。如果仍然采用Verilog/HDL进行模型编程,则工作量巨大，模型一旦不易修改，所幸的是Xilinx公司推出了Vitis AI技术，让开发者可以在其熟悉的环境下进行开发，降低了FPGA AI技术门槛。本次研修班将带你从头开始讲解实操AI模型原理、组件、训练、框架转换、PC推理、量化编译、镜像制作、平台制作和开发板运行全流程。研修班涉及多种AI框架和编程语言，支持视频多媒体框架GStreamer和VVAS管道编程，支持开发板编译ONNX模型，将OP自动分配到CPU和DPU中，让你以最快的方式熟悉上手FPGA人工智能。本课程涵盖大量实验，所有讲解原理都会通过实验来验证说明，不仅加深学员的随堂理解，也可以为学员以后的工程实现提供一份参考模版。二、协办单位：中国高科技产业化研究会智能信息处理分会三、主办单位：北京中际赛威文化发展有限公司北京中际孚歌科技有限公司四、研修时间： 2024年4月18 – 20日 （三天授课）五、研修地点： 北 京 （具体地点及路线图详见第二轮报到通知）六、培训对象：课程适合于使用FPGA器件进行科研、教学和产品开发和验证的工程师、教师等工程技术人员，也适合于相关专业领域的研究生和高年级本科生。七、工具平台培训课程使用的部分软硬件工具由培训方提供。硬件平台：Xilinx ultra96 / KOMKria KV260；图形工作站软件平台：Xilinx Vitis最新版本八、课程大纲第一天 初步介绍人工智能实现原理、主要参数和在PC机上实操，以及FPGA AI的环境搭建、移植流程、FPGA DPU支持的OP、流程中模型的参数转换以适应FPGA处理的要求。1.讲解计算机如何模仿人脑实现人工智能，并由此派生出的主要组件卷积层、池化层、激活函数、全连接层的概念。2.讲解训练中的重要概念正向传播、反向传播、最常用的梯度下降法、学习率、损失函数和优化函数，并通过这些方法和函数如何控制推理结果。3.讲解并在PC机上实操mnist或cifar模型的设计、数据集准备、损失函数和优化函数选择、模型训练、后处理编程和推理测试，了解整个AI模型的运作过程。4.以口罩模型和在PC机上实操，讲解最常用的yolo模型实现原理和模型训练，模型框架转换caffe和tensorflow，其训练得到的模型在PC机上使用Keras框架上，用python进行后处理编程验证。5.FPGA AI环境搭建。介绍虚拟机VMware、Ubuntu、Vitis、docker、Vitis AI、CMake、Opencv、XRT和Model Zoo的安装和环境变量设置。6.FPGA AI开发原理和流程。介绍深度学习处理单元DPU、AI优化器、AI量化器、AI编译器、运行时XRT、DPU指令集等Vitis AI主要概念、开发流程、专有命令和API接口。7.介绍FPGA DPU支持的OP定义，和AI模型如何在框架转换、固化量化编译过程中对模型参数的修改来匹配实现FPGA DPU和处理速度的要求，量化数据集的准备和处理以及如何通过脚本编程实现方便快速移植。第二天 介绍FPGA AI开发板的配置使用、例程讲解和FPGA AI处理显示过程中各环节的延时分析。1.演示FPGA AI项目视频文件，让学员对FPGA AI项目的应用范围和实现方法有一个直观的认识。2.FPGA AI开发板介绍和使用。Alveo系列、Versal系列、ZynqMP系列，重点介绍本课程所用开发板Kria KV260、Ultra96、ZCU104，内容包括开发板硬件接口和连接、镜像烧录、网络配置、通讯软件和例程演示。3.Kria KV260 AI开发板加速原理和自带例程详解。介绍开发板自带的两种加速核人脸识别Smartcam、人物跟踪Aibox-reid实现原理、C++、Python和GStreamer VVAS三种语言例程演示和程序解析，其中包含VART调用DPU流程和命令，比特流和kernel载入、输入预处理、模型运行和输出参数后处理全过程。4.口罩识别yolov3-tiny模型训练、PC验证和移植KV260全流程。这是一个包括转化与固化、量化与编译、镜像生成再将xmodel模型放到KV260上进行实操验证。讲解PC上的模型转换程序、docker脚本、固化脚本、量化脚本、编译脚本，开发板上图像预处理程序、DPU AI调用命令集和yolos模型后处理程序（包括目标阈值筛选、非最大值抑制 NMS和目标框绘制）。5.KV260 Vitis AI 1.4 yolov4-tiny模型编译生成xmodel，开发板后处理程序解读，开发板实操x11和hdmi显示和影响时延因素分析，本节生成的模型也在下面的Gstreamer编程中使用。第三天 硬件平台制作、ONNX模型自动分配OP开发新流程、视频套件Gstreamer VVAS 管道编程与实现。1.采用Tcl脚本形式开发KV260硬件平台，介绍makefile、Vitis、Vivado、Tcl批处理文件，其中对于涉及到Vitis开发软件亦做了简单介绍,也可以用Vitis或Vivado Gui界面打开分析。2.自Vitis AI 3.0以后Vitis AI增加了新功能VOE，对AI模型进行量化和生成onnx模型，在开发板上直接编译量化模型就可以自动实现OP在DPU与CPU之间的自动分配，解决了FPGA AI的痛点。以语义分割模型segmentation为例，演示讲解这个新流程和后处理编程实现。3.介绍多媒体GStreamer框架和插件、基本元素、主要模块和主要参数，并通过若干实例了解其原理和掌握其编程。4.介绍基于Gstreamer框架的视频开发套件Vitis Video Analytics SDK (VVAS)，包括硬件与软件对应的层次结构，主要组件作用与命令格式，并渐次增加功能模块的方式讲解VVAS pipeline语言的编写，掌握用这种高度集成和方便的工具实现FPGA AI视觉应用编程。5.利用上节的课程中方法编译得到yolov2-tiny xmodel模型，使用VVAS编程语言讲解编写目标识别pipeline, 实现在KV260上的视频文件读取、图像预处理、DPU运行、后处理、视频输出和存盘的所有功能。6.讲解人脸识别和人物跟踪模型Gstreamer VVAS管道的编程，分析参数感受不同的参数对视频带来的影响，学会正确设置Gstreamer VVAS参数。九、主讲专家DR.Wang，博士，师从中科院简水生院士，96年北方交大博士毕业进入华为公司研发部，历任深圳市国家轨道交通实验室技术总监、美资Oplink光联通讯公司研发总监、港资英海威光电通信公司技术总监、美资Lumentum公司高级研发经理、中兴通信当年投资额最大的项目第一代SDH 2.5G项目经理，在国内外一流IT企业长期从事研发和管理工作，主讲过多场培训，授课经验丰富，深受学员好评。十、培训费用及注意事宜：1.培训费：4500元/人 (含培训费、午餐费、资料费、证书费)。2.付款方式：学员报名后，请直接将款汇到指定账号（见回执表）。3.以上费用不含食宿，培训期间食宿可统一安排，费用自理。4.培训会务工作由北京中际孚歌科技有限公司组织，并为学员出具正式发票。十一、证书颁发： 培训结束后由主办单位向参会单位学员颁发结业证书。十二、课程咨询：
010-64113137
注明：本内容来源网络，不用于商业使用，禁止转载，如有侵权，请来信到邮箱：429562386ⓐqq.com 或联系本站客服处理，感谢配合！
