“神经网络”相关的FPGA的信息调研

一级搜集

二级搜集

引申

CV的FPGA实现，起码要懂CV的背景，depthwise convolution

Opencv,学习cmake,shell,做kaggle练手，看书学框架，读caffe源码

Ml 开源社区，可以学很快

Depthwise Convolution是卷积神经网络中的一种基本计算，它是一种只针对每一个输入通道的卷积，也就是说，在卷积中并不去考虑不同通道之间的关系，而是在每一个通道上进行卷积计算。

Depthwise Convolution的实现可以由卷积层和批归一化层组成。

和标准卷积相比，优点是参数数量是标准卷积操作的1/k倍，因此内存消耗会更小。缺点是不够精确，特征提取效果不如标准卷积。

kaggle主要为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。上面有竞赛

ML开源社区指机器学习相关的开源社区，不特指某个社区

Caffe（全称Convolutional Architecture for Fast Feature Embedding）是一个兼具表达性、速度和思维模块化的深度学习框架，由伯克利人工智能研究小组和伯克利视觉和学习中心开发，看源码意味着它有源码可供阅读

西电焦李成教授一作 深度神经网络FPGA最新研究综述 专知 公众号新智元 20220401

基于FPGA的硬件结构与深度神经网络的模型特点 总结了设计思路、优化方向和学习策略

影响FPGA应用于深度神经网络的五个主要因素

Hinton团队 2017年 胶囊网络

Goodfellow等人 2014年 生成对抗网络GAN

自动机器学习AutoML 2017年5月的Google I/O大会

GoogleBrain 神经网络搜索算法NAS 2016年

CPU+GPU异构模式服务器 深度神经网络研究平台 这类是通用性芯片（英伟达DGX-2 具有16块Tesla V100 GPU）

FPGA半定制化芯片 从算法到芯片的中间过程，它比GPU有更强的计算能力和较低的功耗，如何衡量？

ASIC全定制化芯片 这里面有GoogleBrain？

SOC 其中就有xilinx的zynq

类脑芯片 brain inspired chip

类脑芯片

IBM的TrueNorth，英特尔的Loihi，高通的Zeroth，清华大学的天机芯

查天机芯时看到的：

卷积神经网络主要针对图像任务 使用宏观统计学方法来描述生物神经元和突触

循环神经网络主要针对语音和翻译任务

神经模态脉冲神经网络 试图真正模拟生物神经网络

IBM的TrueNorth是脉冲神经网络芯片

寒武纪的产品是卷积/循环神经网络芯片

天机芯可以兼容两种

异构计算 有暗硅问题 dark silicon

SoC

英特尔子公司Movidius的Myriad X，赛灵思的Zynq，华为的昇腾310（面向计算场景的人工智能SoC）

面向用途的分类：手机SoC 电视SoC 汽车SoC

华为的昇腾310 Ascend310 华为云社区

达芬奇架构的AI Core

训练场景（training训练好模型）、推理场景（inference用训练好的模型使用新数据去推断各种结论）、网络调优场景

算子 深度学习算法由一个个计算单元组成 计算单元就是算子 OP，卷积层算子、全连接层算子 CANN算子（可以理解为华为昇腾算子）

Caffe同TensorFlow，ONNX一样 都是第三方框架模型

查华为云社区查到的：

AI Gallery 负责人严博 汇集AI资产

Movidius神经元计算棒 U盘大小的设备

是美国计算机视觉创业公司 是谷歌project tango 3D 传感器技术背后的工程

Loihi 2芯片：128个神经形态核 每核有8倍神经元和突触，每个神经元根据模型最多有4096个状态，类似于FPGA，允许更大的灵活性。