日前肇观电子完成2亿人民币D轮融资，由华山资本领投，本轮融资资金将用于肇观电子下一代芯片和模组的研发和迭代。

肇观电子于2016年在上海成立，聚焦计算机视觉和AI端侧芯片及模组研发，服务工业、机器人、汽车、消费、安防等场景，致力于赋予所有的智能设备视觉能力，是硬氪长期关注的公司。此前，肇观电子曾先后完成多轮融资，去年6月获数亿元C轮融资。

随着智能设备的普及和发展，其中视觉能力的重要性也愈发凸显，直观体现在摄像头数量越来越多，分辨率也越来越大，数据信息量也随之爆增，进而拍摄的照片和视频背后所需要的处理算法的复杂度也在不断的上升。“这几个因素使得智能设备理解一张图片或者一段视频，背后所需要的算力需求呈现指级数增长。”肇观电子CEO冯歆鹏告诉硬氪。

但传统的CPU、GPU芯片面对海量信息无法满足处理需求，为此，肇观电子研发的VPU 芯片，又称视觉处理器，区别于传统芯片，专门解决像素爆炸的痛点。


解决传统相机光线干扰问题

面向车载领域布局

这一芯片一方面可以解决强光、弱光和逆光等各种特殊光照条件下的成像问题，同时其中3D计算引擎的设计使得设备拥有3D感知能力，直接通过采集的数据就能计算出远处空间的 3D 的深度图，并反过来推算出自身在空间环境中的位置，和其他物体进行互动。此外，SLAM （实时定位和构图技术）加速，实现三维重建，使得设备能够识别三维空间中不一样的物体。

在成像、3D、AI、SLAM能力的基础上，肇观电子采用SoC单芯片方案，高度集成上述多种能力，单颗芯片具备性能高、功耗低、成本低、系统复杂度低的特点。

面向机器人行业，肇观基于自研的芯片的3D智能深度相机的产品形态交付给客户，同时也支持定制，帮助机器人拥有环境感知和理解能力，产品已导入机器人行业头部供应商体系，其中费曼系列全年出货预计超10万套。

费曼相机支持在零下40度到70度这一温度范围内的高低温环境中使用，对温度的适应范围较广，相机内部就能进行AI算法处理，无需再利用工控机输出信号部署算法，大大减轻系统复杂度，可靠性方面已做到10万小时不间断连接。

面向车载领域，肇观主要给车上的CMS（电子后视镜）提供芯片，采用其芯片方案的新一代智能外耳镜可以做到1秒内冷机快速启动出图，并且从光子打到摄像头的CMOS上到光子传输给显示屏上面的延时可低至40毫秒以内，为业界最短之一。目前肇观的全国产车规级SoC已进入二十余家Tier1供应链，还在部分车厂的ADAS（高级辅助驾驶）方案上有应用。

视觉芯片未来发展方向：感存算一体化

目前有两种主要的智能视觉芯片架构。

（1）架构一：传感单元内部计算。这种架构的光电探测器被置于模拟存储器和计算单元中，以组成处理元件（PE），然后利用PE电路来实现原位传感功能，并处理传感器获得的模拟信号。然而，模拟存储器和计算单元占用了较大的面积，使得PE电路比传统传感单元大得多，这导致像素填充因子较低，并限制了成像分辨率。

（2）架构二：传感单元附近计算。由于较低的填充因子，视觉芯片难以采用原位传感和计算相结合的架构。相反，将像素阵列和处理电路物理分离，但仍然保持片上并行连接，这使得二者可以根据系统要求进行独立设计和优化。这种架构具有广域图像处理、高分辨率和大规模并行处理的优势，并且可以在数字处理电路中结合现有的AI算法（包括人工神经网络等）。

目前，视觉芯片的神经元规模只有102~103个，远少于视网膜和皮层（1010个），因此，感存算一体化智能视觉芯片需要更大规模的集成。其中一种方法是通过片上光学卷积神经网络（CNN）和光学脉冲神经网络（SNN）实现大规模高并行运算，以显著提高计算效率。另一种方法是采用三维（3D）集成技术，使用硅通孔（TSV）垂直集成空间中的功能层（传感器、存储器、计算、通信等）。在2017年，索尼提出了一种3D集成视觉芯片，像素分辨率为1296×976，处理速度达到1000 fps。部分研究人员认为，3D集成芯片已经成为一种必然趋势，但在架构设计和引线互连等方面仍然需要更深入的研究。研究证明，虽然短互连可以降低功耗和延迟，但由于层间距离较短可能会导致散热难题。因此，解决3D集成的可靠性问题和提高性能至关重要。

近些年来，在AI发展需求的驱动下，涉及新型材料和先进器件的技术不断涌现，也为感存算一体化智能成像系统提供了新方案。

（1）具有探测和记忆功能的材料（DAM）。光电突触器件被视为构建感存算一体化智能成像系统的一种方式，并有望促进视网膜仿生技术的发展。研究发现，一些金属氧化物（氧化物半导体、二元氧化物等）、氧化物异质结和二维（2D）材料在实现光电突触器件方面有巨大的潜力。光电突触具有临时记忆能力和突触可塑性，如短时程可塑性（STP）和长时程可塑性（LTP），可以通过光信号进行调制以完成实时图像处理。这类器件有许多优点，它提供了一种非接触式的写入方法（光写入），权重写入过程具有高速并行的特点。然而，这类器件仍然面临一些挑战，包括脉冲写入下电导非线性变化和由于较大的照明强度而导致的高能耗。在写入过程中，光刺激用于实现增强突触活性，而电刺激用于抑制突触活性。具体来说，器件的电导在光脉冲作用下逐渐增加，而在负电脉冲作用下则逐渐减小，这类似于生物突触中的增强和抑制，器件的电导变化对应突触的活性变化。此外，研究指出负光响应或者光刺激用于抑制突触活性可以实现全光调制的复杂神经功能。目前大多数研究侧重于在器件中模拟突触行为[如兴奋性突触后电流（EPSC）、成对脉冲易化（PPF）、STP、LTP等]，因为模仿人眼视网膜神经元仍然是一大挑战。为了模仿视网膜，光电突触器件的大规模集成有待进一步研究。在DAM材料中，基于二元氧化物（如ZnO、HfO2、AlOx等）的器件具有结构简单和CMOS兼容性的优点，这是大规模集成的关键因素。相反，与集成电路（IC）基础结构不兼容的材料可以通过采用异质集成、异质外延、键合和三维异质集成等技术来实现。

（2）结合传感器与存储器的器件结构。近些年来，随着半导体器件的发展，部分研究提出采用先进器件代替PE电路，如新型存储器件[如阻变存储器（RRAM）和其他忆阻器等。例如，两类器件通过串联的方式来实现固有特性的结合，使传感器阵列具有可编程性，并且将光学图像转变为易于识别的信息。这种结构将单个像素的占地面积显著降低到4F2的理论极限（F是工艺的特征尺寸），可以实现高填充因子的集成方式。然而，与CCD不同的是，该阵列不显示破坏性读出，也不显示任何积分行为。在该阵列中，乘加运算（MAC）可以通过模拟域中的基尔霍夫定律直接实现。然而，大规模集成引起的串扰是一个亟待解决的问题。有研究报道了一种由单光子雪崩二极管（SPAD）和忆阻器组成的系统，用于处理脉冲事件形式的信息，从而完成实时成像识别。

随着新型材料与器件的发展，感存算一体化智能成像系统也同样需要新的架构和算法来适配其应用。例如，深度学习算法（如DNN、CNN、SNN等）是目前较为成熟的图像处理技术，而如何将其应用于感存算一体化智能成像系统是一个亟待解决的难题。SNN通过对时间并行编码的神经信号进行编码和处理，为提高计算效率提供了一种很有前景的解决方案。


脑机应用风口：让“失明”人员重见光明

最近，科技大佬马斯克宣布，他的公司Neuralink正在研发一种叫“视觉芯片”的植入设备，这对于失明的朋友来说无疑是一个巨大的福音。这种芯片能够植入视觉皮层，直接解码我们的视觉信息，让失明者重拾视觉能力。

但是这项技术也面临着巨大的科学难题，我们距离真正实现还任重道远，需要视觉神经科学和植入技术双管齐下，才能突破各种技术瓶颈。让我们拭目以待，相信科技终将战胜疾病，带来光明。

要实现视觉芯片，我们需要从视觉机制和植入技术两个方面进行突破。

首先是视觉机制。

光线进入眼睛后，必须转换为脑中的神经信号，经过复杂的信息处理才形成我们的视觉图像。马斯克必须破解大脑对视觉信息的编码机制，才能通过有限的电极植入，取得充分的视觉反馈。这需要整合神经科学多学科知识，对视网膜和视觉皮层有深入理解。

其次是植入技术。视觉芯片需要实现与特定脑神经元的无损耦合，获取视觉神经冲动。

这需要电极植入技术和材料的革新，以及精准的定位与手术操作。否则可能造成大脑功能损伤。

要实现从电子信号到视觉图像的转换，还需要巨大的算法能力和测试优化。这条路遥遥无期，但马斯克的宣言加速了这个魔幻领域的发展。也许在不远的将来，视觉芯片真的可以让失明者重见光明。

尽管从理论到实践任重道远，但相关核心技术的进展还是让我们看到了光明的曙光。在视觉神经科学领域，通过对视觉皮层研究，科学家们已经初步证实了植入电极可以引起脑内视觉感受。这为视觉芯片奠定了基础。脑机接口技术也取得重大进展，实现了受试者通过思维控制外部设备。

材料科学也创造了更加生物相容的植入电极，并实现了对机体内植入设备的无线供能。这为长期植入和应用保驾护航。手术机器人的应用也将大大减少手术风险。在算法方面，通过深度学习等AI技术，转化编码也成为可能。

当所有技术融会贯通，视觉芯片终将成为现实。我们要对科技报以浓厚的兴趣与信心，并为病人提供更多关爱与支持。