跟着5G浪潮的到来,物联网的核算正在面对巨大的应战。

首要,视频信息占有流量的 80% 以致 90%,视频的处理十分消耗算力,这其间包含视频的编解码,以及对视频信息的实时解读、剖析。其次,物联网的场景无限多样化,需求不同算法习气不同场景,能够灵敏装备快速移植。业界需求新一代的核算架构以及与之相对应的软件系统来承载。

近来,一家专心于视频处理立异的科技公司「Aupera 科技」,前期曾取得Arm加快器的出资,最近又取得了 FPGA 巨子赛灵思的战略出资。

Aupera 团队由一支专心于打造极致产品的尖端工程师、专家组成,团队成员从前服务于NASA、Cisco、华为、贝尔实验室等,在阅历了两次全体架构迭代后,构建了一套高效、完全的异构核算结构,并立异提出了散布式微节点核算架构。

“要处理视频处理的根本问题,首要要处理的是海量视频的编解码算力,需求供给高密度的核算力,可担负的核算力,咱们Aupera便是从这方面下手的”, Aupera 创始人廖博士表明。

现在,依据异构核算的散布式微节点技能现已落地,而且现已在头部客户完成商用,在此基础上 ,Aupera 又在相同的硬件、软件结构中嵌入了实时AI的加快引擎。“这样高效的架构,特别适用于那些有海量视频的有需求实时对内容进行处理的场景,” 据廖博士介绍。

散布式微节点核算架构

散布式、微使命、易扩展性,这些都是视频流处理的特色。散布式微节点核算架构,如下图,用几十个、几百个处理器模组,经过10G、100G的以太网交换机衔接在一同,能够跨机箱、跨集群、跨数据中心,不受限于物理方位,系统能够线性扩展。

每个处理器模组,在操控层面,采用了 Arm 处理器,灵活便利;在数据处理层面,采用了 Xilinx FPGA。FPGA 的优势在于完成高吞吐量高功用的一同,也能满意低延时的运用、实时的呼应。一同,FPGA 不只能够自定义 AI 加快,还能够进行多维度、立体式的全体优化,对视频数据的前处理、后处理,乃至包含网络,存储。FPGA 做为 AI 加快的另一大亮点,在于快速算法迭代,快速模型规划,到加快产品商用、加快商场投进,这在人工智能算法日益更新快速迭代的景象下,显得尤为重要。

面向视频+人工智能的运用的交融软件架构

与此一同,为了确保散布式微节点架构能够高效工作,而且承载高密度的算力,Aupera 还推出了一整套面向视频+人工智能运用的交融软件架构——AupXStream Video+AI SDK。

这套软件系统具有以下几大特色——

一、整个软件面向视频的处理集成了 FFMpeg 和 GStreamer 这两个视频范畴开发必备的东西。特别是将 FFMPEG 成功移植到 Arm 处理器上这一规划,使得视频工程师可在无需改动任何操作习气的情况下,运用相同的命令行、相同的操作,取得更高的功用和更好的作用。

二、针对场景化 AI 的核算以及与视频编解码、视频数据处理的超交融才能。AupXStream Video+AI SDK 将视频编解码、视频内容剖析有机地结合了起来,最大极限地下降与外部设备的读写操作,然后得到全体功用的大幅提高。

三、云-边-端的线性拓宽以及渠道资源的智能办理。

AupXStream Video+AI SDK 为硬件层、产品运营、以及云服务,打造了一整套渠道资源办理系统:从机箱的状况办理,温度预警,电扇操控,到系统的使命分配、负载均衡,以及物联网的云办理、云端运维等全面掩盖。 因而,Aupera 的这套软件系统能够完成云-边-端服务的线性装备,算力能够跟着边际节点资源得以延申,完成核算的去中心化和无鸿沟化。

现在,AupXStream SDK支撑的功用有:

1.H.264、H.265 硬件视频编解码,Jpeg 硬件编码

2.通用音视频媒体结构,包含视频组成、混流, 格局转化

3.高效的视频图画加快引擎,包含图画前处理,缩放, 旋转,图层叠加,动态水印

4.完善的深度学习开发环境,支撑 Caffe,Tensorflow 及 PyTorch 等干流开发环境

5.通用的深度学习推理引擎,支撑 Resnet,inception,MobileNet,YOLO,SSD 等各种干流深度神经网络

6.支撑上百种预练习模型及运用模板,快速建立窄带高清,多方会议电话,安防,物流,新零售,等 AI+ 视频运用

快速运用,快速为场景化服务,是这套软件系统的最大亮点。让千千万万的运用开发者,享用FPGA 芯片的高效、实时运用,而不用为底层的杂乱操心。

职业首领的战略出资

Aupera 关于核算架构的探究与立异,得到了业界的认可与支撑。

在前期,Arm 加快器对 Aupera 进行了战略出资。最近,FPGA 芯片职业首领 Xilinx(赛灵思),也对 Aupera 进行战略出资——除了资金上的投入以外,赛灵思还在商场拓宽以及运用完成方面,活跃与 Aupera 一同为更多客户完成运用落地,为客户供给即时呼应的技能支撑;方针是让 FPGA 核算渠道能在物联网年代变化无常的 AI 运用场景中更快得到运用,并最大极限的满意客户多样化的需求,让数据处理中心算法自主可控。

现在,Aupera 的高密度视频转码产品、高密度视频结构化产品现已在头部客户得到了商用,而且正在扩展规划。跟着 5G 的到来,Aupera 的处理方案将会在物联网、边际 AI 核算大力拓宽。

为物联网擦亮眼睛

物联网的年代现已降临,我们都说,摄像头是物联网的眼睛,一张图片胜过千言万语,一段视频又是成百上千张图片组成。Aupera 的处理方案,包含了云、边际、端,供给了一整套的处理方案。

对顾客用户而言,没有繁琐的装置,许多视频 AI 的运用经过云端下载即可完成,将一般摄像头即时变成智能摄像头,一同,Aupera 云端的算法将实时更新,不断丰富,每一个家庭每一个用户都能够完成依据本身的运用场景来挑选最佳运用。

“视觉给人类带来的信息占到人获取信息量的 80% 以上,视频将是人类交流的干流”,这个观念,是廖博士早在从事移动通讯开发时就深信。针对视频,针对视频内容的了解,开发一款极致高效的产品,让视频真实为人所用,这是 Aupera 的一群尖端工程师的初心。

推荐阅读