1.8 BMNNSDK2更新记录

2.7.0

middleware

  • 支持bmcpu opencv,即pcie模式下,在卡上cpu执行opencv的相应函数,已支持函数列表见《多媒体用户手册》文档

  • bmcv jpeg decoder接口当遇到硬件不支持的格式的时候,自动切换到turbojpeg软解码

  • 增加opencv capture.read_record接口,解码同时提供码流录制功能

  • 提供opencv imread的解码鲁棒性,当图像存在错误的时,仍然尽可能输出可解码部分的图像。由IMREAD_RETRY_SOFTDEC标志位控制

  • 将gb28181中的sip协议库由GPL协议的osip库替换为自研的sip库

  • 增加opencv capture中的fourcc支持

  • opencv在x86下增加abi0/1两套库,abi0针对centos等低于gcc5的编译器,abi1针对ubntu系统

  • 修定部分4k视频下因为secondary axi ram不够导致的解码失败问题

  • 丰富vidmulti例子,融合了多路编码的命令行选项

  • bmcv::toBMI增加了8SC3/8SC1类型的转换

  • bmcv::dumpMat增加对视频压缩格式的支持

  • 增强错误码流的鲁棒性处理,当码流错误导致底层堵塞的时候,avcodec_decode_video2或者send_packet/receive_frame接口会返回-1,以便上层应用重新连接或者做相应处理

  • 一些bug修订

bm168x

  • PCIE加载驱动的时候默认使能A53。

  • 支持PCIE虚拟网卡功能。

  • bm-smi

    • a53 使能时,bm-smi recovery重新加载a53

  • 支持PCIE MIX MODE ,pcie 模式下,使能完整的soc 功能,推理,视频图像编解码任务在soc 环境下完成,pcie 只作为通信通道。

bmcompiler与bmruntime

  • 增加了新的算子支持和优化

  • 改进了bmodel及bmruntime的内存分配机制,可以支持大模型运行,如BasicVSR

  • 增加了数据统计模式,通过export BMCOMPILER_STAT_ERR=1,可以在开比对情况下,会统计层数据的相似度,不会因为个别数据超过阈值而中断编译

  • 代码结构优化:与bmlib解耦、bmcompiler layer重构等

  • bug fix

Quantization量化工具

  • 支持新的ubuntu16.04+python3.7 docker

  • U-FrameWork优化制作lmdb程序接口,提供ufwio python安装包,易于嵌入用户开发环境制作lmdb。

  • 删除convert_imageset二进制工具,改用上述ufwio接口制作lmdb,提供制作python例程可以直接使用或者修改使用。

  • 量化工具增加MSE,PERCENTILE量化算法。

  • auto-cali整合到ufw whl包,便于依赖管理。代码进行了重构,优化一键量化调用接口,增加了更多的自动量化策略。推荐用户cv类量化优先使用一键量化。

  • 增加新版本可视化工具,旧版可视化工具暂时并存。新版工具展示网络结构,更加方便操作,推荐使用新版本可视化工具。

  • bug-fix

Sophon-inference

  • 重构头文件,隐藏实现细节,提高兼容性

  • 修复crop/resize/convert等接口会将传入的指定了输出格式的BMImage强制转换为BGR_PLANAR的问题

  • 增加了打印推理过程中主要耗时情况的开关接口set_print_flag()

  • Python中sail.Decoder删除了以bm_image为返回值的read_接口

  • BMImageArray中增加了从BMImage中copy和attach数据的接口copy_from()和attach_from()

  • 修改了Python中sail.Tensor的初始化方法,添加own_sys_data标志位,支持创建只包含设备内存的Tensor

  • Bmcv中增加了适用于bm_image的图片保存接口imwrite_

  • Python中sail.Bmcv增加了适用于bm_image的绘制矩形接口rectangle_()

  • Python中sail.Bmcv增加了接口vpp_convert_format()

  • Python中sail.Bmcv增加了接口convert_format()

  • Python中sail.Bmcv增加了接口crop_and_resize_padding()

  • 增加了Python开发中的语法提示

  • 修复若干文档错误

SE5固件

  • SE5 v2支持

  • 解耦gate相关(预置的人脸抓拍识别应用)- 仅针对Ubuntu20.04版本

    • 把sophon system 这套界面和restful api 接口移植到全家桶box,以提供给客户一些系统信息(tpu/vpu/fan等)

    • 把gate 文件系统里 bm_bin的一些基本命令移植到全家桶box,提高用户体验

    • oemconfig.ini 生成

    • 增加升级命令(bm_upgrade_runtime),从官网下载最新升级包,并升级

    • qt5.14的lib 移植到box

    • SophUI(hdmi 显示界面),显示信息,修改ip

documents

  • 之前随SDK发布的各个模块文档修改为统一在官网文档中心发布,可在线查看或下载PDF

2.6.0

bmlib&driver:

  1. 新增了loongarch64 平台的支持

  2. 修正了firmware 超过1M 后会overflow的问题

bmvid / middleware、bmcv:

  1. 增加proc中vpu/jpu使用率信息

  2. opencv videowrite增加对rtsp/rtmp的直接支持,并增加示例

  3. 大幅更新multimedia_guide文档,增加multimedia_faq文档

  4. 更新并完善ffmpeg中bm-scale filter的功能:增加更多色彩的csc转换,支持常规模式下的滤波用法

  5. pcie opencv使能bmcpu功能,提供A53下的font/rectangle/line等基本drawing操作

  6. bmcv/vpp增加对argb颜色的支持

  7. ffmpeg bmcodec增加对loop-decoding的支持

  8. 增加对loongarch64平台的支持

  9. windows/mips64/sw64/loogarch64平台增加x86 linux下的sample用例

  10. 增加opencv/ffmpeg的各种示例,展示ffmpeg+bmcv之间的切换调用

  11. bug修正:支持crop图像的jpeg编码,减少opencv下视频解码的内存占用空间,移除libbm_x264,opencvModule.cmake中移除绝对路径等

Sophon-inference:

  1. 修复bugs,增强稳定性

  2. 增加了帧率获取接口

  3. 支持int32模型输入类型

  4. 增加多进程Demo

  5. 文档修改

nntc:

  1. 增加了bmneto,支持onnx模型编译

  2. bmnett支持tensorflow 2.x, saved_model模型格式

  3. 增加了conv3d、deconv3d等3d算子及相关优化,支持slowfast和3dunet等3d模型

  4. 增加了strideslice、transpose、depth2space等优化,提升yolov5相关模型性能

  5. 优化timestep过程,减少编译时间

  6. 相关工具支持的python版本升级,支持python3.7

  7. 修复若干bugs

cali:

  1. 文档修改

  2. 图优化速度优化,c++实现代替python实现

  3. reverse层量化支持,lstm,batchmatmul层量化设置为浮点推理

  4. bugfix

ufw:

  1. 增加了支持onnx模型转umodel

  2. 支持保留用户定义的输入输出名

  3. 若干bug修复

bsp:

  1. 更新SM750驱动;增加XFS支持

  2. 增加了pcie mixed mode支持;修正刷机包单个gz文件太大会越界的问题;升级开源sdk和newos打包脚本;增加lte modem service;修正ethtool工具版本问题

2.5.0

bmlib&driver:

  1. Windows SDK开发支持

    • 目前驱动可以在debug模式下安装,支持单芯卡和三芯卡

    • 支持bm-smi基本功能

    • 支持VPU/JPU编解码基本功能

    • 支持bm_opencv, ffmpeg库加速

    • 支持网络推理运行时库

  2. 增加了vpu、jpu利用率的统计和显示

  3. 在申威服务器上做了适配

  4. 更改了Bm-smi的显示界面

  5. 增加了执行Bm-smi recovery操作时的保护,防止系统崩溃

bmcv:

  1. 增加2个算子: bmcv_image_axpy, bmcv_image_lapacian

  2. vpp padding 支持带有 stride。

bmvid / middleware:

  1. 支持SC5模式下A53 opencv运行模式,支持warp, affine, sobel, erode, dialet, morphologyEx, line, calcOpticalFlowPyrLK, OpticalFlowFarneback, calcHist, boxFitler, bilateralFilter, gaussianBlur,

  2. 修正rtsp mjpeg解码的问题

  3. 修正硬件编码下flv的打包问题

  4. ffmpeg支持lame mp3解码

  5. ffmpeg支持hls协议

  6. ffmpeg命令行增加zero_copy选项,支持硬件解码的yuv输出

  7. 扩展平台支持到龙芯,申威,以及windows系统

  8. 增加vpu/jpu usage信息到proc输出

  9. bug修正

Sophon-inference:

  1. bug fix

  2. 文档修正

nntc:

  1. 增加用户自定义tpu layer插件,支持bmkernel编写某个layer并插入到网络

  2. 增加用户自定义编译优化插件及demo

  3. nms最大支持65536个检测框

  4. bmnetu支持gru layer

  5. bmcpu/bmruntime适配windows/mips64/sw64

  6. int8模型动态编译支持conv3d/pooling3d

  7. 性能优化及bug修复

  8. 文档更新

cali:

  1. 合并leaky relu层等优化

  2. 增加使用最大值量化选项

  3. 文档更新

  4. bug fix

ufw:

  1. 优化内存使用,有效减少50%内存占用

  2. layer增加Tag功能,可以对Layer的功能进行归类和特性描述

  3. 增加了对CFG语义分析

  4. 修正部分bug

bsp:

  1. ATF增加a53 soft reboot功能;u-boot修复重启进入命令行后mcu watchdog timeout问题;linux增加efuse secure key保护等功能,修正tpll切换方式

  2. kernel关闭errutam 843419,修正cpufreq bug

  3. 支持kernel5.4和ubuntu20.04系统;兼容新旧两种命名的its node;为sm5增加了一种dts(不兼容!);debian增加ethtool、gate的设备发现工具等;修改lpddr4参数;改善u-boot usb兼容性;kernel4.9增加usb acm支持,删除重复的realtek config

  4. 增加SE5 lite支持;修正memory layout工具;修正SM5 mini低配版配置

  5. 更新SM750驱动;增加XFS支持

2.4.0

bmlib&driver:

  1. 增加板卡管理接口

  2. 增加mips工具链和功能支持,达到给客户试用水平

  3. 增加Windows SDK bmlib及部分测试用例cmakelist文件和驱动、Bmlib平台适配代码(尚未达到release水平)

  4. 修复A53使能后无法重复装驱动的问题

  5. 重构Linux下面proc下面文件的组织方式

  6. 重构bm-smi代码和界面组织,支持以卡为单位显示

  7. 增加了vpp模块hang后软复位功能

  8. 增加了bmlib中获取memory heap信息的接口

  9. 修复INTC iic2中断被mask导致的smbus读取温度失败问题

bmcv:

  1. 新增功能:put_text、draw_lines;

  2. PCIe模式下支持使能A53,使用片上CPU完成部分操作。

bmvid / middleware:

  1. 增加mips64平台支持

  2. 去除bmvid 自有API中的assert判断,返回错误值

  3. 统一所有的jpeg解码输出到planar格式

  4. 增加dumpBMImage对float32 int8等格式的支持

  5. 更新osip库,提高gb28181的兼容性和稳定性

  6. 调整底层调度,多路编解码时调度更加均匀

  7. soc下去除8路限制,支持到24路视频编码

  8. 修补问题,增强稳定性

Sophon-inference:

  1. Python功能添加base64支持

  2. 增强Bmcv::imwrite功能,支持更多格式。

  3. BMImage处理方面的一些优化

nntc:

  1. 【BMNETC】Power算子bugfix,支持L2Normalize算子

  2. 【BMNETC】修复了rpnproposal算子计算出错的bug

  3. 【BMNETP】pytorch版本升级到1.8.1

  4. 【BMNETP】支持BERT模型

  5. 【BMNETT】增加arcsin、arccos、arcsinh、arccosh、arctanh、cosh、sinh、tan等三角函数的支持

  6. 【BMNETU】新layer支持:ShapeRange

  7. 【BMNETU】python接口支持int8 umodel的拆分功能

  8. 【BMNETU】增强了daily test

  9. 【BMNETU】Tile layer支持两个输入

  10. 【BMNETU】修复了包含reorg fix8b layer的动态网络bug

  11. 【BMCOMPILER】重构graph filter优化器

  12. 【BMCOMPILER】重构layer group优化器成pass结构

  13. 【BMCOMPILER】优化了active SILU fix8b的性能,yolov5性能有提升

  14. 【BMCOMPILER】增加了对active SIGN layer的支持

  15. 【BMCOMPILER】增加了Timestep合并优化和修复了3IC优化问题,yolov3等检测网络性能有些提升

  16. 【BMCOMPILER】TOPK算子使用TPU加速,包含TOPK的网络有性能提升

  17. 【BMLANG】stride类计算性能优化和支持coeff输入

  18. 【BMLANG】condition_select计算支持数据广播

  19. 【BMLANG】支持Shape Tensor控制输入,并更新bmlang demo rgb2yuv支持crop区域可动态变化

  20. 【BMLANG】多个使用相同mask的masked_select算子的性能优化

  21. 【BMLANG】nms算子有数倍以上的性能提升

  22. 【BMRUNTIME】去除了exit直接退出,使用c++ exception返回错误值

  23. 【BMRUNTIME】对龙芯mips的支持

  24. 【BMRUNTIME】包含FC层的网络也支持分辨率动态可变

  25. 【BMPROFILE】修复了layer和GDMA显示错乱的问题

  26. 【BMKERNEL】支持mips64

  27. 【BMKERNEL】增加BMRT + BMKERNEL跑yolov3 backbone + 后处理的demo

  28. 【BACKEND 1684】增加高性能分组topk的bmkernel demo

  29. 【BACKEND 1684】修复了包含reduce的动态网络跑很多轮后会hang住的问题

  30. 【BACKEND 1684】支持任意多算子的动态网络

  31. 【BACKEND 1684】修复3d max pooling的一个计算错误bug

  32. 【BACKEND 1684】优化了4N/1N转换的性能,一些网络性能会有提升

cali:

  1. 修复 batchnorm leakyrelu等layer的bug

  2. 增加is_shape_layer标记更好地支持shape相关操作,增加shapeRange、expandDims、shapeAssign以及shapeCast等layer支持int32数据

  3. 整理forward_with_float功能,增加稳定性

  4. 增加用ADMM方式统计阈值

  5. 完善auto_calib功能

ufw:

  1. 默认支持包含控制流的网络

  2. 支持任意动态shape的网络,以及包含运行时推断shape的网络

  3. 部分bugfix

  4. 部分layer功能增强

bsp:

  1. 增加recovery mode下ramdisk size;增加usb刷机功能

  2. 增加SM5 min宽温版支持;修正宽温版调频温度点和CPU调频机制;调整pcie rc初始化代码以支持没有refclk0的板卡;spacc secure key功能;u-boot和BL2瘦身;升级flash update工具;增大recovery分区以支持OTA;bind pcie中断到cpu7;增加fl2000重新枚举功能

  3. ATF增加a53 soft reboot功能

2.3.2

bmlib&driver:

  1. 增加了对mips适配

  2. 增加了一些mips体系结构的库

  3. 修复若干SC5P的bug

  4. 增加了一些支持Windows编译的cmake代码和脚本

  5. 增加了对SM5-W的支持

bmcv:

  1. 修复几个corner case的bug;

  2. 新增接口:absdiff、threshold、fft、max_min、calc-hist;

  3. 整理后端代码存放位置,只有个别api放于itcm,以后新增的均放置于ddr。

bmvid:

  1. 支持龙芯平台编译

middleware:

  1. 扩展opencv支持到512路视频

  2. ffmpeg osip库更新

  3. 修正bug

  4. 支持龙芯平台编译

Sophon-inference:

  • 修正了文档中URL地址连不上的问题。

nntc:

  1. 【BMLANG】增加deconv的perchannel int8计算demo。

  2. 【BMLANG】Select/Condition select支持int8。

  3. 【BMLANG】优化了NMS的性能

  4. 【BMNETC】增加CONV3D和POOLING3D的支持。

  5. 【BMNETT】增加用户自定义输入数据和数据类型。

  6. 【BMCOMPILER】修复了一些bug来支持客户模型。

  7. 【BMCOMPILER】优化了跑INT8网络的等待时间。

  8. 【BMNETP】增加BMM、LAYER NORM、EINSUM算子的支持。

  9. 【BMNETU】完善的单元测试。

  10. 【BMPROFILE】增加CSV的导出功能。

  11. 【BMPROFILE】增加解析Global memory操作的功能。

  12. 【BMRUNTIME】适配了龙芯。

  13. 【BACKEND_1684】优化了GDMA GEN CMD的时间开销。

  14. 【BACKEND_1684】修复了后端bug。

  15. 【BACKEND_1684】优化后的分组topk和全库topk的demo。

cali:

  1. 修复batchnorm layer的bug

  2. 增加auto_calib功能

ufw:

  1. 修复若干bug

  2. 增强了analysis工具的稳定性

  3. 支持了conv per-channel计算

  4. 移除了部分ufw blob data的python API

bsp:

  1. ATF里的DDR数据拆出一个单独的bin文件

  2. 换用MCU watchdog

  3. SM5宽温板卡支持

  4. BSP SDK开源相关

2.3.1

bmlib&driver:

  1. 增加设备管理接口并跟新文档

  2. 增加MIPS体系结构工程

  3. fix 编译中的warn信息

  4. 增加对SC5P的适配

  5. 重构了驱动中更新芯片和板级温度、tpu利用率的机制

bmcv:

  1. 新增sobel、gaussian-blur、add-weighted、dct、yuv2hsv、batch-topk算子;

  2. 优化并扩展nms,使其最大可支持65535个box的输入,并提高其性能;

  3. 扩展matmul,支持输出float32的类型;

  4. bugfix

middleware:

  1. sobel接口的8UC1→8UC1,BORDER_DEFAULT case采用硬件加速实现

  2. gaussion_blur接口的8UC1输入采用硬件加速实现

  3. 增加对hikvision smart选项的支持

  4. 优化opencv在yuv下的font字体渲染的效果

  5. 更新multimedia文档

  6. 提高稳定性,修补bug

Sophon-inference:

  1. 问题修正,稳定性提高

nntc:

  1. 【bmcompiler】对包含C axis CONCAT算子的网络有性能优化。

  2. 【bmnetu】【bmnetp】增加3D Conv/Pooling的支持。

  3. 【bmnetu】增加对多输入网络的支持。

  4. 【bmnett】增加check ops的功能。

  5. 【bmnetp】增加对Pytorch GRU/LSTM模型的支持。

  6. 【bmnetp】升级到支持pytorch 1.7版本。

  7. 【bmlang】Deconv算子支持16bit输出。

  8. 【bmlang】增加性能优化后的分组topk业务程序demo。

  9. 【bmlang】GEMM支持INT8输入/FP32输出,且支持perchannel的scale。

  10. 【bmlang】增加deconv做perchannel量化计算的demo。

  11. 【backend_1684】nms算子在大于1024 box时比2.3.0有性能提升。

  12. 【backend_1684】1N、4N数据转换的性能提升。

  13. 【all】BUGs修复,提高稳定性。

ufw:

  1. float计算支持了包含控制流的网络

  2. UFW python blob 兼容numpy数据类型

  3. UFW支持了部分空集输入和计算

bsp:

  1. 预装perfetto工具

  2. 预装板上编译kernel module需要的deb包

  3. VPP driver代码优化

  4. 使能PMU

最后更新于