4.7 实例演示

我们在${BMNNSDK}/examples下为用户提供了C/C++/Python三种编程语言覆盖预处理推理接口用例。

示例目录命名规则：编程语言+解码模块+预处理模块+推理接口模块

ssd300示例目录

软件流程

编程接口语言

运行环境

cpp_cv_cv_bmrt

opencv解码 （BGR输出）+ opencv预处理 + inference + 后处理

C / C++

soc/pcie

cpp_cv_bmcv_bmrt

opencv解码（yuv i420输出）+ bmcv预处理 + inference + 后处理

C / C++

soc

cpp_cv_cv+bmcv_bmrt

opencv解码（yuv i420输出）+ cv::bmcv预处理 + bmcv预处理 + inference + 后处理

C / C++

soc

cpp_ffmpeg_bmcv_bmrt

ffmpeg解码 （yuv压缩输出）+ bmcv预处理 + inference + 后处理

C / C++

soc/pcie

cpp_multi_bmcv_bmrt

多线程性能测试用例 ffmpeg/opencv解码+cv+bmcv+inference+后处理+jpg编码

C / C++

soc

cpp_cv_cv+bmcv_sail

opencv解码（yuv i420输出）+ cv::bmcv预处理 + bmcv预处理 + inference + 后处理

C++

soc

cpp_cv_bmcv_sail

opencv解码（yuv i420输出）+ bmcv预处理 + inference + 后处理

C++

soc

cpp_ffmpeg_bmcv_sail

ffmpeg解码 （yuv压缩输出）+ bmcv预处理 + inference + 后处理

C++

soc/pcie

py_ffmpeg_bmcv_sail

ffmpeg解码 （yuv压缩输出）+ bmcv预处理 + inference + 后处理

python

soc/pcie

本章主要用cpp_cv_bmcv_bmrt、cpp_ffmpeg_bmcv_bmrt用例来做以下两种模式下的编译运行演示。以下示例演示默认用户已经按照第三章内容进行了bmodel的转换。

  • PCIE模式用例演示

  • SoC模式用例演示

本示例需要使用到的测试视频（下载后，请保存到${BMNNSDK}/res/video/ 目录）：

4MB
test_car_person.mp4

4.7.1 PCIE模式用例演示

  1. 在x86 Linux开发主机上解压sdk开发包并运行docker开发环境，本示例都基于此docker环境，Docker环境的按照请参考 1.5.1环境配置

    # 在宿主机上解压缩SDK软件包
tar –zxf  bmnnsdk2-bm1684_v<x.x.x>.tar.gz
cd bmnnsdk2-bm1684_v<x.x.x>/scripts
# 在宿主机上安装驱动
sudo ./install_driver_pcie.sh && cd ..
# 运行docker开发容器
./docker_run_bmnnsdk.sh
    # 在docker开发容器中
cd /workspace/scritps
# 安装软件包
./install_lib.sh nntc
# 设置环境变量
source envsetup_pcie.sh
# 安装SAIL包，测试py_ffmpeg_bmcv_sail时需要
cd /workspace/lib/sail/python3/pcie/py35 && pip3 install sophon-<x.x.x>-py3-none-any.whl
# 下载测试视频
mkdir /workspace/res/video
wget -O /workspace/res/video/test_car_person.mp4 https://files.gitbook.com/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FsTrToIfjXO6dEufUX44h%2Fuploads%2Fg6WElN0jsdW7ZsK26daI%2Ftest_car_person.mp4?alt=media&token=2b38ff64-1d25-4432-a770-2318df120a2e

  2. 在x86 Linux开发主机上编译及运行实例代码

    cd /workspace/examples/SSD_object/cpp_ffmpeg_bmcv_bmrt/
make -f Makefile.pcie clean && make -f Makefile.pcie
# 编译后会在目录下生成
# USAGE:
#  ./ssd300_ffmpeg_bmcv_bmrt.pcie <video url> <bmodel path> <frames> <dev id>
# 下载
# float32模型测试
./ssd300_ffmpeg_bmcv_bmrt.pcie /workspace/res/video/test_car_person.mp4 ../model/out/fp32_ssd300.bmodel 10 0
# int8模型测试
#./ssd300_ffmpeg_bmcv_bmrt.pcie /workspace/res/video/test_car_person.mp4 ../model/out/int8_ssd300.bmodel 10 0

    程序运行过程中，可能会出现以下丢弃音频包或者视频帧数据包错误的字样，属正常现象：

    packet contain audio data ,drop this packet
** error!! decode_packet error

    终端会打印模型检测结果：

    [0]frame 1 - need to draw 2 bbox
encoded image size is 36952
[0]frame 2 - need to draw 2 bbox
encoded image size is 35696
[0]frame 3 - need to draw 2 bbox
encoded image size is 36288
[0]frame 4 - need to draw 2 bbox
encoded image size is 36280

    最后也会在results目录下生成检测结果图片，可查看结果图片验证模型检测结果。

  3. pcie状态监控

    $ bm-smi   #此命令用于检测pcie工作状态，tpu，mem使用率, 板卡温度等

4.7.2 SOC模式用例演示

  1. 在x86 Linux开发主机上解压sdk开发包并运行docker开发环境，本实例都基于此docker环境，Docker环境的按照请参考 1.5.1环境配置

    # 以下命令在宿主机上执行
# <xx.xx.xx>为SDK压缩包的版本号，需根据实际情况替换为相应的版本号
tar –zxf bmnnsdk2-bm1684_v<xx.xx.xx>.tar.gz
cd bmnnsdk2-bm1684_v<xx.xx.xx>
./docker_run_bmnnsdk.sh
    # 以下命令在容器内执行
# 安装软件包
cd /workspace/scripts
./install_lib.sh nntc
# 设置环境变量
source envsetup_cmodel.sh

  2. 在x86 Linux开发主机上生成 SSD_object/model/out/int8_ssd300.bmodel 后，执行下面的指令，编译实例代码：

    cd ../examples/SSD_object/cpp_cv_bmcv_bmrt/
make -f Makefile.arm clean && make -f Makefile.arm
make -f Makefile.arm install

  3. 在x86 Linux开发主机上将交叉编译生成的程序install目录拷贝到soc单板

    # 使用第三章转换的bmodel进行测试
# <SOC_BOARD_IP>应当替换为实际的SOC单板IP地址
# 以下命令在宿主机上执行，SOC设备默认用户名和密码均为linaro
scp -r /workspace/install linaro@<SOC_BOARD_IP>:/data/

  4. 在Soc单板上运行程序进行测试：

    在x86 Linux开发主机上操作

    # 登录到Soc单板中
ssh linaro@SOC_BOARD_IP

    在Soc单板终端中操作

    # 以下命令在SOC设备中执行
# 设置环境变量：参考1.5.3
cd /data/install
# 下载测试视频
mkdir res/video
wget -O res/video/test_car_person.mp4 https://files.gitbook.com/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FsTrToIfjXO6dEufUX44h%2Fuploads%2Fg6WElN0jsdW7ZsK26daI%2Ftest_car_person.mp4?alt=media&token=2b38ff64-1d25-4432-a770-2318df120a2e
# float32模型测试
./bin/ssd300_cv_bmcv_bmrt.arm video res/video/test_car_person.mp4 model/ssd300/fp32_ssd300.bmodel 10 0
# int8模型测试
./bin/ssd300_cv_bmcv_bmrt.arm video res/video/test_car_person.mp4 model/ssd300/int8_ssd300.bmodel 10 0

和PCIE模式一样，程序运行后终端会打印模型检测结果，并在results目录下生成图片结果out_*.jpg的检测结果图片，可查看结果图片验证模型检测结果。

上一页4.6 模型推理下一页5.1 概述

最后更新于