deepstream triton server

이 한줄이 참.. 많은 문제를 낳는구만.. -_-

$ gst-launch-1.0 nvinferserver ERROR: pipeline could not be constructed: no element "nvinferserver".

 

왜 안되나 했는데 native하게 까는건 없는지 멀 하려고 하면 다 막히고, 걍 docker로 ㄱㄱ -_-

Can Gst-nvinfereserver (DeepSream Triton plugin) run on Nano platform? Yes. But due to Nano’s memory limitation, performance of certain models is slow and even run into OOM (out of memory) issues, specifically on heavy Tensorflow models. There is an option to run CPU instance for certain models on Nano. For more details, see samples/configs/deepstream-app-triton/README

[링크 : https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_FAQ.html]

[링크 : https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvinferserver.html]

 

어느쪽 말이 맞는거냐 -_-

[링크 : https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvinferserver.html]

 

일단 실행은 이렇게 하면 되려나.. ds l4t 인지 ds triton으로 해야할지 모르겠네

$ sudo docker run --rm -it nvcr.io/nvidia/deepstream-l4t:6.0-samples /bin/bash

[링크 : https://medium.com/@Smartcow_ai/building-arm64-based-docker-containers-for-nvidia-jetson-devices-on-an-x86-based-host-d72cfa535786]

 

하나가 되면 하나가 안되고 아놔 ㅋㅋㅋ

$ sudo docker image ls REPOSITORY                      TAG            IMAGE ID       CREATED       SIZE nvcr.io/nvidia/deepstream       6.0.1-triton   ac5f4c456b5b   5 weeks ago   17.5GB nvcr.io/nvidia/deepstream-l4t   6.0.1-triton   d3984db2b6b1   6 weeks ago   3.98GB $ sudo docker run --rm -it d3984db2b6b1 /bin/bash root@d30ca855a6ce:/opt/nvidia/deepstream/deepstream-6.0# gst-inspect-1.0 nvinferserver (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.344: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_osd.so': libnvbufsurface.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.378: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_inferaudio.so': libcufft.so.10: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.454: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_deepstream_bins.so': libnvdsbufferpool.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.456: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libgstnvvideoconvert.so': libnvdsbufferpool.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.477: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_preprocess.so': libnvbufsurface.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.479: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_infer.so': libnvbufsurface.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.490: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_multistream.so': libnvbufsurface.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.499: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_ofvisual.so': libnvdsbufferpool.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.508: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_dsexample.so': libnvbufsurface.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.511: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_tracker.so': libnvbufsurface.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.543: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_segvisual.so': libnvdsbufferpool.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.619: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_inferserver.so': libnvbufsurface.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.638: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libcustom2d_preprocess.so': libnvbufsurftransform.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.660: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_udp.so': librivermax.so.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.664: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_dewarper.so': libnvdsbufferpool.so.1.0.0: cannot open shared object file: No such file or directory (gst-plugin-scanner:12): GStreamer-WARNING **: 01:40:47.667: Failed to load plugin '/usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_multistreamtiler.so': libnvbufsurface.so.1.0.0: cannot open shared object file: No such file or directory No such element or plugin 'nvinferserver'

 

에라이 -_-

$ sudo docker image list REPOSITORY                      TAG            IMAGE ID       CREATED       SIZE nvcr.io/nvidia/deepstream       6.0.1-triton   ac5f4c456b5b   5 weeks ago   17.5GB nvcr.io/nvidia/deepstream-l4t   6.0.1-triton   d3984db2b6b1   6 weeks ago   3.98GB $ sudo docker run --rm -it ac5f4c456b5b /bin/bash WARNING: The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested standard_init_linux.go:228: exec user process caused: exec format error

 

Building Jetson Containers on an x86 workstation (using qemu)

[링크 : https://github.com/NVIDIA/nvidia-docker/wiki/NVIDIA-Container-Runtime-on-Jetson]

 

+

[링크 : https://blog.ml6.eu/nvidia-deepstream-quickstart-9147dd49a15d]

 

+

deb로 깔아도 install을 해주어야 하는것인가!!!

$ cd /opt/nvidia/deepstream/deepstream-6.0 $ sudo ./install.sh $ sudo ldconfig

[링크 : https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_Quickstart.html#jetson-setup]

 

 

$ gst-inspect-1.0 nvinferserver Factory Details:   Rank                     primary (256)   Long-name                NvInferServer plugin   Klass                    NvInferServer Plugin   Description              Nvidia DeepStreamSDK TensorRT plugin   Author                   NVIDIA Corporation. Deepstream for Tesla forum: https://devtalk.nvidia.com/default/board/209 Plugin Details:   Name                     nvdsgst_inferserver   Description              NVIDIA DeepStreamSDK TensorRT Inference Server plugin   Filename                 /usr/lib/aarch64-linux-gnu/gstreamer-1.0/deepstream/libnvdsgst_inferserver.so   Version                  6.0.0   License                  Proprietary   Source module            nvinferserver   Binary package           NVIDIA DeepStreamSDK TensorRT Inference Server plugin   Origin URL               http://nvidia.com/ GObject  +----GInitiallyUnowned        +----GstObject              +----GstElement                    +----GstBaseTransform                          +----GstNvInferServer Pad Templates:   SRC template: 'src'     Availability: Always     Capabilities:       video/x-raw(memory:NVMM)                  format: { (string)NV12, (string)RGBA }                   width: [ 1, 2147483647 ]                  height: [ 1, 2147483647 ]               framerate: [ 0/1, 2147483647/1 ]   SINK template: 'sink'     Availability: Always     Capabilities:       video/x-raw(memory:NVMM)                  format: { (string)NV12, (string)RGBA }                   width: [ 1, 2147483647 ]                  height: [ 1, 2147483647 ]               framerate: [ 0/1, 2147483647/1 ] Element has no clocking capabilities. Element has no URI handling capabilities. Pads:   SINK: 'sink'     Pad Template: 'sink'   SRC: 'src'     Pad Template: 'src' Element Properties:   name                : The name of the object                         flags: readable, writable                         String. Default: "nvinferserver0"   parent              : The parent of the object                         flags: readable, writable                         Object of type "GstObject"   qos                 : Handle Quality-of-Service events                         flags: readable, writable                         Boolean. Default: false   unique-id           : Unique ID for the element. Can be used to identify output of the element                         flags: readable, writable, changeable only in NULL or READY state                         Unsigned Integer. Range: 0 - 4294967295 Default: 0   process-mode        : Inferserver processing mode, (0):None, (1)FullFrame, (2)ClipObject                         flags: readable, writable, changeable only in NULL or READY state                         Unsigned Integer. Range: 0 - 2 Default: 0   config-file-path    : Path to the configuration file for this instance of nvinferserver                         flags: readable, writable, changeable in NULL, READY, PAUSED or PLAYING state                         String. Default: ""   batch-size          : Maximum batch size for inference                         flags: readable, writable, changeable only in NULL or READY state                         Unsigned Integer. Range: 0 - 1024 Default: 0   infer-on-gie-id     : Infer on metadata generated by GIE with this unique ID.                         Set to -1 to infer on all metadata.                         flags: readable, writable, changeable only in NULL or READY state                         Integer. Range: -1 - 2147483647 Default: -1   infer-on-class-ids  : Operate on objects with specified class ids                         Use string with values of class ids in ClassID (int) to set the property.                          e.g. 0:2:3                         flags: readable, writable, changeable only in NULL or READY state                         String. Default: ""   interval            : Specifies number of consecutive batches to be skipped for inference                         flags: readable, writable, changeable only in NULL or READY state                         Unsigned Integer. Range: 0 - 2147483647 Default: 0   raw-output-generated-callback: Pointer to the raw output generated callback funtion                         (type: gst_nvinfer_server_raw_output_generated_callback in 'gstnvdsinfer.h')                         flags: readable, writable, changeable only in NULL or READY state                         Pointer.   raw-output-generated-userdata: Pointer to the userdata to be supplied with raw output generated callback                         flags: readable, writable, changeable only in NULL or READY state                         Pointer.