بنچمارک های جتسون

جتسون برای استقرار نمونه‌های مختلف از مدل‌های شبکه‌های عصبی عمیق محبوب، مدل‌های ترانسفورماتور بهینه‌سازی شده و چارچوب‌های یادگیری ماشین در لبه با کارایی بالا، برای کارهایی مانند کلاسبندی بلادرنگ، تشخیص اشیا، تخمین موقعیت، بخش بندی معنایی و پردازش زبان طبیعی (NLP) استفاده می‌شود.

معیارهای استنتاج MLPerf

جدول‌های زیر معیارهای استنتاج ارسال شده از NVIDIA Jetson به دسته MLPerf Inference Edge را نشان می دهد.

نتایج کامل در v4.0 Results | MLCommons قابل مشاهده است.

این نتایج با کیت توسعه دهنده NVIDIA Jetson AGX Orin به دست آمد که JetPack 5.1.1 ،TensorRT 9.0.1 و CUDA 11.4 را اجرا می کند.

نتایج MLPerf را می توان با کد موجود در لینک زیر بازتولید کرد:

https://github.com/mlcommons/inference_results_v4.0/tree/main/closed/NVIDIA

گام های مورد نیاز برای بازتولید نتایج زیر در v3.0 Results | MLCommons  قابل مشاهده است.

این نتایج با NVIDIA Jetson AGX Orin Developer Kit که پیش‌نمایش TensorRT 8.5.0 و CUDA 11.4 را اجرا می‌کند به دست آمد.

بنچمارک های Gen AI

NVIDIA Jetson AI Lab شامل مجموعه‌ای از آموزش‌ها است که نحوه اجرای مدل‌های بهینه‌شده در NVIDIA Jetson، از جمله آخرین مدل‌های هوش مصنوعی و ترانسفورماتور را نشان می‌دهد. این آموزش‌ها شامل انواع روش‌های مدل مانند LLM (برای متن)، VLM (برای داده‌های متنی و بینایی)، ViT (ترانسفورماتورهای بینایی)، تولید تصویر، و ASR یا TTS (برای صدا) می‌شوند.

مدل‌های زبان بزرگ (LLM)

نتایج کامل در Jetson AI Lab Benchmarks قابل مشاهده است.

منبع: https://developer.nvidia.com/embedded/jetson-benchmarks