NVIDIA邊緣運算探索：解鎖AI視覺與大模型的無限潛能

2024 iThome 鐵人賽的參賽系列：以 NVIDIA Jetson 開發套件實作邊緣 AI，從選擇設備、刷機，到 Jetson AI Lab、NanoLLM 與 DeepStream。

共 30 篇，依閱讀順序排列。

  1. 第 1 篇多領域賦能，邊緣運算引領行業智慧化轉型邊緣運算的優勢、類型與挑戰，以及臺灣在邊緣 AI 晶片的位置。
  2. 第 2 篇為什麼我選擇NVIDIA Jetson作為邊緣開發設備從創客比賽的經驗談起，說明選擇 Jetson 的理由。
  3. 第 3 篇如何選擇一款適合的NVIDIA Jetson開發套件依預算、效能與應用場景，挑出合適的 Jetson 開發套件。
  4. 第 4 篇我主要使用的設備：Jetson Orin NANO開發套件開箱開箱 Jetson Orin Nano 開發套件，認識各個介面。
  5. 第 5 篇如何在NVIDIA Jetson Orin NANO上把系統刷到SSD上？以 SDK Manager 將 JetPack 系統安裝到 NVMe SSD。
  6. 第 6 篇Jetson開發者必裝的一個實用工具安裝 jetson-stats，以 jtop 監看 CPU、GPU、功耗與溫度。
  7. 第 7 篇我主要的使用設備：NVIDIA Jetson AGX Orin開發套件開箱Jetson AGX Orin 的定位、規格比較與開箱。
  8. 第 8 篇Jetson AI Lab實戰啟航：寫在最前面為何以 Jetson Orin Nano 學 AI 應用，以及後續實作的安排。
  9. 第 9 篇Jetson AI Lab實戰啟航：環境配置設定 Docker runtime 並安裝 jetson-containers 環境。
  10. 第 10 篇Jetson AI Lab實戰啟航3-TGW智能助手以 text-generation-webui 在 Jetson 上建置本地對話助手。
  11. 第 11 篇Jetson AI Lab實戰啟航4-SDW文生圖以 stable-diffusion-webui 在 Jetson 上由提示詞生成圖片。
  12. 第 12 篇從火災檢測到智慧監控：Jetson Orin與生成式AI的完美搭配以 Metropolis 微服務與 VILA 模型，在 Jetson Orin 上檢測火災。
  13. 第 13 篇使用 NVIDIA NIM 和 Microsoft Phi-3-Vision 進行高效 OCR 識別：從食品包裝到多領域應用的實踐指南以 NVIDIA NIM 呼叫 Phi-3-Vision，辨識食品包裝上的文字。
  14. 第 14 篇Jetson AI Lab實戰啟航6-Ollama的Webui智慧助手以 Open WebUI 為 Ollama 加上區域網路可用的網頁介面。
  15. 第 15 篇Jetson AI Lab 實戰啟航7-執行 RAG 功能的 Jetson Copilot以 Jetson Copilot 讓本地 LLM 依自己的文件回答。
  16. 第 16 篇Jetson AI Lab實戰啟航8-多模態搜圖的NanoDB以 NanoDB 在本機用文字或圖片搜尋圖片。
  17. 第 17 篇Jetson AI Lab實戰啟航9-建立EffectiveViT測試環境在 Jetson 上建立 EfficientViT 的測試環境。
  18. 第 18 篇Jetson AI Lab實戰啟航10-OWL-ViT應用以 OWL-ViT 依文字提示偵測物件，省去人工標註。
  19. 第 19 篇Jetson AI Lab實戰啟航11-SAM2應用以 SAM2 分割圖片與影片中的物件。
  20. 第 20 篇Jetson AI Lab實戰啟航12-NanoLLM開發平台(1)：Python API接口說明NanoLLM 的 Python API 有哪幾類，各自提供什麼。
  21. 第 21 篇Jetson AI Lab實戰啟航13-NanoLLM開發平台(2)：語音對話助手以 NanoLLM 的 web_chat 搭建支援中文的語音對話助手。
  22. 第 22 篇Jetson AI Lab實戰啟航14-NanoLLM開發平台(3)：多模態語音助理將語音助理的模型換成 VLM，使其能看圖回答。
  23. 第 23 篇Jetson AI Lab實戰啟航16-NanoLLM開發平台(4)：視覺分析助手以 NanoLLM 的影片 API 與 VILA 分析影片與攝影機畫面。
  24. 第 24 篇Jetson AI Lab實戰啟航17-NanoLLM開發平台(5)：視覺資料庫分析助手以 video_query 在瀏覽器中對影片畫面提問並查詢資料庫。
  25. 第 25 篇Jetson AI Lab實戰啟航18-NanoLLM開發平臺(6)：AI Agent功能啟動 Agent Studio，認識 NanoLLM 內建的 agent 與 plugin。
  26. 第 26 篇Jetson AI Lab實戰啟航5-Ollama指令模式的智能助手以 Ollama 在終端機下載並執行本地 LLM。
  27. 第 27 篇Jetson AI Lab實戰啟航19-NanoLLM開發平臺(7)：Plugins解析NanoLLM 的 plugin 格式、基礎類型與原始碼解析。
  28. 第 28 篇Jetson AI Lab實戰啟航20-NanoLLM開發平台(8)：創建Agent在 Agent Studio 中連接 plugin，組出分析影片的 agent。
  29. 第 29 篇Jetson AI Lab實戰啟航21-強大的DeepStream 7DeepStream 7 的新功能，以及在 Jetson 上的安裝。
  30. 第 30 篇Jetson AI Lab實戰啟航22-體驗DeepStream 7-零售分析應用以 DeepStream 7、Kafka 與預訓練模型建置零售分析應用。