RTX 5090 Ubuntu PC #1
最適合「每天有人要產圖、跑 LTX、做語音轉錄/合成、偶爾跑 50B 以下 MoE」的辦公室節點。32GB VRAM 對最大 LLM 不是最寬裕,但對生成工作流的速度與相容性勝出。
圖片/影片最佳 CUDA 最完整 大 LLM 容量受限目標是同時支援 50B 以下 MoE LLM、圖片生成、STT/TTS 與 LTX 2.3。結論先講:若 LTX 2.3 和圖片生成是真工作量,優先看 RTX 5090 Ubuntu PC;若最大需求是「把大模型放進記憶體」,才看 GB10;Mac mini 48GB 是低噪音辦公機,但不是這組任務的主力生成機。
LLM 權重能放進去只是第一步。圖片、語音與 LTX 2.3 還會看 kernel、FP8、VAE/decoder、custom node 和 driver。
最適合「每天有人要產圖、跑 LTX、做語音轉錄/合成、偶爾跑 50B 以下 MoE」的辦公室節點。32GB VRAM 對最大 LLM 不是最寬裕,但對生成工作流的速度與相容性勝出。
圖片/影片最佳 CUDA 最完整 大 LLM 容量受限適合想把 70B、100B 甚至更大推論模型放在桌上測試,或需要 NVIDIA 官方 AI 軟體堆疊的團隊。它的問題不是不能跑,而是 128GB LPDDR5x 的頻寬只有 273GB/s,生成吞吐不會像高階 GDDR7 GPU。
模型容量最大 CUDA 但 Arm 需驗證 生成速度普通適合安靜、低功耗、容易放進行政辦公室的 LLM/轉錄工具機。它能跑量化 LLM、Whisper 類 STT 與部分 MLX/Metal 工作流,但 LTX 2.3 與主流 ComfyUI CUDA 節點不是它的強項。
低噪音低維護 中小 LLM 可用 LTX 2.3 不建議主力要「醫院辦公室能穩定產出內容」選 RTX 5090 PC;要「大模型容量展示與研究」選 GB10;要「安靜、少管理、跑小到中型模型」才選 Mac mini。若 Mac mini 目前缺貨,不建議因缺貨等待而犧牲 LTX/圖片生成能力。
| 項目 | Mac mini M4 Pro 48GB | GB10 / DGX Spark / ASUS GX10 | RTX 5090 Ubuntu PC |
|---|---|---|---|
| 公開價格快照 | 約 NT$6-8 萬級,依 512GB/1TB、10GbE、供貨而變動;目前 48GB 供貨風險高。 | 台灣 ASUS GX10 公開頁:1TB NT$125,900、4TB NT$159,900;DGX Spark 美國通路約 US$4k-4.7k 級。 | NVIDIA FE MSRP US$1,999 但常缺貨;台灣 5090 卡與整機常落在 NT$11-20 萬以上,取決於品牌、電源、散熱與保固。 |
| 記憶體 / VRAM | 48GB 統一記憶體,OS 與 GPU 共用;不是 48GB 專用 VRAM。 | 128GB LPDDR5x coherent unified memory,CPU/GPU 共用。 | 32GB GDDR7 專用 VRAM;系統 RAM 另配 64-128GB 較實際。 |
| 頻寬 | M4 Pro 273GB/s。 | 273GB/s,容量大但頻寬與 Mac M4 Pro 同級。 | 1792GB/s,對 diffusion、VAE、attention kernel 與批次吞吐非常關鍵。 |
| 功耗 / 辦公室條件 | 最高連續功率 155W,極安靜,小型辦公室最友善。 | 240W 外接電源,GB10 SoC TDP 140W,體積小,散熱比 PC 容易管理。 | 單卡 TGP 575W,整機常需 1000W 級 PSU;要規劃噪音、熱、UPS 與灰塵維護。 |
| 採購風險 | 48GB/高記憶體配置缺貨時程不穩。 | 多供應商可選,但 GB10 生態與價格仍在早期波動。 | GPU 缺貨與溢價明顯;但零件、維修、替換彈性最高。 |
建議路線是 MLX、Ollama、llama.cpp Metal、whisper.cpp、MacWhisper 類型工具。50B 以下 MoE 若是 4-bit/5-bit GGUF 或 MLX 量化,有機會可跑,但長 context、多人併發與影像/影片生成會吃掉共享記憶體。
GB10 的價值在 128GB coherent unified memory 與 NVIDIA AI 軟體堆疊。NVIDIA 官方定位包含 up to 70B fine-tuning 與 up to 200B inference,但實務上要驗證 Arm64 container、PyTorch/TRT-LLM、ComfyUI custom node 與模型格式。
最適合一般開源 AI 生態:vLLM、SGLang、TensorRT-LLM、ComfyUI、Diffusers、WhisperX、Kokoro/XTTS 類服務都比較直覺。缺點是 32GB VRAM 對大 LLM 嚴格,50B MoE 要靠 4-bit、KV 控制或 CPU offload。
| 任務 | Mac mini 48GB | GB10 | RTX 5090 Ubuntu PC | 建議 |
|---|---|---|---|---|
| 50B 以下 MoE LLM | 可跑量化模型;適合低併發問答與文件摘要。 | 最寬裕;可保留較長 context、較高量化品質與更多模型。 | 最快但容量最緊;32GB VRAM 需控管 quant、KV cache、batch。 | 容量優先選 GB10;速度與整體任務平衡選 5090。 |
| 圖片生成 | 可跑但速度、節點相容性和模型選擇較受限。 | 能跑 CUDA,但頻寬與 Arm 相容性會讓流程更像研究機。 | 最佳;ComfyUI、Diffusers、ControlNet/LoRA/IP-Adapter 生態完整。 | RTX 5090 明顯勝出。 |
| STT | 非常適合單機轉錄、會議紀錄、低噪音辦公部署。 | 也適合,但若只做 STT 性價比不高。 | 適合批次大量轉錄與多使用者 API。 | 少量用 Mac;大量用 5090。 |
| TTS | 輕量 TTS 可用;高品質多聲線模型需看 port。 | CUDA 可用但需檢查套件 Arm64。 | 最容易部署高品質神經 TTS 與多服務。 | RTX 5090 最省整合時間。 |
| LTX 2.3 | 不建議當主力;Metal/MLX 路線仍有不確定性。 | 容量夠,但要先驗證 LTX/ComfyUI 節點與實際速度。 | 最合理;32GB VRAM 正好符合 LTX image-to-video 建議門檻。 | RTX 5090 是唯一可直接承擔日常產出的選項。 |
Ubuntu LTS、NVIDIA driver、CUDA、Docker、NVIDIA Container Toolkit,再用 vLLM/ComfyUI/Whisper/TTS 分成服務。這是最容易找人接手的 AI 工程路線。
不要直接開公網。放在院內網段,用 VPN、反向代理、帳號權限與稽核紀錄。PHI 或病患資料要走本地儲存與清除政策。
圖片與 LTX 佔 GPU 時間很久,應做 queue。LLM/STT/TTS 可分成不同 container,避免一個影片任務卡住整台服務。
RTX PC 需要 UPS、空氣流通與定期清灰。GB10/Mac mini 較安靜,但仍要做監控、模型版本鎖定與自動重啟。
若預算允許,最穩的組合是「RTX 5090 PC 當生成/主服務節點」加上一台小型 Mac 或現有辦公機作前端管理。但三選一時,因為你把 LTX 2.3 放進需求,單機首選仍是 5090 PC。
48GB 不是專用 VRAM;高記憶體機型供貨可能拖;CUDA-only 專案、ComfyUI custom nodes、FP8 工作流常需要替代路線。採購規格書不要承諾 LTX 2.3 本地穩定產出。
128GB 很好,但 273GB/s 頻寬會讓大模型 decode 和 diffusion 吞吐受限;Arm64 與 GB10/Blackwell-specific 相容性要逐套件驗證。採購時應要求供應商示範院方指定模型與 ComfyUI workflow。
顯卡價格與缺貨波動大,整機耗電與散熱要求最高;5090 的 32GB VRAM 對 50B MoE 長 context 仍緊。採購規格書要要求 128GB system RAM、2-4TB NVMe、1000W+ PSU、三年以上到府或快速維修。
| 最後決策條件 | 選哪台 | 原因 |
|---|---|---|
| 辦公室每天需要產圖、短影片、TTS/STT API | RTX 5090 Ubuntu PC | CUDA 生態、GDDR7 頻寬、ComfyUI/LTX 相容性最直接。 |
| 主要是展示/研究大 LLM,可接受速度普通 | GB10 | 128GB unified memory 讓模型容量與較長 context 更寬裕。 |
| 只要安靜低功耗,主要跑摘要、轉錄、院內小工具 | Mac mini 48GB | 低噪音、低維護、macOS 易用;但不要把它當 LTX 主機。 |
本頁是 2026-05-20 的公開資料快照,價格與供貨必須以採購當日供應商報價為準。模型可跑與否也應用院方指定 workflow 實測,尤其是 LTX 2.3、ComfyUI custom nodes、TTS voice cloning 與任何會碰到病患資料的流程。