AI 顯卡點揀？RTX 4060 Ti 16GB vs RTX 5070 Ti 16GB，AI 訓練同推理的取捨

2026-10-19 ｜ AI 指南 ｜ 30 分鐘 ｜ 作者：Display Card King 編輯部

AI 顯卡點揀？RTX 4060 Ti 16GB vs RTX 5070 Ti 16GB，AI 訓練同推理的取捨

RTX 4060 Ti 16GB 同 RTX 5070 Ti 16GB 桌面版，最容易令人誤判的一點，正正係兩者顯示記憶體容量相同。容量相同，只代表「裝唔裝得落」的上限相近，唔代表速度相同，更加唔代表適用場景相同。真正拉開差距的，是記憶體頻寬、Tensor Core 世代、CUDA 核心數目、精度支援同功耗配套。

先講結論：同樣 16GB，唔等於同一張卡

RTX 4060 Ti 16GB 同 RTX 5070 Ti 16GB 桌面版，最容易令人誤判的一點，正正係兩者顯示記憶體容量相同。容量相同，只代表「裝唔裝得落」的上限相近，唔代表速度相同，更加唔代表適用場景相同。真正拉開差距的，是記憶體頻寬、Tensor Core 世代、CUDA 核心數目、精度支援同功耗配套。

選購之前，先問自己三條問題，順序唔好調亂：第一，目標工作負載裝唔裝得落 16GB？第二，裝得落之後，跑得快唔快？第三，部機的電源、散熱、機箱同軟件環境支唔支援到？如果第一關已經過唔到，後面兩關再靚都無用。如果第一關過到，先至值得比較速度同配套成本。

兩張卡屬於唔同價格帶，實際售價以店方公布為準。保養安排亦一樣，詳情請查詢，以品牌或者店方書面條款為準。以下所有規格數字，以 NVIDIA 官方產品頁為主，官方頁未直接列出的項目會註明為次級來源整理，唔會冒充官方口徑。

規格對照：同容量，不同底子

項目RTX 4060 Ti 16GBRTX 5070 Ti 16GB 桌面版
架構Ada LovelaceBlackwell
CUDA 核心4,3528,960
Tensor Core第 4 代，數量 136 顆（次級來源口徑）第 5 代，數量 280 顆
RT Core第 3 代第 4 代
官方 AI TOPS（廠方峰值）353 AI TOPS1,406 AI TOPS
FP32 Shader 效能22 TFLOPS（次級來源口徑）43.94 TFLOPS（次級來源口徑）
VRAM 容量16GB GDDR616GB GDDR7
記憶體介面闊度128-bit256-bit
記憶體速度18 Gbps（次級來源口徑）28 Gbps（次級來源口徑）
VRAM 理論頻寬約 288 GB/s（次級來源一致數字）約 896 GB/s
L2 快取32MB48MB
Boost 時脈2.54 GHz2.45 GHz
Base 時脈2.31 GHz2.30 GHz
TGP165W300W
官方建議系統電源550W750W
官方平均遊戲功耗140W（22 款遊戲平均）官方擷取頁面未列出對應數字
PCIePCIe Gen 4 x8PCIe Gen 5 x16
CUDA Capability8.912.0
NVLink不支援不支援
NVENC / NVDEC1 個第 8 代 NVENC，第 5 代 NVDEC2 個第 9 代 NVENC，第 6 代 NVDEC
DLSSDLSS 3.5DLSS 4

表入面有幾個數字，必須逐個拆開理解，唔好只睇表面。

第一，CUDA 核心數目比：8,960 除以 4,352，約為 2.06 倍。呢個只代表核心數量比，唔等於實測 AI 速度比。核心數目多，代表理論計算吞吐較高，但實際速度仲要受頻寬、精度、引擎、驅動、散熱同工作負載影響。

第二，AI TOPS 比：1,406 除以 353，約為 3.98 倍。呢個只係「官方峰值 TOPS 數字之比」，唔等於實測速度有該倍數。更加重要的一點：官方擷取頁面未喺同一位置說明兩者 TOPS 的精度口徑是否相同，例如一邊係咪計 INT8，另一邊係咪計 FP4。如果口徑唔同，直接比較倍數更加無意義。TOPS 係廠方標示的理論或者特定條件算力指標，唔等於任何具體模型的實測速度。任何將 TOPS 倍數寫成速度倍數的講法，都係誤導。

第三，時脈：RTX 4060 Ti 16GB 的 Boost 時脈 2.54 GHz，高過 RTX 5070 Ti 16GB 桌面版的 2.45 GHz。時脈高，唔代表整體較快。跨代比較，只睇時脈係最常見的誤讀之一。架構、核心數目、頻寬同精度支援的差異，遠遠大過呢 0.09 GHz 的差距。

第四，官方建議系統電源：550W 對 750W。官方註腳指出，最低要求按特定 CPU 配置而定，實際視整機配置而異。應理解為「官方建議」，而非「必須剛好」。實際電源需求仲要睇 CPU 檔次、配件數量、超頻同日後升級打算，後面配套一節會再講。

第五，AIB 廠商版本差異：NVIDIA 官方頁註明，規格為 Founders Edition 或者參考設計，實際出貨規格視 AIB 廠商而定。AIB 超頻版的時脈、供電同散熱可能唔同。購買前，必須以所買型號的廠商官方頁面為準，唔好假設所有同名卡都一樣。

架構代差：Ada 第 4 代 Tensor Core 對 Blackwell 第 5 代 Tensor Core

架構代差係今次比較的核心，唔只係「新對舊」咁簡單。

RTX 4060 Ti 16GB 屬於 Ada Lovelace 架構，配第 4 代 Tensor Core。根據 NVIDIA Ada 架構白皮書，相對 Ampere，Ada 的 FP16、BF16、TF32、INT8、INT4 Tensor TFLOPS 超過一倍，並包含 Hopper FP8 Transformer Engine。綜合白皮書同官方產品頁口徑，第 4 代 Tensor Core 的精度支援為 FP16、BF16、TF32、FP8、INT8、INT4。

RTX 5070 Ti 16GB 桌面版屬於 Blackwell 架構，配第 5 代 Tensor Core。NVIDIA 官方 5070 家族頁面稱「第五代 Tensor Core，FP4 下最高 AI 效能」。NVIDIA Blog 指出，RTX 5070 Ti 16GB 桌面版的第五代 Tensor Core 支援 FP4，可將效能提升一倍，並降低運行生成式 AI 模型所需的 VRAM。呢句係 NVIDIA 的官方說法同特定條件下的表述，唔係「所有模型、所有精度下都快一倍」。NVIDIA Blackwell 架構文件亦指出，第 5 代 Tensor Core 包含新的 FP4 能力，可將 AI 吞吐量提升一倍，同時將記憶體需求減半，並包含第二代 FP8 Transformer Engine。綜合架構文件同廠商資料，第 5 代 Tensor Core 的精度支援為 FP4、FP6、FP8、FP16、BF16、TF32。

最關鍵的分別：Ada 唔支援 FP4。FP4 係 Blackwell 第 5 代 Tensor Core 新加入的能力。Ada 並唔支援 FP4；FP4 亦唔係單純的軟件開關，而係 Blackwell 第 5 代 Tensor Core 新加入的硬件能力。

FP4 的意義，需要兩面睇。原理上，更低位元代表同一權重佔用 VRAM 更少，理論吞吐更高。廠方表述的「減半記憶體、一倍吞吐」，係喺特定條件下的說法。但量化誤差同模型、任務敏感度有關，低精度唔自動等於「畫質或者答案品質不變」。「FP4 零損失」並唔成立。FP4 能否用到，仲要睇引擎同模型是否支援，唔係買咗 Blackwell 卡就自動用到。

另外有一個爭議點必須講清楚：有第三方文章提出，Ada 的 FP8「可載入但會退回 BF16」，理由係缺乏縮放硬件。呢個說法同 NVIDIA 官方「Ada 支援 FP8」存在張力，不同來源對此說法不一，目前未核實。「Ada FP8 無用、會退回 BF16」不應當作事實，應以 NVIDIA 或者框架官方文件覆核為準。

精度名詞方面，統一用語有助避免混淆。FP32 係 32-bit 浮點，精度最高、佔用最大，訓練常以 FP32 主權重作穩定更新。FP16 同 BF16 係 16-bit 浮點，佔用約為 FP32 一半，推理權重常用 FP16 或者 BF16 估算，每參數約 2 bytes。FP8 係 8-bit 浮點，每參數約 1 byte，可以用作權重或者 KV cache 量化，節省約一半。FP4 係 4-bit 浮點，Blackwell 新支援，理論上每參數約 0.5 byte 級別，但實際佔用受縮放因子、分組同框架開銷影響，並非「一律 0.5 byte」。INT8 同 INT4 係整數量化格式，GGUF 常見的 Q8_0、Q4_K_M 等屬於整數量化家族。

Blackwell GeForce 的 INT8 明確官方支援，本次研究檢索未喺官方頁擷取文本中找到，「Blackwell 支援 INT8」並非已證實事實。INT8 是否有明確官方支援，目前未證實；如 INT8 對選購有影響，應另行以框架或者 NVIDIA 官方文件核實。

RT Core 同 DLSS 方面，只需輕輕帶過。RT Core 主要影響光追同渲染，DLSS 係遊戲技術，同 AI 訓練或者推理無直接關係。唔好將 DLSS 當作 AI 訓練效能證據。

VRAM 容量、頻寬、功耗：三軸分開講

容量、頻寬、功耗係三個唔同維度，絕對唔可以互相代替。容量決定「裝唔裝得落」，頻寬決定「解碼階段快唔快」，功耗同供電決定「部機支唔支援到、散熱點處理」。

第一軸：容量——裝唔裝得落

兩張卡同為 16GB，容量相同。容量決定模型權重加 KV cache 加激活值加框架開銷，能否同時放入 VRAM。放唔入，就會出現 OOM，或者被迫 offload、降量化、縮短 context、縮小 batch。

推理 VRAM 有一個粗略估算式，來自 OSC HOWTO：推理約為「2 乘參數量（十億）加 1 乘 context 長度（千）」GB。該式假設 FP16，量化會降低需求。此式為粗略估算，唔係保證。

權重佔用的粗略換算，一般原則如下：BF16 或者 FP16 約 2 bytes 每參數，FP8 約 1 byte 每參數，4-bit 約 0.5 byte 每參數，未計縮放同開銷。

以 8B 模型 BF16 計：權重約 8 乘 2 等於 16GB，已經接近 16GB 卡的容量上限。未計 KV cache 同開銷，實際上 BF16 8B 喺 16GB 卡上會非常緊絀，需要量化或者縮短 context、降低併發。呢個係算術示例，唔係實測結論。

另一組經驗法則，來自 Ollama 系統需求指南，喺 Q4 量化下：8GB 跑 7B 模型，16GB 跑 13B 至 14B，24GB 以上跑 32B。另一份 llama.cpp VRAM 指南，以 Q4_K_M 量化、32K context 計，給出參考：8GB 適合約 9B 參數模型，16GB 適合推大 context 或者約 20B 參數模型，24GB 適合約 35B 參數模型，context 擴大可額外增加 VRAM 需求。唔同指南的數字唔完全一致，原因係模型、量化、context、後端、開銷唔同。呢啲數字係該指南的估算，唔係通用保證。

結論係：兩張卡同為 16GB，「能載入的模型級別」大致相同。容量臨界點上，兩卡的天花板相同。5070 Ti 唔會因為較新，而令一個 17GB 的工作負載突然裝得落 16GB。

第二軸：頻寬——解碼階段的速度瓶頸

兩張卡理論頻寬：RTX 4060 Ti 16GB 約 288 GB/s（次級來源一致數字），RTX 5070 Ti 16GB 桌面版約 896 GB/s（NVIDIA Blog 加次級來源）。896 除以 288，約為 3.11 倍。呢個係理論頻寬比，唔等於實測速度比。

點解頻寬咁重要？要理解 LLM 推理的兩個階段。

Prefill 階段，處理整個 prompt，一次前向，屬於計算受限，決定首 token 時間。Decode 階段，逐個 token 生成，屬於記憶體頻寬受限，決定每個輸出 token 的間隔。Decode 嘅時候，每生成一個 token，都要重新讀取模型權重同不斷增長的 KV cache，因此頻寬往往係用戶感知延遲同吞吐的瓶頸，而唔係 FLOPS。

Roofline 模型概念亦講同一件事：一個 kernel 的可達速度，受「峰值算力」或者「峰值記憶體頻寬」其中較早碰到的上限約束，取決於算術強度，即每 byte 數據移動對應的 FLOPs。

因此，「VRAM 一樣」唔代表「推理速度一樣」。喺 batch 較小、decode 主導的聊天或者單人使用場景，頻寬差距傾向比 CUDA 核心數目差距更直接影響 token 生成速度。但實際差距受模型大小、量化、batch、context、引擎、驅動影響，3.11 倍唔等於實測速度比。喺 Prefill 主導的場景，例如長 prompt、一次性大量 prompt 處理，算力同 Tensor 吞吐的權重會上升，頻寬唔係唯一瓶頸。

吞吐同延遲亦必須分開。吞吐係單位時間總 token 數，batch 增大通常提升吞吐。延遲係單個請求等到首 token，或者每個 token 的時間。增大 batch 通常提升總吞吐，但唔一定降低單請求延遲，而且會增加 KV cache 同 VRAM 壓力。

仲有一個必須分清的概念：「有效頻寬」同「理論頻寬」。NVIDIA 曾以 L2 快取解釋 RTX 4060 Ti 16GB 的「有效頻寬」：發佈口徑稱 RTX 4060 Ti 16GB 因 L2 由 4MB 增至 32MB，有效頻寬達 554 GB/s。「有效頻寬」係 NVIDIA 的發佈口徑或者模型估算，唔係 GDDR 理論頻寬，唔可以直接同 RTX 5070 Ti 16GB 桌面版的 896 GB/s 理論頻寬並排比較，而聲稱差距只有約 1.6 倍。L2 較大可以緩解部分記憶體頻寬壓力，但唔係頻寬本身，「L2 大所以頻寬一樣」並唔成立。RTX 5070 Ti 16GB 桌面版的 L2 為 48MB，RTX 4060 Ti 16GB 為 32MB。

第三軸：功耗——支援門檻，唔係效能排名

TGP 方面，RTX 4060 Ti 16GB 為 165W，RTX 5070 Ti 16GB 桌面版為 300W，300 除以 165 約為 1.82 倍。官方建議系統電源方面，分別為 550W 同 750W。TGP 係散熱同供電設計指標，唔係等於實際每時每刻耗電。

RTX 4060 Ti 16GB 的官方平均遊戲功耗為 140W，係 22 款遊戲平均。RTX 5070 Ti 16GB 桌面版未喺擷取的官方頁面中找到對應的「平均遊戲功耗」數字。AI 負載功耗亦會因模型、batch 而變，唔好用遊戲功耗代替 AI 功耗。

功耗較低，唔代表「較差」，亦唔代表「較慳電就一定啱」。RTX 4060 Ti 16GB 的 165W，意味著對電源同機箱散熱要求較低，舊機升級門檻較低。RTX 5070 Ti 16GB 桌面版的 300W，意味著升級前要確認電源、供電線、機箱散熱同風道。電費方面，只列計算方法，無具體金額。用電量（kWh）等於功率（W）乘使用時間（小時）除以 1,000。電費等於總用電量乘每單位電價。電價以供電商公布的現行收費表為準。GPU TGP 唔可以直接等於整機電費，「5070 Ti 每月電費係 4060 Ti 的幾多倍」亦無依據。實際差距要以實測平均功率加運作時數加供電商收費表計算。

訓練 vs 推理：根本分別

訓練同推理，係兩種完全唔同的工作，揀卡標準亦完全唔同。將兩者用同一標準比較，係最常見的錯誤之一。

訓練：要梯度、優化器狀態同大量激活值

訓練係用數據調整模型權重，需要前向加反向傳播加優化器更新。推理係用已訓練好的模型做前向，產生輸出，唔更新權重。

訓練的 VRAM，由四部分組成，缺一不可：參數（權重）、激活值（前向儲存以供反向用，隨 batch 乘序列長度乘隱藏維度乘層數擴大）、梯度（與參數同形）、優化器狀態（例如 Adam 的動量同方差，每參數多個累積值）。

混合精度 Adam 訓練的常用會計估算：每參數約 16 bytes，包括 2 bytes 16-bit 權重加 2 bytes 梯度加 12 bytes（FP32 主副本 4 bytes 加 Adam 兩個動量估計各 4 bytes）。此為「常用估算」，實際視混合精度配方、優化器、框架而異。

以呢個估算計：8B 模型全參數混合精度 Adam 訓練，僅權重加梯度加優化器狀態已經約 8B 乘 16 等於 128GB，未計激活值，遠超單張 16GB 卡。結論好清楚：單張 16GB 消費級卡唔適合大型模型全參數訓練。唔好暗示「16GB 就可以全參數訓練 7B 或者 8B」。

另一份 OSC HOWTO 的訓練估算更加激進：訓練約需「40 乘參數量（十億）」GB，以 Transformer 加 Adam 加混合精度外推，例如 7B 模型約需 280GB。此為外推估算，激活值檢查點等技術可以降低需求。

激活值係訓練中最易失控的一項，隨 batch 同序列長度擴大。長 context 訓練的激活值同注意力成本會顯著上升。降低訓練記憶體的常用手段包括：激活值檢查點（以重算換記憶體）、梯度累積（以較小 micro-batch 模擬大 batch）、混合精度、8-bit 優化器、LoRA 或者 QLoRA。

激活值檢查點的取捨：PyTorch 官方文件指出，該技術以「計算換記憶體」，前向時唔保留檢查點段內的中間張量，反向時重算。梯度累積的取捨：GPU 每次只持有 micro-batch 的激活值同中間張量，但優化器軌跡可以等效於較大 batch，代價係更多前向同反向步驟。

推理：主要係權重加 KV cache

推理時以 `torch.no_grad()` 包裹，可以避免儲存中間激活值作反向傳播、避免建立計算圖、避免計算梯度，從而降低記憶體並提升速度。推理總 VRAM 可以分為：模型權重加 KV cache 加激活緩衝加 CUDA 同運行時開銷。

KV cache 公式（每 token）：KV bytes 每 token 等於 2 乘 KV head 數乘 head 維度乘層數乘每元素 bytes，再乘序列長度乘併發請求數，等於總 KV cache。

一個工作示例，來自 RunPod，以 Llama 3.1 8B Instruct、BF16、32 層、8 個 KV head、head 維度 128 計：4,096 token 序列約 512MB 每請求，50 個併發請求約 25GB KV cache，權重 16GB 加 KV 25GB 加 15% 開銷約 47GB，已經超過 24GB 卡。此為「該來源的工作示例」，唔係兩卡實測。用意係說明「併發加長 context 會令 KV cache 主導 VRAM」。

KV cache 佔比隨 context 同 batch 增大而上升。短 context 時，權重佔主導。長 context 或者高併發時，KV cache 可以佔較大比例。有第三方整理指，長 context 或者高併發時 KV cache 可佔 45% 至 65%，呢個屬於第三方估算或者經驗談，唔係定律。

GQA（Grouped-Query Attention）可以減少 KV head 數，從而降低每 token 的 KV cache。舊式多頭注意力若以全部 query head 作 KV head，同一長度下 KV cache 可以接近數倍。GQA 係模型架構特性，唔係兩卡的硬件功能。

推理開銷方面，RunPod 建議喺權重加 KV cache 之上，再加 15% 至 20% 作激活值、框架開銷、CUDA context。

對 16GB 卡的實務含義：單人、短 context、單一請求時，權重係主要佔用。多人、長 context、高併發時，KV cache 會迅速成為天花板。兩卡容量相同，故喺「裝唔裝得落」的臨界點上，兩卡的 KV cache 天花板相同。差別在於「裝得落之後跑得快唔快」（頻寬同算力）同「能否用 FP4 降低權重或者 KV 佔用」（僅 RTX 5070 Ti 16GB 桌面版有硬件 FP4）。

快的定義唔同

訓練同推理的「快」定義唔同。訓練看重吞吐，即每秒處理幾多 token 或者樣本，同能否喺合理時間完成 epoch。推理看重首 token 延遲同每 token 間隔，以及併發下的總吞吐。

一句話對照：訓練要梯度加優化器狀態加大量激活值，VRAM 需求遠高於同規模推理。單張 16GB 卡只適合小模型、LoRA、QLoRA、小 batch、短序列的實驗級訓練。推理無梯度同優化器狀態，主要為權重加 KV cache 加開銷，同一模型喺推理時所需 VRAM 遠低於訓練。16GB 卡可以覆蓋唔少中小模型推理，但受量化、context、併發三者制約。

框架實務：同一張卡，唔同框架，表現差好遠

PyTorch：訓練同推理的通用框架

PyTorch 推理時，應該以 `torch.no_grad()` 包裹評估代碼，避免儲存中間激活值同計算梯度。PyTorch 官方論壇回答確認，評估時唔需要梯度同中間激活值，記憶體較訓練低。

PyTorch 自動混合精度（AMP，`torch.amp.autocast`）可以將非敏感運算自動轉為 FP16 或者 BF16，敏感運算保留 FP32。GradScaler 可以防止 FP16 小梯度下溢為零。「AMP 自動令所有運算變快一倍」並唔成立，實際收益視模型同運算比例而定。

PyTorch 激活值檢查點（`torch.utils.checkpoint`）以重算換記憶體。官方文件指出，檢查點段內的前向張量唔會保留至反向，反向時重算。

對兩卡的含義：PyTorch 層面的記憶體優化（AMP、檢查點、梯度累積）兩卡都可以用。RTX 5070 Ti 16GB 桌面版的額外優勢在於硬件 FP4、FP8 同更高頻寬、算力，而唔係「只有 5070 Ti 先用到 PyTorch」。「4060 Ti 跑唔到 PyTorch」係錯誤說法。

llama.cpp 同 GGUF：本地 LLM 推理，單人或者輕併發常用

GGUF 量化命名：Q8 代表 8-bit，Q4 代表 4-bit，K_M 代表中等品質變體。位元越低，檔案越小、越快，但品質越低。

量化同 VRAM 的一般對照，來自 Qwen llama.cpp 指南：Q8_0 約為 FP16 的 50% 大小，接近無損。Q5_K_M 約 35%，編碼任務較保真。Q4_K_M 約 28%，係通用預設甜蜜點。Q3_K_M 約 22%，適合緊絀 VRAM。

另一來源的量化對照指出：7B 模型 FP16 約需 14GB VRAM，Q4_K_M 降至約 4 至 5GB，約減 70%。Q8_0 約減 50%，Q4_K_M 約減 70%，Q3_K_S 約減 75%。此為該來源估算，唔同模型同框架開銷會有出入。

llama.cpp 的 GPU offload，以 `-ngl N` 指定 offload 至 GPU 的層數，其餘層喺 CPU RAM 運行。`-ngl 0` 為全 CPU。offload 越多層通常越快，但超出 VRAM 時會 OOM 或者被迫分流。CPU offload 的代價係混合 CPU 同 GPU 推理明顯較慢。「裝得落」同「跑得順」係兩回事。

另一來源的經驗法則：完整 offload 的較小量化版本，往往勝過「高精度但要 CPU 同 GPU 分流」的版本，因為 CPU 同 GPU 傳輸開銷可以削減 token 吞吐。呢個屬於第三方經驗談，唔係定律。

KV cache 量化方面，llama.cpp 可以設 `--cache-type-k` 同 `--cache-type-v`，例如 q8_0，以較低精度儲存 KV，節省 VRAM。預設為 FP16 K 同 V。該來源指出無通用品質損失數字，須按模型同任務評估。

對兩卡的含義：llama.cpp 同 GGUF 場景下，兩卡同為 16GB，故「能載入的 GGUF 模型大小」相近。RTX 5070 Ti 16GB 桌面版的優勢主要在「載入後生成速度」（頻寬同算力）同「FP4、FP8 硬件路徑」（若引擎加模型支援），而唔係「能載入更大模型」。

vLLM：多併發服務推理

vLLM 的 PagedAttention 以分頁方式管理 KV cache，減少碎片同浪費，並支援前綴快取，重用相同前綴的 KV。vLLM 官方文件指出，`gpu_memory_utilization` 預設為 0.9，即模型執行器可用 GPU 記憶體的 90%，可設 0 至 1 之間。`enable_prefix_caching` 預設為 True。

實務含義：vLLM 啟動時會預留大部分 VRAM 作 KV cache 池。同一張卡上若同時跑其他 GPU 程式，容易 OOM。第三方指南指出，喺 24GB 卡上，vLLM 會佔用約 90% VRAM，同一卡再跑第二個 GPU 程式會即時 OOM。解決方法包括降低 `gpu_memory_utilization`。此為第三方指南的示例，唔係 vLLM 官方保證。

vLLM 官方記憶體節省指南建議：記憶體緊絀時應該限制 `max_model_len` 同 `max_num_seqs`。CUDA graphs 亦會額外佔用 GPU 記憶體。

vLLM 的 FP8 KV cache 方面，第三方指南指出，Hopper 同 Blackwell GPU 支援原生 FP8 KV cache，FP8 可以將 KV cache 記憶體減半，品質影響視應用而定。「FP8 KV 一定無損」並唔成立。

對兩卡的含義：vLLM 屬於多併發或者服務場景，KV cache 池同併發數會迅速食掉 16GB。兩卡喺「能同時服務幾多請求」的上限上相近，差別在於「每個請求的生成速度」同「能否用 FP8 KV 等低精度路徑」。單人使用時，llama.cpp 或者 Ollama 等較保守的引擎可能更慳 VRAM。vLLM 的預留策略唔代表「vLLM 一定較差」，而係設計取向唔同。

另一份比較指南亦指出，若用 vLLM 做多人或者高吞吐伺服，同一模型需要的 VRAM 比 llama.cpp 多，指南稱因分頁同批量緩衝，預留多約兩至三成，最低實用 VRAM 為 16GB，24GB 以上較理想。

ComfyUI：圖像生成

ComfyUI 方面，第三方喺實測或者整理的 VRAM 對照（batch size 1，無額外 ControlNet 或者 LoRA）如下：SD 1.5（512×512）約 4GB，SD 1.5（768×768）約 5GB，SDXL（1024×1024）約 8GB，SDXL 加 Refiner 約 12GB，SD 3.5 Large 約 12GB，Flux Dev（FP16）約 24GB，Flux Dev（FP8）約 13GB，Flux Dev（FP16，2048×2048）約 30GB。此為該來源的整理，實際視工作流程、ControlNet、LoRA、VAE、batch 而變。

另一來源的 ComfyUI VRAM 估算（16GB 卡語境）：基礎 ComfyUI 加 VAE 約 1.5 至 2GB，SDXL Base（1024×1024）約 6 至 8GB，SD 1.5（512×512）約 3 至 4GB，每個 ControlNet 約 1 至 2GB，Hi-Res fix 加放大約加 2 至 4GB，batch size 大於 1 時每張圖線性增加。

Flux 喺 16GB 卡上的關鍵：FP16 約需 24GB 權重，放唔入 16GB。FP8 量化約 13GB，可以放入 16GB。以上 13GB／24GB 為模型權重層面；計入文字編碼器、VAE 同運行開銷後，同一指南的總運作 VRAM 約為 FP8 18–23GB、BF16 30–33GB，因此喺 16GB 卡上要配合編碼器 offload／GGUF 量化等手段先至裝得落，唔係開箱即裝得落。第三方指出，FP8 對大多數 prompt 只有輕微品質差異。「FP8 零損失」並唔成立。

Flux 文件組成方面：FP16 的 `flux1-dev.safetensors` 約 24GB，另加 T5XXL（約 9.8GB）、CLIP_L、VAE。16GB VRAM 建議用 FP8 版本（約 12GB）加 FP8 T5（約 5GB）。注意：T5 等文字編碼器可以 offload，實際峰值視工作流程而定，唔好將各部分簡單相加當作「必須同時佔用的 VRAM」。

另一份比較指南指出，Flux.1 Dev 以 FP8 量化約需 18 至 23GB 總運作 VRAM（已計編碼器＋開銷），以 BF16 約需 30 至 33GB，喺 32GB 卡上都偏緊，建議用 FP8。以 GGUF Q8_0 量化約需 12GB，被該指南列為 16GB 卡的建議選項。Q5_K_S 約需 9GB，Q4_1 約需 8GB。按 VRAM 分級的解像度參考：16GB 卡 SD 1.5 最高約 2048×2048，SDXL 最高約 1536×1536，Flux（FP8）最高約 1280×1280。想超出 VRAM 允許的解像度，可以用 tiled VAE decoding 分塊處理，代價係生成時間較長，但質素相同。Stable Diffusion 3.5 Medium 模型檔約 11.6GB，該指南引述 Stability AI 估算，模型本身喺全效能下約用 9.9GB 顯示記憶體，未計讀取提示詞所需的記憶體。

對兩卡的含義：SD 1.5 或者 SDXL 級別，兩卡同為 16GB，容量上都裝得落，差別在生成速度（頻寬同算力）同能否同時掛更多 ControlNet 或者更大 batch。Flux FP16 級別，兩卡都裝唔落完整 FP16，必須用 FP8、GGUF 或者 offload，容量相同故「裝唔裝得落」的結論相同，差別在速度同 FP4、FP8 硬件路徑。

LoRA 微調同 QLoRA：訓練的輕量路線

LoRA（Low-Rank Adaptation）原理：凍結原始模型權重，只加入少量新的可訓練參數（低秩適配器）。訓練時只更新適配器參數。Hugging Face PEFT 文件指出，將帶適配器的模型交給 Trainer 訓練時，Trainer 只更新適配器參數，因為基底模型已經凍結。檢查點只含適配器權重，體積較小。LoRA 檢查點通常只有數百 MB 級別，輕量易儲存。

QLoRA 原理：將凍結的預訓練模型以 4-bit 量化儲存，再將梯度反向傳播至 LoRA 適配器。引入 4-bit NormalFloat（NF4）、雙重量化（量化量化常數）、分頁優化器（paged optimizers）以管理記憶體尖峰。QLoRA 論文摘要的關鍵結果：喺單張 48GB GPU 上可以微調 65B 參數模型，同時保留完整 16-bit 微調的任務表現。此為「48GB GPU 上的 65B」結果，唔可以直接推論「16GB 卡可微調 65B」。

QLoRA 的記憶體邏輯：凍結基底以 4-bit 儲存，大幅降低基底佔用。適配器本身以正常精度訓練，梯度同優化器狀態只針對適配器（少量參數），故總需求遠低於全參數訓練。

第三方指南的 16GB 卡微調對照（以 batch size 1、序列約 2,048 token 為假設）：RTX 4060 Ti 16GB 的 LoRA 約至 7B（緊絀）、QLoRA 約至 13B。並指出，70B 級即使 QLoRA 亦超出單張消費級卡，需要多卡或者雲端。此為該指南喺特定假設下的估算，實際視 rank、target modules、序列長度、優化器、激活值檢查點、框架而異。「16GB 保證可 QLoRA 13B」並唔成立。

另一份比較指南指出，以 7B 參數模型為例，唔同指南給出的 VRAM 參考範圍並唔完全一致：有指南稱 LoRA 約需 16 至 24GB，QLoRA 約需 8 至 12GB。另一指南稱 7B 模型以 16-bit LoRA 約需 16GB，4-bit QLoRA 約需 6GB。RunPod 指南稱 7B 模型 LoRA 總需求約 16 至 20GB，QLoRA 約 8 至 10GB。全參數微調對 VRAM 需求遠高於 LoRA 或者 QLoRA，有指南稱 7B 至 8B 模型全微調實際需要約 80GB 或以上 VRAM。Micro Center 指南的對照表亦稱，16GB 卡（包括 RTX 4060 Ti 16GB）以 LoRA 約可應付 7B 級別（偏緊），以 QLoRA 約可應付至 13B 級別，並註明上述 VRAM 數字假設 batch size 為 1、序列長度約 2,048 tokens，實際用量會變。系統記憶體方面，建議至少 32GB，64GB 較理想。

SDXL LoRA 訓練的硬件門檻，第三方指南稱 GPU 至少 16GB VRAM，系統 RAM 建議 32GB 或以上。此為該指南口徑，唔係官方最低要求。另一份 LoRA 記憶體對照，針對 SD3 級模型：全微調約 40 至 50GB VRAM，LoRA（r=32）約 12 至 16GB VRAM，速度快 2 至 3 倍。呢個「快 2 至 3 倍」係該來源整理對 LoRA 對全微調的比較，唔係兩卡之間的比較，唔好混淆。

對兩卡的含義：LoRA 或者 QLoRA 下，兩卡同為 16GB，故「能否開始微調」的門檻相近。RTX 5070 Ti 16GB 桌面版的優勢在於「微調迭代速度」（算力同頻寬）同「FP4、FP8 路徑」（若框架支援），而唔係「能微調更大模型」。若目標係較大模型或者較長序列，單張 16GB 仍會受限，需要考慮降 rank、縮短序列、梯度累積、激活值檢查點、8-bit 優化器，或者升級至更大 VRAM、多卡、雲端。

按場景選購框架：先定工作負載，再揀卡

以下框架係選購思路，唔係實測結果。每一格都要對回前面講過的事實。

本地 LLM 推理：私隱、離線、免 API 費用為主

典型用途：喺自己電腦跑開源 LLM，做寫作輔助、程式輔助、文件摘要、翻譯、學習問答。賣點係資料唔離開本機、唔使按用量付 API 費、離線都用到。

VRAM 係硬限制。若超出 VRAM，llama.cpp 須將部分層 offload 到系統 CPU 同 RAM，會嚴重拖慢推論速度。兩張卡同為 16GB，裝得落的模型級別大致相同。差別主要在推論速度（頻寬加 Tensor Core）同長時間運作的功耗、散熱。若主力係 7B 至 14B 級別、短至中等 context、單人使用，兩張卡都裝得落，取捨重點變成速度、功耗、預算同配套成本，而唔係「裝唔裝得落」。若經常要 32B 級別或者長 context，單張 16GB 卡本身已經係瓶頸，應該考慮更大 VRAM 的方案或者雲端、多卡方案，而唔係喺兩張 16GB 卡之間硬揀。

LoRA 微調：將開源模型調教成自己用途

兩張卡同為 16GB，微調「做唔做得到」的門檻大致相同，QLoRA 7B 至 13B 級別為主。RTX 5070 Ti 16GB 桌面版的優勢在迭代速度，同較高頻寬下處理較長序列或者較大 batch 時的餘裕。反過來，若要做 30B 以上級別、長序列、全參數微調，單張 16GB 卡唔係合適工具，唔好因為買咗新一代就以為可以硬上。接案或者研究用途若有交期，應該先以細模型加 QLoRA 試流程，確認 VRAM 同時間足夠先接大任務。

圖像生成：Stable Diffusion、Flux、ComfyUI 為主

圖像生成同樣係「16GB 夠入門到中階流程，複雜流程要取捨」。SD 1.5 或者 SDXL 單圖加少量 ControlNet，兩張卡都應付到。Flux Dev 全精度、SDXL 加多個 ControlNet 加 Hi-Res 加大 batch 同時開，16GB 好易逼近上限。RTX 5070 Ti 16GB 桌面版的頻寬優勢喺「出圖速度」較明顯。但「出唔出到」主要睇 VRAM 同工作流程設計（量化、tiled 解碼、拆步驟、分批出圖），唔係單靠換新一代解決。接案出圖要預留重試同放大時間，唔好以單張圖的理想時間推算全批交期。

影片生成：本地開源影片模型

大型開源影片模型對 VRAM 需求遠高於圖像模型。根據 Spheron 影片 AI GPU 指南：Wan 2.1（480p）約需 40 至 48GB（FP8 量化下），Wan 2.1（720p）約需 65 至 80GB，HunyuanVideo（720p）約需 60 至 80GB，HunyuanVideo（1080p）約需 100 至 120GB。相對較輕的選項：LTX-2.3（720p）約需 24 至 32GB，CogVideoX-1.5-5B（720p）約需 24 至 32GB，8-bit 量化可降至約 16GB。ComfyUI 指南稱 Wan 2.2 TI2V-5B 以原生 offloading 可以裝入 8GB，Wan 官方稱 Wan 2.1 T2V-1.3B 需 8.19GB（Wan 官方口徑，480p T2V；實際視工作流程／offload 而變），但預期生成慢、片段短。影片生成時間以分鐘計，即使喺最佳數據中心硬件上亦然。

結論必須講清：本地高質素影片生成唔係 16GB 卡的主場。兩張卡都只適合輕量影片模型、低解像度、短片段、offloading 加量化試驗，或者用作學習流程。要跑 Wan 2.1 14B、HunyuanVideo 全質素等，應該考慮雲端 GPU 或者大 VRAM 工作站卡，而唔係喺兩張 16GB 卡之間揀。買咗 RTX 5070 Ti 16GB 桌面版，亦唔等於可以本地順跑 720p 大型影片模型。

學習同研究

典型用途：學生、研究員、自學者跑教學範例、復現論文流程、試新框架、做課程功課。重點係「兼容性加穩定性加可重現」，而唔係極限速度。

PyTorch 2.7.0 起先支援 Blackwell（CUDA 12.8 wheel），舊版 wheel 會報錯「sm_120 is not compatible」。學習或者研究若跟舊教材、舊 repo、舊 Docker image，RTX 4060 Ti 16GB（Ada，sm_89）的兼容門檻較低，較少遇到「新卡但舊環境唔認」的問題。RTX 5070 Ti 16GB 桌面版需要較新的驅動加框架版本，開新 project 無問題，但復現舊 project 時要預留升級或者重建環境的時間。學校或者實驗室若有統一環境版本，應該先確認該版本支援邊一代卡先落決定。

接案：小型工作室

典型用途：接圖像生成、本地 LLM 部署、微調、內容製作等案子。重點係「準時交貨加可重試加有後備方案」，唔係單一任務最快。

接案取捨應該睇「整體系統可靠性」多過「單卡理論速度」，包括電源餘裕、散熱、備份、模型同工作流程是否已經喺該卡上實測通過、超時點算（雲端後備定係分批交貨）。若案子涉及大型影片模型或者 32B 以上 LLM，單張 16GB 卡唔應該承諾本地全流程完成。應該喺報價前先講明交付方式（本地加雲端混合、定係分階段交付），避免中途 OOM 或者趕唔切交期。

香港環境的一般考慮：家居或者小型工作室空間有限，長時間滿載運作時要留意機箱通風、室內散熱、噪音對同住者或者鄰居的影響，以及長時間開機的電費計算。呢啲係選購前要自行評估的實際條件，唔係卡本身的規格。

性價比取捨框架：唔好用「邊張抵啲」一刀切

正確問法係四條：第一，裝唔裝得落？VRAM 容量決定模型或者流程能否運行。兩張卡同為 16GB，此關大致打和。第二，跑得幾快？頻寬加 Tensor Core 加核心數目決定速度。RTX 5070 Ti 16GB 桌面版傾向較快，尤其推論、圖像生成、批量處理。第三，成套要幾多錢？唔止卡價，電源、散熱、機箱、甚至主機板同 CPU 配合都可能要跟住升級。第四，用唔用得着？框架支援、舊 project 兼容、實際任務規模。若任務本身唔需要 RTX 5070 Ti 16GB 桌面版的速度，慳落嚟的配套成本可能更值得。

按傾向整理如下：預算同配套有限、舊機升級、主力 7B 至 14B 推理加 SDXL 以下圖像生成、跟舊教材或者舊環境，傾向考慮 RTX 4060 Ti 16GB 新卡，理由係 TGP 較低、官方建議系統電源較低、Ada 兼容門檻較低，VRAM 同為 16GB，裝得落的模型級別大致相同。追求推論或者出圖速度、經常批量處理、長 context、接案趕交期、開新 project 且願意用最新驅動加框架，傾向考慮 RTX 5070 Ti 16GB 桌面版新卡，但要預留較高電源、散熱、機箱配套成本，並確認框架版本支援 Blackwell。主力大型影片模型或者 32B 以上 LLM 長 context，兩張 16GB 卡都唔係合適主工具。預算極緊、願意自行驗收加承擔二手風險、只作學習或者試驗，可以考慮二手 RTX 4060 Ti 16GB，認證二手或者有書面保養安排者優先。

唔好用嚟比較的指標：唔好用「Boost 時脈」直接比快慢。唔好用「TOPS」直接等於實測速度。唔好用「同樣 16GB」推論「性能一樣」。

二手 vs 新卡驗收：二手唔係平咁簡單

二手 RTX 4060 Ti 16GB 的吸引力，在於「入門成本一般較低加配套成本較低（電源、散熱要求較低）加 Ada 兼容門檻較低」。代價係「來歷不明、損耗不明、保養安排較複雜、剩餘壽命不確定」。

新 RTX 5070 Ti 16GB 桌面版的吸引力，在於「速度較高加全新狀態加原廠或者店方保養安排較清晰」。代價係「整體配套成本較高加需最新軟件環境加屬較高價格帶（以店方公布為準）」。

決策關鍵唔係「二手定新卡邊個抵」，而係「你願唔願意加識唔識驗收」。若無時間、設備、經驗做足驗收，或者買嚟接案趕交期，二手的高不確定性可能抵銷價差。若有驗收能力且只作學習或者試驗，二手可以係合理入門途徑。

「認證二手」唔係 magic word。重點係邊個認證、驗過乜、保養點寫、有無書面紀錄同退換安排。唔好因為個名有「認證」就當等於新卡。

驗收要點，全部為通用指南整理，唔係保證：

驗收清單：問歷史、睇實物相或者影片、壓力測試、監察溫度加頻率、睇花屏、核對規格、實際工作流程試跑、確認保養或者退換書面安排、先付款。任何一步唔通過，都應該重新評估，唔好因為「平」而跳過。做曬驗收，唔等於保證無問題。

礦卡的最大風險在於「剩餘壽命不確定」。即使經過適當修復（換散熱膏、清塵、刷回原廠 BIOS），亦無人能保證挖礦用卡可以用幾耐。隱藏缺陷，例如 VRAM 或者 GPU 問題，可能幾個月後先浮現。外觀乾淨唔等於內部狀態良好。以下斷言並唔成立：「所有礦卡都壞」、「礦卡一定唔用得」、「某個溫度即係礦卡」、「跑分正常即係無問題」。事實係：「礦卡風險在於來歷同損耗不確定，須以實測加書面保養安排降低風險，但仍無法完全排除隱藏缺陷。」未找到可靠公開來源，可以單憑外觀、溫度、跑分百分百分辨一張卡是否曾經挖礦。「一眼分辨礦卡」並非可靠方法。

保養方面，原廠保的關鍵字係「原買家加授權渠道加書面條款」。NVIDIA 官方 GeForce 保養常見問題指出：保養只適用於由授權零售商、郵購、網上零售店購買的原裝產品。以二手方式取得產品的人士不受保。保養唔涵蓋與製造缺陷或者硬件產品故障無關的問題，包括濫用、誤用、疏忽、天災、未經授權維修、軟件問題、運輸損壞等。在數據中心或者 GPU 叢集商業部署中使用亦會令保養失效。索償時應該先聯絡當地授權分銷商或者經銷商，若直接向 NVIDIA 購買則聯絡 NVIDIA 客戶服務。

個別品牌（PNY）的保養文件列明：保養不可轉讓。由二手來源購買的產品不受該品牌保養。該品牌只為授權零售商、系統組裝商、分銷商售出的產品提供保養，且只對原買家有效。保養只適用於正常使用及按安裝指南安裝、保養、操作的情況。若產品曾被誤用、疏忽、不當安裝、意外損壞，或者以影響性能、可靠性的方式維修或者改裝，保養條款不適用。保養文件亦列明，若產品以任何程度作正常預期用途以外的用途（包括挖礦），保養不適用。以上係該品牌文件的例子，唔係普遍標準。

常見誤解：「有盒有單即係有原廠保」，唔一定，仲要睇購買渠道是否授權、是否原買家、是否已登記（如品牌要求登記）、是否曾改裝或者挖礦等除外條款。「外國買返嚟都有保」，唔一定，保養可能有地區限制，詳情請查詢。

店保係由售賣店方自行提供的保養安排，唔等於原廠保。店保的覆蓋範圍、期限、維修、換貨、退款安排、除外條款、索償流程、是否需要原收據或者原包裝，全部由店方定義，唔同店可以差好遠。購買前應該要求店方提供書面條款，並核對覆蓋乜、唔覆蓋乜、保養期點計、索償要搵邊個、索償要提供乜文件、維修期間有無代用安排、退換條件。詳情請查詢，以店方公布為準。店保的價值取決於「店方是否仍然營業加條款是否寫得清加有無書面紀錄」。口頭承諾唔足夠，應該保留收據、保養卡或者書面條款、序號相、交收紀錄。

「全新、二手、開盒、翻新、Renewed 唔係同一樣嘢」：全新應為密封、完整原廠保養、原裝配件、無先前使用。開盒一般係客戶退貨或者陳列品，盒已開，可能接近全新，但應由信譽良好的零售商連退換期出售。二手即係第二手，狀態可好可壞，可能被濫用、維修、改裝、挖礦、清潔、換散熱膏或者半損壞，需要證據。翻新應指經過檢查、測試、清潔、如有需要維修，再連某種保養轉售，但翻新質素好大程度取決於邊個做。Renewed 好多時係平台用語，有時指妥善測試，有時只指賣方插電見到有畫面就當翻新。

有指南提出的安全性排序建議，僅為該指南的排序建議，唔係普遍事實：原廠翻新優先，其次係大型零售商開盒或者認證翻新，再次係信譽良好的專業翻新商，再次係可即場測試的本地賣家，最後係匿名平台刊登。該指南亦指出，平台交易唔一定無可能，但風險較高，價格應該足以反映風險。標籤本身的重要性，不及來源、保養、證據重要。

保養索償的一般流程概念：聯絡零售商或者製造商、取得 RMA 編號、寄回故障卡作維修或者更換。索償前應該準備原收據或者發票、序號、購買渠道證明、故障描述加測試紀錄（例如壓力測試結果、花屏相或者片、溫度紀錄）、原包裝（如有）。保留所有對話同文件副本。「保養一定包換新卡」或者「保養期內一定免費維修」並唔成立。維修、更換、退款安排以該品牌或者店方書面條款為準，詳情請查詢。

配套：電源、散熱、機箱、記憶體

買顯卡，唔好只計卡價。成套成本包括顯卡本身、電源（可能要升級）、機箱（可能要換大或者加風扇）、系統記憶體（可能要加至 32GB 或者 64GB）、儲存（可能要加 NVMe 空間放模型）、散熱、清塵、風道改善。各項配套價格以店方公布為準。

電源：唔好只睇卡的 TGP，要睇成套系統

NVIDIA 官方建議系統電源：RTX 4060 Ti 16GB 為 550W，RTX 5070 Ti 16GB 桌面版為 750W（以高階 CPU 配置為基準，實際需求因系統配置而異）。

第三方 PSU 對照表（ASUS、CORSAIR）均顯示：同一張卡配愈高階 CPU，建議 PSU 瓦數愈高。例如 ASUS 表中，RTX 4060 Ti 16GB 配中階 CPU 建議 550W，配高階 CPU 建議 650W，配頂級或者 HEDT 平台建議 750W。RTX 5070 Ti 16GB 桌面版配中階 CPU 建議 650W，配中高階 CPU 建議 750W，配高階或者頂級平台建議 850W。CORSAIR 表的 RTX 5070 Ti 16GB 桌面版建議在個別 CPU 檔次上較 ASUS 表更高。CORSAIR 指南提醒：對照表已計入一般系統的散熱、儲存、記憶體等需求。若加額外配件，應該預留額外餘裕。若打算超頻或者日後升級更高功耗零件，亦應該預留額外容量。選擇 PSU 前應該先確認 GPU 的電源接頭同線材要求。

實務要點：舊機升級去 RTX 5070 Ti 16GB 桌面版時，唔好只睇「舊火牛幾多 W」，仲要睇火牛有無足夠的 PCIe 8-pin 線、是否支援 300W 或以上 PCIe Gen 5 線、火牛是否符合 PCIe CEM 5.1 等新規範（NVIDIA RTX 5070 Ti 16GB 桌面版頁面註明建議用符合 PCIe CEM 5.1 的 PSU）、火牛年齡同狀態、12V 輸出能力。唔確定的，應該以卡廠商型號的官方規格加 PSU 廠商的計算器為準，唔好憑「W 數夠」就當掂。

供電接頭（參考設計）方面：RTX 4060 Ti 16GB 為 1 條 PCIe 8-pin 線（盒內有轉接頭）或 300W 或以上 PCIe Gen 5 線，個別廠商型號可能用 1 條 PCIe 8-pin 線。RTX 5070 Ti 16GB 桌面版為 2 條 PCIe 8-pin 線（盒內有轉接頭）或 300W 或以上 PCIe Gen 5 線。實際以所買的廠商型號規格為準。

常見買錯：買咗 RTX 5070 Ti 16GB 桌面版但沿用舊 550W 火牛，或者轉接頭插唔穩，或者用單條線分叉供電，導致高負載時重啟或者死機。升級前先核對電源，此處並無具體事故個案。

散熱：長時間滿載唔等於打機短時間滿載

NVIDIA 官方最高 GPU 溫度：RTX 4060 Ti 16GB 為 90°C，RTX 5070 Ti 16GB 桌面版為 88°C。呢個係官方上限，唔係「日常健康運作目標溫度」。長期貼近上限運作，應該檢查散熱。

長時間滿載（訓練、推理、批量出圖）的散熱含義：AI 任務經常令 GPU 連續幾小時維持高負載，機箱內熱量持續累積。相比打機時負載有高有低，AI 滿載對機箱風道、進風、排風、散熱器積塵、室溫的敏感度更高。若機箱風道差、前面板密封、散熱器積塵、室溫高，即使卡本身散熱器正常，溫度都可能長期偏高，進而降頻、變慢、風扇噪音變大。

噪音方面，並無具體分貝數字。風扇轉速隨溫度上升而提高。長時間滿載時風扇噪音會比閒置或者輕載時明顯。選購前應該考慮放置位置、機箱隔音、風扇曲線設定同使用時段。

散熱檢查清單：機箱有足夠進風加排風空間，GPU 前方或者下方唔好被硬碟架或者線材完全擋住，定期清塵，唔好將機箱塞入密封櫃，長時間任務期間留意溫度同頻率（可以用監測工具）。若溫度長期貼近官方上限，應該先改善風道或者清塵，而唔好即刻認定係卡故障。

長時間滿載的實際影響，通用描述如下：散熱方面，機箱內熱量持續累積，室溫會上升，夏天尤其明顯。噪音方面，風扇長時間高轉，夜晚或者同住環境下較易察覺。硬件損耗方面，風扇、散熱膏、電源長期高負載，損耗較間歇使用快，應該預留保養、清塵、檢查時間。工作安排方面，長時間任務應該分段跑、留檢查點，避免一次跑幾小時中途死機要由頭嚟過。

機箱：先量度，後買卡

檢查機箱兼容的方法：量度 GPU 由支架到散熱器或者 PCB 尾端的長度，再對比機箱的「最大 GPU 長度」。同時確認槽位數、散熱器厚度、電源線走向。

PSU 遮罩、前置水冷排加風扇、硬碟架都會減少可用深度。指南提醒，PSU 遮罩會減少可用深度，應該由後方支架量度至遮罩邊緣。前置 AIO 水冷排加風扇組合約厚幾十毫米，必須由機箱最大 GPU 長度中扣除。

同一 GPU 型號、唔同廠商版本，長度可以差好遠，因為散熱器設計唔同。對兩張卡的含義：RTX 4060 Ti 16GB 參考設計較短（244 mm、2-Slot），一般較易裝入舊機箱。RTX 5070 Ti 16GB 桌面版各廠商版本尺寸差異大，官方頁面列明 Length、Width、Slots 皆為 Varies by manufacturer，個別三風扇或者三槽版本較長較厚。買前必須核對該型號的實際長、闊、槽位數加機箱的最大 GPU 長度加槽位數，唔好只認「5070 Ti」就當裝得落。細機箱（ITX 或者細塔）用家尤其要量度清楚。

主機板、CPU、系統記憶體、儲存配合

RTX 4060 Ti 16GB 用 PCIe Gen 4，RTX 5070 Ti 16GB 桌面版用 PCIe Gen 5。兩卡均支援 Resizable BAR。舊主機板一般仍可安裝新卡（PCIe 向下兼容），但應該確認 BIOS 已更新、Resizable BAR 已啟用、PCIe 插槽有足夠空間唔被其他卡阻擋。「舊底板一定用唔到 5070 Ti」或者「PCIe Gen 4 底板會令 5070 Ti 慢某百分比」係未證實的斷言。PCIe 世代唔係 AI 推論或者訓練的主要瓶頸，VRAM 加頻寬加軟件支援先係。舊底板用家應該先確認 BIOS 加 Resizable BAR 加實體空間。

單卡推理若模型已完全喺 VRAM 內，PCIe 通常唔係瓶頸。多卡訓練的梯度同步、張量並行等跨卡通訊先會更受 PCIe 限制。

系統記憶體方面，多份本地 AI 指南建議，AI 工作負載應該配至少 32GB 系統記憶體，認真工作負載以 64GB 較理想。微調指南亦稱系統記憶體至少 32GB、64GB 較理想，因為數據集會先喺主記憶體載入同預處理。

儲存方面，LLM 模型檔案大，單一模型可佔 10GB 至超過 80GB。指南稱快速 NVMe SSD 係必需，可以大幅縮短模型載入時間。建議由 1TB 起跳。

CPU 角色方面，CPU 負責管理流程、數據準備同系統反應。GPU 負責繁重 AI 運算。指南稱現代多核心 CPU 已足夠，CPU 唔係運行模型的主角，但太弱的 CPU 仍會拖慢整體流程。

多卡同升級路徑方面，兩卡的 NVLink 皆為不支援。無 NVLink 時，多卡可以經 PCIe 溝通。vLLM 等引擎支援經 PCIe 的張量並行或者 P2P DMA，但頻寬同延遲遠低於 NVLink。典型消費級主機板插兩張卡時，PCIe 通道會拆分為 x8、x8（CPU 通道數限制）。第三方對雙卡推理的經驗談存在分歧，一派指 batch=1 的單流生成下，PCIe 4.0 x8、x8 同 x16、x16 的吞吐懲罰通常在 3% 至 5% 以內，因為生成主要受 VRAM 頻寬約束。另一派指 NVLink 可以提升雙卡張量並行推理吞吐約 50%（2 卡）或者約 10%（4 卡，部分配對有橋）。兩者測試條件唔同，唔可以直接互相推翻或者當作兩卡實測。

升級路徑的一般概念：若瓶頸係「模型裝唔落」，加第二張同級卡可以增加總 VRAM（需要框架支援張量或者流水線並行），但要接受 PCIe 通訊開銷、主機板、電源、機箱、散熱成本，以及兩卡無 NVLink 的限制。若瓶頸係「裝得落但跑得慢」，升級至更高頻寬、算力的單卡，通常比「買多張同級卡」更直接，因為可以避免跨卡通訊。若瓶頸係「訓練規模」，單張 16GB 消費級卡的天花板較低。較大訓練通常要更大 VRAM、工作站卡、多卡或者雲端，而唔係「買多張 16GB 就自動解決」。升級前必須確認電源、機箱空間、散熱、主機板 PCIe 插槽同通道分配、驅動、框架對新卡 CUDA Capability 的支援。「升級一定划算」並唔成立。

軟件兼容：買咗新卡但框架未支援

呢個係常見買錯類型之首，尤其係 RTX 5070 Ti 16GB 桌面版。

Blackwell 世代（GeForce RTX 50 系列）對應 sm_120，需要 CUDA 12.8 或以上版本支援。PyTorch 喺 2.7.0（2025 年 4 月）先正式加入 Blackwell 支援，提供 CUDA 12.8 版本（cu128）安裝包。其後 2.8、2.9、2.10 版本線亦支援。若安裝舊版 PyTorch wheel，會出現類似「sm_120 is not compatible with the current PyTorch installation」的錯誤。

TensorRT 方面，第一個支援 sm_120 的版本為 TensorRT 10.8.0。以 TensorRT 8 系列預設設定建立的 .engine 或者 .plan 檔案，一般無法直接喺 sm_120 上重用，應該假設要重建。PyTorch 論壇官方回覆指出，Blackwell 支援需要 CUDA 12.8 或以上版本的安裝包，喺 Windows 上同樣適用。

實務檢查清單（買 RTX 5070 Ti 16GB 桌面版前或者後必做）：更新 NVIDIA 驅動、安裝 CUDA 12.8 或以上版本對應的 PyTorch（cu128 或更新）、確認 `torch.cuda.get_arch_list()` 包含 sm_120、重新建立或者轉換 TensorRT engine、用一個細模型試跑推論，確認無「no kernel image」或者「sm_120 not compatible」錯誤。唔好假設舊 Docker image、舊教學指令可以直接喺新卡上跑。

RTX 4060 Ti 16GB 的 CUDA Capability 為 8.9（Ada Lovelace），屬於較成熟的世代，舊版 PyTorch、CUDA 棧支援較廣。跟舊教材、舊 repo、舊 Docker image 時，RTX 4060 Ti 16GB 較少遇到「新卡但舊環境唔認」的問題。RTX 5070 Ti 16GB 桌面版則要預留升級環境的時間。呢點唔等於「4060 Ti 比較先進」，而係「4060 Ti 的軟件生態較成熟，舊 project 復現成本較低」。

驅動版本方面，新卡要用較新驅動。舊驅動可能唔認新卡或者無法啟用新功能。購買前應該到 NVIDIA 官方驅動頁確認作業系統對應的最新驅動。ComfyUI、Ollama、llama.cpp 等工具，版本愈新，對 Blackwell 的支援愈完整。用舊版安裝包可能需要手動指定 CUDA 版本或者重新編譯。安裝前應該先睇該工具的官方說明或者版本紀錄。每一個 ComfyUI 插件或者舊版自訂節點喺 Blackwell 上的兼容狀態未逐一驗證。「所有插件都支援 5070 Ti」並唔成立。主流工具已支援，但個別插件或者舊節點可能需要更新，請以該插件的官方說明為準。

常見買錯與避坑

VRAM 唔夠導致 OOM（最常見）

OOM 的成因：模型參數、梯度、中間激活值等加埋超出 GPU VRAM，即會出現 `RuntimeError: CUDA out of memory`。批次愈大、模型愈大、未釋放的張量愈多，愈易 OOM。即使總 VRAM 足夠，若可用記憶體碎片化成細塊，大張量亦可能裝唔入。

常見應對方法：減 batch size。用梯度累積模擬大 batch。用混合精度。用梯度檢查點。用量化，例如 8-bit、4-bit 載入。清 cache、重開 kernel。轉用較細模型。NVIDIA NIM 指南亦指出，CUDA graph 捕捉、warmup 階段都可能 OOM。降低 GPU 記憶體使用率或者停用 CUDA graph 可以騰出空間，但會降低推論吞吐。

買錯情境（通用）：用家只睇「16GB 夠大」，但同時開兩個大模型，或者開 SDXL 加多個 ControlNet 加 Hi-Res 加大 batch，或者開 Ollama 加 ComfyUI 共用同一張卡，結果 OOM。正確做法：買前先列出「會同時開乜」加「最大 batch、最大解像度、最長 context」，再對回 VRAM 預算。唔好假設「16GB 即係乜都得」。

同卡共用例子：16GB 卡上，Ollama 14B 模型約佔 VRAM 加 SDXL 1024×1024 約佔 VRAM，兩者相加已經接近上限。再加 Hi-Res 加 ControlNet，好大機會 OOM。

買咗新卡但框架未支援

見上一節：RTX 5070 Ti 16GB 桌面版（sm_120）需要 CUDA 12.8 加、PyTorch 2.7.0 加（cu128）、TensorRT 10.8.0 加。舊版會報錯或者無法重用舊 engine。

買錯情境（通用）：用家買咗新一代卡，沿用舊教學、舊 Docker image、舊 repo 的安裝指令，結果裝完跑唔起，誤以為係卡故障。正確做法：買前先確認常用框架、工具的版本支援新卡。買後先用細模型試跑，確認環境正常先跑大任務。

功耗、電源唔夠

見配套一節：RTX 5070 Ti 16GB 桌面版官方建議系統電源 750W，RTX 4060 Ti 16GB 為 550W。實際需求隨 CPU 檔次而變。需要確認接頭同線材。

買錯情境（通用）：用家只計卡價，沿用舊火牛，結果高負載時重啟、死機、花屏，誤以為係卡故障或者驅動問題。正確做法：升級前核對火牛瓦數、接頭、線材、年齡，預留餘裕。

機箱裝唔落、散熱唔夠

見配套一節：RTX 5070 Ti 16GB 桌面版各廠商版本尺寸差異大。機箱最大 GPU 長度、槽位數、PSU 遮罩、水冷排都會影響可用空間。長時間滿載對風道要求較高。

買錯情境（通用）：用家買咗三風扇長卡，返到去先發現機箱裝唔落，或者裝得落但前面無入風位，結果溫度長期偏高、降頻、噪音大。正確做法：買前量度機箱加核對該型號尺寸。

買錯 VRAM 版本、買錯「同名唔同容量」

RTX 4060 Ti 16GB 有 8GB 同 16GB 兩個版本。購買時必須核對 16GB。買錯情境（通用）：用家只認「4060 Ti」，無核對容量，買返 8GB 版，結果跑 14B 模型或者複雜出圖流程時 OOM。正確做法：收貨時核對包裝、規格欄、系統顯示的 VRAM 是否為 16GB。

以為「新一代即係乜都得」——忽略任務本身的 VRAM 天花板

買錯情境（通用）：用家以為買咗 RTX 5070 Ti 16GB 桌面版就可以本地跑大型影片模型、32B 以上長 context，結果發現 VRAM 依然唔夠。正確做法：大型任務的瓶頸係 VRAM 容量，唔係代數。應該先確認目標模型的 VRAM 需求，再決定係買大 VRAM 卡、定係用雲端、多卡、量化加 offloading 方案。

二手無驗收、無書面保養就付款

見二手一節：二手須問歷史、要求實測、檢查外觀、溫度、VRAM、確認保養、退換安排。

買錯情境（通用）：用家只睇外觀乾淨加賣方一句「運作正常」就付款，返到去壓力測試先發現花屏、降頻、死機，但已無退換安排。正確做法：驗收加書面安排先，付款後。

忽略系統記憶體、儲存、備份

見配套一節：AI 工作負載建議至少 32GB 系統記憶體、快速 NVMe 儲存。模型檔案大，單一模型可佔 10GB 至超過 80GB。

買錯情境（通用）：用家將全部預算放喺顯卡，系統記憶體只有 16GB、硬碟得返少量空間，結果模型載入慢、成日 swap、訓練中途爆滿。正確做法：預留系統記憶體加儲存加備份空間。長時間任務要留檢查點。

型號分清：最易混淆，必須逐項對照

RTX 4060 Ti 16GB 對 RTX 4060 Ti 8GB：NVIDIA 官方規格指出，CUDA 核心 4,352（8GB 同 16GB 相同），記憶體為「16GB 或 8GB」GDDR6，記憶體介面同為 128-bit，Boost 2.54 GHz，Base 2.31 GHz。TGP 方面，官方寫「165 or 160」，即 16GB 版 165W、8GB 版 160W。次級來源補充：8GB 同 16GB 版核心規格相同，差別在記憶體容量同 TGP。16GB 版以 clamshell 方式在 PCB 兩面佈置 8 顆 GDDR6。對 AI 的含義：8GB 版的「計算」同 16GB 版相同，但「容量」只有一半。大模型、長 context、大 batch、Flux FP8 等場景，8GB 會更早 OOM 或者被迫更激進量化、offload。「4060 Ti 16GB」指的係 16GB 版，唔可以同 8GB 版的表現混為一談。

RTX 5070 Ti 16GB 桌面版對 RTX 5070（非 Ti）：NVIDIA 官方 5070 家族頁指出，RTX 5070 Ti 16GB 桌面版為 CUDA 8,960、16GB GDDR7、256-bit、TGP 300W、建議系統電源 750W、Tensor 第 5 代 1,406 AI TOPS、RT 第 4 代 133 TFLOPS、Boost 2.45 GHz、Base 2.30 GHz、NVENC 2 個第 9 代。RTX 5070（非 Ti）為 CUDA 6,144、12GB GDDR7、192-bit、TGP 250W、建議系統電源 650W、Tensor 第 5 代 988 AI TOPS、RT 第 4 代 94 TFLOPS、Boost 2.51 GHz、Base 2.33 GHz、NVENC 1 個第 9 代。RTX 5070（非 Ti）的頻寬為 672 GB/s（次級來源整理，192-bit 乘 28 Gbps）。對 AI 的含義：RTX 5070（非 Ti）只有 12GB，容量上已經少 4GB。即使同為 Blackwell 加 FP4，12GB 的「裝唔裝得落」天花板低於 16GB。唔好將 RTX 5070 的表現當作 RTX 5070 Ti 16GB 桌面版的表現。

RTX 5070 Ti 16GB 桌面版對 RTX 5080：RTX 5080 的次級來源整理為 CUDA 10,752、16GB GDDR7、256-bit、頻寬 960 GB/s、TGP 360W、建議系統電源 850W。RTX 5080 同 RTX 5070 Ti 16GB 桌面版同為 16GB GDDR7，但 RTX 5080 的 CUDA 核心更多、頻寬更高、TGP 更高。呢個正正係「VRAM 相同唔等於性能相同」的另一例證。主角仍然係 RTX 4060 Ti 16GB 對 RTX 5070 Ti 16GB 桌面版，RTX 5080 唔係主角。

桌面版對筆電版：NVIDIA 筆電版 RTX 5070 Ti（Laptop GPU）為 12GB GDDR7、192-bit、CUDA 5,888、Tensor 第 5 代、RT 第 4 代，同桌面版 RTX 5070 Ti 16GB（16GB、256-bit、8,960 CUDA）完全唔同。NVIDIA 筆電版 RTX 5070（Laptop GPU）為 8GB GDDR7、128-bit、CUDA 4,608，同桌面版 RTX 5070（12GB、192-bit、6,144 CUDA）亦唔同。凡寫「5070 Ti」而無註明，一律指桌面版。唔好將筆電版 12GB 的表現套用於桌面版 16GB。

RTX 4060（非 Ti）對 RTX 4060 Ti 16GB：NVIDIA 官方指出，RTX 4060（非 Ti）為 CUDA 3,072、8GB GDDR6、128-bit、Boost 2.46 GHz、Base 1.83 GHz、Tensor 第 4 代 242 AI TOPS、TGP 115W、建議系統電源 550W。RTX 4060（非 Ti）只有 8GB，且 CUDA 較少。唔好將 RTX 4060 的表現當作 RTX 4060 Ti 16GB 的表現。

常見誤解逐項裁決

「VRAM 一樣就性能一樣」：錯誤。兩卡同為 16GB，但 RTX 5070 Ti 16GB 桌面版理論頻寬約 896 GB/s，RTX 4060 Ti 16GB 約 288 GB/s。CUDA 8,960 對 4,352。Tensor 第 5 代對第 4 代。後者有 FP4，前者無。容量相同只代表「裝得落的上限」相近，唔代表速度相同。

「新卡一定全方位贏」：過於簡化，需分場景。喺「裝得落加頻寬、算力敏感」的場景，例如 decode 主導、batch 較小、FP4、FP8 路徑，RTX 5070 Ti 16GB 桌面版的頻寬、算力、新精度優勢較明顯。喺「容量臨界」場景，例如模型加 KV cache 剛好喺 16GB 邊緣，兩卡的容量天花板相同。RTX 5070 Ti 16GB 桌面版唔會因「較新」而令 17GB 的工作負載突然裝得落 16GB。喺「電源、機箱、預算」受限的場景，RTX 4060 Ti 16GB 的 165W、550W 建議門檻較低。RTX 5070 Ti 16GB 桌面版的 300W、750W 建議門檻較高，需要先確認整機支援。「新卡全贏」或者「舊卡全輸」並唔成立。要按「裝唔裝得落、跑得快唔快、部機支唔支援到」三層分開講。

「VRAM 越大就越快」：錯誤。容量決定能否載入。頻寬決定 decode 速度。算力決定 prefill、訓練吞吐。16GB 加高頻寬的卡，喺 decode 上可以快於 16GB 加低頻寬的卡。但 16GB 卡無論頻寬幾高，都裝唔落超過 16GB 的工作負載（唔計 offload、量化）。

「4060 Ti 16GB 同 8GB 只係容量差，AI 表現一樣」：錯誤。計算核心相同，但 8GB 版的容量只有一半。大模型、長 context、大 batch、Flux FP8 等場景，8GB 會更早 OOM 或者被迫更激進量化、offload，實際可用模型範圍較小。

「5070 Ti 一定比 5070 好好多，因為 Ti 即係勁」：需要睇具體規格，唔係睇後綴。RTX 5070 Ti 16GB 桌面版對 RTX 5070 的差別係具體數字：CUDA 8,960 對 6,144，VRAM 16GB 對 12GB，介面 256-bit 對 192-bit，頻寬 896 對 672 GB/s，TGP 300W 對 250W。應該列數字，而非只講「Ti 較勁」。

「買多張 16GB 卡就有 32GB，效果等於一張 32GB 卡」：錯誤或者過於簡化。兩卡無 NVLink，只能經 PCIe 溝通。跨卡通訊有頻寬同延遲成本，且需要框架支援張量、流水線並行。主機板、電源、散熱成本亦要計算。多卡係「總 VRAM 增加，但有效速度同單卡大 VRAM 唔同」的方案，兩者並唔等價。

「量化只係壓縮檔案，唔影響速度、品質」：錯誤。量化同時影響 VRAM 佔用、速度（需要硬件、引擎支援對應精度先加速）同品質（位元越低，誤差通常越大）。FP4、FP8、Q4 等唔係「免費午餐」。量化同時有兩面：慳 VRAM、提速；以及品質取捨、需要支援。

「訓練同推理用同一標準揀卡就得」：錯誤。訓練要梯度加優化器狀態加大量激活值，VRAM 需求遠高於同規模推理。推理主要為權重加 KV cache。同一張 16GB 卡，對推理可能夠用，對全參數訓練可能遠遠唔夠。選購時必須先問「你主要做訓練定推理？做邊種訓練（全參數、LoRA、QLoRA）？」

來源

全部來源查閱日期：2026-10-19。

常見問題

關於AI 指南選購嘅常見疑問，歡迎致電 +852 2186 8010 查詢，或親臨新界沙田石門達利廣場1209室門市。

相關文章

全部購買指南顯示卡報價常見問題

本文由 Display Card King 編輯部 撰寫，報價數據來自 Display Card King 每日全港監測，只供參考。