Hướng dẫn VRAM cho mô hình 32B và 70B: Tùy chọn một GPU và nhiều GPU
Câu trả lời thực tế cho yêu cầu VRAM của mô hình 70B là: một mô hình 70B có thể được tải trong khoảng 35GB đến 45GB với lượng tử hóa 4-bit phổ biến, khoảng 70GB đến 90GB với lượng tử hóa 8-bit và phần dư khi chạy, và hơn 140GB trước phần dư ở FP16 hoặc BF16. Một mô hình 32B thì dễ hơn, nhưng vẫn cần lập kế hoạch: khoảng 18GB đến 24GB cho suy luận 4-bit, 32GB đến 45GB cho suy luận 8-bit, và hơn 64GB trước phần dư ở FP16 hoặc BF16.
Những con số đó chỉ là mức sàn. Yêu cầu VRAM của mô hình 70B thực tế phụ thuộc vào độ dài ngữ cảnh, kích thước batch, KV cache, engine phục vụ, song song tensor, adapter LoRA, trạng thái optimizer, và mức dự phòng an toàn bạn cần trước khi lưu lượng sản xuất bắt đầu thất bại với lỗi thiếu bộ nhớ.
Hướng dẫn này dành cho các kỹ sư AI, nhóm nền tảng, và người mua kỹ thuật đang quyết định liệu một workload 32B hay 70B có phù hợp trên một GPU, cần nhiều GPU, hay nên được phục vụ thông qua API mô hình thay vì thuê dung lượng GPU.
Đã kiểm tra vào ngày 13 tháng 10 năm 2026.
yêu cầu VRAM của mô hình 70B: câu trả lời nhanh
Hãy dùng phần này như bước ước lượng đầu tiên, rồi benchmark chính xác mô hình, cửa sổ ngữ cảnh và stack phục vụ của bạn.
| Workload | Điểm bắt đầu cho 32B | Điểm bắt đầu cho 70B | Ghi chú thực tế |
|---|---|---|---|
| Suy luận cục bộ 4-bit | 24GB có thể dùng được, 48GB thoải mái hơn | 48GB có thể tải một số mô hình đã lượng tử hóa, 80GB an toàn hơn | Tốt cho phát triển, demo, công cụ nội bộ, và phục vụ với mức đồng thời thấp. |
| Suy luận 8-bit | 48GB hoặc 80GB | Tối thiểu 80GB, 96GB hoặc 141GB an toàn hơn | Phần dư khi chạy và KV cache thường quyết định endpoint có ổn định hay không. |
| Suy luận FP16/BF16 | 80GB | 2x80GB, 141GB, 180GB, hoặc các hệ thống nhiều GPU lớn hơn | Bộ nhớ cho trọng số בלבד đã vào khoảng 2 byte cho mỗi tham số. |
| Phục vụ cục bộ một người dùng kiểu Ollama | 24GB đến 48GB | 48GB đến 80GB | Câu hỏi yêu cầu VRAM của mô hình ollama 70B chủ yếu xoay quanh kích thước mô hình đã lượng tử hóa cộng với ngữ cảnh. |
| Phục vụ production bằng vLLM hoặc SGLang | 48GB đến 80GB | 80GB, 96GB, 141GB, hoặc nhiều GPU | Chừa khoảng trống cho KV cache, batching, và khôi phục yêu cầu thất bại. |
| Fine-tuning QLoRA | 48GB cho các chạy bị giới hạn, 80GB an toàn hơn | 48GB là mức sàn cho nghiên cứu; 80GB hoặc nhiều GPU an toàn hơn | yêu cầu VRAM của mô hình qlora 70B phụ thuộc rất nhiều vào độ dài chuỗi và chiến lược batch. |
Lối tắt cho người mua:
- Chọn 24GB chỉ cho các thử nghiệm 32B đã lượng tử hóa hoặc các workflow 70B tách CPU/GPU rất hạn chế.
- Chọn 48GB cho sự thoải mái với 32B, suy luận cục bộ 70B 4-bit, hoặc các thử nghiệm QLoRA được tinh chỉnh chặt chẽ.
- Chọn 80GB cho suy luận 70B nghiêm túc, ngữ cảnh dài hơn, hoặc QLoRA đáng tin cậy hơn.
- Chọn 96GB, 141GB, 180GB, hoặc nhiều GPU khi bạn cần khoảng trống cho production, ngữ cảnh dài hơn, mức đồng thời cao hơn, hoặc FP16/BF16.
Nếu sản phẩm chỉ cần đầu ra mô hình chứ không cần kiểm soát phần cứng trực tiếp, hãy so sánh phương án mô hình/API trước khi ký hợp đồng GPU. Flatkey cung cấp cho các nhóm một khóa, một số dư, một hóa đơn, và một sổ ghi mức sử dụng trên hàng trăm mô hình và công cụ chính thức, điều này có thể là một nền tảng sạch hơn khi mức sử dụng chưa chắc chắn.
Tại sao trọng số mô hình không phải là toàn bộ yêu cầu VRAM
Ước tính bộ nhớ đơn giản nhất là:
model_weight_memory = parameter_count x bytes_per_parameter
Điều đó cho một mức sàn hữu ích:
| Kích thước mô hình | Mức sàn FP16/BF16 | Mức sàn 8-bit | Mức sàn 4-bit |
|---|---|---|---|
| 32B | khoảng 64GB | khoảng 32GB | khoảng 16GB |
| 70B | khoảng 140GB | khoảng 70GB | khoảng 35GB |
Nhưng một LLM đang chạy cần nhiều hơn trọng số:
| Thành phần bộ nhớ | Vì sao nó quan trọng |
|---|---|
| Siêu dữ liệu lượng tử hóa | Định dạng 4-bit và 8-bit cần scale, metadata theo nhóm, và bộ đệm của framework. |
| KV cache | Cửa sổ ngữ cảnh dài hơn và nhiều yêu cầu đồng thời hơn sẽ tiêu tốn thêm bộ nhớ. |
| Bộ đệm thời gian chạy | vLLM, SGLang, TensorRT-LLM, llama.cpp, và Ollama mỗi bên đều dự trữ bộ nhớ theo cách khác nhau. |
| CUDA graphs và kernels | Engine phục vụ có thể dự trữ workspace để tăng tốc và ổn định. |
| Adapter LoRA | Adapter đã fine-tune tốn ít bộ nhớ hơn toàn bộ trọng số, nhưng vẫn cần ngân sách. |
| Biên an toàn | Endpoint production cần chỗ cho biến thiên prompt, thử lại, và sai lệch triển khai. |
Đó là lý do yêu cầu VRAM của mô hình 70B đã lượng tử hóa không giống với "tệp 4-bit là 35GB." Một mô hình 70B đã lượng tử hóa từ 35GB đến 45GB có thể tải trên GPU 48GB, nhưng ngữ cảnh dài hơn, batch lớn hơn, hoặc runtime nặng hơn vẫn có thể thất bại.
Tùy chọn một GPU cho mô hình 32B và 70B
GPU 24GB
Card 24GB hữu ích cho mô hình 32B ở dạng 4-bit, các thử nghiệm 70B nhỏ hơn với offload một phần sang CPU, và các thử nghiệm cho nhà phát triển nơi độ trễ không phải là mục tiêu chính.
Đừng xem 24GB là câu trả lời thoải mái cho yêu cầu VRAM của mô hình 70B. Nó có thể hữu ích với lượng tử hóa mạnh, giảm ngữ cảnh, offload sang CPU, hoặc thử nghiệm cục bộ kiểu llama.cpp, nhưng thường không phải là tier phục vụ 70B cho production.
Phù hợp nhất:
- Suy luận 32B 4-bit.
- Cửa sổ ngữ cảnh nhỏ.
- Kiểm thử cục bộ cho một người dùng.
- Đánh giá nguyên mẫu trước khi thuê GPU lớn hơn.
Cần lưu ý:
- 70B thường cần offload sang CPU hoặc các thiết lập rất chặt chẽ.
- Prompt dài có thể làm đầy KV cache rất nhanh.
- Thông lượng sẽ bị giới hạn.
GPU 48GB
48GB là mức đầu tiên thực sự nghiêm túc cho một GPU đơn khi làm việc với 70B đã lượng tử hóa. Nó có thể chạy nhiều khối lượng công việc suy luận 70B 4-bit nếu kiểm soát được ngữ cảnh và mức đồng thời. Đây cũng là mức sàn thực tế cho nhiều thử nghiệm QLoRA, phù hợp với kết quả QLoRA ban đầu cho thấy có thể fine-tuning mô hình cỡ 65B trên một GPU 48GB duy nhất.
Phù hợp nhất:
- Suy luận cục bộ 70B 4-bit.
- Suy luận 32B 8-bit.
- Fine-tuning 32B với đủ chỗ cho adapter và ngữ cảnh dài hơn.
- Các thử nghiệm qlora fine-tuning 70b model vram requirements chặt chẽ.
Cần lưu ý:
- 70B ở 8-bit thường không có đủ khoảng trống.
- Phục vụ ngữ cảnh dài có thể đẩy mô hình 70B 4-bit vượt ngưỡng.
- Kích thước batch bị hạn chế.
GPU 80GB
80GB là câu trả lời thực tế phổ biến nhất cho các tác vụ 70B nghiêm túc. GPU A100 80GB và H100 80GB có thể xử lý nhiều khối lượng công việc suy luận 70B đã lượng tử hóa với khoảng trống ngữ cảnh tốt hơn 48GB, và đây là điểm khởi đầu thoải mái hơn nhiều cho QLoRA.
Phù hợp nhất:
- Suy luận 70B 4-bit với các bài kiểm tra ngữ cảnh gần giống môi trường production.
- Suy luận 70B 8-bit nếu runtime và ngữ cảnh phù hợp.
- Suy luận 32B FP16/BF16 với phần chi phí phụ.
- QLoRA 70B với các thiết lập bị giới hạn nhưng thực tế.
Cần lưu ý:
- 70B FP16/BF16 thường cần nhiều hơn một GPU 80GB.
- Độ đồng thời cao vẫn cần lập kế hoạch KV-cache cẩn thận.
- Dạng node và giá theo nhà cung cấp có thể quan trọng không kém VRAM.
GPU 96GB, 141GB và 180GB
Các bộ tăng tốc dung lượng bộ nhớ lớn mới hơn làm thay đổi câu hỏi về một GPU đơn. Một card 96GB cho nhiều không gian hơn cho 70B 8-bit hoặc các ngữ cảnh lượng tử hóa lớn hơn. Bộ nhớ 141GB kiểu H200 có thể giúp nhiều khối lượng công việc 70B vừa khít với khoảng trống rộng hơn nhiều. Các cấu hình 180GB kiểu B200 đẩy ngưỡng trần của một GPU đơn hoặc một node đơn đi xa hơn nữa, đặc biệt khi ngăn xếp phục vụ có thể dùng các đường đi độ chính xác thấp mới hơn.
Phù hợp nhất:
- Suy luận 70B với ngữ cảnh dài.
- Kích thước batch và mức đồng thời cao hơn.
- Phục vụ 8-bit hoặc đa độ chính xác.
- Giảm độ phức tạp phân mảnh cho các mô hình lớn.
Cần lưu ý:
- Tính sẵn có và giá thuê có thể quan trọng hơn khả năng phù hợp lý thuyết.
- Độ trưởng thành của phần mềm khác nhau giữa các thế hệ GPU.
- Bạn vẫn cần một benchmark cho chi phí trên mỗi đầu ra được chấp nhận.
Để so sánh phần cứng liền kề, xem B200 vs H200, H200 vs H100, và GPU tốt nhất cho suy luận LLM.
Tùy chọn nhiều GPU cho mô hình 70B
Phục vụ đa GPU không chỉ là "nhiều VRAM hơn." Nó còn thêm chi phí giao tiếp, các vấn đề về topology, rủi ro bố trí, và độ phức tạp phần mềm.
Hãy dùng đa GPU khi:
- Mô hình không vừa trên một GPU ở độ chính xác bạn cần.
- Ngữ cảnh dài hoặc mức đồng thời cao cần nhiều chỗ hơn cho KV-cache.
- Bạn cần phục vụ 70B ở FP16/BF16.
- Bạn cần thông lượng mà một GPU không thể đáp ứng.
- Bạn có thể kiểm chứng tensor parallelism và hiệu năng interconnect.
| Tùy chọn | Khi nào hợp lý | Cần xác minh gì |
|---|---|---|
| 2x48GB | Phục vụ 70B đã lượng tử hóa với khoảng trống lớn hơn một card 48GB đơn | Interconnect, hỗ trợ tensor-parallel, hành vi khi lỗi. |
| 2x80GB | Thử nghiệm 70B FP16/BF16 hoặc phục vụ đã lượng tử hóa với khoảng trống lớn | Việc phân mảnh có tốt hơn một GPU lớn hơn về độ trễ và chi phí hay không. |
| 4x80GB | Phục vụ 70B nặng hơn, ngữ cảnh lớn hơn, nhiều bản sao, hoặc fine-tuning | NVLink/NVSwitch, chính sách batch, mức sử dụng, chiến lược checkpoint. |
| 8x80GB hoặc lớn hơn | Cụm production dùng chung, nhiều endpoint, hoặc mô hình lớn hơn 70B | Scheduler, lưu trữ, observability, và phân bổ chi phí. |
Với triển khai nhiều node, thiết kế cụm là yếu tố then chốt. Hãy dùng hướng dẫn kiến trúc cụm GPU để xem lại các yêu cầu về compute, mạng, lưu trữ và control plane trước khi mua năng lực.
Yêu cầu VRAM cho mô hình Ollama 70B
Câu trả lời cho ollama 70b model vram requirements phụ thuộc vào tag mô hình và mức lượng tử hóa. Các trang mô hình Ollama thường liệt kê các artifact 70B đã lượng tử hóa ở mức hàng chục gigabyte, không phải 140GB, vì đường dẫn phục vụ cục bộ mặc định thường là lượng tử hóa chứ không phải FP16.
Một quy tắc thực tế:
- 48GB có thể đủ để tải và thử nghiệm một số mô hình 70B đã lượng tử hóa.
- 64GB đến 80GB cho thêm không gian cho ngữ cảnh và ít bất ngờ OOM hơn.
- 24GB thường đồng nghĩa với mô hình nhỏ hơn, ngữ cảnh ngắn hơn, offload nặng, hoặc thử nghiệm chậm.
- Nếu bạn cần độ trễ production hoặc nhiều người dùng, hãy tính cho khoảng trống phục vụ, không chỉ cho kích thước mô hình đã tải xuống.
Với kiểm thử cục bộ, hãy ghi lại chính xác tag mô hình, mức lượng tử hóa, độ dài ngữ cảnh, số lớp GPU, và mức dùng bộ nhớ quan sát được. Đừng viết "70B chạy được trên GPU của tôi" nếu thiếu các chi tiết đó. Cùng một họ 70B có thể có nhiều biến thể lượng tử hóa với hành vi bộ nhớ khác nhau.
Yêu cầu VRAM cho fine-tuning QLoRA mô hình 70B
Câu hỏi qlora fine-tuning 70b model vram requirements có hai câu trả lời:
- Chi phí nghiên cứu có thể thấp một cách đáng ngạc nhiên vì QLoRA đóng băng mô hình nền, lượng tử hóa nó và huấn luyện các adapter low-rank nhỏ.
- Vùng thoải mái cho triển khai thực tế cao hơn vì độ dài chuỗi, kích thước batch, gradient checkpointing, pipeline dữ liệu, tần suất đánh giá và quản lý adapter đều làm tăng áp lực bộ nhớ trong thực tế.
Sử dụng bảng lập kế hoạch này:
| Thiết lập fine-tuning | Điểm khởi đầu cho 32B | Điểm khởi đầu cho 70B | Ghi chú |
|---|---|---|---|
| Thử nghiệm QLoRA tối thiểu | 24GB đến 48GB | 48GB | Giữ độ dài chuỗi và kích thước batch ở mức vừa phải. |
| Chạy QLoRA thực tế | 48GB đến 80GB | 80GB | Có thêm không gian cho dữ liệu, đánh giá và ít phải khởi động lại hơn. |
| Chuỗi dài hơn hoặc batch hiệu dụng lớn hơn | 80GB hoặc nhiều GPU | 2x80GB hoặc lớn hơn | Bộ nhớ tăng theo độ dài chuỗi và chiến lược huấn luyện. |
| Fine-tuning đầy đủ | Nhiều GPU | Cụm nhiều GPU | Trạng thái optimizer khiến fine-tuning đầy đủ trở thành một bài toán khác. |
Nếu truy vấn của bạn là qlora fine-tune 70b model vram requirements, hãy bắt đầu bằng việc chứng minh một lần chạy có giới hạn trên 48GB hoặc 80GB, rồi chỉ tăng độ dài chuỗi và batch hiệu dụng sau khi đã ghi lại mức VRAM đỉnh thực tế. Với quy trình fine-tuning cho sản xuất, dung lượng 80GB hoặc nhiều GPU thường dễ vận hành hơn so với một thiết lập tối thiểu bộ nhớ chỉ để chạy một lần.
KV cache và độ dài ngữ cảnh có thể thay đổi câu trả lời
Một mô hình 70B có thể vừa ở ngữ cảnh 4K nhưng không vừa ở ngữ cảnh 32K. KV cache tăng theo:
- Số lượng layers.
- Số KV heads và chiều kích head.
- Độ dài ngữ cảnh.
- Kích thước batch hoặc số chuỗi đang hoạt động.
- Số byte trên mỗi phần tử của KV cache.
Các engine phục vụ xử lý điều này khác nhau. vLLM đưa mức sử dụng bộ nhớ và hành vi KV cache thành các mối quan tâm hàng đầu khi phục vụ. llama.cpp và kiểu phục vụ cục bộ giống Ollama cung cấp các lựa chọn context và offload có thể giúp mô hình vừa bộ nhớ, nhưng đi kèm đánh đổi về hiệu năng.
Quy trình thực tế:
- Tải mô hình ở mức lượng tử hóa dự định.
- Đặt độ dài ngữ cảnh thực tế, không phải mặc định.
- Chạy phân phối prompt khớp với sản xuất.
- Tăng concurrency cho đến khi độ trễ hoặc bộ nhớ bị lỗi.
- Ghi lại VRAM đỉnh, các request thất bại, số token mỗi giây và chất lượng đầu ra được chấp nhận.
Đừng ước lượng 70b model vram requirements từ một bài test load rỗng. Hãy tính từ ngữ cảnh và mức concurrency mà bạn वास्तव sự sẽ chạy.
Một bảng tính VRAM đơn giản
Sử dụng bảng tính này trước khi thuê hoặc đặt trước dung lượng.
model_family:
parameter_count: 32B | 70B | other
precision: fp16 | bf16 | int8 | 4-bit | mixed
serving_engine: Ollama | llama.cpp | vLLM | SGLang | TensorRT-LLM | other
target_context_window:
input_tokens_p50:
input_tokens_p95:
output_tokens_p50:
output_tokens_p95:
target_concurrency:
batching_policy:
fine_tuning_method: none | LoRA | QLoRA | full fine-tune
gpu_candidate:
gpu_memory:
observed_idle_load_vram:
observed_peak_vram:
oom_failures:
tokens_per_second:
accepted_outputs_per_hour:
cost_per_accepted_output:
Để lập kế hoạch chi phí, hãy kết hợp bảng tính này với giá thuê GPU, chi phí ẩn của GPU cloud, và TCO của cụm GPU.
Khi nào model API tốt hơn việc thuê GPU
Dung lượng GPU có ý nghĩa khi bạn cần kiểm soát trực tiếp weights, lượng tử hóa, triển khai, adapter tùy chỉnh, phục vụ riêng tư hoặc mức sử dụng duy trì.
Model API có thể tốt hơn khi:
- Lưu lượng đến theo đợt.
- Sản phẩm thay đổi model thường xuyên.
- Đội ngũ không muốn vận hành hạ tầng phục vụ.
- Đơn giá kinh tế dễ quản lý theo mỗi request hơn theo mỗi giờ GPU.
- Bạn cần truy cập nhanh đến nhiều họ model thay vì một triển khai cố định.
Flatkey thuộc phía API của quyết định đó. Nó cung cấp cho nhà phát triển một endpoint tương thích OpenAI, một key, một số dư, một hóa đơn và một sổ ghi sử dụng trên các model và công cụ chính thức. Nếu bảng tính 70b model vram requirements của bạn cho thấy mức sử dụng thấp, biên OOM mong manh hoặc chi phí vận hành lớn, hãy benchmark một baseline model/API trước khi cam kết thuê GPU. Hướng dẫn GPU cloud vs model API đưa ra khuôn khổ ra quyết định.
Các nguồn và tài liệu chính thức nên mở sẵn
| Nguồn | Vì sao điều này quan trọng |
|---|---|
| Bài báo QLoRA và Kho lưu trữ QLoRA | Tham chiếu cơ sở cho fine-tuning adapter trên các mô hình lớn với bộ nhớ thấp. |
| Tài liệu lượng tử hóa bitsandbytes của Hugging Face | Hành vi tải 8-bit và 4-bit thực tế trong Transformers. |
| Tài liệu vLLM | Bộ nhớ phục vụ, batching, và hành vi KV-cache. |
| Kho lưu trữ llama.cpp | GGUF, offload CPU/GPU, và hành vi suy luận cục bộ. |
| Thư viện mô hình Ollama | Thẻ mô hình, kích thước artifact đã lượng tử hóa, và các tùy chọn phục vụ cục bộ. |
| NVIDIA A100, H100, H200, và DGX B200 | Các mức bộ nhớ GPU chính thức được dùng trong quyết định sizing. |
Khuyến nghị cuối cùng
Đối với mô hình 32B, hãy bắt đầu với 24GB cho các thử nghiệm 4-bit, 48GB cho suy luận thoải mái, và 80GB nếu bạn muốn FP16/BF16, ngữ cảnh dài hơn, hoặc dư địa cho fine-tuning.
Đối với mô hình 70B, hãy xem 48GB là điểm khởi đầu hạn chế cho 4-bit, 80GB là mức thực tế cho suy luận nghiêm túc, và 96GB đến 180GB hoặc nhiều GPU là mức dư địa cho sản xuất. Với 70B FP16/BF16, hãy tính đến nhiều GPU hoặc GPU có bộ nhớ rất lớn.
Câu trả lời tốt nhất cho 70b model vram requirements không phải là một con số GPU duy nhất. Đó là một cấu hình được đo đạc: mô hình, lượng tử hóa, độ dài ngữ cảnh, mức độ đồng thời, công cụ phục vụ, phương pháp fine-tuning, và chi phí trên mỗi đầu ra được chấp nhận.
Câu hỏi thường gặp
Một mô hình 70B cần bao nhiêu VRAM?
Một mô hình 70B cần khoảng 140GB chỉ cho trọng số FP16 hoặc BF16, khoảng 70GB trước phần overhead ở 8-bit, và xấp xỉ 35GB đến 45GB cho nhiều biến thể đã lượng tử hóa 4-bit. Trên thực tế, 70b model vram requirements sẽ cao hơn khi tính cả KV cache, bộ đệm runtime, độ dài ngữ cảnh, và mức độ đồng thời.
Mô hình 70B có thể chạy trên GPU 48GB không?
Có, mô hình 70B có thể chạy trên GPU 48GB khi được lượng tử hóa mạnh và kiểm soát ngữ cảnh/mức độ đồng thời. Đây là một mức phù hợp cho suy luận cục bộ và kiểm thử có giới hạn, nhưng 80GB trở lên sẽ an toàn hơn cho phục vụ gần với môi trường sản xuất.
Yêu cầu VRAM cho mô hình Ollama 70B là gì?
Đối với ollama 70b model vram requirements, hãy kiểm tra thẻ mô hình cụ thể và kích thước artifact đã lượng tử hóa. 48GB có thể đủ cho một số mô hình 70B đã lượng tử hóa, nhưng 64GB đến 80GB sẽ có thêm không gian cho ngữ cảnh và giảm lỗi OOM hơn.
Yêu cầu VRAM cho mô hình QLoRA 70B là gì?
Đối với qlora 70b model vram requirements, 48GB là mức sàn thực tế cho các thử nghiệm bị giới hạn, trong khi 80GB hoặc năng lực nhiều GPU sẽ an toàn hơn cho độ dài chuỗi lớn hơn, batch hiệu dụng lớn hơn, và quy trình fine-tuning phục vụ sản xuất.
24GB có đủ cho một mô hình 70B không?
24GB thường không đủ cho suy luận GPU 70B thoải mái. Nó có thể hoạt động với lượng tử hóa mạnh, offload sang CPU, cửa sổ ngữ cảnh nhỏ, hoặc các thử nghiệm chậm, nhưng nên được xem tốt hơn như một mức 32B đã lượng tử hóa.
80GB có đủ cho một mô hình 70B không?
80GB đủ cho nhiều khối lượng công việc suy luận 70B đã lượng tử hóa và các lần chạy QLoRA có giới hạn. Thường thì nó không đủ cho suy luận 70B FP16/BF16 đầy đủ trên một GPU sau khi tính overhead, và vẫn có thể thất bại nếu cửa sổ ngữ cảnh hoặc mức độ đồng thời quá lớn.
