Ollama Cloud GPU: Chạy máy chủ API từ xa an toàn

Ollama Cloud GPU: Chạy máy chủ API từ xa an toàn

Việc chạy máy chủ Ollama cloud GPU cho phép bạn kiểm soát trực tiếp mô hình, lượng tử hóa, thời gian chạy và đường dẫn dữ liệu. Tuy nhiên, việc này cũng đi kèm trách nhiệm vận hành mà cài đặt trên máy tính xách tay có thể che giấu: API Ollama cục bộ không phải là ranh giới xác thực dành cho môi trường công khai. Một thiết lập từ xa an toàn giữ Ollama trên cổng loopback riêng tư và đặt TLS cùng xác thực người gọi tại proxy biên.

Hướng dẫn này trình bày một cách triển khai NVIDIA/Docker thực tế cho máy chủ Ollama cloud GPU, một biên HTTPS Caddy chấp nhận bearer token kiểu OpenAI và cấu hình máy khách từ xa. Nội dung hướng đến các nhà phát triển độc lập và nhóm AI nhỏ muốn chạy mô hình trọng số mở trên năng lực GPU thuê mà không công khai cổng 11434 ra internet.

Tóm tắt: chạy Ollama với cổng máy chủ được liên kết tới 127.0.0.1, chặn truy cập công khai tới cổng 11434 trong tường lửa đám mây và chỉ công khai proxy ngược HTTPS trên các cổng 80/443. Yêu cầu proxy đó xác thực token trước khi chuyển tiếp lưu lượng tới Ollama.

Ollama ghi nhận 127.0.0.1:11434 là địa chỉ liên kết mặc định và cho biết các yêu cầu API của máy chủ cục bộ không cần ủy quyền. Điều này thuận tiện cho phát triển cục bộ, nhưng cũng có nghĩa là một endpoint trần có thể truy cập từ xa là ranh giới bảo mật không phù hợp. Bạn nên mở sẵn FAQ của Ollama và phần giới thiệu API trong khi triển khai.

Kiến trúc Ollama cloud GPU này bảo vệ những gì

Kiến trúc có bốn ranh giới, mỗi ranh giới đảm nhiệm một vai trò riêng:

Máy khách từ xa / OpenAI SDK
        |
        | HTTPS + Bearer token
        v
Proxy biên công khai (Caddy, chỉ các cổng 80/443)
        |
        | HTTP localhost
        v
API Ollama (127.0.0.1:11434)
        |
        v
Runtime GPU và volume mô hình

Proxy biên là thành phần duy nhất chấp nhận lưu lượng từ internet. Ollama chỉ có thể được truy cập từ cùng máy chủ. Điều này ngăn lỗi cấu hình tường lửa đám mây, Docker mapping vô tình bị mở hoặc người gọi chưa xác thực trở thành quyền truy cập trực tiếp vào máy chủ mô hình của bạn.

Đối với hệ thống sản xuất có nhiều người dùng, hãy dùng mạng overlay riêng tư hoặc proxy nhận biết danh tính với danh tính riêng lẻ và khả năng thu hồi. Ví dụ bearer token đơn lẻ dưới đây là điểm khởi đầu thực tế cho giao tiếp máy chủ với máy chủ, không thay thế SSO, nhật ký kiểm toán theo người dùng, giới hạn tốc độ hoặc thực thi chính sách.

Trước khi thuê GPU: hãy định cỡ khối lượng công việc, không phải lượt tải xuống

Ollama cloud GPU là lựa chọn hợp lý khi bạn cần kiểm soát tệp mô hình, một mức lượng tử hóa cụ thể, runtime riêng tư hoặc sử dụng liên tục một họ mô hình. Đây không mặc nhiên là lựa chọn có chi phí thấp hơn đối với lưu lượng đột biến hoặc một sản phẩm thường xuyên thay đổi mô hình.

Hãy bắt đầu với thẻ mô hình thực tế, lượng tử hóa, cửa sổ ngữ cảnh và số lượng yêu cầu đồng thời. Trọng số mô hình chỉ là một phần của ngân sách bộ nhớ: ngữ cảnh và các yêu cầu song song tiêu thụ thêm VRAM. Tài liệu Ollama lưu ý rằng xử lý yêu cầu song song làm tăng mức phân bổ ngữ cảnh hiệu dụng, và đầu ra ollama ps cho biết mô hình nằm hoàn toàn trên GPU, hoàn toàn trên CPU hay được chia giữa cả hai. Hãy xem các hướng dẫn về yêu cầu VRAM của mô hình Ollama 70B và yêu cầu bộ nhớ GPU cho LLM trước khi cam kết với một cấu hình GPU.

Cách chọn dịch vụ GPU đám mây giá rẻ cho Ollama vào năm 2026

Truy vấn “best cheap gpu cloud for ollama 2026” không có một câu trả lời bền vững duy nhất. Một GPU giá rẻ theo giờ nhưng buộc phải offload sang CPU, không đủ phần dư ngữ cảnh hoặc nằm nhàn rỗi phần lớn thời gian trong ngày thì không hề rẻ khi sử dụng. Hãy so sánh các lựa chọn với cùng thẻ mô hình và bộ prompt, sau đó ghi lại:

• thời gian GPU được tính phí, lưu trữ, lưu lượng ra và thời gian thiết lập;
• thời gian tải mô hình và thời gian lưu trú trên GPU từ ollama ps;
• thời gian đến token đầu tiên, độ trễ đầu cuối và các yêu cầu thất bại;
• cửa sổ ngữ cảnh và mức độ đồng thời thực sự được hỗ trợ; và
• chi phí trên mỗi đầu ra được chấp nhận, không chỉ chi phí trên mỗi giờ GPU.

Sử dụng bản so sánh đám mây GPU của Flatkey để đánh giá mức độ phù hợp của nhà cung cấp, và hướng dẫn giá thuê GPU của họ để tránh bỏ sót các hạng mục chi phí xoay quanh chính phiên bản máy. Hãy thực hiện một thử nghiệm ngắn, có thể lặp lại trước khi đặt trước năng lực.

Bước 1: chuẩn bị máy chủ NVIDIA

Hướng dẫn này giả định có một máy chủ GPU Linux được hỗ trợ, Docker, trình điều khiển NVIDIA và NVIDIA Container Toolkit. Trước tiên, hãy xác nhận máy chủ nhận diện được GPU:

nvidia-smi

Sau đó, cấu hình runtime NVIDIA của Docker và xác minh rằng một container có thể nhìn thấy cùng thiết bị đó:

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# Ví dụ image CUDA; sử dụng thẻ tương thích với trình điều khiển máy chủ và hệ điều hành của bạn.
docker run --rm --gpus all \
  nvidia/cuda:12.6.0-base-ubuntu22.04 nvidia-smi

Tài liệu Docker của Ollama sử dụng NVIDIA Container Toolkit và --gpus=all cho các container dùng NVIDIA. Nếu lệnh xác thực này thất bại, hãy dừng tại đây và khắc phục lớp trình điều khiển/runtime; việc khắc phục sự cố mô hình chỉ che khuất nguyên nhân gốc.

Trước khi khởi động container, hãy cấu hình tường lửa đám mây hoặc nhóm bảo mật:

1. Chỉ cho phép SSH từ một dải nguồn được phê duyệt, một bastion hoặc một mạng riêng.
2. Chỉ cho phép TCP 80 và 443 nếu máy chủ này sẽ sử dụng tên máy chủ HTTPS công khai.
3. Không cho phép TCP 11434 từ internet công khai.
4. Nếu sử dụng tường lửa máy chủ như UFW, hãy bảo đảm các quy tắc của nó khớp với tường lửa đám mây thay vì chỉ dựa vào một lớp.

Bước 2: chạy Ollama riêng tư trên máy chủ GPU

Sử dụng một volume có tên để các tệp mô hình vẫn tồn tại khi container được tạo lại. Địa chỉ loopback ở bên trái của -p là có chủ đích: nó cho phép Caddy trên cùng máy truy cập Ollama, đồng thời ngăn kết nối trực tiếp từ bên ngoài đến dịch vụ.

docker pull ollama/ollama:<verified-ollama-tag>

docker run -d \
  --name ollama \
  --restart unless-stopped \
  --gpus all \
  -v ollama:/root/.ollama \
  -p 127.0.0.1:11434:11434 \
  ollama/ollama:<verified-ollama-tag>

Thay <verified-ollama-tag> bằng thẻ phát hành mà nhóm của bạn đã kiểm thử; không âm thầm nâng cấp một dịch vụ production bằng cách kéo image chưa được xem xét vào lúc khởi động lại. Ollama cũng hỗ trợ cài đặt Linux gốc và dịch vụ systemd, nhưng cùng một ranh giới vẫn áp dụng: duy trì liên kết loopback và đặt quyền truy cập từ xa phía sau một proxy có xác thực. Hướng dẫn Linux chính thức mô tả cả quy trình dịch vụ và cơ chế ghi đè biến môi trường.

Kéo một mô hình thử nghiệm nhỏ phù hợp với GPU đã chọn. Ví dụ này sử dụng một thẻ hiện tại từ các ví dụ tương thích OpenAI của Ollama; hãy thay bằng chính xác mô hình và lượng tử hóa mà bạn dự định phục vụ.

docker exec ollama ollama pull qwen3:8b

curl -sS http://127.0.0.1:11434/api/chat \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen3:8b",
    "messages": [{"role": "user", "content": "Trả lời bằng một kiểm tra sức khỏe GPU gồm ba từ."}],
    "stream": false
  }'

docker exec ollama ollama ps

ollama ps là một kiểm tra nghiệm thu hữu ích cho việc triển khai Ollama cloud GPU. Chỉ báo bộ xử lý 100% GPU nghĩa là mô hình đã tải hoàn toàn trên GPU; việc chia tách CPU/GPU có thể chấp nhận được cho thử nghiệm nhưng là tín hiệu cần đo lường đánh đổi về độ trễ và bộ nhớ trước khi đưa vào production.

Bước 3: thêm điểm biên API HTTPS bằng bearer token

Ollama có thể cung cấp API qua proxy và hỗ trợ cả bề mặt /api gốc lẫn bề mặt /v1 tương thích OpenAI cục bộ. Các ví dụ client OpenAI cục bộ của nó sử dụng giá trị khóa API mà Ollama bỏ qua, chính vì vậy proxy bên dưới thực hiện kiểm tra ủy quyền trước khi chuyển tiếp lưu lượng. Tài liệu về khả năng tương thích OpenAI của Ollama cũng nêu rõ rằng khả năng tương thích chỉ là một tập con, vì vậy hãy lập kế hoạch kiểm thử tích hợp thực tế thay vì giả định bao quát.

Mẫu Caddy này cho phép client kiểu OpenAI sử dụng Authorization: Bearer <token>. Caddy xác thực header đó, loại bỏ nó trước khi yêu cầu đến dịch vụ cục bộ và proxy yêu cầu qua loopback.

Trước tiên, hãy tạo một token entropy cao và lưu trong trình quản lý bí mật của nhóm. Không đưa token vào mã nguồn quản lý phiên bản hoặc lịch sử shell mà bạn không kiểm soát.

openssl rand -hex 32

Tạo một override systemd cho Caddy và đặt giá trị đã tạo làm OLLAMA_API_TOKEN:

# sudo systemctl edit caddy
[Service]
Environment="OLLAMA_API_TOKEN=replace-with-your-secret-manager-value"

Sau đó, cấu hình /etc/caddy/Caddyfile bằng một tên máy chủ có DNS trỏ đến máy chủ:

ollama.example.com {
    @authorized {
        header Authorization "Bearer {$OLLAMA_API_TOKEN}"
    }

    handle @authorized {
        reverse_proxy 127.0.0.1:11434 {
            # The edge checked this header; Ollama does not need the token.
            header_up -Authorization
        }
    }

    handle {
        respond "Unauthorized" 401
    }
}

Sử dụng tên DNS thực tế thay cho ollama.example.com. Caddy coi địa chỉ trang web miền là một trang HTTPS có chứng chỉ được quản lý; hãy bảo đảm DNS và các cổng đến dự kiến đã sẵn sàng trước khi tải lại. trình khớp yêu cầu Caddy, các khối handle loại trừ lẫn nhau và các tùy chọn kiểm soát header của reverse proxy ghi lại các chỉ thị được sử dụng ở trên.

Xác thực và tải lại cấu hình:

sudo caddy validate --config /etc/caddy/Caddyfile --adapter caddyfile
sudo systemctl daemon-reload
sudo systemctl reload caddy

Kiểm tra cả hai phía của ranh giới. Yêu cầu đầu tiên phải thành công từ máy chủ. Yêu cầu thứ hai chỉ phải thành công qua TLS khi token chính xác. Yêu cầu thứ ba không có token sẽ trả về 401.

# Host-local health check
curl -sS http://127.0.0.1:11434/api/chat \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen3:8b","messages":[{"role":"user","content":"health check"}],"stream":false}'

# Remote request through the edge
curl -sS https://ollama.example.com/api/chat \
  -H "Authorization: Bearer $OLLAMA_API_TOKEN" \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen3:8b","messages":[{"role":"user","content":"health check"}],"stream":false}'

# Expected: HTTP 401
curl -i https://ollama.example.com/api/chat

Không thay thế xác thực cơ bản cho chính mẫu máy khách này nếu không thay đổi thiết kế máy khách. HTTP Basic và các SDK OpenAI đều sử dụng header Authorization. Cạnh dùng bearer token ở trên duy trì cấu trúc thông thường của SDK OpenAI và giữ riêng tư endpoint Ollama cục bộ.

Bước 4: gọi API Ollama từ xa từ máy khách OpenAI

Ollama ghi nhận http://localhost:11434/v1 là URL cơ sở tương thích OpenAI cục bộ. Khi đã có cạnh HTTPS, chỉ thay đổi máy chủ và sử dụng token proxy làm khóa API của máy khách:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://ollama.example.com/v1/",
    api_key=os.environ["OLLAMA_API_TOKEN"],
)

response = client.chat.completions.create(
    model="qwen3:8b",
    messages=[
        {"role": "user", "content": "Give me a concise deployment checklist."}
    ],
)

print(response.choices[0].message.content)

Đây là API Ollama cloud GPU từ xa, nhưng không tự động là bản thay thế dùng ngay cho mọi tính năng của OpenAI. Trước khi chuyển lưu lượng thực, hãy kiểm tra chính xác các endpoint và hành vi mà ứng dụng của bạn sử dụng: streaming, lệnh gọi công cụ, đầu ra có cấu trúc, embeddings, đầu vào thị giác, xử lý lỗi, giới hạn ngữ cảnh và thời gian chờ của máy khách. Bản thân mô hình cũng quyết định điều gì có ý nghĩa hoặc được hỗ trợ.

Bước 5: chủ động điều chỉnh đồng thời và khả năng lưu trú của mô hình

Tránh tăng mức độ song song chỉ vì máy chủ yên tĩnh trong một lần kiểm tra curl. Ollama ghi nhận cửa sổ ngữ cảnh mặc định là 4096 token, một thiết lập hàng đợi yêu cầu và khả năng xử lý mô hình song song phụ thuộc bộ nhớ. Mỗi yêu cầu song song được thêm vào làm tăng phân bổ ngữ cảnh hiệu dụng, vì vậy một Ollama cloud GPU chứa được một yêu cầu vẫn có thể thất bại dưới lưu lượng đồng thời.

Sử dụng thứ tự triển khai có kiểm soát này:

1. Tải một mô hình ở mức lượng tử hóa dự kiến và chạy một tập prompt đại diện.
2. Ghi lại VRAM, độ trễ và trạng thái lưu trú trên GPU bằng nvidia-smi và ollama ps.
3. Tăng độ dài ngữ cảnh hoặc số yêu cầu song song, mỗi lần một tham số.
4. Thiết lập chính sách quá tải rõ ràng: xếp hàng, từ chối hoặc định tuyến đến phương án dự phòng.
5. Lặp lại sau mỗi thay đổi về mô hình, driver, runtime hoặc cửa sổ ngữ cảnh.

FAQ của Ollama ghi lại OLLAMA_CONTEXT_LENGTH, OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE và OLLAMA_KEEP_ALIVE. FAQ cũng lưu ý rằng phản hồi 503 có thể cho thấy hàng đợi bị quá tải. Hãy duy trì runbook cho các tín hiệu đó thay vì xem chúng là các lỗi API ngẫu nhiên.

Để tham khảo một mô hình máy chủ tự lưu trữ tổng quát hơn, hãy xem cách xây dựng máy chủ suy luận tương thích OpenAI. Hướng dẫn đó đề cập đến các vấn đề rộng hơn về edge, dự phòng và kiểm thử chấp nhận; bài viết này tập trung vào quy trình Ollama từ xa an toàn.

Khi nào không nên chạy máy chủ GPU đám mây Ollama

Tự lưu trữ có giá trị khi chính hạ tầng là một phần của yêu cầu sản phẩm. Điều này ít thuyết phục hơn khi mục tiêu chỉ đơn giản là gọi mô hình tốt nhất hiện có cho khối lượng công việc thay đổi. Hãy cân nhắc API mô hình được quản lý hoặc phương án dự phòng kết hợp khi:

• lưu lượng có tính đột biến và GPU sẽ nhàn rỗi;
• bạn cần nhiều họ mô hình hoặc thay đổi mô hình thường xuyên;
• đội ngũ của bạn không thể duy trì driver, volume mô hình, TLS, luân phiên token, khả năng quan sát và ứng phó sự cố; hoặc
• đường GPU có chi phí trên mỗi đầu ra được chấp nhận cao hơn sau khi tính cả lần thử lại và thời gian của vận hành viên.

Flatkey có thể đóng vai trò là phương án so sánh hoặc dự phòng đó: một khóa và một số dư cho hơn 300 mô hình chính thức và hơn 1.000 công cụ trả tiền theo lượt gọi. Giữ máy khách ở dạng tương thích OpenAI và đo lường tuyến tự lưu trữ so với một lựa chọn được quản lý bằng cùng prompt, tiêu chí thành công và chính sách thời gian chờ.

Danh sách kiểm tra triển khai cho GPU đám mây Ollama

• [ ] GPU hiển thị thông qua cả nvidia-smi và kiểm tra GPU Docker.
• [ ] Cổng Docker của Ollama chỉ được ánh xạ tới 127.0.0.1:11434.
• [ ] Cổng 11434 không công khai trong tường lửa đám mây hoặc tường lửa máy chủ.
• [ ] Proxy phục vụ HTTPS trên một hostname thực và từ chối các yêu cầu không có token.
• [ ] Bearer token được lưu trữ ngoài codebase và có quy trình luân phiên được lập tài liệu.
• [ ] Một yêu cầu /api/chat từ xa thành công khi có token và thất bại khi không có token.
• [ ] Một kiểm tra /v1/chat/completions từ xa thành công từ chính SDK mà ứng dụng của bạn sử dụng.
• [ ] Tag mô hình chính xác, lượng tử hóa, cửa sổ ngữ cảnh và mục tiêu đồng thời được lập tài liệu.
• [ ] ollama ps, telemetry GPU, nhật ký proxy và tỷ lệ 5xx là một phần của runbook.
• [ ] Bạn đã kiểm thử tình huống quá tải, khởi động lại và luân phiên token.
• [ ] Bạn đã so sánh tuyến GPU đám mây Ollama với mốc cơ sở API được quản lý khi tính linh hoạt hoặc khả dụng của mô hình là quan trọng.

Câu hỏi thường gặp

Ollama có tự xác thực API từ xa không?

Không nên dựa vào API cục bộ để xác thực từ xa. Các ví dụ máy chủ cục bộ của Ollama bỏ qua ủy quyền hoặc sử dụng giá trị khóa API mà máy chủ cục bộ bỏ qua. Hãy giữ dịch vụ ở chế độ riêng tư và yêu cầu xác thực tại proxy TLS, ranh giới mạng riêng hoặc gateway nhận biết danh tính.

Tôi có thể dùng SDK OpenAI với GPU đám mây Ollama không?

Có, Ollama tài liệu hóa URL cơ sở /v1 tương thích OpenAI cục bộ và các ví dụ máy khách phổ biến. Trỏ SDK tới đường dẫn /v1/ của proxy HTTPS và để proxy đó xác thực bearer token. Hãy kiểm thử chính xác các endpoint bạn sử dụng vì khả năng tương thích là một tập hợp con chứ không phải bảo đảm vô điều kiện.

Đám mây GPU giá rẻ tốt nhất cho Ollama vào năm 2026 là gì?

Đám mây GPU giá rẻ tốt nhất cho Ollama vào năm 2026 là lựa chọn phù hợp với mô hình, ngữ cảnh và mức đồng thời thực tế của bạn mà không có thời gian nhàn rỗi ẩn hoặc offload CPU. Hãy chạy cùng một benchmark ngắn trên một vài lựa chọn và so sánh chi phí trên mỗi đầu ra được chấp nhận, không phải mức giá theo giờ được quảng cáo của nhà cung cấp.

Tại sao container Ollama của tôi chạy trên CPU thay vì GPU?

Bắt đầu bằng cách kiểm tra máy chủ với nvidia-smi, sau đó xác nhận Docker có thể thấy GPU sau khi cấu hình NVIDIA Container Toolkit. Cuối cùng, kiểm tra ollama ps: một mô hình có thể chạy một phần hoặc hoàn toàn trên CPU khi không vừa với bộ nhớ GPU khả dụng.

Tôi có nên mở trực tiếp cổng 11434 để tiết kiệm một bước qua proxy không?

Không. Bước qua proxy cục bộ nhỏ này là đánh đổi phù hợp để có TLS, xác thực bên gọi, luân phiên bí mật và ranh giới công khai rõ ràng. Việc mở một máy chủ mô hình cục bộ thuần túy biến một lối tắt hạ tầng thành rủi ro bảo mật và lạm dụng không cần thiết.

Khuyến nghị cuối cùng

Cách đáng tin cậy để vận hành máy chủ Ollama cloud GPU rất đơn giản: xác thực môi trường chạy GPU, liên kết Ollama với loopback, sử dụng proxy HTTPS có kiểm tra bearer token, và thử nghiệm cả các lệnh gọi /api gốc lẫn /v1 tương thích OpenAI từ chính ứng dụng khách mà bạn thực sự sẽ triển khai.

Điều đó mang lại cho bạn quyền kiểm soát của mô hình tự lưu trữ mà không biến một điểm cuối cục bộ chưa được xác thực thành API công khai. Hãy đo lường mức độ phù hợp của mô hình, ngữ cảnh, khả năng đồng thời và chi phí đầu ra được chấp nhận trước khi mở rộng máy chủ—đồng thời duy trì API được quản lý làm chuẩn so sánh cho các khối lượng công việc mà việc vận hành GPU riêng làm tăng độ phức tạp nhiều hơn giá trị mang lại.

Nguồn

• Hướng dẫn cài đặt Ollama trên Linux và systemd
• Triển khai Ollama Docker và GPU NVIDIA
• Câu hỏi thường gặp về Ollama: hiển thị mạng, lưu trú GPU, ngữ cảnh, hàng đợi và khả năng đồng thời
• Giới thiệu API Ollama và các URL cơ sở cục bộ
• Khả năng tương thích OpenAI của Ollama
• Bộ khớp tiêu đề Caddy, khối handle và cấu hình reverse proxy