Cách tạo trí tuệ nhân tạo: từ nguyên mẫu với API đến mô hình riêng

Cách tạo trí tuệ nhân tạo phụ thuộc vào những gì bạn muốn xây dựng. Chatbot cho khách hàng, bộ phân loại tài liệu và mô hình ngôn ngữ được huấn luyện từ đầu là những dự án khác nhau. Với đa số đội ngũ sản phẩm, bước đầu tiên khả thi là tạo một ứng dụng sử dụng mô hình có sẵn qua API, thử nghiệm một tác vụ thực tế và kiểm soát dữ liệu, chi phí cũng như chất lượng. Huấn luyện một mô hình từ các trọng số ban đầu chỉ hợp lý khi bạn có dữ liệu, kinh nghiệm và năng lực tính toán để biện minh cho lựa chọn đó.

Trả lời nhanh: xác định một tác vụ có thể đo lường, chuẩn bị 30 đến 100 ví dụ đại diện, tạo nguyên mẫu bằng một mô hình hiện có, đánh giá lỗi rồi mới quyết định liệu bạn có cần truy xuất tài liệu, tinh chỉnh hay tự huấn luyện hay không. “Tạo AI” không đòi hỏi phiên bản đầu tiên phải huấn luyện một mô hình mới.

Chọn loại dự án trước khi chọn công nghệ

Một giao diện trò chuyện có thể là “AI của bạn” ngay cả khi mô hình nền tảng đến từ nhà cung cấp. Giá trị của sản phẩm nằm ở tác vụ mà nó giải quyết, trải nghiệm, các quy tắc truy cập, tích hợp với dữ liệu và đánh giá liên tục. phần giới thiệu thực hành của Google về machine learning là điểm khởi đầu tốt để hiểu về huấn luyện, xác thực và các chỉ số trước khi đầu tư vào hạ tầng.

Bước 1: mô tả một tác vụ nhỏ và có thể kiểm chứng

Tránh bắt đầu với “một AI làm mọi thứ”. Hãy chọn một việc như “phân loại email hỗ trợ thành năm danh mục”, “tóm tắt phiếu hỗ trợ kèm các bước tiếp theo” hoặc “trả lời câu hỏi về cơ sở trợ giúp”. Với mỗi tác vụ, hãy xác định đầu vào, đầu ra, người dùng, các ràng buộc và điều kiện thành công.

Tạo một tập ví dụ thực tế ban đầu, không có dữ liệu cá nhân không cần thiết. Ghi chú kết quả mong đợi và các trường hợp khó: ngôn ngữ pha trộn, yêu cầu không đầy đủ, nội dung không tồn tại trong cơ sở dữ liệu, chỉ dẫn độc hại và tài liệu mâu thuẫn. Tách các ví dụ phát triển và kiểm thử. Nếu bạn điều chỉnh prompt bằng toàn bộ ví dụ, sau đó bạn sẽ không còn một mẫu độc lập để biết liệu hệ thống có cải thiện hay không.

Chọn các chỉ số phù hợp với tác vụ. Phân loại có thể sử dụng độ chính xác theo từng danh mục và tỷ lệ cần con người xem xét. Một câu trả lời hỗ trợ có thể cần độ chính xác về mặt thực tế, trích dẫn nguồn, thời gian phản hồi và chi phí cho mỗi trường hợp được giải quyết. Chỉ riêng số lượng token không đo được mức độ hữu ích.

Bước 2: tạo nguyên mẫu bằng API mô hình

Một API giảm bớt công việc ban đầu trong việc lưu trữ GPU và phục vụ mô hình. Nó không loại bỏ các quyết định về sản phẩm: đội ngũ của bạn vẫn cần bảo vệ khóa, định dạng đầu vào, xác thực đầu ra và xử lý lỗi. giao diện tương thích của Flatkey ghi nhận https://router.flatkey.ai/v1 cho các lệnh gọi chat completions bằng SDK OpenAI. Hãy sử dụng khóa do Flatkey cấp và một bí danh mô hình hiện tại từ danh mục; đừng nhầm khóa này với thông tin xác thực do OpenAI cấp trực tiếp.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.flatkey.ai/v1",
    api_key=os.environ["FLATKEY_API_KEY"],
)

answer = client.chat.completions.create(
    model=os.environ["FLATKEY_MODEL"],
    messages=[
        {"role": "system", "content": "Classifique a mensagem em: compra, suporte, cobrança ou outro. Responda apenas com uma categoria."},
        {"role": "user", "content": "Não consigo encontrar a fatura do mês passado."},
    ],
)
print(answer.choices[0].message.content)

Đoạn mã này là một bài kiểm tra tích hợp, không phải một ứng dụng hoàn chỉnh. Hãy xác thực danh mục trả về dựa trên danh sách được phép, chỉ ghi nhận dữ liệu cần thiết, đặt thời gian chờ và kiểm tra các lỗi 400, 401, 429 và 5xx. Lưu khóa trên máy chủ hoặc trong trình quản lý bí mật; không bao giờ phân phối khóa trong JavaScript công khai hoặc trong ứng dụng di động.

Nếu chọn gọi trực tiếp một nhà cung cấp, hãy đọc tài liệu tham khảo hiện tại về endpoint của họ. Các endpoint được gọi là “tương thích” có thể bao phủ những bề mặt khác nhau: hãy kiểm tra mô hình, định dạng công cụ, streaming, giới hạn và cách tính phí. Đối với thử nghiệm đầu tiên, một lệnh gọi nhỏ hữu ích hơn việc di chuyển toàn bộ lưu lượng cùng lúc.

Bước 3: cải thiện kết quả trước khi huấn luyện

Khi nguyên mẫu thất bại, hãy phân loại nguyên nhân. Yêu cầu có mơ hồ không? Có thiếu dữ liệu không? Mô hình có nhận quá nhiều ngữ cảnh không? Câu trả lời không tuân theo định dạng? Những nguyên nhân này đòi hỏi các giải pháp khác nhau.

• Prompt và định dạng: yêu cầu đầu ra ngắn gọn, có thể xác thực, cung cấp ví dụ đầu vào và đầu ra, rồi kiểm tra lược đồ của kết quả.
• Dữ liệu bên ngoài: đối với các chính sách, tài liệu và danh mục thường thay đổi, hãy tìm thông tin hiện tại trong hệ thống của bạn và chỉ gửi những đoạn có liên quan. Đồng thời đánh giá kiểm soát truy cập; một tìm kiếm tốt với quyền kém có thể làm lộ dữ liệu.
• Luồng ứng dụng: chia các tác vụ phức tạp thành những bước có thể kiểm tra. Sử dụng quy tắc nghiệp vụ bên ngoài mô hình khi chúng cần tính xác định.
• Mô hình: so sánh nhiều mô hình trong cùng một bộ kiểm thử. Mô hình lớn hơn không tự động tốt hơn cho phân loại ngắn.

Chỉ cân nhắc tinh chỉnh sau khi đã thử các lựa chọn này và thu thập đủ ví dụ được gán nhãn. tài liệu của Hugging Face về fine-tuning giải thích rằng việc này tiếp tục huấn luyện một mô hình đã được huấn luyện trước trên dữ liệu của một tác vụ hoặc lĩnh vực; điều đó khác với việc tạo toàn bộ trọng số từ đầu. Hãy kiểm tra giấy phép của mô hình, nguồn gốc dữ liệu, chi phí huấn luyện và quy trình đánh giá.

Bước 4: quyết định xem bạn có thực sự cần một mô hình riêng hay không

Huấn luyện một mô hình từ đầu đòi hỏi thu thập và làm sạch dữ liệu, token hóa, kiến trúc, GPU, lưu trữ, thử nghiệm, checkpoint, bảo mật và một đội ngũ có khả năng đánh giá các hồi quy. Ngay cả sau khi huấn luyện, bạn vẫn cần phục vụ mô hình với độ trễ và mức độ sẵn sàng chấp nhận được. Đối với nhiều sản phẩm, chi phí này không chính đáng trước khi có một nhu cầu đã được chứng minh mà API hoặc các mô hình mở không đáp ứng được.

Nếu yêu cầu là kiểm soát trọng số hoặc thực thi trên hạ tầng của bạn, hãy so sánh một mô hình mở đã được huấn luyện với nguyên mẫu API của bạn. Đo lường chất lượng, throughput, bộ nhớ GPU, chi phí mỗi tác vụ và nỗ lực vận hành. khu vực GPU Compute của Flatkey có thể là điểm khởi đầu để xem xét hạ tầng, nhưng tính sẵn có, giá cả và cấu hình cần được kiểm tra tại thời điểm ra quyết định. Đừng tính toán khoản tiết kiệm dựa trên một GPU luôn bận khi khối lượng công việc thực tế của bạn có các đỉnh và những giờ nhàn rỗi.

Một kiến trúc lai cũng có thể thực hiện được: các tác vụ có thể dự đoán trên một mô hình mở do bạn kiểm soát và các trường hợp khó trên API của mô hình bên ngoài. Điều này đòi hỏi định tuyến và khả năng quan sát rõ ràng, chứ không chỉ là hai endpoint được cấu hình.

Bước 5: chuẩn bị ứng dụng để sử dụng thực tế

Trước khi cho người dùng sử dụng, hãy thực hiện một đánh giá đơn giản:

1. Dữ liệu và quyền truy cập: dữ liệu nào được đưa vào prompt? Ai có thể truy vấn từng tài liệu? Nội dung nào được đưa vào nhật ký?
2. Chất lượng: đánh giá riêng các trường hợp phổ biến, hiếm gặp và đối kháng; ghi lại tỷ lệ lỗi chấp nhận được và thời điểm chuyển cho con người xử lý.
3. Chi phí: ước tính token đầu vào và đầu ra, số lần gọi theo mỗi tác vụ, các lần thử lại và mức giá hiện tại của mô hình. Theo dõi chi phí trên mỗi kết quả hữu ích.
4. Vận hành: xác định thời gian chờ, các giới hạn, backoff cho 429, phương án dự phòng và cách tắt chức năng mà không ảnh hưởng đến phần còn lại của sản phẩm.
5. Thay đổi: kiểm thử lại khi thay đổi mô hình, prompt, tài liệu, SDK hoặc nhà cung cấp. Lập phiên bản cho cấu hình đã tạo ra từng kết quả.

Một phản hồi HTTP 200 không chứng minh rằng sản phẩm đã thực hiện đúng tác vụ. Với một bộ phân loại, hãy so sánh với nhãn mong đợi. Với một câu trả lời dựa trên tài liệu, hãy kiểm tra xem trích dẫn có thực sự hỗ trợ cho khẳng định đó không. Với nội dung được tạo, hãy yêu cầu con người xem xét tại những điểm có tác động lớn nhất.

Chi phí tạo một trí tuệ nhân tạo là bao nhiêu?

Không có một mức giá duy nhất. Một nguyên mẫu dùng API có thể bắt đầu với lưu lượng thấp, nhưng chi phí tăng theo số lần gọi, token, các mô hình đắt tiền hơn, công cụ và các lần thử lại. Một hệ thống có truy xuất bổ sung thêm tìm kiếm, lưu trữ và bảo trì tài liệu. Tinh chỉnh và tự lưu trữ bổ sung GPU và vận hành. Huấn luyện từ đầu làm tăng các yêu cầu này nhiều hơn nữa.

Hãy lập bảng tính với năm biến: người dùng hoạt động, tác vụ trên mỗi người dùng, số lần gọi trên mỗi tác vụ, token trên mỗi lần gọi và tỷ lệ lặp lại. Nhân với mức giá hiện tại của mô hình đã chọn và cộng thêm chi phí lưu trữ, tìm kiếm, GPU và công việc vận hành khi có. So sánh các phương án bằng cùng một bộ kiểm thử và cùng một định nghĩa về tác vụ hoàn thành. trang giá của Flatkey là nguồn tham khảo về mức phí cho tuyến của bạn; nếu dùng nhà cung cấp khác, hãy tham khảo trang của họ.

Câu hỏi thường gặp

Tôi có cần biết lập trình để tạo một AI không?

Để tạo nguyên mẫu cho một ý tưởng, các công cụ trực quan có thể hữu ích. Để tích hợp AI vào một sản phẩm có dữ liệu người dùng, cần có người xử lý xác thực, bí mật, xác thực dữ liệu, chi phí và lỗi. Biết lập trình hoặc làm việc với một đội ngũ kỹ thuật sẽ giúp các biện pháp kiểm soát này có thể kiểm chứng.

Sự khác biệt giữa tạo một AI và huấn luyện một AI là gì?

Tạo một ứng dụng AI là xây dựng một quy trình hữu ích xoay quanh một mô hình. Huấn luyện là thay đổi các tham số của một mô hình bằng dữ liệu và tính toán. Một sản phẩm có thể mới mẻ và có giá trị mà không cần huấn luyện một mô hình từ đầu.

Tôi có thể tạo một AI chỉ bằng một API không?

Có, đối với nhiều tác vụ. API cung cấp năng lực của mô hình, nhưng ứng dụng của bạn vẫn chịu trách nhiệm về giao diện, dữ liệu, quy tắc, đánh giá và bảo mật. Nếu cần tài liệu cập nhật, hãy thêm một bước truy xuất thay vì cho rằng mô hình biết thông tin nội bộ của bạn.

Bước tiếp theo: chọn một tác vụ, tách riêng các ví dụ kiểm thử và thực hiện một lệnh gọi nhỏ. Chỉ mở rộng phạm vi khi bạn có thể đo lường chất lượng và chi phí. Nếu cùng một ứng dụng cần kiểm thử nhiều mô hình thông qua một tích hợp, hãy đánh giá tuyến chat completions của Flatkey với các mô hình và giới hạn hiện tại của tài khoản bạn.