|
Nhấp vào nhà cung cấp Gemini API của bạn để xem nội dung và mã dành riêng cho nhà cung cấp trên trang này. |
Giới hạn số lượng yêu cầu (thường gọi là hạn mức) quy định số lượng yêu cầu mà bạn có thể gửi đến Gemini API trong một khung thời gian nhất định. Những hạn mức này giúp đảm bảo việc sử dụng công bằng, bảo vệ khỏi hành vi sai trái và giúp duy trì hiệu suất hệ thống cho tất cả người dùng.
Khi sử dụng Firebase AI Logic để truy cập vào các mô hình Gemini, hạn mức của dự án sẽ phụ thuộc vào nhà cung cấp Gemini API mà bạn chọn. Firebase AI Logic cũng cung cấp cách đặt giới hạn tốc độ "cho mỗi người dùng".
Xem giới hạn số lượng yêu cầu cho Gemini Developer API
Nếu bạn vượt quá hạn mức hoặc nếu dung lượng của mô hình bạn đang truy cập đã hết, thì bạn sẽ nhận được thông báo lỗi 429.
Cách hoạt động của giới hạn số lượng yêu cầu (hạn mức)
Giới hạn tốc độ (hạn mức) được đo lường theo 4 phương diện:
- Số yêu cầu mỗi phút (RPM)
- Số yêu cầu mỗi ngày (RPD)
- Số mã thông báo mỗi phút (TPM)
- Số mã thông báo mỗi ngày (TPD)
Mức sử dụng của bạn được đánh giá theo từng hạn mức và nếu vượt quá bất kỳ hạn mức nào, bạn sẽ gặp lỗi 429 vượt quá hạn mức. Ví dụ: nếu giới hạn RPM của bạn là 20, thì việc gửi 21 yêu cầu trong vòng một phút sẽ dẫn đến lỗi, ngay cả khi bạn chưa vượt quá giới hạn TPM hoặc các giới hạn khác.
Giới hạn số lượng yêu cầu được áp dụng ở cấp dự án và áp dụng cho tất cả ứng dụng cũng như địa chỉ IP sử dụng dự án Firebase đó.
Hạn mức sẽ khác nhau tuỳ thuộc vào mô hình cụ thể đang được sử dụng và một số hạn mức chỉ áp dụng cho các mô hình cụ thể.
Hạn mức sử dụng sẽ bị hạn chế hơn đối với các mô hình thử nghiệm và mô hình xem trước.
Yêu cầu tăng giới hạn số lượng yêu cầu
Nếu đang sử dụng "bậc có tính phí" cho Gemini Developer API, thì bạn có thể yêu cầu tăng giới hạn tốc độ.
Đặt giới hạn tốc độ "cho mỗi người dùng"
Để sử dụng Firebase AI Logic, dự án của bạn cần bật nhà cung cấp Gemini API mà bạn chọn, nhưng bạn cũng cần bật Firebase AI Logic API, đóng vai trò là cổng kết nối giữa SDK ứng dụng của chúng tôi và nhà cung cấp Gemini API của bạn. API này được bật cho bạn khi bạn thiết lập Firebase AI Logic lần đầu trong dự án Firebase.
Bạn có thể sử dụng giới hạn tốc độ (hạn mức) API Firebase AI Logic làm giới hạn tốc độ "cho mỗi người dùng" cho ứng dụng của mình, cụ thể là cho các tính năng AI dựa vào Firebase AI Logic. Bạn nên đặt hạn mức này ở mức hợp lý để một người dùng có thể sử dụng các tính năng AI của bạn, đồng thời đảm bảo rằng không có người dùng nào vượt quá hạn mức của nhà cung cấp Gemini API (vốn được dùng chung cho tất cả người dùng của bạn).
Thông tin chi tiết về giới hạn tốc độ "mỗi người dùng"
Sau đây là một số thông tin quan trọng về hạn mức (hạn mức) tốc độ API Firebase AI Logic – cụ thể là số yêu cầu mỗi phút (RPM):
Hạn mức này dựa trên "Yêu cầu tạo nội dung" trên cơ sở mỗi người dùng, mỗi khu vực, mỗi phút và không dựa trên mô hình.
Đây là giới hạn tần suất áp dụng cho tất cả người dùng của bạn. Hiện tại, không có cách nào để đặt giới hạn số lượng yêu cầu cho một người dùng cụ thể hoặc một nhóm người dùng cụ thể*.
Chế độ này áp dụng ở cấp dự án và áp dụng cho tất cả ứng dụng và địa chỉ IP sử dụng dự án Firebase đó.
Chính sách này áp dụng cho mọi lệnh gọi cụ thể đến từ bất kỳ SDK Firebase AI Logic nào.
Hạn mức mặc định là 100 RPM cho mỗi người dùng.
Xin lưu ý rằng bạn vẫn cần xem xét các giới hạn đối với nhà cung cấp Gemini API (xem ở trên), các giới hạn này được ưu tiên hơn Firebase AI Logic API.
* Nếu đang sử dụng Agent Platform Gemini API (formerly Vertex AI) và ứng dụng của bạn chuyển hướng người dùng đến các khu vực khác nhau (ví dụ: sử dụng Firebase Remote Config), thì bạn có thể đặt giới hạn tỷ lệ cụ thể cho người dùng ở một khu vực cụ thể.
Điều chỉnh giới hạn số lượng yêu cầu "cho mỗi người dùng"
Để điều chỉnh giới hạn tốc độ (hạn mức), bạn phải có quyền serviceusage.quotas.update. Quyền này được cấp theo mặc định cho vai trò Chủ sở hữu và Người chỉnh sửa.
Dưới đây là cách chỉnh sửa giới hạn tốc độ (hạn mức) hoặc yêu cầu tăng hạn mức:
Trong bảng điều khiển Google Cloud, hãy chuyển đến trang của Firebase AI Logic API.
Nhấp vào Quản lý.
Ở phần dưới của trang, hãy nhấp vào thẻ Hạn mức và giới hạn hệ thống.
Lọc bảng để hiện hạn mức mà bạn quan tâm, chẳng hạn như chức năng (yêu cầu tạo nội dung) và khu vực.
Ví dụ: để xem hạn mức cho mỗi người dùng đối với các yêu cầu tạo nội dung ở bất kỳ khu vực nào được hỗ trợ tại Châu Á, bộ lọc của bạn sẽ có dạng như sau:
Generate content requests+Dimension:region:asiaChọn hộp đánh dấu ở bên trái của mỗi hạn mức mà bạn quan tâm.
Ở cuối hàng của hạn mức, hãy nhấp vào biểu tượng , rồi chọn Chỉnh sửa hạn mức.
Trong biểu mẫu Thay đổi hạn mức, hãy làm như sau:
Nhập hạn mức tăng trong trường Giá trị mới.
Hạn mức này áp dụng ở cấp dự án và được chia sẻ cho tất cả ứng dụng và địa chỉ IP sử dụng dự án Firebase đó.
Hoàn tất mọi trường bổ sung trong biểu mẫu, rồi nhấp vào Xong.
Nhấp vào Gửi yêu cầu.