Chấp nhận bằng thùng token
Quyết định chấp nhận bằng thùng token từ thời điểm tường minh và trả trạng thái kế tiếp.
from math import isfinite
def admit(tokens, last, now, capacity, rate, cost):
values = (tokens, last, now, capacity, rate, cost)
if not all(type(x) in (int, float) and isfinite(x) for x in values):
raise ValueError("finite numbers required")
if not (capacity > 0 and rate > 0 and 0 < cost <= capacity
and 0 <= tokens <= capacity and now >= last):
raise ValueError("invalid bucket state")
refill = min(capacity, tokens + (now - last) * rate)
allowed = refill >= cost
return (refill - cost if allowed else refill, now), allowed| Dự án | Kiểm tra dùng hết chính xác và nạp có trần, từ chối thời gian lùi, chi phí sai và giá trị không hữu hạn. |
|---|---|
| Kiểm tra trước khi áp dụng | So sánh hành vi thực tế với kết quả mong đợi. Nếu kiểm tra thất bại, tìm nguyên nhân trước khi sửa tiếp. |
| Mô hình | Cấu hình endpoint tương thích OpenAI hoặc Anthropic bằng URL cơ sở và khóa API nếu cần. Kiểm tra kết nối. Máy chủ mô hình cục bộ phải đang chạy; công cụ từ xa có thể truyền dữ liệu riêng. |
from math import isfinite
def admit(tokens, last, now, capacity, rate, cost):
values = (tokens, last, now, capacity, rate, cost)
if not all(type(x) in (int, float) and isfinite(x) for x in values):
raise ValueError("finite numbers required")
if not (capacity > 0 and rate > 0 and 0 < cost <= capacity
and 0 <= tokens <= capacity and now >= last):
raise ValueError("invalid bucket state")
refill = min(capacity, tokens + (now - last) * rate)
allowed = refill >= cost
return (refill - cost if allowed else refill, now), allowedMô tả chuyển trạng thái trước khi đổi chính sách
TokenCoppice là không gian lập trình Windows để xem mã ứng dụng có trạng thái với mô hình AI. Bắt đầu bằng ghi trạng thái trước thao tác và kết quả mong đợi sau đó. Điều này tạo quy ước quan sát được cho trao đổi và giúp thấy đề xuất thay đổi xử lý chính sách hay chỉ sắp xếp lại phép tính.
Hàm chấp nhận theo token bucket là một tác vụ ví dụ. Đưa quy tắc dung lượng, bổ sung token và chi phí yêu cầu hiện tại vào trao đổi, rồi yêu cầu trợ lý xem trạng thái trả về sau chấp nhận hoặc từ chối. Ví dụ giúp định hình rà soát mã nguồn; vận hành dịch vụ giới hạn tần suất vẫn là trách nhiệm ứng dụng và hạ tầng của bạn.
Rà soát chuyển trạng thái đề xuất, chú ý giả định thời gian và trạng thái lưu cho yêu cầu kế tiếp. Kiểm thử biên như số dư bằng đúng chi phí và yêu cầu đến khi chưa có thời gian trôi qua. Chạy kiểm tra trong dự án và xem mã gọi trước khi cho rằng hàm đúng cục bộ xác lập hành vi qua các yêu cầu đồng thời.
Bạn có thể chọn mô hình được mô tả là không lọc qua điểm cuối tương thích OpenAI hoặc Anthropic được hỗ trợ có cung cấp. Cấu hình thông tin xác thực cần thiết, xác minh công cụ và ngữ cảnh sẵn có. Hành vi và giới hạn mô hình tại điểm cuối vẫn áp dụng, trong khi tiêu chí chấp nhận của bạn dựa trên chính sách ứng dụng đã nêu và kết quả kiểm thử.
Câu hỏi về thay đổi chính sách có trạng thái
Yêu cầu về chính sách chấp nhận nên gồm gì?
Cung cấp trạng thái đầu, chi phí yêu cầu, giá trị thời gian và quyết định mong đợi. Nêu giá trị cập nhật nào phải lưu sau đó. Nhờ vậy trợ lý suy luận về chuyển trạng thái đầy đủ thay vì đoán chính sách từ một biểu thức số học.
Hàm đúng có đảm bảo giới hạn tần suất khi đồng thời không?
Không. Xem cách ứng dụng đọc, ghi trạng thái dùng chung và đảm bảo đồng thời mà bộ lưu trữ cung cấp. Hàm kiểm thử riêng không chứng minh các yêu cầu đồng thời không thể tiêu thụ cùng số dư khả dụng.
Yêu cầu bị từ chối nên ảnh hưởng trạng thái lưu thế nào?
Định nghĩa rõ cho chính sách, kể cả bổ sung theo thời gian trôi qua và cập nhật dấu thời gian. Yêu cầu mô hình giải thích chuyển trạng thái đề xuất và kiểm thử yêu cầu liên tiếp, vì lần gọi bị từ chối tưởng vô hại có thể ảnh hưởng quyết định sau.
Có thể thử mà không đổi quy tắc chấp nhận đang dùng không?
Dùng dữ liệu kiểm thử và phiên bản phát triển của ứng dụng để so sánh chuyển trạng thái trước khi áp dụng thay đổi chính sách. TokenCoppice hỗ trợ trao đổi lập trình; quyết định rà soát và triển khai vận hành vẫn theo quy trình hiện có của dự án.
TokenCoppice · Cập nhật 2026-10-25