Ramp ra mắt dịch vụ định tuyến mô hình AI mang tên Router

🚀 RAMP RA MẮT DỊCH VỤ ĐỊNH TUYẾN MÔ HÌNH AI MANG TÊN ROUTER

Nền tảng quản lý chi phí doanh nghiệp Ramp đang nối gót Stripe trong việc tham gia vào lĩnh vực cung cấp cổng trung gian cho suy luận AI. Vào tối thứ Tư, Ramp đã ra mắt dịch vụ định tuyến mô hình AI của riêng mình mang tên Router, cho phép người dùng và các doanh nghiệp sử dụng cũng như chuyển đổi linh hoạt giữa nhiều mô hình ngôn ngữ lớn thông qua một API. Công ty cho biết họ đã tự xây dựng và sử dụng bộ định tuyến này cho các nhu cầu AI của chính mình trong suốt ba năm qua. Dịch vụ này hiện chỉ khả dụng tại Hoa Kỳ. Nó được miễn phí sử dụng cho đến hết năm 2026 (người dùng vẫn phải trả chi phí suy luận mô hình AI) và đi kèm ưu đãi tín dụng khởi điểm trị giá 26 USD. Công ty chưa tiết lộ mức phí của dịch vụ trong năm tới. Về chức năng, Router khá giống với cách hoạt động của OpenRouter, mặc dù OpenRouter hiện cung cấp nhiều lựa chọn mô hình AI hơn so với Ramp. Router cung cấp quyền truy cập vào các mô hình từ OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI và Z.ai. Dịch vụ này cũng cung cấp một số "chiến lược" để giúp khách hàng định tuyến các yêu cầu AI đến mô hình dựa trên sở thích của họ. Ví dụ, một tùy chọn cho phép người dùng ưu tiên các gói sử dụng linh hoạt từ nhà cung cấp mô hình, trong khi một tùy chọn khác cho phép Router tự động chọn mô hình dựa trên tối đa ba tiêu chuẩn đánh giá do người dùng chỉ định. Người dùng cũng có thể chọn chỉ chuyển các bài toán khó sang các mô hình đắt tiền hoặc kiểm thử mô hình dễ dàng mà không cần phải thay đổi thủ công. Người dùng cũng sẽ nhận được một bảng điều khiển (dashboard) hiển thị lượng token đã dùng, chi phí, độ trễ, số lần thử dự phòng (fallback) và các chi tiết khác. Đáng chú ý, Router áp dụng chính sách lưu trữ dữ liệu có quyền từ chối (opt-out): theo mặc định, hệ thống sẽ ghi lại đầu vào, đầu ra của mô hình và các lệnh gọi công cụ trong một năm, mặc dù công ty cho biết họ sẽ xóa "thông tin nhận dạng cá nhân trước khi sử dụng nội dung đó để cải thiện sản phẩm". Đối với Ramp, việc bước chân vào lĩnh vực định tuyến mô hình mang lại cơ hội kép: họ có thể khai thác thị trường suy luận AI đang bùng nổ, đồng thời cung cấp cho khách hàng hiện tại một dịch vụ định tuyến mô hình hoàn toàn phù hợp với các sản phẩm sẵn có của hãng, bao gồm giám sát sử dụng token AI và quản lý chi phí token. Ngoài ra, nếu Router chứng minh được sức hút như một không gian kiểm thử mô hình tương tự OpenRouter, Ramp cũng có thể thiết lập mối quan hệ lâu dài với các phòng thí nghiệm AI và nhà cung cấp suy luận trên toàn thế giới. Điều đó có thể giúp Ramp, công ty từng huy động được 750 triệu USD với mức định giá 44 tỷ USD vào tháng 6, thu hút khách hàng mới và có thêm điểm tiếp cận mới để bán các sản phẩm quản lý chi phí của mình.

🗞 Nguồn: TechCrunch

#vgsnews #vgs #tintuc