OpenAI vừa giới thiệu Ultrafast, chế độ xử lý mới dành cho GPT-5.6 Sol với mục tiêu tăng đáng kể tốc độ phản hồi mà không phải chuyển sang một mô hình nhỏ hơn. Theo công bố của hãng, Ultrafast có thể đạt tốc độ nhanh gấp 14 lần so với chế độ xử lý tiêu chuẩn và sinh tối đa khoảng 750 output token mỗi giây.
Output token là những đơn vị văn bản được mô hình tạo ra trong quá trình phản hồi. Với mức 750 token/giây, Ultrafast hướng đến những tác vụ cần kết quả gần như theo thời gian thực, đặc biệt trong môi trường doanh nghiệp nơi độ trễ có thể ảnh hưởng trực tiếp đến quy trình vận hành.
OpenAI cho biết trước đây, để đạt tốc độ phản hồi rất cao, người dùng thường phải lựa chọn các mô hình nhỏ hơn hoặc được tối ưu riêng cho một số tác vụ. Ultrafast đi theo hướng khác khi giữ GPT-5.6 Sol làm nền tảng, đồng thời tăng mạnh lượng công việc mà mô hình có thể hoàn thành trong cùng một khoảng thời gian.
Theo OpenAI, các tình huống phù hợp với Ultrafast gồm ứng phó sự cố, chăm sóc và hỗ trợ khách hàng, phân tích thị trường tài chính hay các hệ thống thương mại điện tử. Đây đều là những môi trường mà dữ liệu thay đổi liên tục và thời gian từ lúc nhận yêu cầu đến khi mô hình đưa ra kết quả có thể trở thành yếu tố quan trọng.
Ultrafast hiện được triển khai dưới dạng preview và trước mắt xuất hiện trên OpenAI API. Quyền truy cập mới chỉ dành cho một nhóm khách hàng giới hạn, thay vì được mở rộng ngay cho toàn bộ người dùng GPT-5.6 Sol. OpenAI cho biết phạm vi sử dụng sẽ được tăng dần khi năng lực hạ tầng cho phép.
Hạ tầng tính toán phía sau Ultrafast được cung cấp thông qua sự hợp tác giữa OpenAI và Cerebras. Công ty này phát triển các hệ thống AI sử dụng bộ xử lý wafer-scale, tập trung vào khả năng suy luận với tốc độ cao. Việc sử dụng hạ tầng Cerebras cho phép OpenAI đẩy tốc độ sinh token của GPT-5.6 Sol lên mức cao hơn đáng kể so với chế độ tiêu chuẩn.
Các hãng AI khác cũng đang phát triển những chế độ ưu tiên tốc độ cho mô hình của mình. Anthropic chẳng hạn đã có fast mode dành cho Claude. Với Ultrafast, OpenAI đang đưa tốc độ suy luận trở thành một tùy chọn riêng cho GPT-5.6 Sol, thay vì yêu cầu người dùng đánh đổi bằng cách chuyển sang một model nhỏ hơn khi cần phản hồi nhanh.
