Bầu trời đen của suy luận AI, không một vì sao nào có thể chiếu sáng mọi ngóc ngách.
Đó là ẩn dụ tôi giữ trong đầu khi đọc bài phát biểu của Vương Đông, đồng sáng lập Moore Threads, tại một hội nghị tháng 7 năm 2024. Ông nói: “Thị trường suy luận không có chip vạn năng, chỉ có giải pháp kết hợp.” Câu nói ấy như một tia chớp xé toạc bức màn tự mãn của ngành công nghiệp GPU. Trong khi NVIDIA vẫn đang tận hưởng vinh quang với dòng H100 và B200, Vương Đông vẽ ra một bức tranh khác: nơi các nhà cung cấp dịch vụ suy luận (ISP) sẽ nổi lên, kết hợp nhiều loại phần cứng khác nhau để tối ưu chi phí cho từng kịch bản cụ thể. Đây không chỉ là một tuyên bố tiếp thị, mà là một luận điểm vĩ mô về sự phân mảnh tất yếu của hạ tầng suy luận.
Ngồi ở Seattle, nhìn vào dòng chảy thanh khoản toàn cầu và chu kỳ công nghệ, tôi thấy bài phát biểu này mang hơi thở của một nhà quan sát vĩ mô thực thụ. Nó không chỉ nói về chip, mà còn về cấu trúc thị trường, về sự thay đổi quyền lực giữa các hệ sinh thái. Hãy cùng tôi mổ xẻ.
Bối cảnh: Khi sự độc tôn của NVIDIA bắt đầu nứt
Thị trường suy luận AI hiện tại đang ở một bước ngoặt. Trong khi đào tạo (training) vẫn là lãnh địa gần như tuyệt đối của NVIDIA với CUDA và NVLink, suy luận (inference) lại là một chiến trường đa dạng hơn nhiều. Các kiến trúc chuyên biệt như LPU của Groq, chip wafer-scale của Cerebras, AMD MI300X, Intel Gaudi, và hàng loạt ASIC (TPU, NPU, DPU) đều lao vào cuộc chơi. Mỗi loại chip có ưu thế riêng: một số tối ưu cho batch nhỏ độ trễ thấp (chat bot), số khác cho batch lớn thông lượng cao (tạo nội dung hàng loạt), số khác nữa cho suy luận chuỗi dài (tài liệu, code).
NVIDIA, dù mạnh, không thể chiến thắng mọi kịch bản với cùng một kiến trúc. Giá thành của H100/B200 quá cao cho các tác vụ biên (edge) hoặc các ứng dụng yêu cầu điện năng thấp. Hơn nữa, chính sách hạn chế xuất khẩu của Mỹ khiến thị trường Trung Quốc buộc phải tìm kiếm giải pháp thay thế nội địa. Đây chính là mảnh đất màu mỡ cho “giải pháp tổ hợp” mà Vương Đông đề cập.
Moore Threads, với dòng GPU MTT S4000, là một trong những kỳ vọng của Trung Quốc về chip đồ họa nội địa. Công ty thành lập năm 2020, đã huy động hàng trăm triệu USD, và đang cạnh tranh với Huawei (Ascend), Cambricon, Hygon, và Biren. Tuy nhiên, khác với các đối thủ, Moore Threads chọn cách nhấn mạnh vào “tính linh hoạt” và “sẵn sàng kết hợp” thay vì đối đầu trực diện. Đó là một chiến lược khôn ngoan, nhưng liệu có đủ để biến giấc mơ thành hiện thực?
Phần cốt lõi: Giải mã logic “tổ hợp phần cứng”
Vương Đông lập luận: “Thông qua tối ưu phần mềm và phần cứng, mỗi mô hình đều có thể tìm được tổ hợp phần cứng tối ưu nhất.” Đây không phải là một tuyên bố mới trong giới kỹ thuật, nhưng nó mang một hàm ý chiến lược sâu sắc. Nó thừa nhận rằng không một nhà sản xuất chip nào có thể một mình phục vụ tất cả. Và từ đó, nó mở ra cánh cửa cho một tầng lớp trung gian mới: các công ty chuyên cung cấp dịch vụ suy luận (Inference Service Provider – ISP).
ISP, theo Vương Đông, sẽ là những đơn vị tổng hợp nhiều nguồn phần cứng khác nhau (NVIDIA, AMD, Intel, Moore Threads, Huawei,…) và bán lại năng lực suy luận dưới dạng dịch vụ, tương tự như cách các nhà cung cấp đám mây multi-cloud hoạt động. Họ hứa hẹn mang đến chi phí thấp hơn, tính linh hoạt cao hơn so với việc phụ thuộc vào một đơn vị duy nhất.
Hãy xét một ví dụ cụ thể: một ứng dụng chatbot yêu cầu độ trễ dưới 100ms cho mỗi lượt hỏi. NVIDIA GPU có thể đáp ứng, nhưng chi phí đắt. Một chip ASIC chuyên biệt (ví dụ Groq) cho độ trễ cực thấp, nhưng lại kén mô hình. Một GPU nội địa như MTT S4000 có thể đạt 80% hiệu năng của A100 với 60% chi phí, nhưng cần tối ưu phần mềm thêm. ISP sẽ đứng ra chọn lựa, tinh chỉnh, và bảo đảm SLA cho khách hàng. Đó là một câu chuyện đầy sức hút.
Tuy nhiên, bức tranh kỹ thuật đằng sau còn phức tạp hơn nhiều. Để “tổ hợp” thành công, cần có một tầng trừu tượng hóa phần cứng (hardware abstraction layer) mạnh mẽ, cùng với các trình biên dịch thông minh có thể chuyển đổi mã giữa các kiến trúc khác nhau. Các dự án open source như Triton Inference Server, vLLM, và OpenCL đang tiến gần đến điều đó, nhưng vẫn còn những rào cản về độ ổn định và hiệu suất. Kinh nghiệm của tôi từ thời DeFi Summer 2020 cho thấy: những ý tưởng trừu tượng hóa (như cross-chain) thường vấp phải thực tế phũ phàng khi triển khai. Dù vậy, tiềm năng là có thật.
Góc nhìn phản trực giác: Tại sao “tổ hợp” có thể thất bại?
Dù luận điểm của Vương Đông rất logic, tôi nhìn thấy ba điểm mù lớn.
Thứ nhất, tính tiện lợi của hệ sinh thái NVIDIA là cực kỳ mạnh. Hàng triệu nhà phát triển đã quen với CUDA, TensorRT, và các thư viện tối ưu. Một giải pháp tổ hợp đòi hỏi họ phải từ bỏ sự quen thuộc, chấp nhận rủi ro về độ tương thích và thời gian tích hợp. Trong kinh doanh, “không bị sa thải vì mua IBM” cũng đúng với “không bị sa thải vì chọn NVIDIA”. Sự ưa thích rủi ro thấp sẽ kìm hãm ISP.
Thứ hai, các ISP độc lập khó có thể cạnh tranh với các gã khổng lồ đám mây. Alibaba Cloud, Tencent Cloud, AWS đã và đang cung cấp nhiều lựa chọn GPU (NVIDIA + nội địa). Họ có quy mô, có đội ngũ tối ưu, có quan hệ đối tác sâu. Một ISP mới nổi sẽ khó đạt được mức chi phí tương đương, và khách hàng lớn thường muốn xử lý trực tiếp với đám mây hơn là qua trung gian.
Thứ ba, “tổ hợp” đồng nghĩa với phức tạp. Mỗi khi một mô hình mới ra mắt (ví dụ Llama 4), ISP phải tối ưu nó trên 5-6 loại chip khác nhau. Điều này đòi hỏi nguồn lực kỹ thuật khổng lồ. Trong khi đó, NVIDIA chỉ cần tối ưu trên một kiến trúc duy nhất. Vòng đời phần mềm ngắn ngủi của AI có thể khiến nỗ lực tổ hợp trở nên lỗi thời trước khi kịp hoàn vốn.
Tuy nhiên, có một kịch bản mà “tổ hợp” chiến thắng: khi chính sách buộc phải dùng chip nội địa. Trung Quốc đang thúc đẩy “tín sáng” (thay thế hàng ngoại bằng hàng nội) trong lĩnh vực chip. Nếu chính phủ yêu cầu các cơ quan nhà nước và doanh nghiệp then chốt sử dụng suy luận trên chip nội, thì ISP – với khả năng kết hợp nhiều loại chip nội – trở thành cầu nối bắt buộc. Sức mạnh của chính sách có thể bẻ cong logic thị trường.
Takeaway: Liệu có một chu kỳ mới cho hạ tầng suy luận?
Tôi đã chứng kiến quá nhiều chu kỳ trong crypto – từ ICO 2017 đến DeFi Summer, NFT mania, và bây giờ là ETF. Mỗi chu kỳ đều có một câu chuyện thống trị: “công nghệ thay đổi thế giới”. Câu chuyện của Vương Đông hôm nay là về “tổ hợp phần cứng và ISP”. Nó có thể sẽ không thành hiện thực trong 12 tháng tới, nhưng nó đặt nền móng cho một cấu trúc thị trường mới, nơi sức mạnh không tập trung vào một nhà cung cấp duy nhất.
Đối với nhà đầu tư: hãy tìm kiếm các công ty có năng lực tích hợp đa chip và tối ưu phần mềm – đó sẽ là những “Uniswap của thế giới suy luận”. Đối với kỹ sư: hãy học cách làm việc với nhiều kiến trúc khác nhau, vì tương lai không chỉ có NVIDIA.
Bầu trời đen của suy luận AI có thể không có một vì sao duy nhất. Nhưng những tia chớp từ nhiều hướng, như lời của Vương Đông, có thể soi sáng con đường phía trước. Vấn đề là chúng ta có đủ kiên nhẫn để chờ đợi cơn mưa thanh khoản thực sự đổ xuống không?