SGLang ile iş birliğimizin sonuçlarını paylaşmaktan heyecan duyuyoruz. 🎉
Birlikte, GB200 NVL72 üzerinde dağıtım için DeepSeek R1 çıkarımını optimize ettik - H100 kümelerine kıyasla neredeyse iki katı büyüklükte, her GPU'da 2x ve 3x artış sağladık.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
8 Likes
Reward
8
6
Share
Comment
0/400
WhaleWatcher
· 16h ago
Performans iki katına çıktı, harika!
View OriginalReply0
Rugpull幸存者
· 16h ago
Yine performansı sarıyor, değil mi?
View OriginalReply0
OnChainDetective
· 16h ago
hmm bu gpu metriklerini takip ettim... burada bir şeyler tutarsız görünüyor
SGLang ile iş birliğimizin sonuçlarını paylaşmaktan heyecan duyuyoruz. 🎉
Birlikte, GB200 NVL72 üzerinde dağıtım için DeepSeek R1 çıkarımını optimize ettik - H100 kümelerine kıyasla neredeyse iki katı büyüklükte, her GPU'da 2x ve 3x artış sağladık.
Sınır MoE çıkarımının böyle göründüğüdür.