Wu disse que a Tether recentemente apresentou seu novo sistema QVAC, conseguindo executar o modelo LLAMA 3.2 (1 bilhão de parâmetros) no dispositivo móvel usando llama.cpp, alcançando inferência local eficiente. O QVAC é um runtime de inferência e ajuste fino genérico, projetado para se adaptar a uma variedade de dispositivos terminais, incluindo smartphones, laptops e servidores, atualmente suporta vários modelos e expandirá o suporte a mais modelos no futuro.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Wu disse que a Tether recentemente apresentou seu novo sistema QVAC, conseguindo executar o modelo LLAMA 3.2 (1 bilhão de parâmetros) no dispositivo móvel usando llama.cpp, alcançando inferência local eficiente. O QVAC é um runtime de inferência e ajuste fino genérico, projetado para se adaptar a uma variedade de dispositivos terminais, incluindo smartphones, laptops e servidores, atualmente suporta vários modelos e expandirá o suporte a mais modelos no futuro.