HarMoEny: Efficient multi-GPU inference of Mixture of Experts models by scheduling experts across accelerators

Mixture-of-Experts (MoE) models enhance computational efficiency during inference by selectively activating specialized experts for each request.This approach facilitates efficient model scaling on multi-GPU systems leveraging expert parallelism, without compromising performance.However, uneven load distribution across experts often creates imbalances across GPUs, increasing latency due to idle waiting times.To address this, we propose HarMoEny, a novel solution that employs two simple techniques: (i) dynamic token redistribution to underutilized GPUs and (ii) asynchronous prefetching of experts from system to GPU memory.These methods achieve near-perfect load balancing across GPUs and amortize the cost of executing experts not resident in GPU memory, thereby reducing waiting times and latency.We implement HarMoEny and evaluate its performance against four state-of-the-art baselines using real-world and artificially imbalanced datasets.Under heavy load imbalance, HarMoEny improves throughput by 66.7%-68.6%and reduces time to first token by 31.8%-37.2%,compared to the next-best baseline.Furthermore, our ablation study demonstrates that HarMoEny's scheduling policy reduces the GPU idle time by up to 99% relative to the baseline policies.i AbrgLes modles Mixture-of-Experts (MoE) amliorent l'efficacit computationnelle lors de l'infrence en activant slectivement des experts spcialiss pour chaque requte.Cette approche permet une monte en chelle efficace des modles sur des systmes multi-GPU grce au paralllisme d'experts, sans compromettre les performances.Cependant, une rpartition ingale de la charge entre les experts engendre souvent des dsquilibres entre les GPU, augmentant ainsi la latence cause des temps d'attente inactifs.Pour remdier cela, nous proposons HarMoEny, une solution novatrice qui repose sur deux techniques simples : (i) la redistribution dynamique des jetons vers les GPU sous-utiliss et (ii) le prchargement asynchrone des experts de la mmoire systme vers la mmoire GPU.Ces mthodes permettent un quilibrage de charge quasi-parfait entre les GPU et amortissent le cot d'excution des experts non prsents en mmoire GPU, rduisant ainsi les temps d'attente et la latence.Nous avons implment HarMoEny et valu ses performances face quatre rfrences de pointe, en utilisant des jeux de donnes rels et artificiellement dsquilibrs.En cas de fort dsquilibre de charge, HarMoEny amliore le dbit de 66,7 % 68,6 % et rduit le temps jusqu'au premier jeton de 31,8 % 37,2 %, par rapport la meilleure rfrence.De plus, notre tude d'ablation montre que la politique d'ordonnancement de HarMoEny rduit le temps d'inactivit des GPU jusqu' 99 % par rapport aux politiques de rfrence.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.