A maior parte dos ganhos vem de configuração correta, não de quantidade de plugins instalados.
O essencial
Um plugin de SEO, um de cache e um de otimização de imagens bem configurados resolvem a maioria dos casos.
Plugins de SEO no WordPress: quais realmente importam
Menos plugins e melhor configuração costumam render mais que uma pilha de ferramentas concorrentes.