Barrapunto

Compilas la optimizaciones para el procesador que tienes, y las cosas basicas tambien. El resto, como modulos. En funcionamiento normal no comen recursos, pero cuando hace falta permiten tener algo funcionando en segundos.

Ya que mencionas que es para escritorio, tal vez deberias haber comprobado como estan configurado el tema de latencias y la variable HZ.

O simplemente, usar el kernel y libc i686 de la Mint y arreando. Las opciones usadas para el kernel deberian estar en /boot/config-VERSION. Lo cual puedes hacer de todos modos, y comparar tu kernel con el de la distro y ver si merece la pena compilar o no.