Barrapunto

Puede que el uso de mtab sea simplemente "informativo". Que sirva para que sepas (bien el usuario, bien programas o scripts) qué cosas hay montadas en el sistema. Vamos, que puede que no apareciera /home ni root en el mtab, pero que realmente estuviesen montados.

Digo todo esto sin saber exactamente como funciona. Yo habría mirado también en /proc/mounts para ver que había montado.

Es mirar con el comando mount, /proc/mounts o equivalentes.

Lo de mtab nunca lo he utilizado para nada.

se mostraba el gestor de inicio gráfico y podía logear, pero al levantar la sesión de cualquier usuario daba un error.

El problema que tenías es que no te montaba el /home. El entorno gráfico, mejor dicho, el servidor X y el gestor de arranque no necesitan para nada el contenido del /home, pues sus configuraciones están en /etc. En todo caso lo pueden usar para buscar los retratos de los usuarios.

El problema venía cuando querías iniciar sesión. Loguear podías, porque se usa el fichero de password (/etc/passwd y /etc/shadow), pero al arrancar la sesión fallaba porque no encontraba los ficheros que necesita, ni los podía crear ya que dichos ficheros están en el home de cada usuario.

Ignoro si mtab es puramente informativo como dicen por aquí o se usa a nivel interno para controlar los montajes, pero lo de arriba explica perfectamente el comportamiento.

Mi experiencia me dice que mtab es usado por mount para saber qué tiene montado un usuario no privilegiado.
Lo digo porque si como root ejecutas 'umount pepepe' te dirá que no ha encontrado pepepe, pero si lo haces como usuario normal, te dirá que pepepe no está montado según mtab.
(Todo esto dando por hecho que no sueles llamar pepepe a los puntos de montaje, cosas que yo a veces si que hago)