Si lo que quieres es un linux sin gráficos, entonces usa la versión server, no la desktop.
Por ejemplo, la wikipedia funciona con ubuntu server.
http://www.ubuntu.com/server/get-ubuntu/download
Y con debian es parecido, no instalas el entorno gráfico y listo.
Todos los linux son facilmente modificables, linux es muy modular, puedes instalar/eliminar el entorno gráfico, cambiarlo por otro, etc. practicamente con un sólo comando.