Problema relacion de n a n

[Durbed]

Tengo una tabla de direcciones, y quiero agruparlas por categorias, por tanto tambien tengo una tabla de categorias, el problema es que es una relacion de n a n, es decir una direccion puede pertenecer a mas de una categoria y cada categoria recoge varias direcciones. La teoria dice que hay que poner una tabla auxiliar que recoja el id_direccion y el id_categoria, pero no se como hacer las relaciones, si desde la tabla auxiliar dir_cat a las otras dos tablas o desde las tablas a la tabla auxiliar. Las tengo puestas desde la tabla auxiliar a las otras dos tablas, y me deja introducir los registros, pero no me deja borrar ninguna categoria ni direccion que tenga asignada.

Gracias.