Revisa la propiedad
Selection
Edito:
Ahora me doy cuenta que no te sirve esa propiedad porque tenés selecciones no contiguas. La unica forma que se me ocurre es como comentan arriba, pintando las filas seleccionadas por el usuario. Tendrías que mantener una estructura adicional que indique que el estado de cada fila (seleccionado o no)
Algo más sencillo es utilizar un chechbox embebido en cada fila. Hay ejemplos en el foro. Si te pasas a TListView esto viene resuelto solamente marcando la propiedad Checkboxes a True