Eso tiene facil solucion. Haces que el contador sólo cuente cuando lo desees:
if (key<>VK_DELETE) or (key<>VK_SPACE) then begin
inc(contador);
...
end;
Asi ignoras si se pulsa espacio o supr.
La unica ventaja de realizarlo de esta manera es que así escribes tu el código (que es mas divertido), a utilizar otros componentes y/o otras funciones ya implementadas, que por otro lado están muy bien... Cada uno hace lo que quiere, y el quería usar un TEdit y utilizar el evento OnKeyPress.
Saludos