Hola,
"DeleteFile" hace justamente lo que das a entender con tu pregunta: borra un fichero, pero no lo sitúa en la papelera de reciclaje (al menos usando Delphi 7).
Sin embargo, si lo que precisas es borrar el fichero "permanentemente", tal vez lo que te dice Neftali es lo acertado: a lo menos eso es lo que se hace (o algo similar, entiendo) en un procedimiento publicado en
Torry's Delphi Pages en respuesta a alguien que lo pretendía.
Por cierto que encontré la referencia al procedimiento que te indico buscando en
Google de este modo:
Delete file permanently with delphi.
Lo digo, esto último, porque, además de la referencia susomentada (el primer enlace de los resultados que aparecen) hay otras que tal vez puedan igualmente ayudarte.
20-04-2005
Modo Hilado