[[duilioisola]]

La función que presentas no es recursiva, por lo que si la carpeta tiene subcarpeta/s no funcionará.
Además de esto, si el archivo empieza por "." tampoco lo borrará. Esto puede darse en algunos casos en de aplicaciones portadas de Linux.

Te dejo a continuación tu función, corregida para ser recursiva y con los pasos comentados para aclarar qué es lo que hace en cada paso.
Verás que he borrado unas lineas que hacen referencia a Clipboard que parece que no tienen relación con el borrado de una carpeta.

Código Delphi [-]
function RemoveFolder(const Folder : string): Boolean;
var
  szFile : string;
  SearchRec: TSearchRec;
  szSearchPath : string;
  nResult : integer;
  Attributes: LongWord;
begin
  Result := False;
  szSearchPath := Folder;

  // Busco el primer archivo dentro de esa carpeta
  nResult := FindFirst(szSearchPath + '\*.*', faAnyFile, SearchRec);
  try
    // Mientras haya archivos...
    while nResult = 0 do
    begin
      // Si el archivo no es uno "especial"
      if not ((SearchRec.Name = '.') or (SearchRec.Name = '..')) then
      begin
        // Obtengo el nombra
        szFile := szSearchPath + '\' + SearchRec.Name;

        // Si es un directorio llamo recursivamente a la funcion
        if ((SearchRec.Attr and faDirectory) = faDirectory) then
           RemoveFolder(szFile)
        else
        begin
           // Si es un archivo lo borro
           FileSetAttr(szFile, 0);
           DeleteFile(PAnsiChar(szFile));
        end;
      end;

      // Busco el siguiente archivo
      nResult := FindNext(SearchRec);
    end;

    // He recorido directorio y subdirectorio correctamente borrandolos
    Result := True;
  finally
    SysUtils.FindClose(SearchRec);
  end;

  // Obtengo atributos de la carpeta
  Attributes := GetFileAttributes(PChar(Folder));

  if (Attributes = $FFFFFFFF) then
    raise EInOutError.Create(SysErrorMessage(GetLastError));

  if (Attributes and FILE_ATTRIBUTE_READONLY) <> 0 then
    SetFileAttributes(PChar(Folder), Attributes and not FILE_ATTRIBUTE_READONLY);

  // Borro la carpeta
  if Windows.RemoveDirectory(PChar(Folder)) = False then
    raise EInOutError.Create(SysErrorMessage(GetLastError));
end;

Nota:
Tengo esta estructura

  c:\Borrame\Prueba
     A.txt
     B.txt
     Subcarpeta
        C.txt
        D.txt

y lo llamo :

Código Delphi [-]
RemoveFolder('c:\Borrame\Prueba');