[ecfisa]

Me quedé tratando de deducir que es lo que te pasaba...

pero al momento de agregar uno nuevo, tambien me agrega el ultimo que elimine

El problema no lo podés tener al agregar una línea, es demasiado trivial:

Código Delphi [-]
  StringGrid1.RowCount:= StringGrid1.RowCount +1;

Así que debe ser al insertár una línea. Si no inferí mal, mi apellido desde ahora será Holmes .
El código:

Código Delphi [-]
procedure TForm1.InsertarFila(Index: Integer);
var
  i: Integer;
begin
  with StringGrid1 do
  begin
    RowCount:= RowCount +1;
    for i:= RowCount-1 downto Index do
       Rows[i]:= Rows[i-1];
    Rows[Index].Clear;
  end;
end;

Saludos.