Yo ando igual, AMD ATHLON 3500+ de 64 bits con 1 GB RAM en un Windows XP de 32 bits.
Lo que sí me bajé fue el ubuntu de 64 bits, lo probé... pero claro, al funcionar desde su Live CD! pues no se nota mejoría, además tampoco creo que vaya a notar que windows va como un tiro respecto a 32 bits.
Si quieres algo de información "técnica" mira la
wikipedia
Saludos