Hola, el stringReplace no debería fallarte, sería bueno que pusieras el codigo que estas utilizando, pero no es necesario cambiar por las comillas simples creo, acabo de hacer una prueba y no da error al insertar o hacer una consulta con comillas dobles en mysql.
Código Delphi
[-]
......
Query.Sql := 'Select * from campo = '+QuotedStr('2"');
......
Saluditos