Hola MaMu,
Creo que para lo que buscas es muy buena idea optar por
notación polaca inversa.
La forma en cómo se evalúan los paréntesis, corchetes y llaves, por lo general se consigue con pilas. Se van encolando los signos ( en la medida en que se leen. En cuanto se lee un ) se da por entendido de que una expresión se ha entendido y por tanto se desapila el ( guardado. Este proceso se puede llevar de forma análoga con los corchetes y llaves.
Tal vez lo que se
trató en otra ocasión sea de utilidad.
Saludos,