Iba añadir, que en la parte de SW, al poner las medidas del paso de la varilla y los pasos por mm igual pusiste algun numero mal, pero lo descarto porque has comentado que puedes hacer bien cuadrados.
Lo raro es que si puedes hacer triangulos y te salen bien (pues intervienen 2 motores), la circunferencia luego te salga mal.
Que velocidad usas?