La última versión que se podía hacer potable es la 1.8.19. La versión 2.x no se puede hacer portable. Aunque te descargues el .zip siempre va a buscar los archivos en la ruta de usuario, documentos, arduino… con lo que me gusta la versión portable…
Haz click aqui: Haciendo el IDE de Arduino Portable