Olá Marcio,
Eu já pensei em fazer algo do tipo usando bluetooth + java, agora via USB não sei como ficaria...
Eu sei que a maioria dos celulares comuns, a USB é uma serial convertida, assim como o Arduino, mas não sei se é fácil o controle de software utilizando esta porta...
Baixa o NetBeans, na versão com suporte para Java ME (para celular) e vê o que dá pra fazer. é facil fazer uns programinhas em modo texto (interface bonitinha nunca tentei), e vem com emulador para o computador, documentação e referência é bem completa também.
http://netbeans.org/downloads/index.html