Tra la Vusb e il 5V c'e' un diodo ( sempre che si tratti di un originale, in un compatibile non è detto ..... ) che serve proprio per poter fare quello che dici e non danneggiare il Pc
Semmai l'errore che stai facendo è quello di collegare il 5V al pin Vin ( e non al +5V ). Su detto pin Vin ci andrebbe una tensione di almeno 6V, visto che sei sull'ingresso del regolatore di tensione montato sulla scheda