Das hört sich doch nach einem Wackelkontakt bzw. einer schlechten Lötstelle an.
Sieh dir auch mal an ob ein Kurzschluss zwischen dem I2C-Adapter und dem Displaygehäuse besteht.
Die Halter des Gehäuses ragen meist zu weit hervor und können mit der Zusatzplatine einen Kurzschluss bilden.