odrolnienie wspólnej drogi

Posiadam działkę grunt rolny klasa IIIb.Dojazd do działki stanowi droga która jest w 1/2 moją własnością i sąsiada.Działka sąsiada ma dostęp do drogi głownej ,natomiast moja działka ma dostep do drogi głownej tylko przez drogę dojazdową która jest w 1/2 moja własnością.W sporzadzonym akcie notarialnym moim i sąsiada zaznaczono,że działka/droga/
jest w 1/2 własnością sasiada i moją i stanowi ona dojazd do mojej i sąsiada działki.Pomimo tego sasiad nie dokonał odrolnienia 1/2 swojej drogi odralniając tylko potrzebną cześc na swojej działce i uzyskał pozwolenie budowlane.Ja nie mogę odrolnić całej drogi bo jestem właścicielem 1/2 i przez to nie uzyskam pozwolenia na budowe.
Ico tu robić?