Pozwolenie na budowę a prywatna droga

Rok temu uzyskałem pewne warunki zabudowy wedle, których mogłem wybudować budynek, który z jednej strony działki (nazwijmy ją X) miał stanąć w odległości 1.5 metra. Zdecydowałem się następnie na wykonanie warunków zabudowy po raz kolejny aby zmienić kształt dachu. Okazuje się, że tym razem sąsiad się nie zgodził twierdząc, że muszę zachować odstęp 6 metrów, gdyż znajduje się tam jego prywatna droga. Na gminie powiedzieli, że faktycznie obecnie mają tam w papierach wpisaną prywatną drogę.
Moje pytanie brzmi czy mogę uzyskać pozwolenie na budowę w odległości 1.5 metra od krawędzi mojej działki w oparciu o warunki zabudowy które już dostałem. Oraz kolejne czy w wypadku uzyskania pozytywnej decyzji starostwa, czy odwołanie się sąsiada do wojewody z argumentem, że obecnie jest tam droga prywatna byłoby skuteczne?