Połączenie budynku gospodarczego z domem jednorodzinnym

Witam,
Mam następujący problem.
40 lat temu moi dziadkowie budując dom postawili go około 3 metry od starego parterowego domu, który w tym monecie jest budynkiem gospodarczym. Pomiędzy budynkami postawili malutki ganek. W obecnej sytuacji chcielibyśmy połączyć budynek gospodarczy razem z domem i przekształcić go w budynek mieszkalny na parterze i poddaszu( jeśli chodzi o ganek w grę wchodzi jego wyburzenie).
Problem jest następujący, dom i budynek gospodarczy stoją w jednej linii i znajdują się 1 m od granicy działki ( nie wspomne o upierdliwym sąsiedzie). Pan w urzędzie powiedział, że połączenie takie jest niemożliwe ponieważ dobudowane ściany będą się znajdować w mniejszej odległości niż 4 m od granicy działki.
Czy jest jakieś rozwiązanie tej sytuacji, czy można to jakoś bezbolesnie prawnie rozstrzygnąć bez włóczenia się po sądach?