Częściowa czasowa rozbiórka budynku celem późniejszej odbudowy

Witam forumowiczów.

To mój pierwszy post na forum, z góry dziękuję za odpowiedzi, gdyż nie znalazłem jednoznacznej odpowiedzi w innych miejscach.

W 2012 przejąłem gospodarstwo na którym znajduje się garaż który miał już zawalony dach. Budynek 5x16m, wysoki 5m murowany z cegły, przedwojenny, konstrukcja dachu drewniana z dachówka. Budynek wysprzątałem, poprawiłem wieźbę i nakryłem plandeka, aby erozja nie postępowała dalej. Budynek wyłączony z użytku. Po kilku latach wiart potargał plandekę, belki przegniły, wygląda to nieestetycznie. Zabezpieczenie sprawdziło się na kilka lat, ale teraz rozsądnie i bezpiecznie będzie rezebrać wieźbę i zostawić same ściany.

Pytanie: Czy jeżeli wykonam rozbiórkę budynku bez rozbiórki ścian urząd inspekcji budowlanej lub inny urząd może znieść budynek z map bez mojej zgody jako właściciela nieruchomości.

Dodam, że mam wykonany projekt na odbudowę budynku. Wykreślenie z map nie wchodzi w grę, gdyż budynek stoi 1,5 metra od granicy działki. Stawiając nowy budynek musiałbym się odsunąć od granicy. Rozumiem że odbudowa będzie musiała odbyć się korzystając z usług kierownika budowy.