Tylko dla orłów.

Witam. To jest zagadka dla naprawdę mądrej głowy !
Posiadam tzw. działkę budowlano-rolną 0,63 ha , gdzie przy drodze publicznej jak to zwykle na wsi bywa, są na niej w frontowej części zabudowania typu dom, stodoła itp. Po obu stronach oczywiście w tej frontowej części po sąsiedzku są zabudowania . Reszta działki według wypisu z rejestru gruntów to użytki klasy III, koniec działki też graniczy z drogą publiczną. Czy odrolnić mogę tylko tę część zabudowaną działki , czy cała działka może być odrolniona automatycznie ? Jak to się ma do tego , że jeśli po obu stronach są zabudowania, to nie ma problemu z budowaniem na działce ? Chciałbym wybudować dom na drugim końcu tej działki , gdzie też jest dostęp do drogi publicznej. Proszę, o propozycje.
Rafał.