Zakup nowego domu od rolnika, postawionego na działce zagrodowej

Dzień dobry,
planujemy wraz z żoną zakupić nieruchomość w postaci domu. Dom jest budowany przez osobę prywatną która jest rolnikiem na działce zagrodowej (RM). Sprzedający chce sprzedać dom w stanie deweloperskim ze wszystkimi wymaganymi pozwoleniami i odbiorami. Proszę o informację czy ja jako osoba prywatna niebędąca rolnikiem mogę taki dom zakupić na działce zagrodowej? Czy nie będą z tego wynikały jakieś dalsze problemy, a jeżeli tak to jakie? W nadzorze budowlanym zwrócili mi uwagę na kwestię przeznaczenia użytkowania tzn. że rolnik buduje dla siebie dom na działce rolnej i użytkuje to zgodnie z przeznaczeniem czyli jako działkę rolną. Ja jak kupię jako nierolnik to prawdopodobnie zmieni się przeznaczenie, gdyż ja nie będę użytkował działki jako rolnik tylko jako osoba prywatna nie będąca rolnikiem - czy faktycznie tutaj może być jakiś problem? Proszę o odpowiedzi na powyższe pytania oraz informację czy grożą mi jakieś inne komplikacje o których mogę nie mieć pojęcia? Powierzchnia działki to 22a. Prosze o porady.