איך ניתן לבטל זיכרון דברים עם קבלן ולדרוש החזרת מקדמה?

שלום רב
חתמתי עם קבלן זיכרון דברים על כוונתי לרכוש דירה אצלו.
הקבלן הציג לי תשריט של הדירה ותמונה גדולה של הבניין.
שילמתי לו 20000 שח.
בזיכרון דברים רשום שתוך שבוע ימים עלינו לחתום על חוזה.
החוזה הועבר אלי ממנו (ורק ממנו) התברר שאין היתר בנייה על הבנין .
הוגשה בקשה לבניין והיא נמצאת בוועה לבניין ערים.
בנוסף, בבקשה להיתר בנייה אין את הקומה שלי (זו חריגה שהקבלן יבקש בעתיד).
אגב, שחתמנו על זיכרון דברים הקבלן אמר לי ולקרוב משפחה שלי שיש היתרים.
בחוזה רשום תאריך יעד לסיום הבניין אבל, רשום גם שבמידה ותהיה בעיה מבחינת היתרי בנייה מסירת הדירה יכולה לידחות לתאריך לא ידוע.
כמובן שאני רוצה לבטל את כל העניין אולם הקבלן לא מסכים להחזיר את הכסף - (בזיכרון דברים לא רשום שהוא חייב.
מה עושים?
תודה