האם הסכמתך במו"מ עלולה להתפרש כאילו אתה מחויב לשלם בלי היתרי בנייה?

שלום,
רכשתי יחידה דו-משפחתית מקבלן בתנאי תשלום של עם התקדמות הבנייה (ללא ליווי בנק). בגמר שלד - השלמה ל60% מכספי משכנתא. בחוזה נחתם כי מועד קבלת היתרי בנייה הינו תנאי יסודי אשר הפרתו מזכה אותי בפיצוי מוסכם 10%. משלא עמד במועד קבלת ההיתרים, התנהל מו"מ בסופו סוכם כי "מועד קבלת היתר לא יהווה תנאי בחוזה, ואיחור בקבלת היתרי בנייה לא יהווה עילא לתביעת פיצוי בגין הפרה יסודית" . בתמורה נוספו תכולות ללא עלות .
כיום גמר שלד, אך עדיין אין היתרי בנייה סופיים (שנה לאחר חתימת חוזה) ולפיכך לא ניתן לקבל משכנתא - ואיני יכול לעמוד בתנאי התשלום. להגנתו טוען הקבלן כי מאחר והסכמתי באותו מו"מ כמצותת מעלה- עליי לעמוד בתנאי תשלום, בין אם ממשכנתא או ממקור אחר.
ברור שעל הקבלן אסור היה בכלל להגיע לשלב גמר שלד בלי היתרי בנייה, וכוונת אותו סיכום בינינו היה כי אני פותר אותו מתשלום פיצוי מוסכם בגין איחור בקבלת היתרים - ותו לא. הוני העצמי כבר שולם, התשלום הקרוב ייתכן אך ורק מכספי משכנתא.
האם הסכמתי במסגרת אותו מו"מ עלולה להתפרש כאילו לקחתי בחשבון שהוא עלול להגיע לשלב גמר שלד ולדרוש כספים מבלי שיש לי אפשרות לקחת משכנתא בגין העדר היתרים שבאחריותו???