איך ניתן להתמודד עם חישובי המס בפרויקט פינוי בינוי?

אני שותף עם אח נוסף בדירה ישנה תחת פרויקט פינוי בינוי.  דירת התמורה שמגיעה לנו הינה בשווי של 2.5 מיליון שח. אני ואחי (בני 60) רוצים לקבל בפרויקט במקום דירת התמורה שתי דירות קטנות יותר שכל אחת בשווי 1.5 מיליון שח, (כך שדירה אחת תרשם על שמי בלבד, והדירה השניה על שם אחי בלבד - על כן להבנתנו אנו כמובן נאלץ לשלם את ההפרש הכספי - כלומר 500 אלף שח.
אלא שהיזם פתאום טוען לחישוב אחר - לטענתו לקחנו דירה קטנה בשווי 1.5 מיליון שח ועל כן מגיע לנו החזר כספי שם 1 מיליון שח - על החזר כספי זה הוא טוען שהוא מקזז את שווי המע"מ ולכן אנו נקבל החזר כספי של רק כ 850 אלף שח ועל כן לצורך רכישת הדירה השניה הוא דורש שנוסיף את ההפרש למכירה כלומר 650 אלף שח - ככה יוצא שאנחנו נדפקים ב 150 אלף שח
האם טענת היזם חוקית, ומה עלינו לעשות בכדי לא להיפגע ב 150 אלף שח שתכלס הולכים סתם ישירות לכיס  היזם באשר הוא פתור ממע"מ  על דירת התמורה המקורית בשווי 2.5 מיליון שח.
אנא תשובתכם, (באשר מן הסתם הנ"ל מקרה די פופולרי עבור רבים אחרים)
תודה