מה עלי לעשות כאשר שכני מבקש ממני השתתפות בעלויות חומה שנבנתה בניגוד להיתר?

שלום
לפני כשנה וחצי פניתי לאחד השכנים שביתו העתידי גובל בביתי והודעתי לו על כונתי להתחיל בבנית החומה האחורית שבינינו ועל אפשרות ההתתפות שלו,הלה הודיע לי שאין זה מעינינו ושעליי לפנות לקבלן שלו ולהסדיר זאת מולו כמובן שעשיתי זאת ואף סיכמתי אם הקבלן שלי שיגבה 200 ש"ח למטר ונחלק לשניים הקבלן מייד סרב וטען שהוא מוכן להשתתף רק בעלויות החומר כמובן שלא הסכמנו ואמרנו לו שאם כך שהוא יבנה את החומה ואנו נשתתף רק בעלויות החומר וכך היה, הקבלן שלו בנה חומה בניגוד לכתוב בהיתר הוא בנה חומה של 2 מטר כשבהיתר בתוכנית החומה אמורה להיות בגובה 0.70 ס"מ.
עברה חלפה לה שנה וחצי ובימים אלו פנה אליי שכני וביקש השתתפות בחומה שנבנתה והוא פתאום מבקש 350 ש"ח כפול אורך כפול גובה ועוד 250 מטר רץ על הרגל אני מצידי הזכרתי לו שהוא טען אז שזה לא מעינינו ושהוא סגר מחיר גלובל אם קבלן השלד ועלינו לסגור זאת מול הקבלן שלו דבר שלא עלה בהצלחה.
אני מצידי הצעתי לו בדיוק מה שהציע לי הקבלו שלו דאז וזה השתתפות רק בעלות החומר.
לדעתי האישית שכני פשוט נזכר לעצמו שאולי יש פה מקום להרויח כמה אלפי שקלים והלה בחר להתעלם לחלוטין ממה שביקש הקבלן שלו והחל להתמם בפשפטים כגון "לא מעניין אותי מה שהיה היה זה בעיה שלכם".אף טען שהפיתוח עלה יקר ויש לו חשבוניות כשביקשתי שיציגם הראה לי חוזה בניית שלד אבן חומות ושבילים בסה"כ 200.000 ש"ח מוזר מאוד הסכום וברור לי שהשאר שחור.
יש לציין שאם שכני מצידי הבית לא היתה הבעיה הזו.
על פי מה שקראתם פה מה עלי לעשות?
אני רוצה לסיים את הפרשה ובהגינות על סמך מה שהצד השני רצה בהתחלה אני לא רוצה ששכני יגרור אותי למשפט כי בלאו הכי הוא יפסיד כי הוא בנה בניגוד להיתר ואין לו שום חשבונית שמראה עלויות בניית החומה.