האם אני יכולה לתבוע את הרוכש על ביטול חוזה מכירת המגרש?

שלום.
לפני כחודשיים חתמתי על חוזה מקרקעין בו מכרתי מגרש.
בהחלטה משותפת והדדית, לפני הכניסה לעו"ד לחתימה על החוזה, סגרתי עם הרוכש שיעביר אליי חלק מסכום העיסקה במזומן ללא הצהרה ודווח לרשויות המס. חתמנו על כך בזכרון דברים ומיד נכנסנו לעו"ד לחתום על החוזה (העו"ד לא ידע על כך כמובן).
בחוזה צויין כי כל זכרון דברים שנחתם לפני חתימת החוזה מבוטל.
הרוכש החליט שלא מתאים לו המגרש מסיבה טכנית כלשהי וביקש לבטל את העיסקה. אנני מעוניינת לבטל את החוזה ורוצה לקיימו כלשונו.
הרוכש מאיים לדווח לרשויות המס על טיוטת זכרון הדברים שנחתמה לפני הכניסה לעו"ד וכביכול לדווח על אי ההצהרה על סכום הכסף אותו העביר לי. ברור לי שהרוכש מנסה להפחיד אותי אולם ברור לכל שגם לו יש ממש לחשוש. הרוכש היה מעוניין לבטל את העיסקה ללא כל פיצוי כלשהו למרות 10% דמי ביטול שרשומים בחוזה.
שאלתי היא - האם אני רשאית לתבוע אותו על ביטול החוזה או שכדאי ורצוי בגלל אופי העיסקה להגיע לפשרה ולא לערב את רשויות המס?
אשמח לייעוץ אישי.
תודה מראש וחג שמח,