מה לעשות כאשר בעל הדירה מאיים עלינו למרות שיש לנו חוזה שכירות תקף?

שלום,
זה עומד להיות קצת ארוך, אך מקווה שתוכלו לעזור לי.
אני ומשפחתי משכירים דירה קרוב ל 10 שנים מאותו בעל דירה. תחילה חתמנו על חוזה שכירות אצל עו"ד שהוא חבר שלו ושילמנו 700 שקל ובעל הדיקה התנער מהתשלום בטענה שישלם לו אח"כ. לאחר שחוזה שכירות זה הסתיים לא כרתנו חוזה חדש ושילמנו את הכספים לפי שער הדולר ביום כריתת החוזה (לצורך העננין שער הדולר היה גבוה יותר) וששאלנו את בעל הדירה אם אפשר לעדכן את דמי השכירות הוא טען כי האי אפשר כי זה ההסכם שחתמנו עליו וכך שלימנו לו כמה שנים לפי השער הגבוה עד שיום אחד ביקשנו לחתום על חוזה חדש ולקבוע את דמי השכירות לפי שקלים בהתאם לחוק שיצא בזמנו אשר קבע כי ניתן לעשות זאת. בחוזה החדש צויין סכום דמי השכירות לתקופה ארוכת טווח, וליד מילה זאת צויין תאריך (2018), כיוון שאנחנו ביחסים מאוד טובים עם בעל הדירה הוא אמר בעצמו וחתם על ההסכם שברצונו שנהיה דיירים שלו עד תקופה זו כי אנחנו אמינים ושומרים לו על הדירה. לפני שנה הוא הגיע ואמר שרוצה להעלות את דמי השכירות, אנחנו לא אהבנו את זה ואמרנו לו שיש חוזה, הוא המשיך להציק עד שלא מזמן הוא שלח את אחיו ואת אמו לאיים עלינו שיפנו אותנו מהדירה אם לא נשלם לו תוספת שכר של 1200 ש"ח, סירבנו ודבקנו בחוזה השכירות. ואז הוא הגיע וטען שהתאריך והחתימה מזוייפים, לקח העתק מהחוזה להלך לעורך דינו (חבר שלו) ששלח לנו מכתב הזהרה כי אם לא נפנה את הדירה בתוך חודשיים יפנה לארכאות. החוזה לא מזוייף, הוא חתם עליו ונכח בעת ניסוחו ואף הכתיב אותו והסכים לכל הרשום בו. בעת החתימה נכחו 3 אנשים מדיירי הבית ואני רשמתי אותו, ולאחר מכן הם חתמו. מה עלינו לעשות? הוא מציק לנו ומאיים עלינו. אשמח להכוונה. תודה.