מה עושים כשחוזה השכירות נחתם מול אדם שאינו בעל הדירה?

שלום,
אני וחברתי מצאנו יחידת דיור מקסימה להשכרה, האדם שדיברנו איתו והראה לנו את היחידה הציג את עצמו כבעל הדירה (מה שבפועל הסתבר כלא מדוייק - פירוט בהמשך), אחרי שאלות מצידנו ומצידו החלטנו לחתום על חוזה. החוזה נחתם באמצע אוגוסט שהכניסה שלנו לדירה לפי החוזה היא בתחילת ספטמבר. הבית עצמו (בית פרטי) שבו נמצאת היחידה היה ריק והוא טען שהוא נכנס לגור שם עם משפחתו כשבוע אחרינו. ב-1 בספטמבר קיבלנו מפתח, ביצענו הובלה והתחלנו לארגן את הדירה. שלושה ימים אחרי זה אני מקבל טלפון מ"בעל הדירה" והוא אומר לי שאני צריך לפנות את היחידה באופן מיידי. הסיבה - הוא לא בדיוק בעל הדירה אלא שוכר את הבית מאיזה חבר, ושהחבר הבין שהוא משכיר את הקומה התחתונה לאנשים אחרים הוא התעצבן ואיים לפוצץ את העסקה בינהם. הוא הציב לו אולטימטום שעד שאנחנו לא עוזבים את היחידה הם לא נכנסים לבית. בחוזה ביננו כתוב שאם המשכיר רוצה שנפנה את הדירה לפני תום החוזה הוא צריך להודיע 90 יום לפני. אין לנו מקום אחר לעזוב אליו, אין לנו איפה לאחסן את כל הציוד שלנו, למצוא דירה אחרת לא לוקח יום או יומיים (לפעמים גם לא שבוע או שבועיים) ומבחינתנו לעזוב את הדירה באופן מיידי לא אפשרי. בנוסף עשינו כבר הזמנות במיוחד לדירה (סלון, ארון לחדר השינה במידה מיוחדת) שאותם לא ניתן לבטל או לשנות (בביטול לאחר 4 ימים צריך לשלם 50% מהסכום). "בעל הדירה" מנסה לשדל אותנו לצאת בכל מיני הבטחות (תשלום הובלה, חדר במלון, אכסון הציוד אצלו עד שנמצא דירה וכו') אך אני לא יודע אם יש כבר על מי לסמוך.
אנחנו אובדי עצות.
מה צריך לעשות??
תודה