איך אפשר להתגונן מפני טענות בעל הדירה לאחר עזיבת דירה?

שלום רב,
עזבתי דירה לאחר כמה שנים של שכירות.
המשכיר הגיע לדירה, הסתובב ובחן את חדרי הנכס ולא היו בפיו טענות באותו הרגע.
לאחר כשלושה ימים הוא התקשר אלי וטען שהדירה לא צבועה ומלוכלכת ולכן הוא מבקש שאני אצבע את הדירה ואנקה אותה.
בחזרה לאחור: נכנסתי לדירה לאחר שוכרים קודמים. השוכרים הקודמים לא צבעו את הדירה (לכלוכים על הקיר כתוצאה מהזמן שחלף).
בעל הדירה לא שהה בארץ בזמן הכניסה לדירה ושלח את הבן שלו עם טופס שמציין כי קיבלתי את הדירה מסויידת ונקייה לשביעות רצוני.
ברצוני לציין שנכנסתי לדירה יומיים באיחור בגלל שהתעכבו בפינוי הנכס וגם ככה הייתי בלחץ להיכנס לדירה ופשוט חתמתי על הטופס היות והדירה נראתה במצב סביר (דירה חדשה ללא פריטי ריהוט).
לאחר שבעל הדירה חזר לארץ, ציינתי בפניו שהדירה לא סויידה והוא נתן לי הסכמה בע"פ שלא לצבוע את הדירה כשאני אעזוב ולכן סיידתי אותה בעצמי. מאז עברו מספר שנים והוא לא זכר את הכניסה המאוחרת לדירה וגם את נושא הצביעה (טיפשות שלי שלא העלתי כלום על הכתב).
בעל הדירה מחזיק שטר חוב שקיבל ממני בעת הכניסה לדירה.
ברצוני לציין שהתכוונתי לצבוע בדירה רק את המקומות שהילד שלי קישקש בהם על הקירות, אבל בעל הדירה הודיע לי בע"פ לפני עזיבת הדירה שהוא מוכן לצבוע את הדירה בעצמו, שאני רק אשאיר לו צבע.
השארתי לו את הצבע שהיה ברשותי (כמות שאינה מתאימה לסיוד מלא של הדירה אלא רק לצביעת כתמים על הקיר).

ברצוני לשאול כיצד אני יכול להתגונן.
1) הטענות הועלו בפניי רק שלושה ימים לאחר שעזבתי את הדירה.
2) הטענות בנוגע לניקיון אינן סבירות - לכלוך שנוצר כתוצאה ממספר השנים שעברו כבלאי טבעי.
3) ישנם עדים שנכנסו איתי לדירה ביום המעבר וראו שהיא התקבלה לא צבועה.

עזבתי דירה לאחר 5 שנים לאחר שכל התשלומים שולמו במלואן ובזמן, בעל הדירה לא שמע ממני על תקלות בדירה בזמן הזה וקיבל שקט לכל תקופת השכירות.
לטעמי זאת רק תאוות בצע.

אודה לכם על כל תשובה שתעזור לי להתמודד.