כיצד עלי לפעול כאשר בני לא רוצה לראות את אביו?

יש לי הסדרי ראיה מול האבא של בני,בני היום בן חמש ועושה בעיות אינו רוצה ללכת עם אביו,לאחרונה בני בא ואמר :שאבא ירק לסבתא בצלחת וצרח עליה,יש לו אמא מבוגרת שהוא מתיחחס אליה כמו אשפה לעיני בני.......היה עוד מקרה שבעט ברכב לעבר בנו הגדול מאישה אחרת הוא אדם עצבני ובני כנראה לו מרגיש כבר טוח איתו,אתמול בני אמר לו בטלפון שאינו רוצה לוא עימו,הוא התעקש להגיע אלי הביתה והילד אמר לו אני לא רוצה לבוא איתך,ואחרי שהוא הלך הילד אמר:אני כבר לא מפחד ואני לא רוצה ללכת איתו יותר הייתי המומה.....לפני כן בטלפון הוא אמר לילד:אמא אומרת שאתה לא אוהב אותיייי,שאתה לא רוצה לבוא אלי...הוא כל הזמן מפעיל לחץ לא בריא,יש לו ים של עבירות תנועה מהירות,אור אדום עד שהילד מגיע הביתה אנימתפללת שיחזור בשלום......כשאבא שלו הבין שהוא לא בא הוא איים עלי בטלפון ואמר:אין לי מה להפסיד...יש לציין שהוא בן 40 לא נשוי,עצבני מתוסכל,אני התחתנתי נולדה לי בת לפני  3 חודשים,וחיה חיים מאושרים....כיצד עלי לנהוג?אני לא יכולה להכריח את הילד ללכת איתו?נתתי לו את האפשרות לעלות והוא לחץ והילד צרח עליו מה עושים במקרה שכזה...........הבן שלי חכם מאד ודי בוגר להביע את רגשותיו מחכה לתשובה תודה