כיצד עלי לפעול אם אני מתנגד לבורר שקבע הקבלן בנוגע לסכסוך?

רציתי לשאול כמה שאלות חשובות:
קניתי דירה מקבלן .בחוזה מופיע שבכל נושא סכסוך בין המוכר לקונה,בנוגע לחוזה הרכישה,ישמש בורר אדם מסויים.
כרגע הקבלן לא מוכן למסור את הדירה (בגלל סיבה צדדית שאין לה שום קשר לחוזה. ) , והוא אמר "כיוון שנקבע שבכל סכסוך בינינו יכריע הבורר,אני מבקש להפנות את זה לבורר,והוא יכריע.
אני -לא מוכן שהבורר הזה יחליט בעניין,כי הנושא שעליו רוצה הקבלן לדון,זהו נושא שלבורר אמור להיות ניגוד אינטרסים חמור וישיר ביותר (ולא כאן המקום לפרט) -
בקיצור: לפני שבוע הקבלן שלח לי (בדואר לא רשום) עותק של מכתב שהוא שלח לבורר,ובו הוא מבקש שבגלל הסיבה המסויימת,הוא מבקש שהוא יכריע האם עליו למסור לי את הדירה או לא.

וכאמור,אני מצידי לא מוכן בשום אופן שאותו בורר יכריע,ואם יהיה צורך -אני גם אלך לבית משפט שיכריע האם יש כאן מצב של "פסלות בורר" -

ולכן אני מבקש לשאול:
כעת,שנשלח אלי העתק של מכתבו של הקבלן,האם אני חייב לשלוח לבורר הודעה שאני בנתיים לא מוכן לדון אצלו,עקב עילת "פסלות בורר" (לדעתי),או שאני יכול להתעלם עד שהבורר ישלח לי איזה מכתב בנושא?
במילים אחרות: האם זה שאני כרגע לא שולח מצידי שום מכתב לבורר -כתגובה למכתב שהקבלן שלח אליו -יכול לשמש כטיעון ש"שתיקה כהודאה",ושכביכול הסכמתי שהוא ידון בעניין -או שכל עוד שהבורר לא שולח לי איזו הודעה וכדומה -אני לא צריך להגיב כלום,וחוסר תגובה מצידי לא מהווה ראיה לכלום,ולא יכול לשמש עילה לטיעון שאני לא התנגדתי שהוא יכריע בזה?
אודה לתשובה דחופה!