האם אנחנו צריכים להחזיר את דמי הרצינות ששולמו למשרד התיווך?

אנחנו מנסים למכור דירה. פרסמנו מודעה ואנשים באו לראות. למחורת התקשרו ממשרד תיווך ואמרו שלקוחה שלהם מעוניינת בדירה. כשהגענו למשרד החתימו אותנו על טופס הזמנת שירות ורק לאחר מכן התברר שהדירה נועדה לאחות של המתווך, והיא בעצם לא משלמת.
התיווך ניסה לשכנע אותנו לחתום על זכרון דברים ואנחנו סירבנו.
הם בכל זאת רצו לדעת שאנחנו רציניים ולא ננסה לסגור במקביל עם עוד אנשים, ולכן שכנעו אותנו לקבל 1000 ש"ח במזומן, וחתמנו על פתק שהכסף התקבל "כמקדמה לקניית דירה ..."
הם היו ממש לוחצים התקשרו אלף פעם לוודא שהעברנו פרטים לעו"ד ושהסרנו את כל הפירסומים (לחץ מאוד לא מתון).
העו"ד שלנו העביר לעו"ד שלהם את טיוטת החוזה תוך יומיים. אנחנו דאגנו לכל המסמכים, ואז הייתה דממה מצידם למשך שבוע שלאחוריה הקונה הודיע שהיא לא מעוניינת לקנות ורוצה את הכסף שלה חזרה.
אנחנו טענו שנגרם לנו נזק והעו"ד שלנו ביצע את העבודה, ולכן אנחנו לא מחזירים את הכסף. מאז אנחנו מקבלים טלפונים לוחצים מהתיווך עם איומים ועם טיעון מרכזי שבפתק נכתב שהכסף שולם על חשבון קניית דירה ואין קניה אז אנחנו מחזיקים בכסף באופן לא חוקי.

האם זה נכון שאנחנו אמורים להחזיר את הכסף?