frais hypothèques

J'ai signé un compromis de vente pour l'achat d'un appartement pour lequel j'ai versé une somme sur un compte séquestre chez le notaire du vendeur.
J'ai utilisé dans le délai légal mon droit de rétractation.
Le notaire m'a remboursé 3 semaines plus tard la somme placée amputée de frais de recherches hypothècaires. Est ce légal et si non quelles démarches entreprendre pour lui réclamer.
Je lui ai adressé un courrier auquel il ne veut pas répondre et impossible de l'avoir lui ou son clerc au téléphone.