在大部分国家或地区的法律中，抚养人通常没有权利拒绝对方父母的探望权。法律通常认为，孩子与父母之间的关系是重要的，对孩子的发展和福祉至关重要。

因此，除非存在合法的原因，如父母对孩子的行为构成危害或存在其他不安全因素，否则抚养人通常不能拒绝对方父母的探望权。然而，具体的法律规定可能会因国家和地区而异，因此建议在具体情况下咨询当地的法律专业人士以获取准确的法律建议。