宅地建物取引業者に支払う仲介手数料(媒介報酬)には,きまりがあるの?

はい。あります。
宅地建物取引業法46条1項は,「宅地建物取引業者が宅地又は建物の売買,交換又は貸借の代理又は媒介に関して受けることのできる報酬の額は,国土交通大臣の定めるところによる。」と定めています。
そして,同条2項は,「宅地建物取引業者は,前項の額をこえて報酬を受けてはならない。」と定めています。
宅地建物取引業者が,制限額を超えて手数料をもらった場合,不当利得として返還しなければなりません(平成8年3月27日東京地方裁判所判決)。
なお,宅地建物取引業法46条でいう,「国土交通大臣の定めるところ」とは,昭和45年10月23日付の建設省告示1552号のことです。