では、入居した後に、借主が自分で鍵を交換した場合に、その交換費用を大家さんに請求することはできるのでしょうか？

この場合の鍵の交換費用は、有益費に該当すると思われます。

有益費というのは、客観的にみて目的物の価値を増価させる費用のことで、例えば、普通トイレを洗浄式トイレに改装した費用などがこれに該当します。

なので、鍵の交換費用が有益費に該当する場合は、賃貸借契約の終了時にその価値が残っていれば、大家さんは、鍵交換費用か、残っている価値相当額を弁償する義務があることになります。

ただし、あくまでも「終了時」に請求できるだけですから、入居しているときに鍵交換費用の支払いを大家さんに求めることはできませんので注意してください。