어떻게 해야 할지 몰라.. 조언을 구합니다.

이혼하고 아이하나와 조촐하게 살고 있다가 2년전에 아이가 하나 있는 이혼남을 만나
결혼을 전재로 연애를 했고 장거리 연애이고 또 서로간에 함께 하자고 해서
서로 주말부부식으로 지내고 있었습니다.
그간 남자가 형편이 넉넉하지 않은 여자를 위해 생활비로 가족카드를 발급해줘서
사용했었고, 여자를 위해 적잖은 돈을 쓴건 사실입니다.
여자가 형편이 어려워서 직접적으로 현금을 빌려달라고 한건 천만원 정도 말했었고
남자는 기꺼이 주었었고, 그 이후로도 여자에게 이런 저런 이유로 현금도 주었었고
물건도 많이 구매해 주었습니다.
물론 그 지내는 동안 연애의 개념이 아니라 주말부부처럼 지내고 있었습니다.
그런데 얼마전 여자가 이사를 하면서 부족한 현금 천만원과 여러가지 살림살이를
구매해 주었었고 그 집에서 같이 행복하자고..앞으로 이십년동안 잘 해주겠다고
호언장담을 했던 남자가 이제와서 헤어지자고 하면서
(헤어지자는 이유는 시어머니 때문에...)
처음에는 빌려간 천만원만 주라고 하더니
이제와서는 집에 들어간 돈까지 삼천만원을 돌려달라고 합니다.

정말 돈이 있으면 돌려주고 깨끗이 끝내는게 좋은 방법 같습니다만..
여자는 형편이 그리 넉넉한 편도 아니고, 남자가 도와줄테니 집을 넓혀서 사라고 해서
그것을 혼자 도맡아 짊어지기에도 빠듯합니다.
이런 경우 여자는 남자에게 돈을 돌려줘야 하는게 맞는 걸까요?
무상증여의 개념인데.. 어떻게 해야 하는지... 난감한 처지에 있습니다.

조언 부탁드립니다.