是否该换房

  本人先介绍一下自己的情况，05年的时候在海珠区买了一套89方的小三房，09年的时候女儿出生，后来家婆上来帮我带小孩，一起住了4年，期间很多矛盾，住的很不开心，13年的时候在同栋楼梯的3楼买多了一套93方的房子，当时的价格是220万，后来家婆就搬到楼下住了，我跟我老公和女儿住在4楼。老公的大哥一直在广州租房子住，后来我老公就把他叫过来跟我婆婆一起住，住在3楼。
  4楼89方是小三房，两个大房间，一间我女儿住，一间我们两夫妻住，一间小书房。今年5月的时候我又怀上了2胎，预产期是2017年3月1号，家婆年纪大了，这两年身体比较不好，她虽说还愿意帮我带，但是自己身体经常不舒服，所以当时想的就是请一个保姆（楼主两夫妻都上班），后来我妈妈听说这种情况，而且她跟我弟媳处不好，就愿意过来帮忙，所以就不用请保姆了。
  第二个小孩出生后，我加我妈妈，老公，两个小孩，就是5个人，4楼才两间房，还有一间书房，很小，3楼有3间房，有一间是空着的，但是我不愿意去3楼住，我女儿今年刚读一年级，很多作业要我盯着，我也不愿意她去3楼，何况还有我大伯在那里，如果把我妈妈放去3楼住，估计也很不方便，所以我想叫我老公把这套4楼的卖了，在同小区换一套大一点的4房。
  楼主的老公是很怕压力的人，我们两人现在大概税后40万年收入，老公偶尔会有一些其他收入，第2套房13年买的时候，贷款了90万，今年已经还清了，现在没有贷款。第二套的时候楼主的老公就不愿意买，主要是不想买二手，当时就是楼主一个人去看房，看了好多套才看上现在这套，主要是两套离得很近，后来他妈妈也说要买，楼主的老公才决定买的，而且都没有去看过，就是我和他妈妈做的决定。现在这套房能放320万左右。
  家里很多事情都是我催促他才去做的，包括11年买车位的时候也是，当时是20万左右，他也嫌贵，就是不肯买，后来我好说歹说才让他买下来的，现在要50万才能买下这个车位了。楼主的收入比较固定，存不下什么钱财，主要是靠老公的收入才能买下这些。
我劝老公把小3房放出去，现在能放330万左右，我们看上的一套是480万左右，加上税费要500万，我跟老公说我们只要把税费交了，贷款150万，月供9000左右，老公死活不同意。每次的理由都是这样，怕辛苦，压力大。这么多年了。每次叫他做什么决定的时候都是这样，13年买二套的时候也是这样，当时也是跟他磨了很久，吵了好多次架，最后才买成的。
  我本人又是比较执着的人，我觉得本来现在就不够住，加上买房能够保值，所以我就很坚持，自己一个人在小区内看房，老公一套也不去看，本来我想说服我婆婆劝劝我老公，但是我婆婆觉得楼上楼下挺方便的，也不愿意我们换，而且怕我老公压力大，而我每次一提起这个话题我老公就说我不知足，瞎折腾，就跟我吵。
  哎，也不知道我这样的坚持对不对？我又很想换，但是老公又很固执，所以这件事情就一直拖着，但是我还是想换啊？？？？