这种基本不算小三，算炮友，对方估计也没想和你老公修成正果什么的，当然这同样也是出轨行为。
不明白楼主说的不容易是指什么，是指以后自己还想找男人不容易？还是说自己单独养孩子不容易？还是说怕老了没人在身边不容易？
楼主自己好好想清楚，你对老公的需求是什么。如果楼主不追求感情上的完满，精神上的共鸣，只是找个一起生活的伴，可以尝试原谅他继续一起生活，但会不会再出轨这种事没人能保证。