（一）难在产业薄弱
任何一项产业的发展壮大都有一个发展过程，在中小市家庭服务业的发展可以说还处在产业薄弱、发展艰难、负重前行的起步阶段。在这个发展过程中，有很多牺牲者往往是产业发展的起步者，胜利者往往是当产业发展到成熟阶段而善于抓住机会的人。
（二）难在制度不全
在不同发展水平的城市，家庭服务业的发展水平也不同，也就是产业的发展与城市自身的发展密切相关。从资料上看，作为国际大都市的上海从上个世纪90年代中期就开始发展家庭服务业，而内陆的部分大城市也只是从近几年才开始推动家庭服务业发展。体制、机制都处于摸索和探索之中。作为内陆的中小城市来说，在产业发展的制度上完全还没有跟上。
（三）难在思想观念仍未转变
社会对家庭服务仍缺乏公正的认识，行业面临着社会的歧视，从业人员也面临着公众的歧视，社会舆论对家庭服务仍有偏差，雇主对从业人员的歧视仍然存在，从业人员自身觉得家庭服务是低人一等的劳动的观念仍未转变，还有一些案例的负面报道严重影响了家庭服务在社会劳动中的平等地位。正是由于这些因素导致家庭服务业从业人员绝大多数都是就业困难群体，说直了就是难于在其它行业求职的人员才从事家庭服务业，人力资源紧缺，服务水平不高。
（四）难在诚信得不到保障
雇方消费理念和从业人员权益维护观念没有转变。相对于大城市来说，中小城市在这方面面对的问题更为艰巨。从业人员一旦找到工作，企业就得靠边站。这是家庭服务企业面对的大的实际困难，这让企业很是无赖。
（五）难在客户资源严重不足
对中小城市来说，家庭服务消费市场远远跟不上大城市。这主要是由地方经济发展水平决定。家庭服务业作为家庭劳动社会化的产物，必须有较高的家庭经济收入作支撑。作为大城市来说经济发展水平较高，家庭收入高，夫妻双方早出晚归忙于工作和事业，不得不把诸如婴儿、老人、病人、保洁、家庭日常劳动等一系列家务劳动让给市场来为他们完成，这自然形成了家庭服务潜在的消费市场。
