关键看此三方合同是如何约定的，如果三方合同对此做出明确约定，不去的话约定了相应的违约金，则需要按照法律规定和合同约定支付相应的违约金。其次，如果单位起诉，诚因此给其带来巨大的损失的并有充足的证据加以证明，则需要承担相应的赔偿责任。
当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。
当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。
因此，如果签订的三方协议中有违约金条款的，用人单位和劳动者任一方违约了，就应当按照“三方协议”中违约条款的约定承担违约责任。
【法律依据】
《民法典》
第五百七十七条 当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。