1、劳动者与中介签合同，工厂如果只是属于用工单位的，不能辞退劳动者，但能将劳动者退回中介公司，由中介公司予以辞退，如果中介公司违法辞退劳动者的，则劳动者可以要求继续履行劳动合同或者要求其支付赔偿金。
2、法律依据：《中华人民共和国劳动合同法》
第四十七条 经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
第四十八条 用人单位违反本法规定解除或者终止劳动合同，劳动者要求继续履行劳动合同的，用人单位应当继续履行；劳动者不要求继续履行劳动合同或者劳动合同已经不能继续履行的，用人单位应当依照本法第八十七条规定支付赔偿金。
第八十七条 用人单位违反本法规定解除或者终止劳动合同的，应当依照本法第四十七条规定的经济补偿标准的二倍向劳动者支付赔偿金。