单位以员工被行政拘留为由，与员工解除劳动合同是不可取的。根据《劳动合同法》第39条规定，员工被追究刑事责任的，用人单位可以与其解除劳动合同。然而，根据有关规定，“被追究刑事责任”是指被法院判处刑罚的，包括被判处管制、拘役、有期徒刑及缓刑、无期徒刑、死刑(死缓)等。行政拘留解除劳动合同是不可以的。