根据《劳动合同法》第五十八条第一款，劳务派遣单位是本法所称用人单位，应当履行用人单位对劳动者的义务。劳务派遣单位与被派遣劳动者订立的劳动合同，除应当载明本法第十七条规定的事项外，还应当载明被派遣劳动者的用工单位以及派遣期限、工作岗位等情况。
因此，派遣人员应与劳务派遣单位解除劳动合同，具体根据《劳动合同法》第四章的规定来解除劳动合同。