可以。孩子抚养权由法院根据双方的情况判决。如果女方不是因重大疾病等，不影响抚养权的判决。
只有在离婚财产分配时，法院才会考虑判决过错方持有份额与无过错方有差异，也就是说在分配财产时，过错方要吃些亏、经济收入等)而定的。
但判决小孩归哪一方抚养不会依据过错是否而定的，小孩年龄较小时会优先或说偏重于判给女方。同时，为了小孩子的健康成长，重要的考虑因素是看哪一方更有利于小孩子的成长(如双方的个人素养、居住环境根据有关法律法规规定。