《发票管理办法实施细则》第二十九条规定，发票应当使用中文开具。民族自治地方可以同时使用一种本地区通用的民族语言文字。

《增值税暂行条例》第九条规定，纳税人购进货物或者应税劳务，取得不符合法律、行政法规或者国务院税务主管部门有关规定的增值税扣税凭证的，进项税额不得从销项税额中抵扣。

根据上述规定，纳税人应使用中文开具发票。如果他们使用英语，税务机关可以不按上述规定扣除。

以上行为均为开票有误，可根据《增值税专用发票使用规定》（国税发（2006）156号）有关要求，通过开具红字发票程序办理。