临时工，如果签订的是劳动合同，按照工资薪金申报的个人所得税，则要计入残保金用人单位职工人数。如果签订的是劳务合同则不需要计入残保金用人单位职工人数。

参考：

《财政部 国家税务总局 中国残疾人联合会关于印发<残疾人就业保障金征收使用管理办法>的通知》（财税〔2015〕72号）第八条规定：“用人单位在职职工，是指用人单位在编人员或依法与用人单位签订1年以上（含1年）劳动合同（服务协议）的人员。季节性用工应当折算为年平均用工人数。以劳务派遣用工的，计入派遣单位在职职工人数。”