某架空光缆线路工程位于南方，建设单位根据经过审批的初步设计与材料供货商签订了供货合同；经过招投标选定了施工单位和监理单位。在与施工单位进行合同谈判时，建设单位认为施工单位在此工程施工过程中不会有贷款的问题，因此决定取消费用表中的财务费。建设单位最终与施工和监理单位分别签订了合同。施工合同规定本工程采用包工不包料的承包方式，工程预付款为合同额的5%，工程开工日期为4月1日。开工后施工单位一直未收到预付款。
在施工过程中，由于经常遇到下雨天，施工单位的实际进度滞后，而且出现窝工的问题，施工单位对此向监理单位提出工期和费用的索赔。施工单位为了能够获得更多的工作量，在敷设光缆时，在规定预留光缆的电杆上都多预留了15m光缆。由于工程在山区施工，向山上运电杆的难度很大，工效降低很多。施工单位在做工程结算时，考虑到上述因素，因此将立杆的工作量在山区立杆定额的基础上又乘了2%的系数。
建设单位是否应该取消财务费？为什么？