答：

（1）甲可以向B市C区人民政府或者B市计划生育管理部门提出行政复议。行政复议法规定，对县级以上地方各级人民政府工作部门的具体行政行为不服的，由申请人选择，可以向该部门的本级人民政府申请行政复议，也可以向上一级主管部门申请行政复议。

（2）甲不能就开除公职事项提起行政复议。根据行政复议法规定，不服行政机关作出的行政处分或者其他人事处理决定的，依照有关法律、行政法规的规定提出申诉。因此，甲不服开除公职不属于行政复议的范围。