根据国家法定节假日规定，元旦假期通常为12月31日至1月2日。因此，行政部门在元旦假期结束后的第一个工作日开始上班，即通常情况下为1月3日。但是，具体上班日期也有可能因地区、单位和工作性质的不同而有所不同，需要根据实际情况来确定。总的来说，行政部门的上班时间应当遵守国家法定节假日规定和相关的工作制度，以便更好地为社会各界提供质量高、效率快的行政服务。