公法之债的债权人往往享有私法之债的债权人所没有的种种特权，例如公法之债产生争议或得不到履行时无需借助司法机关而自行实现其债权的强制执行权（自力救济），以及相对于私法之债的优先受偿权。发端于1919年德国《租税通则》第81条“税收债务关系说”的税收之债是公法之债的典型，世界各国在税法上规定滞纳金的理论根据也正基于此。
性质不同。行政处罚和执行罚虽然都是针对不履行法定义务的当事人，但行政处罚本质上属于制裁性法律责任，于设定新的义务；执行罚属于强制性法律责任，是以设定新的义务的办法来促使当事人履行法定义务。
滞纳金的课征主体是法律规定的行政机关。对于执行罚的主体是行政机关还是司法机关，两大法系本来有重大区别。其根源在于对于行政强制执行权的性质的认识，普通法系国家从来都将行政强制执行权看成是司法权的一部分。在美国行政法上，将行政强制执行的手段（执行罚）称为“简易权力（ summary power），属于简易行动（summary action）的一种形式”而行政机关的简易行动，是一种例外的行政执行程序。……这种执行方式由行政机关以实力直接实现执行目标，不需要法院的支持。然而不能认为这种执行方式和法院完全无关。因为行政机关的简易执行行为是否符合法律规定，是否超过必要的范围，仍然处在法院的监督下。” 但在大陆法系的许多国家则历来将行政强制执行权看成是行政权的一部分，由行政机关自行执行。在法国行政法上，“行政处理的当事人不履行行政处理中所规定的义务时，行政机关在必要时可依职权强制执行，毋须请求法院强制执行。这是行政处理的一种特权。”
对于大陆地区发卡行之所以不将滞纳金改为违约金的原因，笔者将“不惮以坏的恶意来揣测”。固然，目前中国的信用状况不尽如人意，而“无论在法的基本原则上还是在法的实际运用中，均有一个明显的倾向，即，与基于国家机关主导权的刑罚或行政手段相比，基于私人主导的可利用的其他强制性手段被严重忽视”。因而，对于信用不彰的持卡人运用行政法上滞纳金的“督促履行”功能实现债务的履行，而试图摆脱合同法私人实施不力的状况，似乎是值得宽宥的。但是，即便是行政法上滞纳金的运用也是要考虑必要性原则，而不是仅仅采用其“驴打滚”式的自我增殖功能，对持卡人的财富进行明火执仗的抢掠。所以，信用卡滞纳金存在的解释就是：发卡行试图利用行政法上滞纳金的“督促履行”功能牟取暴利，而不愿意在违约金的名义下去践行基本的商业道德—诚信。