行政违法与行政不当有较大的区别，具体表现在：
一、侵犯的行政关系的性质不同。行政违法侵犯的是行政关系的合法性；行政不当侵犯的是行政关系的合理性。
二、范围不同。行政违法则既可能发生在自由裁量行为中，也可能发生在羁束行为中；而行政不当仅发生在自由裁量行为中，不发生在羁束行为中。
三、责任不同。行政不当并不必然导致行政责任，只有在法律规定的条件下，行政主体才承担相应的行政责任，而且即使行政不当行为人必须依法承担行政责任，一般承担补救性行政责任，特殊情况下也可能承担惩罚性行政责任；但行政主体的行政行为如果是违法的，违法行为人必须承担由此引起的行政责任(包括补救性行政责任和惩罚性行政责任)。
四、法律效力不同。行政不当并非绝对无效。根据我国《行政诉讼法》第5条的规定，人民法院在行政诉讼中，对具体行政行为作合法性审查，不做合理性审查。根据我国《行政复议法》的规定，行政复议机关在行政复议中可以审查行政行为的适当性，对明显不当的具体行政行为作出撤销、变更和责令重作的复议决定；而行政违法行为一概无效，对行政管理相对人没有拘束力，而且自违法行为发生之日起行政行为就没有效力。