「あいまい」だから間違えやすい

③の徴収した税金等を源泉徴収義務者がちゃんと国等に納付していなかった場合は、源泉徴収義務者が悪いのは明白なので、源泉徴収義務者が処分されることで異論はないと思いますが、①まったく徴収していなかった、②徴収したもののその計算が間違っていたために納付額が不足していた、については、必ずしも源泉徴収義務者に非があるとはいえないこともあります。

①については、うっかり忘れていたという場合はアウトですが、そもそも、源泉徴収の対象となる所得の支払いをしていたという認識がなければ徴収していなかったことを単なる「ミス」とは責められないケースもありえます。
例えば、法令の条文だけをみても源泉徴収の対象であることが明らかとはいえない場合などです。
実は、源泉徴収の対象となる所得の種類は法律で個別に規定されています。
いいかえれば、法律に明示的に規定されていない支払まで源泉徴収する義務はないということです。
国民に義務を課す以上、法令はその義務の範囲を明確に規定するものでなければなりません。
明らかでないものについてまで一般国民が「忖度」して徴収・納税する必要はないのです。

②については、源泉徴収が必要との認識はあったけれども、適用する所得の種類（結果的に適用する税率）を誤っていたり、計算そのものを間違った場合があります。
後者はアウトですが、前者については、①と同様に法令上、所得の種類がどれにあたるのかわからないケースは多々あります。
非居住者に対する支払いや、ＩＴ、知的財産権など「新しい権利」の対価、金融取引については、法令の改正が追い付いていないため、源泉徴収の要否が不明なままの取引がたくさんあります。