今作ろうとしているのは Video for Windows(VFW)のコーデックとして振る舞える何か、です。
これをどうやって作るかはさておき、どのようにロードされるのかを調べてみました。
AVIUtlではアプリケーションの起動時にそのシステムで使用可能なVFWコーデックの一覧を取得するようです。
一方で、VirtualDubはコーデック選択時に一覧を取得するようです。
これらの違いから、デバッグのやり方にも差が出てきます。
すなわちAVIUtlを利用してアタッチしてのデバッグの際には、正しくロードできる前提ということになります。
アタッチしたときにはコーデックは既にロード完了し、そしてアンロードされてしまっているので、アタッチのほうでは状況を追いかけることが出来ません。
コーデックのエントリポイントはどうやら DriverProc という関数になるようです。
これさえわかれば後は何とか追いかけていけそうです。