おそらくキャプチャーに使用しているHDDを、FAT32でフォーマットされているからでしょう。FAT32ではファイルシステムの制限で1ファイル最大4Gbyteまでという制限があります。そのため4Gを超えてキャプチャーしようとするとエラーが出ます。
9x系で4Gの壁を超えるには、RAVI等の参照型コーデックを使うか、AVI1で分割キャプチャーをするしか方法がありません。
オススメするのは、Win2000/XP等のNT系OSを使い、NTFSでフォーマットしたHDDドライブを使えば最大2Tbyteまでキャプチャーできるようになります。NT系のOSは安定を求める意味でもオススメです。
上記は一応動いていると思われますが、完璧な動作を保証するものではありません。
ほかにもあれば報告してくれれば、ここに載せたいと思います。
報告はCLARE ZONE 総合掲示板をご利用ください。(本家も一応見ていますが、サポート掲示板ですので… 作者に迷惑かもしれません。)