ちょっと分かりにくいので、整理すると下記のようになります。これで、もしかしたら何か副作用が発生するかもしれませんが、閉じ括弧が見つからないエラーは発生しなくなり、「豆類(未成熟)」と手入力した場合の検索漏れもなくなります。

1. 前方一致／完全一致いずれの場合も、また検索条件／検索除外条件に拘わらず、検索文字列中の '(', ')', '[', ']' はそれぞれ '\(?', '\)?', '\[?', '\]?' に常に変換する。

2. 前方一致の場合、検索除外条件も '\((.*、)?(検索語).*?(、.*)?を除く' のように検索語の後ろに '.*?' を追加する。

3. ダイアログボックスで置換がクリックされた場合は完全一致の検索条件、置換が一度もクリックされなかった場合は、前方一致の検索条件に変換する。

なお、1 の処理については、検索語を検索条件用正規表現に変換する部分に処理ルーチンがあるはずなので、それを前処理部分に移動すれば OK だと思います。「類」を「(類)?」に変換するのルーチンは後処理部分に入っているはずですが、もし前処理で変換している場合は、類を変換する前に '()[]' を変換するようにしてください。