下の階層のディレクトリで該当名のものをすべて削除するバッチファイル

@echo off
@setlocal enabledelayedexpansion
rem
rem 以下の階層にあるTestFolderをすべて削除するバッチファイル
rem

For /r %%d In (TestFolder) Do Rmdir /s /q "%%d"
tree /f

pause
exit

コマンドプロンプトに直接入力する場合は

For /r %d In (TestFolder) Do Rmdir /s /q "%d"

となるが、
バッチファイルとする場合には

%%d

とする必要があることに注意。