Aleksoid1978,
Да уж непросто, а если бы еще знать как эта "хрень" под названием "Direct3D9" работает с окнами и потоками - тут как говориться "знал бы заранее - обошел стороной" 
Проверил я свой алгоритм уже на другой машине с ATI Radeon HD 5770. Вот на ней работает нормально режим FSE, при переключении на второй монитор. Но не все так просто... Да, вы правы, дело 100% - в драйверах. На более новых версиях драйверов переключение в режим FSE "на лету", на второй монитор работает нормально.
Теперь, что касается потоков. Почему я сказал, что "не все так просто"? Потому что режим FSE на втором мониторе нормально работает только если используется аппаратное ускорение. Стоит только отключить DXVA2 и заново выполнить данный алгоритм, как тут же получаем зависшее черное окно FSE. Вот в чем беда и проблема.
Теперь о поддержке потоков аппаратного ускорения:
Видеокарта "ATI Radeon HD 3650" имеет всего лишь один поток аппаратного ускорения. Это значит, что если на одном мониторе запустить два видео файла одного формата, например того же H.264, аппаратное ускорение будет работать только на первом запущенном файле, другой файл, в другом окне плеера, будет воспроизводится в софте.
Видеокарта "ATI Radeon HD 5770" имеет многопоточную поддержку аппаратного ускорения. Это значит, что если на одном мониторе запустить два видео файла одного формата, например того же H.264, аппаратное ускорение будет работать на двух и более видео файлах, запущенных одновременно.
Так вот, именно поэтому, я и наблюдаю у себя разницу в работе режима FSE. Что непонятно, так это то, что режим FSE способен нормально работать на втором мониторе, только в режиме аппаратного ускорения DXVA2. Непонятно, почему он не может работать в софте? Вот в чем странность.
P.S. Теперь я понял на все 100% что реализовывать отдельное окно для режима FSE - неразумная идея, ибо для более старых видеокарт, которые имеют поддержку всего лишь одного потока аппаратного ускорения декодирования видео, DXVA2 остается на первом мониторе, а сам режим FSE - на другом, только уже в софте. Для более новых видеокарт, данная проблема неактуальна, ибо им это не грозит, поскольку они имеют многопоточную поддержку аппаратного ускорения декодирования видео.