El tema de que ande trabado en 10bits es el micro y no la placa en si, CUDA o DXVA no funcionan en 10 bits, y todo depende del procesador ... proba con algo a 720p.

Antes se te veias rapido porque lo veias a "8 bits" pero con colores rarisimos por no poder entender como decodificarlo bien, y seguramente estabas usando DXVA/CUDA ....

Si se te ve "BIEN PERO LENTO" lamentablemente es falta de poder en la PC ... Podes probar sacar las animaciones de los subtitulos y setear en OUTPUT a resizer "bilinear" o "nearest" a ver si anda un pelin mejor, pero no mucho mas ....