Esto puede deberse a que su grabación tiene que ser reducida para que quepa en la ventana del reproductor, lo que puede hacer que se vea peor de lo que realmente es.
Si vas a View -> Movie Size y ves que la opción 'Fit' está seleccionada, prueba a seleccionar '100%' en su lugar, lo que mostrará la grabación a su verdadero tamaño y calidad de imagen.