tofinished
1. Для оценки качества двух видео, требуется третье -
оригинал.
Ибо сравнивая два сжатых видео между собой без оригинала, можно придти к не правильному выводу о качестве
т.к. может показаться, что конкретное видео лучше, но сравнивая с оригиналом вы увидите что, то видео которые вы заведомо отнесли к "бракованному" как раз таки наиболее близко к оригиналу

т.к. именно сам оригинал обладал свойством так сказать недоброкачественности, что-ли.
Видео кодеки как и любое другое сжатие изображений, созданы не для "улучшения" восприятия изображения, а для
максимальной идентичности с ним, с минимальным конечным размером/битрейтом файла.
Для "улучшения" существуют фильтры предварительной обработки и тут как говорится на вкус и цвет все фломастеры разные.
2. Наиболее достоверная оценка на идентичность даёт
только зрительный анализ, порой даже "под лупой", если сжатие выполняется в "визуальный лосслесс" (это сжатие с минимальными потерями, например crf≤18 у x264).
Популярные метрики SSIM и уж тем более доисторический PSNR (алгоритм для оценки искажений в передаче сигналов аналоговыми методами), увы устарели, что доказывается тестами x265-vs-x264.
Мною был найден некоторый метод, как можно улучшить метрику SSIM, но это скорее исключение, чем рекомендация.
скрытый текст
( SSIM(db) + MSU_Blurring(db*) ) / 2
* log(1-(encode_blur / source_blur))×(-10)
if encode_blur < source_blur then (encode_blur / source_blur) - [be blurred image]
if encode_blur > source_blur then (source_blur / encode_blur) - [be sharp image]
if encode_blur = source_blur then 0.9999..9
расчет "MSU Blurring" берётся из -> MSU VQMT + Excel