В Google разрабатывают систему NIMA (Neural Image Assessment), которая использует нейросеть CNN для оценки фотографий на основании вкусов пользователя по уровню технической и эстетической привлекательности.
Для тренировки алгоритмов использовались удачные и неудачные фотографии из базы AVA, где каждый снимок оценили около 200 профессиональных фотографов по шкале от 1 до 10. После обучения оценки привлекательности дала NIMA, которые практически совпадают с оценками людей:
Привлекательность фотографий на эстетическом уровне: на первом месте оценки NIMA, а в скобочках - поставленные людьми.
Оценки NIMA также могут использоваться для сравнения качества одного и того же изображения, искаженого различными способами. В следующем примере показан искажённый снимок из базы тестовых изображений TID2013 с оценками NIMA:
Искажённая фотография из базы тестовых изображений TID2013 с оценками NIMA.
Улучшенное восприятие фотографий
В ходе экспериментов NIMA была обучена редактированию фотографий для улучшения качества восприятия человеческим глазом. Изменяя яркость, контрастность, тени и блики на фотоснимках с помощью алгоритмов, удавалось увеличивать эстетическую привлекательность и оценки:
Тон и контраст изображений, изменнённых с помощью NIMA. На улучшенных фотографиях с правой стороны оценки увеличились. Фотографии взяты из базы тестовых изображений MIT-Adobe FiveK.
Перспективы
Технология NIMA может найти множество применений. Например, система поможет быстро отобрать лучшие фотографии с технической точки зрения, отклоняя некачественные снимки с размытием и с плохой композицией, а с эстетической - выбрать самые красивые фото из множества похожих кадров. Кроме того, фотографии можно быстро отредактировать с помощью нейросети и придать им привлекательности. А если потом их ещё и выложить в социальные сети, то много лайков обеспечено :)
- См. также публикацию в формате PDF: NIMA: Neural Image Assessment. А также: GitHub.
