Оценка изображений с помощью NIMA

in #rulast year (edited)

nima.jpg

В Google разрабатывают систему NIMA (Neural Image Assessment), которая использует нейросеть CNN для оценки фотографий на основании вкусов пользователя по уровню технической и эстетической привлекательности.

Для тренировки алгоритмов использовались удачные и неудачные фотографии из базы AVA, где каждый снимок оценили около 200 профессиональных фотографов по шкале от 1 до 10. После обучения оценки привлекательности дала NIMA, которые практически совпадают с оценками людей:


001.jpg

Привлекательность фотографий на эстетическом уровне: на первом месте оценки NIMA, а в скобочках - поставленные людьми.


Оценки NIMA также могут использоваться для сравнения качества одного и того же изображения, искаженого различными способами. В следующем примере показан искажённый снимок из базы тестовых изображений TID2013 с оценками NIMA:


002.jpg

Искажённая фотография из базы тестовых изображений TID2013 с оценками NIMA.


Улучшенное восприятие фотографий

В ходе экспериментов NIMA была обучена редактированию фотографий для улучшения качества восприятия человеческим глазом. Изменяя яркость, контрастность, тени и блики на фотоснимках с помощью алгоритмов, удавалось увеличивать эстетическую привлекательность и оценки:


003.jpg

Тон и контраст изображений, изменнённых с помощью NIMA. На улучшенных фотографиях с правой стороны оценки увеличились. Фотографии взяты из базы тестовых изображений MIT-Adobe FiveK.


Перспективы

Технология NIMA может найти множество применений. Например, система поможет быстро отобрать лучшие фотографии с технической точки зрения, отклоняя некачественные снимки с размытием и с плохой композицией, а с эстетической - выбрать самые красивые фото из множества похожих кадров. Кроме того, фотографии можно быстро отредактировать с помощью нейросети и придать им привлекательности. А если потом их ещё и выложить в социальные сети, то много лайков обеспечено :)


Neocities