Ученые разработали технологию создания 3D аватаров из одной фотографии

Американские ученые разработали новую технологию, которая автоматически создает полноценный цифровой 3D аватар, похожий на персонажа игры, включая волосы и риг, с помощью единственного изображения. Научная работа под названием “‘Avatar Digitization From a Single Image For Real-Time Rendering” будет представлена на конференции SIGGRAPH Asia в Бангкоке 27 – 30 ноября. Гибкая и эффективная система создания волос, основанная на мешах, способна воспроизводить множество причесок и может быть интегрирована в существующие real-time игровые движки.

“Одно из важных преимуществ системы в том, что люди смогут создавать CG персонажей знаменитостей, своих друзей или самих себя без ограничений. Это откроет новые возможности для разного рода приложений, особенно, для AR, VR и игр, и в целом делает создание цифрового контента более доступным”, - рассказал в интервью Vfxblog Хао Ли, один из авторов разработки, CEO и сооснователь Pinscreen, Inc., старший преподаватель информатики Университета Южной Калифорнии.

Аватар получается, правда, не всегда похожим на оригинал, и система иногда ошибается с добавлением деталей. Как пишут авторы в научной работе, компьютер применяет общую блендшейп модель ко всем персонажам, в будущем ее планируют индивидуализировать. Волосы тоже пока воссоздаются не всегда точно. Технология не справляется с некоторыми прическами, если они сильно отличаются от тех, что имеются в базе, и ей трудно воспроизводить, например, “конский хвост” с помощью лишь одного снимка, а также очки, головные уборы и бороды. Но ученые надеются исправить все это со временем.

Видео демонстрацию технологии можно посмотреть здесь.