Работающая идея перевода текста/субтитров в VR-играх на лету.
Наверняка для многих вставала проблема понимания игры в связи отсутствием знания английского языка. Как это ни печально, но до сих пор в большинстве VR-игр напрочь отсутствует русский язык.
И если обычную игру перевести с экрана монитора не такая большая проблема, то в VR с этим все несколько сложнее.
Собственно,
Pavel419 тут недавно выложил интересное видео с идеей о переводе текстов из игр через VR-оверлей путем скриншотов внутри игры и забрасыванием в яндекс-переводчик:
Как вытянуть в VR игру любое окно с ПК и переводить игры "на лету" на Oculus Quest 2 + Air Link А у меня после просмотра возникла мысль, как это можно улучшить с помощью телефона, и сделать реальный перевод на лету в VR без скриншотов и каких-либо лишних движений во время игры (но с небольшой подготовкой перед игрой, требуется лишь смартфон с камерой).
Как все было:
- поставил телефон на подставку перед монитором по центру (желательно, чтоб фокус вмещал всю ширину).
- запустил трансляцию экрана телефона на ПК (есть отличная программка Wormhole, бесплатная, но можно и просто средствами винды и телефона сделать это, но Wormhole прям идеальная для этого + можно отключить экран телефона из окна этой проги, чтоб сильно не грелся и меньше жрал, да и вообще можно телефоном управлять с ПК легко).
- запустил яндекс-переводчик на телефоне (через камеру по картинке)
- вывел Wormhole в оверлей в VR (я на руку привязал, удобно, последняя бета SteamVR это позволяет), который отображает переводчик по фото и показывает перевод, надо лишь посмотреть на любой текст.
В целом, я более чем доволен таким вариантом. Протестировал в нескольких играх, статичные тексты вообще без напряга переводит любого объема, видно все хорошо, а величину оверлея можно отрегулировать, либо подносить ближе, если привязан к руке.
Просто смотришь на текст, а на руке у тебя уже перевод, и тут еще такая фишка, что оверлей не перекрывает игровую картинку, т.к. на экране монитора он спрятан за картинкой игры, его ты видишь только в VR, он не перекрывает ничего.
Что круто, можно даже быстро сменяющиеся диалоги переводить и понимать.
Для примера
Trover Saves the Universe - очень напичканная игра текстами диалогов, тут вполне себе успевал переводить на лету диалоги с быстрой сменой текста, и я наконец-то одолел начало этой игры, в которую не было большого смысла играть без понимания сути.
У яндекс-переводчика лишь единственный маленький нюанс: он запинается, если субтитры сменяются на одном и том же месте, и просто держит старый перевод, а новые слова не переводит, как будто не видит. И тут нужно немного качнуть головой в любых направлениях, и все, тут же переводит новые субтитры при смещении фокуса (может это как-то можно настроить, пока не знаю..) В общем, любые игры с субтитрами теперь можно понимать без особого напряга (ну только телефон придется поднапрячь).
Примерно так оно выглядит:
Сообщение отредактировал Century1402 - 09.08.21, 21:24