Слух: Cyberpunk 2077 пострадала из-за мошенничества аутсорсинговой компании, занимавшейся QA-тестированием

[Nuke-Bot 2000 10 269]

YouTube-канал Upper Echelon Gamers, насчитывающий свыше полумиллиона подписчиков, опубликовал информацию о проблемах, с которыми из-за стороннего подрядчика столкнулась CD Projekt RED во время финальных этапов разработки Cyberpunk 2077.

Как утверждает автор видеоблога, 23 июня он получил электронное письмо от, предположительно, уже бывшего сотрудника румынской аутсорсинговой компании Quantic Lab, специализирующейся на QA-тестировании и локализации видеоигр. Именно эта студия, ранее неудачно пытавшаяся запустить собственную разработку, занималась тестированием Cyberpunk 2077 по заказу CD Project RED. Компании уже сотрудничали в прошлом — Quantic Lab отвечала за тестирование The Witcher 3: Wild Hunt и заслужила доверие поляков.

Источник, не раскрывший свою личность, предоставил Upper Echelon Gamers целый ряд внутренних документов, доказывающих, что у него действительно есть информация о происходящем внутри Quantic Lab. В числе этих документов 72-страничный отчёт о тестировании, а также бумаги HR-отдела, диаграммы рабочих процессов, детальные планы и отчёты о продуктивности. Всё это убедило видеоблогера в правдивости предоставленной информации и побудило рассказать эту историю в ролике.

По словам источника, эпопея с QA началась ещё в четвёртом квартале 2019 года, когда руководители отдела тестирования отправились в командировку в Польшу, чтобы взаимодействовать непосредственно с CD Projekt RED, а команда в Румынии получила первые задачи. Как заявлялось, эта команда представляла собой собрание ветеранов игровой индустрии с огромным опытом в QA, понимающих все процессы производства. В реальности же она почти целиком состояла из начинающих сотрудников младшего уровня, в лучшем случае работавших в данной области меньше года, а в худшем — всего несколько месяцев.

Никто в CD Projekt RED об этом не знал. Согласно информации от источника, главы польской студии были уверены в том, что они работают с ответственной командой настоящих профессионалов. Более того, сотрудники Quantic Lab заверили руководителей разработки Cyberpunk 2077 в том, что над тестированием проекта работает часть сотрудников, в прошлом тестировавших «Ведьмака 3». В реальности же все, кто приложил руку к отлову багов предыдущего проекта поляков, давно покинули аутсорсинговую компанию. Кроме того, опыт руководителя, ответственного за весь процесс тестирования, едва ли насчитывал один год работы.

Существовала и проблема с метриками, по которым подсчитывалась продуктивность сотрудника. Вместо того, чтобы учитывать сложность и комплексность обнаруженной ошибки, руководители Quantic Lab назначили тестерам квоту в 10 обнаруженных и исправленных багов в день на одного сотрудника. Таким образом, искать действительно серьёзные ошибки, встречающиеся при непростых обстоятельствах, было попросту невыгодно. Для соблюдения продуктивности было проще вести учёт лежащих на поверхности проблем.

Идея заключалась в том, чтобы максимально вычистить игру от багов, однако на деле это создало хаос. Ежедневно тестеры закидывали разработчиков информацией о сотнях небольших глитчей, связанных с визуальным отображением различных элементов, подёргиванием моделей, мерцанием текстур и производительностью. Это были незначительные вещи, которые не ломали игру. Исправлением подобных проблем занимаются в самом конце производственного процесса, однако команда QA-тестирования, целыми днями игравшая в Cyberpunk 2077, старалась удовлетворять квоту, а не обнаруживать серьёзные проблемы, эксплойты и комбинации действий, ломающие прогресс.

В какой-то момент от CD Projekt RED поступила команда перестать заваливать разработчиков мелкими багами, сфокусировавшись на действительно серьёзных, однако урон уже был нанесён. Время, потраченное на игнорирование крупных багов, позволило ошибкам укорениться и обрасти дополнительными элементами, которые, в свою очередь, также начнут ломаться при исправлении и потребуют починки.

По словам источника, проблему попытались решить, увеличив команду тестеров с 30 до 60 человек летом 2020 года. Однако Quantic Lab не стала переводить в неё опытных сотрудников, занятых на других проектах, а наняла три десятка новичков, среди которых нашлись даже люди, вообще не имевшие профильного опыта. Уже работавшие над отловом багов QA-тестеры теперь вынуждены были тратить своё время в том числе и на обучение новоприбывших, что привело к падению продуктивности в и без того обречённом на провал деле.

Впрочем, даже на этом махинации не закончились. Как сообщает источник, боссы Quantic Lab всеми силами пытались сохранить контракт, а затем и продлить его, для чего прибегали ко лжи — они преувеличивали размеры команды, работавшей над тестированием Cyberpunk 2077.

Результатом обмана стало недовольство CD Projekt RED — разработчики заявили, что ожидали от подрядчика значительно больших успехов и лучшего качества работы, учитывая количество и опыт задействованных сотрудников.

Согласно заявлению источника, руководители Quantic Lab переполошились и установили строгую систему NDA, согласно которой любой подписавший документ о неразглашении сотрудник соглашается выплатить 10 тысяч евро в случае, если он будет разглашать конфиденциальную информацию даже о самом факте тестирования. NDA запрещал в принципе говорить о своём участии в подготовке игры, даже несмотря на наличие имени работника в титрах. Запрещалось и упоминание проделанной работы в портфолио. Таким образом компания пыталась сделать невозможной утечку, которая позволила бы руководству CD Projekt RED узнать о ситуации.

По словам видеоблогера, его источник имеет собственное мнение относительно сложившейся ситуации и назвал виновников тех или иных проблем поимённо, однако автор видео не желает выдвигать необоснованные обвинения, так что не стал озвучивать имена в своём ролике.

В конце 2020 года компания Quantic Lab была приобретена THQ Nordic и Embracer Group. Возможно, переговоры о сделке велись достаточно долго, а боссы Quantic Lab целенаправленно шли на обман, чтобы удержать свой бизнес на плаву и успеть продать его индустриальному гиганту.

[Del-Vey 31 570]

Если это всё правда (а я верю, что правда), то не удивительно, что CDPR сразу после релиза игры ломанулась покупать студии одну за другой. Подозреваю, что теперь у них будет собственный отдел тестирования.

Это всё, впрочем, не снимает с поляков ответственности — релиз нужно было переносить.

UPD: А вообще странно. Что в 2004 году у Obsidian проблемы из-за отсутствия внутреннего отдела тестирования были и до 2011 года (New Vegas приснопамятный) оставались, что у CDPR в 2022 году такие же проблемы.

Когда я работал над сетевым шутером и занимался настройкой пушек и игровых карт, ко мне была прикреплена тройка QA-тестеров, которые после каждого обновления проверяли работоспособность новой версии на отдельном тестовом сервере и выявляли вагон самых неочевидных проблем, хотя с виду казалось, что всё в полном порядке. И мне сложно переоценить их вклад — в том числе и в скорость, с которой можно было выпускать обновления.

Меня поражает, что в 2022 году компании, производящие AAA-игры, которые с каждым годом становятся всё сложнее и комплекснее, до сих пор недооценивают важность QA и их наличия непосредственно в команде. В разработке мультиплеерных игр это константа. Есть дизайнер? У него должен быть тестер. Кто-то вносит изменения? Нужен тестер, который их сразу же проверит. Не через неделю Васян-аутсорсер из другой страны, а вот прям здесь и сейчас, желательно в такой конфигурации, когда для общения между собой можно перешёптываться.

[Galactrix 2 001]

Учитывая техническое качество релизов вообще не удивлен и думаю, что ситуация правдивая. Жесть конечно. С другой стороны раздолбайство как и везде. Меньше инклюзивностью заниматься надо и больше самой работой. 

[St1Let 1 142]

Не прокатит такое. Всё они знали, просто забили большой польский болт.

[Larus 7 422]

Звучит правдеподобно. Понимаю что было доверие, но неужели вопросов не возникло сразу - когда стали сотнями мелких багов закидывать, а не чем-то крупным? Какое-то попустительство с их стороны.

13 часов назад, Del-Vey сказал:

Не через неделю Васян-аутсорсер из другой страны, а вот прям здесь и сейчас, желательно в такой конфигурации, когда для общения между собой можно перешёптываться.

Согласен.

[JohnEast 577]

Эти слухи еще больше закапывают "Проджектов". Получается они абсолютно не контролировали процесс разработки: кто чем занимался - никто ничего не знает. Такое чувство, что игру модеры собрали.

Как говорят у нас в киберпанке(нормальном)...

[Thing 324]

Это наглая ложь (вообще-то тут должно быть слово из 6 букв, но меня забанят).

Будучи сам разработчиком, хоть и не в геймдеве, могу с уверенностью сказать что не видеть те баги, что были, разработчики не могли, потому что после внесения изменений в код сделанное проверяется самим разработчиком хотя бы чисто формально. Но да, непричастным сказка зайдет =\

В 27.06.2022 в 00:21, Del-Vey сказал:

Меня поражает, что в 2022 году компании, производящие AAA-игры, которые с каждым годом становятся всё сложнее и комплекснее, до сих пор недооценивают важность QA и их наличия непосредственно в команде.

А на мой взгляд ничего удивительного. Чисто для понимания ситуации, хотел бы привести цитату, которая хорошо описывает ситуацию (конечно там речь идет о разработке софта в принципе, но для геймдева практически всё так же справедливо):

Цитата

Менеджер не тупой, он осознанно гробит проект, ему это выгодно!

Разработчики очень часто считают, что менеджеры - это какие-то тупые создания, которым ничего не объяснить, надо рассказывать, что такое техдолг, почему это важно. Проблема в том, что нет почти ни одного менеджера, который это не понимает или не знает. Те, кто это не понимает, обычно настолько тупы, что не могут найти даже дорогу до офиса, их в расчет можно не брать.

Менеджеру в среднем не важно, что будет с проектом после его ухода, ему важно бабло сейчас. Заставил пилить фичу, но гробишь проект в будущем - молодец, держи ништяки. Заставил кодеров работать сверхурочно и пилить фичи - молодец, держи ништяк. Проект вышел на какую-то очередную формальную стадию - держи ништяк. Довел проект до такого состояния, что он умрет через полгода, но вовремя спрыгнул с галеры, найдя новую - крут, новая порция ништяков в пути. Нашел проект, который можно гробить годами - вообще красавчик. Угробил проект, но не нашел новую работу - вот тут не повезло, упс.

Пока менеджера не ставят в такие условия, что с проекта спрыгнуть он не сможет, уволиться тоже, а за результат он отвечает головой (или хотя бы всем имуществом), он будет его гробить, если это выгодно. И это логично просто потому, что человек пришел зарабатывать деньги, чтобы это делать нужно показывать результаты, а в большинстве случаев фичи выглядят ярче, чем минимум багов и технического долга. Иногда хватает времени и на то, и на то, иногда менеджер не успел спрыгнуть, поэтому команда может месяца два чинить все, менеджера выкинут.

С этим приходится жить, потому что это логичное поведение людей, эффективность которых оценивается именно так. Если проект настолько нравится, что хочется его защищать, то надо сначала принять для себя то, что менеджеру его судьба почти не важна. Да, есть исключения, есть честные менеджеры, есть идейные специалисты, но шанс их встретить не очень велик.

В случае геймдева проблемы начинаются с самого верхнего уровня, когда владелец хочет не сделать хорошую игру, а срубить бабла побольше. Т.к. основная масса игроков на рынке с точки зрения продавца игры являются крайне непритязательными, с практически полным отсутствием памяти (можно сколько угодно обвинять меня в снобизме и закидывать гнилыми помидорами, но факты говорят сами за себя: предзаказы работают, репутация элементарно перекрывается валом рекламы в нужный момент, качество игр на релизе чудовищно. Хотя, @Del-Vey, ты вроде и сам писал что основную кассу делают рандомные Васи), то идеальной игрой для владельца является донатная дрочильня. Но этот путь требует больших затрат на рекламу, так что остается пытаться заработать на других жанрах. Опять же, основная масса игроков - крайне непритязательная, ей нужны "хлеб и зрелища", а не глубокие, проработанные сюжеты, необходимость думать и непротиворечивый мир игры. Поэтому ориентирование будет именно на эту часть игроков.

Дальше у нас есть менеджеры, которым важен только их KPI. Во-первых, они честно отрабатывают заказ владельца компании, отсюда планирование рекламной компании на годы вперед, чтобы провести массированные инфоудар по основной массе игроков (и пофиг что предугадать ситуацию с разработкой игры на 2 года вперед - нереально) и спешные попытки привести игру в приличный вид, когда предсказуемо не угадали со сроками. Отсюда забивание на качество игры (зачем QA, если игроки бесплатно поработают?), ведь выкатить патч сейчас - это практически околонулевые затраты на PC (на консолях вроде денег стоит, потому там и релизятся после PC), за нерабочую игру же никто не накажет. А т.к. памяти у игроков нет, то можно спокойно еще два года доделывать калечную игру после релиза (если вообще желание будет), когда надо будет продавать новую игры игроки ничего не вспомнят. Если же успех не удовлетворил владельца - просто забрасываем игру, фиксируя потери - сплошной профит же! Опять же, именно потому, что во главе угла - бабло, в игру тащатся самые успешные находки из других игр, не важно к месту они или нет, ведь надо покрыть как можно большую аудиторию. Во-вторых, с технической частью менеджеры ведут себя именно так, как я процитировал выше, разве что найти другую компанию может быть сложнее. 

Ну и в самом низу разработчики. Мало того, что в отличие от разработки софта в энтерпрайзе создание игры предполагает куда большую долю творчества и, соответственно, реализацию множества пробных решений, так еще и в условиях отсутствия запроса на качество и даже наличия абсолютно противоположного запроса - разработчики пишут адский говнокод. Вы думаете нам приятно вот в этом потом колупаться, чинить баги? Нет. Но если ведущий разработчик пошлет менеджера нафиг и откажется работать пока не выделят времени на рефакторинг - то он перестанет быть ведущим, а на его место возьмут послушного, который будет фигачить говнокод, а мы потом удивляться как 30 предметов в сундуке заставляют упасть FPS до 1.

Пока рынок игр не будет жестко контролироваться, а за обман не будет посадок - всё так и останется, т.к. нет у компаний мотивации делать хорошие и качественные игры. Изредка будут появляться команды типа SureAI,  сделавших бесплатный Enderal, который как минимум не хуже Скайрима (а на мой взгляд на голову выше), чтобы доказать свой профессионализм и устроиться подороже. Да случайным образом среди инди будут появляться шедевры, типа первой части Subnautica или Outer Wilds. Правда продолжения скорее всего будут успешно испорчены, т.к. руководству хочется больше денег.

Ну или случится чудо и основная масса игроков перейдет на консоли и всякие планшеты\смартфоны, а PC останутся у такого же мизерного кол-ва людей, как в 90-е и нулевые. Тогда да, мы снова увидим хорошие игры на PC.

Но т.к. я реалист - думаю что на пенсии мне все так же придется играть в Enderal и Morrowind. Ну хоть на видеокарте сэкономлю.

P.S. ААА-игры давно уже пора переименовывать в SSS-игры.

P.P.S. Те, кто хотят указать мне на провал продаж Cyberpunk, NoManSky и MassEffect: Andromeda - хочу сказать что это единичные случае, когда "не прокатило", хотя даже в этом случае компании окупили разработку. И когда начнутся предзаказы DA4 и Witcher4 - народ опять радостно побежит нести бабло.

[St1Let 1 142]

Спустя 15 лет прекрасно понимаешь Зещука и Музыку. Нахрен ваше айти и ваши игры, пошли варить пиво 

[AnLac 727]

Там квантики ответили

 

[Yogest 707]

3 часа назад, AnLac сказал:

Там квантики ответили

Где "Там"? 

[Thing 324]

В 30.06.2022 в 00:24, AnLac сказал:

Там квантики ответили

А это ничего не меняет же. Ну да, скотские условия, низкая зп, ложь о квалификации тестеров и всё такое - это плохо и грустно. Но! Главные проблемы Cyberpunk были не в кривой локализации, не в каких-то сложно востроизводимых багах, не в балансе - там целые способности не работали, кое-как были склеены игровые механики. Чтобы это увидеть - надо было просто запустить игру и хоть немного потыкаться в соответствующие места, машину там попробовать поводить, чтобы увидеть что она отвратительно управляется. А это любой разработчик должен был делать, чтобы убедиться что запиливаемая фича вообще работает.

[Thing 324]

В 28.06.2022 в 17:47, St1Let сказал:

Спустя 15 лет прекрасно понимаешь Зещука и Музыку. Нахрен ваше айти и ваши игры, пошли варить пиво 

Бесспорно ) Но если не хватает денег - приходится работать на дядю.