Сравнение движков - эксперимент

Вступление

Всем привет!
Недавно мне пришла в голову мысль, сравнить движки, не только по мощности , но и по другим критериям. Будет всего 4 движка, Deep Fritz 13, Fritz 11 SE, и всеми знакомые Stockfish 16.1 и Stockfish 17.

Deep Fritz 13

Новая версия шахматной программа Фриц. Это уже 13 по счету версия, которую оценят любители и опытные игроки. Размер программы внушительный, так что скачивать придется долго, особенно тем у кого интернет слабенький, но оно стоит того. Дизайн отменный, стал еще лучше, графика чудесная, занимайся не хочу. Особенно очень хороша программа для детей, так как в ней есть и подсказки, и различные типы фигур и досок - там есть из чего выбрать. В новом fritz 13 заложено более полутора миллионов партий, что делает программу еще мощнее и сильнее.

Можно сказать, что фриц - это панацея для повышения игры шахматиста. Но самый главный плюс этой версии в том, что вам предоставляется возможность играть на сайте "Плэйчесс" совершенно бесплатно. Вы можете следить за партиями других игроков, можете смотреть международные турниры в режиме онлайн, и конечно же знакомиться с новыми шахматистами. А для тех кто не умеют играть, в программе предусмотрены правила игры для начинающих. Вы буквально за несколько часов узнаете как ходят фигуры, и уже сможете сразить в схватке с самим fritz 13. В скачанном архиве вы обнаружите образ, который сможете монтировать предназначенными для этого программами. В архиве также присутствует патч, так что вы без особых усилий зарегистрируете данную версию фриц. Размер программы 4 гигабайта.

Сообщает сайт https://chessok.net/

Fritz 11 SE

Если какая-нибудь шахматная игра и может называться настоящим спортивным симулятором, то это Fritz 11 — программа, которая, если верить официальному сайту, в 2006 году победила Владимира Крамн ика. В ней (занимает она, между прочим, целый DVD) есть огромный ворох полезных возможностей и приятных сюрпризов для шахматистов. Для партии можно выбрать специального тренера, который будет подсказывать лучшие ходы и обучать нас прямо во время игры. В специальной базе можно просмотреть около миллиона (!) партий, начиная с 1625 года и заканчивая сегодняшним днем. Там же — ролики от чемпионов шахматного мира, объясняющих принцип всяких стратегий миттельшпиля и ловушки вроде «скушал пешку — проиграл партию». Для эстетов подготовлены трехмерные шахматные доски с модерновым дизайном и робот, напоминающий GLaDOS из Portal , в качестве оппонента. Но классическое 2D не в пример удобней. Кроме умного AI, можно в любой момент связаться с сервером www.playchess.com и сразиться с противниками из плоти и крови.
В общем, если захотите стать знатным шахматистом — Fritz 11 примет вас как Гарри Каспарова. Кстати, он сумел обыграть эту программу дважды (и еще дважды сыграл вничью)

Stockfish 16.1

Stockfish — один из лучших шахматных движков в мире, многократный чемпион мира. И что примечательно держит эту марку довольно давно. Главной отличительной особенностью этого движка является его полная доступность абсолютно любому шахматисту. Движок полностью бесплатный, с открытым исходным кодом.

Stockfish и нейронные сети

Повальное внедрение Искусственного Интеллекта не обошло и компьютерные шахматы.
Нейронную сеть формата \*.nnue стали цеплять к Стокфиш уже с 12-ой версии. Произошло это весьма знаменательное событие в августе 2020 года. После чего Стокфиш кардинально изменился в архитектуре и стал использовать нейронные сети NNUE наряду с традиционной оценочной функцией движка. По сути дела "вяленая рыба" из классического шахматного движка трансформировался в гибридный, использующим оценочную функцию на базе нейронных сетей. Это изменение дало существенное усиление игры и анализа.
NNUE — Efficiently Updatable Neural Networks, эффективно обновляемая нейронная сеть.

Stockfish 16.1

Цитата из официального блога:
<...>В нашем тестировании по сравнению со своим предшественником Stockfish 16.1 демонстрирует заметное улучшение производительности, увеличивая ELO до 27 очков и выигрывая в 2 раза больше игровых пар, чем проигрывает.
Основные моменты обновления
Улучшенная оценка
Обновленная архитектура нейронной сети: Архитектура нейронной сети претерпела два обновления и в настоящее время находится в 8-й версии.
Удаление ручной оценки (HCE): Этот релиз знаменует собой удаление традиционной ручной оценки и переход к подходу, полностью основанному на нейронных сетях.
Двойной NNUE: Впервые Stockfish включает в себя дополнительную нейронную сеть, используемую для быстрой оценки позиций, которые легко определить. <...>
Как это выглядит наглядно?
Вот скриншот настроек Stockfish 16.1:
Настройки Stockfish 16.1
Наряду с полем EvaFile для вписания имени файла основной нейронной сети появилось дополнительное поле EvaFileSmall. Сюда как раз и вписывается упомянутая в официальном блоге "дополнительная нейронная сеть, используемая для быстрой оценки позиций".
На момент написания материала официальными файлами с нейронными сетями для Стокфиш, из списка тестируемых, считаются:
nn-b1a57edbea57.nnue — основная нейронная сеть, весит уже 62,3 МБ
nn-baff1ede1f90.nnue — дополнительная нейронная сеть, пока весит всего лишь 3,31 МБ
Указанные файлы прописаны в официальной версии Stockfish 16.1 по умолчанию.

Вместо постскриптума

Материал написан для достаточно продвинутых пользователей, потому многие незначительные моменты, чтобы не увеличивать текстовую массу, здесь опущены. У тех же, кто впервые сталкивается с компьютерными шахматами, вполне резонно могут возникнуть вопросы, потому не стесняйтесь спрашивать.
В комментариях, по мере сил, отвечу на все ваши вопросы.

Само тестирование

Эксперимент таков:
каждому из движков представлена минута в простой позиции с матом в 3 хода.
Интересно будет узнать вторые линии движков и их оценку, поехали!

Шаг первый: скачиваем все движки

Мне повезло, все они валялись у меня на компе.

После скачивания заходим в Chess Base, и видим вот такую картину:

Если что, стокфиш 16 проверял отдельно, не волнуйтесь!!!

---

Stockfish 17

---

Очевидно, это пожалуй самый сильный движок среди наших 4-х.
Он показал следующую картину:

Да да, он за 1 минуту увидел и мат в 3 хода за белых, и мат в 16 ходов ( я так понял за черных) у него вторая линия.
Возможно, он мог бы найти способ и получше, чем мат в 16 ходов за минуту, но не факт что это "лучше" вообще есть.

---

Stockfish 16.1

ВОТ!

Есть отличие, за минуту его вторая линия показала мат только в 22 хода, а стокфиш 17 в 16.

---

Deep Fritz 13

---

Да, тут тоже видна очевидная слабость!

В отличии от стокфиш 17 или 16, он не нашел мат. Только показал оценку - 10, но как мы видим и этого достаточно, что бы стать очень сильной машиной!

---

Fritz 11 SE

---

Четвертый подопытный движок про эту позицию сказал следующее:

Ну, как то не очень...
Очевидно, по результатам нашего эксперимента не трудно сделать следующие выводы:

Выводы

Все машины безусловно сильны, но...

Первое место по итогам эксперимента у нас занимает Stockfish 17

Он единственный, кто за минуту нашел мат в 16 ходов за черных ( вторая линия)

2 - Stockfish 16.1

Он нашел мат за черных в 22 хода

3 - Deep Fritz 13

4 - Fritz 11 SE

Заключение

Этим экспериментом, я доказал очевидное: чем современней версия, тем качественнее результат.

Ведь первый - стокфиш 17 ( самый современный)
второй - стокфиш 16.1 2-ой по современности
3 - й - Фриц 13 - ой версии
4 - ый - Фриц 11 - ой версии

Машина - человек с рейтингом 2500, который никогда не ошибается

Пока!