Проекты
Конкурсные проекты

Построение и реализация набора игровых стратегий на основе обучения нейронной сети с подкреплением


Тип участника:  Физическое лицо
Полное наименование организации/физического лица/авторского или творческого коллектива:  Козлов Дмитрий Сергеевич
В лице (для организации или авторского/творческого коллектива указывается ФИО и должность руководителя):  Козлов Дитрий Сергеевич
Интернет-сайт заявителя:  vk.com\ps1502
Контактное лицо: ФИО:  Козлов Дмитрий Сергеевич
ФИО всех участников авторского/творческого коллектива:  Козлов Дмитрий Сергеевич
Половикова Ольга Николаевна

Идея и краткое описание ИТ-проекта:  Идея данного проекта - на основе алгоритмов обучения на основе нейронных сетей найти, показать и проанализировать неочевидные для человека стратегии в играх с полной и неполной информацией.
Агенты будут обучаться на основе двух подходов к самообучению - первый агент будет обучается полностью вслепую, второй агент будет обучаться на основе заложенных в него паттернов, за нахождение и применение которых агент будет получать повышенную награду.
Данный подход позволит улучшить качество игры человека за счет внедрения новых стратегий в соревновательные практики.
Перечень решаемых задач: 

1. Построить целевые функции для обучения нейросетевых агентов

2. Разработать среду взаимодействия нейросетевых агентов.

3. Провести обучение нейросетей

4. Построить GUI игры

5. Проанализировать результаты обучения соревновательным путём

6. Определить и зафиксировать неочевидные игровые стратегии(и попытаться найти им обоснование)

Описание функциональных возможностей и элементов проекта:  Два варианта агента могут играть против человека в игру крестики-нолики пять в ряд. Человек в любой момент может запросить подсказку от любого из агентов.

Человек может играть против любого из агентов

На основе разработанной нотации записи партий ведется учет всех сыгранных партий и сохранение в лог-файл. Это важно для проведения последующего анализа. Применение данного способа позволило значительно повысить уровень игры в шахматы.
Дата внедрения (в случае, если предполагается запуск проекта в эксплуатацию):  02.03.2022 14:28:00
Используемые платформы, средства разработки:  Python(Keras, Tensorflow, Pytorch)
SQL




Стоимость разработки системы:  1455000 рублей
Средний размер ежегодных затрат на эксплуатацию:  300000 рублей
Перспективы развития:  Можно расширять данный подход к обучению на различные типы игр(как с полной, так и с неполной информацией). Также можно увеличивать силу игры агента, построенного на подходе самообучения с паттернами для достижения уровня игры выше доступного человеку. 
Нахождение новых подходов к поиску стратегий в играх
Увеличение количества эпох обучения 
Достижение поставленных целей:  На данный момент существует готовый прототип, который показывает необычное поведение в играх против человека
Социальная значимость и/или экономическая эффективность (в зависимости от типа проекта): 

Данный проект может помочь найти некоторые эффективные стратегии в области решения задач логистики и распределения ресурсов, что позволит повысить уровень жизни человечества в целом, а также повысить эффективность использования исеющихся ресурсов

Актуальность, экономическая или социальная полезность: 

Данное исследование актуализирует проблематику применения нейронных сетей для поиска неочевидных игровых стратегий. Такие неочевидные игровые стратегии имеют достаточно широкую область практического применения от простейших настольных игр до биржевых торговых агентов.

Адаптивность, стилистическое единство всех функциональных блоков:  Данный продукт не содержит большое количество функциональных блоков и единство соблюдено
Масштабируемость, способность к взаимодействию с другими системами, мобильность:  Существует техническая возможность расширить данный проект на любую настольную антагонистическую игру. Также существует возможность переноса данного проекта на мобильные платформы (на работу самой системы не нужно много ресурсов, данные ресурсы требуются только в процессе обучения агентов)
Обоснованность применяемых проектных решений:  На сегодняшний день Python и его библиотеки tensorflow, keras и  pytorch являются золотым стандартом в области проектирования и реализации нейронных сетей
Оригинальность, новизна, отличие от аналогов либо отсутствие аналогов:  В исследовании предложен и продемонстрирован подход построения целевой функции игры с учетом возможности получений «награды» за очередной «безопасный» ход. Максимальный выигрыш ИИ (искусственный интеллект) получает не только от победы в партии, но и за очередной «безопасный» ход в выигранной позиции.
Аналоги в конкретном виде игры отсутствуют, подобный подход к обучению на примере шахмат использует компания Google Deep Mind в проекте Alpha Zero
Соответствие дизайн-решения целевой аудитории:  Дизайн у проекта достаточно простой (в силу небольшого количества функциональных блоков) и интерфейс интуитивно понятен.
Юзабилити и полезность:  Интерфейс у программы достаточно простой, справиться с ним сможет любой человек
Гарантирую достоверность предоставленной в заявке информации. Подтверждаю, что организация не находится в состоянии ликвидации, банкротства, реорганизации (Только для организаций):  Да
Презентация проекта pdf:  Загрузить
Возврат к списку
нет доступа к комментариям Авторизоваться