Minecraft × AI/ML Tooling — Research Report

Дата: 2026-04-19 Формат: разовий оглядовий research (fun, не продукт) Джерела: HuggingFace, GitHub, Modrinth, CurseForge, academic sites Зафіксовано станом на: квітень 2026

---

TL;DR

Екосистема ML-тулів навколо Minecraft ділиться на 5 шарів:

1. LLM-агенти (Voyager, STEVE-1, Mindcraft, AI-Player, CreatureChat) — найшвидший dopamine hit, особливо Mindcraft + Ollama.
2. Foundation models / bench (MineDojo, MineCLIP, OpenAI VPT) — академічне, важке, GPU-only.
3. Генератори структур (BuilderGPT, Craftpilot, minecraft-schematic-generator, GDMC) — 30 сек від text-prompt до .schem/.litematic.
4. Боти / automation (mineflayer + плагіни, minecraft-mcp-server через MCP протокол, PrismarineJS ecosystem).
5. Скіни / текстури (monadical-labs SDXL model, sd-concepts-library) — чисто generative art.

Топ "ввімкнути за 30-60 хв без GPU": Mindcraft (Ollama + mineflayer), AI-Player мод, Monadical minecraft-skin-generator (HF Space). Voyager можна запустити, але GPT-4 API коштує $$$.

---

1. Агенти / LLM-in-Minecraft

1.1 Voyager — classic, must-see

• Репо: https://github.com/MineDojo/Voyager
• Сайт: https://voyager.minedojo.org/
• Автор: MineDojo / Jim Fan (NVIDIA), Nick Ryder (OpenAI)
• Що робить: LLM-powered lifelong learning agent — сам ставить curriculum, пише JS-код скілів у mineflayer, зберігає skill library, self-verification циклами.
• Метрики з paper: 3.3× більше unique items, 2.3× довші traverses, tech-tree milestones 15.3× швидше vs prior SOTA.
• Stack: Python ≥3.9, Node.js ≥16.13, Minecraft 1.19 + fabric-loader-0.14.18, OpenAI GPT-4 API.
• Stars: ~6.8k (квітень 2026).
• Статус: активних релізів немає з 2023, але 35 commits, 8 open PRs, community fork Co-Voyager активний.
• License: MIT.
• Як погратися за вечір: якщо є OpenAI key — pip install git+https://github.com/MineDojo/Voyager, Azure login, voyager.learn(). Підводний камінь: GPT-4 спалить $10-30 за годину. Для бюджетного варіанту — форк Voyager-Falcon-LLM (peytoncasper) або заміна на локальний LLM через OpenAI-compatible endpoint.

1.2 STEVE-1 — text-to-behavior без GPT-4

• Репо: https://github.com/Shalev-Lifshitz/STEVE-1
• Paper site: https://sites.google.com/view/steve-1
• Що робить: instruction-tuned VPT — приймає короткі текстові або візуальні інструкції, конвертує у low-level mouse/keyboard дії. Побудований на VPT + MineCLIP latent space.
• Fun fact: натренували за $60 compute (behavioral cloning + hindsight relabeling).
• Метрика: 12/13 early-game tasks (раніше — 1-2 у базлайнів).
• Як погратися: завантажити checkpoint, запустити evaluation suite. GPU бажано, але можна спробувати CPU inference для демо.
• License: MIT.

1.3 Mindcraft — найактуальніший hack-friendly LLM агент

• Репо: https://github.com/mindcraft-bots/mindcraft (раніше kolbytn/mindcraft)
• Що робить: LLM + Mineflayer, підтримує OpenAI, Anthropic, Google, Replicate, Ollama, HuggingFace endpoints. Агенти можуть спілкуватися один з одним (multi-agent).
• Стек: Node.js, mineflayer, любий LLM.
• Як погратися за вечір: git clone, встановити Ollama (ollama pull llama3.1 або qwen2.5:7b), npm install, запустити локальний Minecraft сервер, редагувати settings.js — готово. Працює без GPU (на CPU через Ollama) і без API ключів.
• Це найкраща точка входу для вечірнього фану.

1.4 AI-Player (Modrinth мод)

• Modrinth: https://modrinth.com/mod/ai-player
• GitHub: https://github.com/shasankp000/AI-Player
• Що робить: додає другого "гравця" як NPC з власним AI — розмовляє, виконує задачі, використовує reinforcement learning.
• Версії Minecraft: 1.20.1, 1.20.4, 1.20.6, 1.21.1.
• LLM: OpenAI, Anthropic, Gemini, xAI Grok, Ollama, OpenRouter, TogetherAI, Perplexity, Groq, LM Studio.
• Last update: серпень 2025. Downloads: 117.5K.
• License: MIT.
• Як погратися: поставити мод як будь-який Fabric, вибрати Ollama + локальна модель — 10 хвилин і NPC-друг у грі.

1.5 CreatureChat — моби говорять

• Modrinth: https://modrinth.com/mod/creaturechat
• Що робить: AI-driven діалоги з усіма мобами, friendship tracking, memory, autonomous behaviors (моб сам вирішує тікати/атакувати/захищати).
• Версії: 1.20.x, 1.21-1.21.7. Fabric + Forge (через Sinytra Connector) + NeoForge.
• LLM: безкоштовні локальні через Ollama+LiteLLM, або BYO OpenAI/Groq.
• Downloads: 161.7K.
• License: GPL-3 (код) + CC-BY-NC-SA 4.0 (assets) ⚠️ NC обмеження для комерції.

1.6 ChatClef — voice copilot

• CurseForge: https://www.curseforge.com/minecraft/mc-mods/chatclef
• Що робить: press Z для voice interaction з AI-другом, який виконує задачі (включно з проходженням гри). Використовує Player2 App для безкоштовних STT+TTS+LLM.
• License: open-source.
• Як погратися: встановити, підключити Player2, говорити.

1.7 MCChatGPT / AIChat / Chat-to-ChatGPT / Chat-With-NPC

• Серія простих модів — чат-інтерфейс до ChatGPT прямо в Minecraft.
• https://modrinth.com/mod/mcchatgpt
• https://modrinth.com/mod/aichat
• https://modrinth.com/mod/chat-to-chatgpt
• https://modrinth.com/mod/chat-with-npc
• Базові, BYO API key.

1.8 Foundation: MineDojo + MineCLIP

• MineDojo: https://github.com/MineDojo/MineDojo — simulator + 3000+ prompt tasks + 700K YouTube video dataset + Reddit posts + wiki.
• MineCLIP: https://github.com/MineDojo/MineCLIP — CLIP-style model, що мапить video clip ↔ English transcript. Використовується як dense reward model для RL.
• Install: pip install git+https://github.com/MineDojo/MineCLIP, два варіанти weights (attn, avg).
• Для кого: хочеш зробити свій RL-агент з language-conditioned rewards. Не для 30-хвилинної забави.

1.9 OpenAI VPT — історична база

• Репо: https://github.com/openai/Video-Pre-Training
• Paper: https://cdn.openai.com/vpt/Paper.pdf
• Натреновано на 70K годин YouTube через Inverse Dynamics Model.
• Model weights + contractor data відкриті.
• Використовується як backbone у STEVE-1 і Voyager comparisons.
• Статус: архівний (2022), але ваги активні.

1.10 rese1f/STEVE (ECCV 2024) — другий STEVE

• Репо: https://github.com/rese1f/STEVE
• See-and-Think embodied agent, vision-language.
• Не плутати з STEVE-1.

1.11 Awesome-Minecraft-Agent

• Репо: https://github.com/lizaijing/Awesome-Minecraft-Agent
• Кураторський список усіх paper'ів по Minecraft agents. Стартова точка для глибшого копання.

---

2. Генерація: структури, карти, текстури, скіни

2.1 BuilderGPT — text-to-structure, класика

• Репо: https://github.com/CyniaAI/BuilderGPT (головний), також форк https://github.com/mk-pmb/minecraft-buildergpt
• Що робить: опиши будинок — LLM генерує .schem або .mcfunction, імпортуєш WorldEdit'ом.
• Статус: розвиток призупинено, рекомендують MineClawd.
• Як погратися: cli tool, потрібен OpenAI key.

2.2 MineClawd — наступник BuilderGPT

• Згадується як server-only мод, який генерує будівлі прямо у грі, на базі OpenClaw AI agent framework.
• Увага: чіткого публічного GitHub не знайдено — можливо, live на сайті CyniaAI або напівзакритий проект. Перевірити через BuilderGPT README.

2.3 Craftpilot — in-game AI building assistant

• Репо: https://github.com/mmmfrieddough/craftpilot
• Автор: той самий, що minecraft-schematic-generator.
• Працює як клієнтський мод — підказує, що добудувати (autocomplete для побудов).

2.4 minecraft-schematic-generator — decoder-only transformer

• Репо: https://github.com/mmmfrieddough/minecraft-schematic-generator
• Трансформер передбачає відсутні блоки на основі мільйонів player-created структур.
• Розуміє просторові відносини, patterns.
• Є model weights.

2.5 MineGen — 3D diffusion

• Репо: https://github.com/Viibrant/MineGen
• Deep learning + transformers для .schematic файлів.
• Академічне, потребує GPU.

2.6 BluShine Minecraft-GAN-City-Generator

• Репо: https://github.com/BluShine/Minecraft-GAN-City-Generator
• GAN на TensorFlow для генерації цілих міст.
• Застаріло, але класна ідея для портфоліо.

2.7 BlockGPT — коммерційна SaaS

• Сайт: https://blockgpt.ai/
• Web UI, text→castle/house/build, експорт .schematic / .litematic / .nbt.
• Freemium. Швидкий спосіб показати демо без локального setup.

2.8 GDMC — AI Settlement Competition

• Main repo: https://github.com/mcgreentn/GDMC
• Python framework: https://github.com/avdstaaij/gdpc (GDPC — bindings для GDMC-HTTP interface)
• Wiki 2024: https://gendesignmc.wikidot.com/wiki:2024-settlement-generation-competition
• Топ submission 2024: https://github.com/Niels-NTG/GDMC2024 "Vault of Immeasurable Knowledge".
• Щорічна академічна competition з procedural settlement generation.
• Відмінна відправна точка для власних PCG експериментів.

2.9 Monadical minecraft-skin-generator

• HuggingFace: https://huggingface.co/monadical-labs/minecraft-skin-generator (418 likes)
• HuggingFace SDXL: https://huggingface.co/monadical-labs/minecraft-skin-generator-sdxl
• GitHub: https://github.com/Monadical-SAS/minecraft_skin_generator
• Blog: https://monadical.com/posts/mincraft-skin-generation.html
• Stable Diffusion / SDXL fine-tune → character skins з тексту.
• SDXL версія підтримує transparency у hair/helmet шарах.
• Hosted UI є на сайті.
• Як погратися за вечір: відкрити HuggingFace Space або запустити локально через diffusers (pip install diffusers, pipeline з HF hub). 10 хвилин.

2.10 Інші HF text-to-image моделі

• OVAWARE/plixel-minecraft — text→image (pixel-art style), updated Feb 2024.
• TechieCrow/minecraft-log-textures — log textures generator.
• MirageML/dreambooth-wood-house-minecraft — dreambooth на будинках.
• monadical-labs/minecraft-preview — text→image preview (сумісний датасет 1.02k rows на HF).
• sd-concepts-library/minecraft-concept-art — textual inversion concept.

2.11 Amulet Map Editor

• Репо: https://github.com/Amulet-Team/Amulet-Map-Editor
• Не AI сам по собі, але infra — world editor, який підтримує всі версії Java 1.12+ та Bedrock 1.7+. Імпорт .construction/.schem/.schematic/.mcstructure.
• Корисно як backend для AI-генерованих структур (завантажити .schem з BuilderGPT/MineGen).

---

3. Боти і automation

3.1 Mineflayer — фундамент

• Репо: https://github.com/PrismarineJS/mineflayer
• Docs: https://prismarinejs.github.io/mineflayer/
• Версії Minecraft: 1.8 — 1.21.11.
• Last release: v4.37.0 (31 березня 2025).
• Активні PR: item frames placing (#3673 червень 2025), prismarine-windows fixes (#3666 травень 2025).
• JS API для Minecraft ботів — entity tracking, inventory, pathfinding, combat, building.
• Плагіни: mineflayer-pvp, mineflayer-pathfinder, mineflayer-auto-eat, mineflayer-collectblock, mineflayer-web-inventory.
• Як погратися: npm install mineflayer, 30 рядків коду — бот стежить за гравцем. Плюс pathfinder — і він сам навігує.

3.2 Minecraft MCP Server

• Репо: https://github.com/yuniko-software/minecraft-mcp-server
• MCP (Model Context Protocol) сервер — дає Claude Code / Claude Desktop / Cursor пряму можливість керувати персонажем.
• Base — mineflayer.
• Дуже актуально для 2026 — підключається до твого Claude Desktop за 5 хвилин.

3.3 MoLing-Minecraft

• Репо: https://github.com/gojue/moling-minecraft
• Інший AI Agent MCP Server для Minecraft — intelligent construction, building, game control.

3.4 Microphone Text Input (Fabric мод)

• Репо: https://github.com/Jaffe2718/Microphone-Text-Input
• Whisper-based STT → текстові чат-повідомлення.
• Keybind V — записати голос, надіслати як чат.
• Комбінується з CreatureChat/AI-Player для voice-driven gameplay.

3.5 PrismarineJS ecosystem загалом

• https://github.com/PrismarineJS — node-minecraft-protocol, prismarine-world, flying-squid (Minecraft сервер на Node), minecraft-data (всі блоки/айтеми/рецепти як JSON).
• Для будь-якої автоматизації — стартова точка.

---

4. Датасети (HuggingFace)

4.1 Найбільш корисні

• declip/Minecraft-Server-Chat — 2.66M рядків чату. Найбільший корпус серверного спілкування. https://huggingface.co/datasets/declip/Minecraft-Server-Chat
• naklecha/minecraft-question-answer-700k — 695K QA пар про Minecraft (wiki-based). 76 likes, 42 downloads. https://huggingface.co/datasets/naklecha/minecraft-question-answer-700k
• ProfQu/MinecraftRecipes — 836 крафт-рецептів, для fine-tune Q&A. https://huggingface.co/datasets/ProfQu/MinecraftRecipes
• KoalaBrainResearcher/Minecraft-Wiki-2023 — 45K wiki entries. https://huggingface.co/datasets/KoalaBrainResearcher/Minecraft-Wiki-2023

4.2 Vision / Generation

• James-A/Minecraft-16x-Dataset — 1.52K текстур 16×16, 364 likes. Топ популярність. https://huggingface.co/datasets/James-A/Minecraft-16x-Dataset
• orzhan/minecraft-captioning — image captioning, 454 likes. https://huggingface.co/datasets/orzhan/minecraft-captioning
• 4eJIoBek/Minecraft-skins-26k — 26K скінів для fine-tune генератора. https://huggingface.co/datasets/4eJIoBek/Minecraft-skins-26k
• twoturtles/minecraft-mobs — 408 мобів з описами.
• MinecraftSchematic/Schematics — reference для своєї .schem колекції. https://huggingface.co/datasets/MinecraftSchematic/Schematics
• monadical-labs/minecraft-preview — датасет для skin-generator fine-tune (1.02K).

4.3 Спеціальні

• m1rhan/minecraft-text-to-image — 723 rows prompt→зображення.
• klima7/minecraft-segmentation — семантична сегментація (мало прикладів, 5 rows).
• cassanof/minecraft-sample-instructed — 655 instruction-tuned прикладів.

---

5. TOP-3 "почати зараз" — без GPU, за 30-60 хв

🥇 Mindcraft + Ollama

1. Встановити Minecraft Java 1.21, запустити локальний сервер з cracked auth.
2. ollama pull qwen2.5:7b (4GB RAM достатньо) або llama3.1:8b.
3. git clone github.com/mindcraft-bots/mindcraft, npm install.
4. В settings.js — profile → Ollama endpoint, http://localhost:11434.
5. node main.js — на сервер приходить AI-агент, який виконує команди в чаті. Time: ~40 хв. Cost: $0. GPU: не треба.

🥈 AI-Player мод (найпростіше, не писати код)

1. Fabric 1.21.1 Minecraft + mod loader.
2. Завантажити AI-Player з Modrinth (https://modrinth.com/mod/ai-player).
3. В налаштуваннях мода → Ollama → адреса http://localhost:11434.
4. У грі — /aiplayer create friend — готово. Time: ~20 хв. Cost: $0.

🥉 Monadical Minecraft Skin Generator (чистий generative fun)

1. Відкрити HF Space / Monadical website.
2. Ввести "astronaut with red cape, cyberpunk" → .png скіна.
3. Покласти у .minecraft/assets/skins/ або залити на namemc. Time: 10 хв. Cost: $0. GPU: не треба (HF Space). Локальний запуск: pip install diffusers, pipeline з HF.

---

Додатково варто знати

• Awesome-Minecraft-Agent https://github.com/lizaijing/Awesome-Minecraft-Agent — кураторський список усіх AI/ML Minecraft paper'ів. Точка входу для deep dive.
• Minecraft MCP сервери — у 2026 це найгарячіший стиль; плагнути Claude Desktop у Minecraft за 5 хв.
• Licensing: більшість AI-модів під MIT/GPL3, але CreatureChat має CC-BY-NC-SA 4.0 на ассети — для комерційних стрімів/відео читати уважно.
• Для комерційних ідей цікавий кут: AI-NPC для education (квести з LLM-driven dialog) — вже є аналоги (Med Detective хід думки), Minecraft education edition має офіційну підтримку.

---

Джерела

Академічні / foundation

• https://github.com/MineDojo/Voyager
• https://github.com/MineDojo/MineCLIP
• https://github.com/MineDojo/MineDojo
• https://github.com/openai/Video-Pre-Training
• https://github.com/Shalev-Lifshitz/STEVE-1
• https://github.com/rese1f/STEVE
• https://github.com/lizaijing/Awesome-Minecraft-Agent

LLM-агенти (hack-friendly)

• https://github.com/mindcraft-bots/mindcraft
• https://github.com/shasankp000/AI-Player
• https://github.com/yuniko-software/minecraft-mcp-server
• https://github.com/gojue/moling-minecraft
• https://modrinth.com/mod/creaturechat
• https://modrinth.com/mod/ai-player
• https://modrinth.com/mod/mcchatgpt
• https://modrinth.com/mod/aichat
• https://www.curseforge.com/minecraft/mc-mods/chatclef

Генератори

• https://github.com/CyniaAI/BuilderGPT
• https://github.com/mmmfrieddough/craftpilot
• https://github.com/mmmfrieddough/minecraft-schematic-generator
• https://github.com/Viibrant/MineGen
• https://github.com/BluShine/Minecraft-GAN-City-Generator
• https://github.com/mcgreentn/GDMC
• https://github.com/avdstaaij/gdpc
• https://github.com/Niels-NTG/GDMC2024
• https://blockgpt.ai/

Скіни / текстури

• https://huggingface.co/monadical-labs/minecraft-skin-generator
• https://huggingface.co/monadical-labs/minecraft-skin-generator-sdxl
• https://github.com/Monadical-SAS/minecraft_skin_generator
• https://huggingface.co/OVAWARE/plixel-minecraft
• https://huggingface.co/TechieCrow/minecraft-log-textures
• https://huggingface.co/sd-concepts-library/minecraft-concept-art

Боти / infra

• https://github.com/PrismarineJS/mineflayer
• https://prismarinejs.github.io/mineflayer/
• https://github.com/Amulet-Team/Amulet-Map-Editor
• https://github.com/Jaffe2718/Microphone-Text-Input

Датасети (HuggingFace)

• https://huggingface.co/datasets/declip/Minecraft-Server-Chat
• https://huggingface.co/datasets/naklecha/minecraft-question-answer-700k
• https://huggingface.co/datasets/James-A/Minecraft-16x-Dataset
• https://huggingface.co/datasets/orzhan/minecraft-captioning
• https://huggingface.co/datasets/4eJIoBek/Minecraft-skins-26k
• https://huggingface.co/datasets/ProfQu/MinecraftRecipes
• https://huggingface.co/datasets/KoalaBrainResearcher/Minecraft-Wiki-2023