LegoGPT: Штучний інтелект перетворює текстові запити на створення з Lego

Дослідники з університету Карнегі Меллон представили LegoGPT, нову систему штучного інтелекту, яка створює реальні конструкції з Lego за письмовими описами.

Це перший штучний інтелект такого роду, який не лише слідує текстовому підказу – наприклад, “динамічний, видовжений судноплавний споруд” – але й гарантує, що отримана конструкція є фізично стабільною та може бути побудована, цеглиною за цеглиною.

“Щоб досягти цього, ми створюємо масштабний, фізично стабільний набір даних про дизайни LEGO, разом з їхніми відповідними підписами”, – пояснила команда у своїй науковій статті.

LegoGPT було навчено за допомогою понад 47 000 стабільних моделей Lego, спарених з детальними підписами, згенерованими GPT-4o. Вони були створені з 3D-форм, перетворені в структури Lego, а потім перевірено на стабільність у реальному світі за допомогою фізичних симуляцій.

Кожну структуру також описували з 24 кутів, щоб штучний інтелект міг навчитися, як мають виглядати різні дизайни, описані словами.

Команда використовувала спеціальну техніку, яку називають “зворотний рух, що враховує фізику”, при якому нестабільні частини дизайну видаляють та знову будують, доки вся структура не буде стійкою. Це покращило ефективність будівництва з 24% до 98,8%.

Модель штучного інтелекту, що базується на LLaMA-3.2-Instruct від Meta, передбачає, який наступний кубик Lego слід поставити – це схоже на те, як ChatGPT передбачає наступне слово. Кожен запропонований кубик перевіряється на розміщення, розмір і потенційні зіткнення перед додаванням до моделі.

Створення LegoGPT можуть будувати як люди, так і роботи. “Наші експерименти показують, що LegoGPT створює стабільні, різноманітні та естетично приємні конструкції з Lego, які тісно відповідають вхідним текстовим підказкам”, – написали дослідники.

Наразі, LegoGPT використовує лише вісім базових типів цеглинок і працює у просторі 20×20×20, але команда сподівається його розширити.

Їх повний набір даних, код та модель можна вільно використовувати, так що інші можуть продовжувати роботу над цим дослідженням. Або ви можете просто поекспериментувати з їхнім демо.