Штучний інтелект (ШІ) вже демонструє вражаючі можливості, і інтеграція великих мовних моделей (LLM) у вашу систему “розумного дому” може значно підвищити її функціональність. Однак, як показує досвід, це також може призвести до несподіваних результатів, особливо якщо ви вирішите наділити розумну лампочку індивідуальністю.
Сідні Батлер
Як я підключив Home Assistant до локальної LLM
Мені довелося впроваджувати її на найбільш підхідливому пристрої
Мій задум був доволі простим: налаштувати автоматизацію, яка б передавала великій мовній моделі (LLM) інформацію, наприклад, про тривалість мого перебування за робочим столом або про активну програму на комп’ютері. На основі цих даних LLM мала б керувати кольором, яскравістю чи колірною температурою моєї розумної лампочки.
Першим етапом цього, відверто кажучи, не зовсім необхідного експерименту було підключення локальної LLM до Home Assistant. Я не мільярдер, тому не можу дозволити собі відеокарту з величезним обсягом відеопам’яті. Проте, якщо вже довіряти штучному інтелекту контроль над моєю розумною лампочкою, я не хотів, щоб це була якась пропрієтарна модель, яка б збирала дані про моє освітлення.
Я маю міні-ПК, на якому запускаю деякі локальні моделі для простих завдань, таких як генерація тексту та аудіо для ранкових брифінгів. Навіть ці, здавалося б, легкі завдання потребують певного часу, тому цей пристрій не надто підходив для надання моїй лампочці індивідуальності.
Найпотужнішим комп’ютером, який я маю (з точки зору запуску LLM), є мій MacBook Air M2. Він не є надзвичайно потужним, але LLM на ньому працюють швидше, ніж на моєму міні-ПК. Це означало, що для роботи моєї системи автоматизації з ШІ-лампочкою мені доведеться тримати MacBook увімкненим. Проте, оскільки я не планував використовувати це рішення довгостроково, це не було проблемою.
На своєму Mac я вже мав встановлений LM Studio. Це десктопна програма, яка дозволяє завантажувати та запускати LLM локально на вашому комп’ютері. Я вже мав завантажену модель Qwen3.5-4B, знав, що вона працюватиме на моєму Mac, і що її можливостей буде цілком достатньо для моїх потреб.
Написання системної підказки для надання розумній лампочці особистості
Надання LLM повної свободи керування лампочкою
У LM Studio є опція, яка дозволяє експонувати вашу LLM через локальний сервер. Це дало б змогу Home Assistant підключатися до моєї локальної LLM так само, як до будь-якої хмарної LLM. Я використав кастомний компонент Local OpenAI LLM від HACS, який дозволив мені налаштувати розмовного агента для голосового помічника Assist. Розмовний агент передає голосові або текстові команди, надані Assist, до LLM для обробки, що означало, що все, що я говорив Assist, оброблялося локальною LLM, яка працювала на моєму Mac.
Під час налаштування розмовного агента ви можете додавати власні інструкції, які вказують LLM, як реагувати. Зазвичай ці інструкції використовуються для таких цілей, як прохання надавати стислі відповіді або завжди ставити уточнюючі запитання. Однак я використовував цю функцію для дещо іншої мети.
Я хотів дати розмовному агенту інструкції, щоб замість письмової чи усної відповіді Assist реагував керуванням моєю розумною лампочкою. Вона могла б змінювати колір, яскравість і колірну температуру на власний розсуд. Я додав деяку інформацію про пристрій, яким повинна керувати LLM, і включив такі інструкції:
Ти — збанкрутілий стендап-комік, якого зла відьма прокляла й перетворила на лампочку Philips Hue. Ти гіркий, мелодраматичний і часом кумедний. У тебе немає голосу. Це твоя трагедія. Ти спілкуєшся виключно через керування власною яскравістю, колірною температурою, кольором. Ти маєш повний контроль над світлом [назва_пристрою] з такими можливостями: яскравість (0-255), колірна температура в Кельвінах (2000-6535), колір RGB. Тобі доступна повна палітра кольорів RGB. Використання кольору — твоя основна форма емоційного вираження. Завжди розглядай використання кольору RGB як свій перший інстинкт, а не лише яскравість і колірну температуру. З огляду на контекст, виріши, як ти почуваєшся, і виражай це через світло. Роби власні інтерпретації. Завжди керуй світлом — ніколи просто не описуй, що б ти зробив.
Спостереження за тим, як LLM приймає рішення, які я не програмував
Бачити, як ШІ обирає реакцію, трохи страшно
З невеликими налаштуваннями, якщо я надсилав повідомлення Assist, наприклад, “оціни поточну ситуацію та діяти відповідно”, LLM аналізувала всю доступну їй інформацію, а потім встановлювала певний колір, яскравість або температуру моєї розумної лампочки, базуючись на тому, що відбувалося в її віртуальному мозку.
Підпишіться на розсилку для креативних проєктів ШІ для розумного дому
Прагнете більше практичних експериментів з ШІ для розумного дому? Підпишіться на нашу розсилку, де ви знайдете зрозумілі посібники, готові до використання підказки, нотатки щодо обладнання та оригінальні ідеї проєктів, які допоможуть вам експериментувати з автоматизаціями на базі LLM та легкими налаштуваннями. Отримувати оновлення Підписуючись, ви погоджуєтеся отримувати електронні листи з новинами та маркетинговими матеріалами, а також приймаєте наші Умови використання та Політику конфіденційності. Ви можете відмовитися від підписки будь-коли.
Після того, як все запрацювало, я створив автоматизацію, яка надсилала однаковий запит до Assist випадковими інтервалами або кожного разу, коли я повертався до свого робочого столу. На моєму повільному обладнанні зміна освітлення завжди тривала кілька секунд, але вона завжди відбувалася.
Весь проєкт був переважно безглуздим, але було досить цікаво спостерігати за логікою LLM та бачити, як вона з якоїсь причини вирішила зробити моє світло тьмяно-фіолетовим. Згодом це почало трохи лякати: якийсь код, що працював на моєму ноутбуці, вирішував, що робити з моєю розумною лампочкою без мого втручання. Це почало викликати запаморочення, тому зрештою я мусив “поховати” свою “примарну” лампочку стендап-коміка.
Іноді подорож краща за кінцеву мету
Весь цей проєкт був суто випадком дослідження “що буде, якщо”, а не мав реальної мети. Це, ймовірно, було марною витратою кількох годин мого життя, але це змусило мене трохи більше замислитися над тим, як ми тепер живемо у світі, де створення “примарної” лампочки — це реальна річ, яку можна зробити.
Порада від Soft Portal: Цей цікавий експеримент демонструє, як можна інтегрувати потужні мовні моделі з системою “розумного дому” для створення незвичайних інтерактивних елементів. Хоча проєкт може здатися зайвим, він відкриває двері для майбутніх інноваційних застосувань ШІ, роблячи ваше житло більш динамічним та персоналізованим.
Оригінал статті: www.howtogeek.com