Як сенсори формують нейронний код
Сприйняття це по суті перетворення енергії. Температура, механічний дотик, звукова чи електромагнітна хвиля перетворюється в електричну активність нейронів. В попередніх статтях побачили, що інформація зберігається в активних групах нейронів, які між собою зв’язуються і формують асоціативну пам’ять. Але як ці групи утворюються? Або як числа (кількість фотонів, чи амплітуда звукової хвилі, чи швидкість руху молекул) кодуються нейронними мережами? Це одна з ключових задач, якщо ми хочемо зробити автономні роботи, які так само як ми сприйматимуть цей світ.
Як ця проблема вирішується в природі? Багато пробували зрозуміти суть кодування на людях, і досі намагаються. Але люди дуже складні, і над ними не так просто робити експерименти) Тому багато почали досліджувати прості організми.
Суть в тому, що природа через еволюцію вирішує фундаментальні проблеми кодування та обробки інформації. Рішення, яке знайшлося в одній істоті, далі зберігається в складніших. Якщо ми зрозуміємо роботу в простих організмах, то легше буде розібратися з людьми. Це як замість того, щоб зрозуміти роботу iPhone, спершу спробувати зрозуміти як працює калькулятор.
Є багато таких простих організмів, які можна назвати біологічними комп’ютерами. Один з найпопулярніших це муха (дрозофіла). Чому муха? Бо вона ще не зовсім складна (100 тис. нейронів в нервовій системі), але й показує складну поведінку (як наприклад тікати від удару скрученої газети). Плюс, розробили багато методів як експериментувати з нейронами: деякі можуть виключати, інші ламати чи контрольовано генетично змінювати і дивитися, що буде з мухою.
Муха дуже багато взнає про світ через запахи. Це й пошук їжі, й уникання небезпеки, і приваблення самців чи самок. Як кодуються ці запахи нейронами? Далі дуже уважно. Запах це набір молекул в повітрі, як наприклад CО2 вуглекислий газ (на відмінно від нас, муха його відчуває). В мухи на голові десь 2600 рецепторів, які вловлюють ці молекули. Рецептор це нейрон, який на своїй поверхні має спеціальні білки. Ці білки контролюють рух іонів через поверхню нейрона в залежності від концентрації запаху. Якщо багато позитивного заряду зайде всередину, генерується електричний імпульс.
Пролітає муха повз хмару CO2, білки спрацьовують, іони заходять, нейрони заряджаються і активуються, так інформація з фізичного світу починає рух в мозку мухи. Справжня хімічна лабораторія розміром в кілька міліметрів!
Рецепторів в мухи є близько 50 видів (типів білків), а запахів є багато тисяч. Тому немає так, що один нейрон кодує тільки один запах. Натомість, один рецептор вловлює одразу багато запахів, які кодуються розподілено багатьма нейронами. Це як букви на комп’ютері кодуються багатьма одиничками 0010011.
Але нейрони, окрім типу запаху, кодують ще його концентрацію і як швидко вона міняється. Чим більша концентрація, тим частіше нейрони-рецептори активуються. Чим швидше вона міняється, тим більший стрибок активності на початку кодування. Останнє для мухи важливо, це допомагає визначати джерело запаху.
Цей перший шар нейронів-рецепторів посилає сигнал далі в другий шар (шар PN нейронів, від projection neuron). Зроблено так, що PN нейрон отримує сигнал тільки від однакових типів рецепторів (нагадую, однакових білків на поверхні клітини). І так як є всього 50 типів рецепторів, то є 50 типів PN нейронів (які групуються в гломерули).
Всього є кілька сотень PN нейронів, які отримують інформацію з кількох тисяч рецепторів. Таким чином один PN нейрон усереднює інформацію з десятків рецепторів. Так він стає більш чутливим до запахів і відсіює шум (рецептори насправді дуже не надійні, активуються самі по собі і не стабільно). Але другий шар це не просто усереднення, це значно більше. Тут відбувається те ж, що й в багатьох інших сенсорних чуттях (зір, слух, дотик…) в багатьох різних тваринах.
Тут нейрони активуються та зв’язуються таким чином, щоб максимум передати важливої інформації з середовища.
Якщо якісь запахи зустрічаються частіше, або ж ведуть до їжі чи небезпеки, то PN нейрони стають дуже чутливими до них. І навпаки, багато рідкісних запахів можуть і не розрізнятися. Інформація передається найбільше, коли PN нейрони активуються найбільш різноманітно. І за це відповідають інші локальні нейрони в другому шарі. Вони зв’язуються між собою та PN нейронами і роблять так, щоб жодний не активувався дуже часто чи дуже рідко. Якщо якихось запахів в середовищі мало, і деякі PN нейрони, недоотримують активацію від рецепторів, то локальні нейрони задіюють їх для кодування інших запахів. І навпаки, якщо якогось запаху дуже багато, локальні нейрони розподіляють активність серед всіх 50 типів. Звісно нам було б значно легше, якби був один рецептор який активується тільки на один запах(скажімо ананас), який з’єднується з нейроном, що кодує “їжа” і утворюється пам’ять “ананас — їжа”. Але це дуже неефективно, тоді до кожного запаху потрібний був би окремий нейрон. І тому природа вибрала економний, хоч і дуже заплутаний варіант. Але ми все розплутаємо:)
PN нейрони проектують інформацію далі в третій шар, де близько 2000 клітин. Якщо з першого в другий кількість нейронів зменшилася, то тут навпаки — збільшилася. Але це не значить, що збільшилася кількість інформації:) Тут просто інформація переписується в іншому вигляді. В другому шарі постійно активні в середньому 50% нейронів, в третьому десь 5–10% (розріджено). Нижче показано схематично зв’язки від нейронів рецепторів (колір показує тип) до гломерул (показано тільки три з 50) і в третій шар.
Таке переписування відбувається не складно:
1) PN нейрони випадково зв’язуються з третім шаром
2) тут нейрони, які отримують більше активації спрацьовують першими, аж до тих пір, поки
3) кількість активних клітин не стає більше 5–10% і тоді включається нейрон інгібітор який подавляє всі інші.
Математично це називається випадкова проекція з пороговою функцією або k-переможців-забирають-все (де k — кількість активних нейронів третього шару, що складують ці 5–10%). В попередній задачі ми це все прорахували математично.
Отже, в третьому шарі запахи представлені невеликими групами активних нейронів. В такому вигляді, інформацію вже значно легше зв’язувати з іншою інформацією. Третій шар посилає сигнал далі. Вважається, що там утворюються асоціативні зв’язки з нейронами, що кодують поведінкові сигнали (небезпека, їжа) або іншу сенсорну інформацію (зір). Таким чином муха вчиться з чим пов’язані запахи, які хороші і які погані. Цікаво, що на шляху від рецепторів до третього шару подібні запахи кодуються в подібні групи нейронів. І тому муха все одно може мати асоціації, якщо новий запах подібний до вивченого.
Чому не можна було б зразу другий шар з’єднувати з поведінкою, навіщо збільшення кількості нейронів? Бо в другому шарі нейрони активуються щільно (50% активних), і два різні запахи будуть кодуватися дуже схоже. І тоді верхнім шарам буде важко розрізняти запахи і муха буде путатися. Навіщо другий шар? Не можна було б одразу від нейронів рецепторів зробити розріджені групи? Нейронів-рецепторів кілька тисяч, і щоб зберегти інформацію потрібно було б десятки тисяч нейронів в третьому шарі. Тому другий шар стискає дані і зменшує необхідну кількість нейронів і зв’язків.
Отже, з самого початку: 1) Муха пролітає повз хмару газу; 2) білки спрацьовують, іони заходять; 3) нейрони-рецептори активуються;4) PN нейрони усереднюють, відсіюють шум;5) локальні нейрони другого шару роблять, щоб всі PN передали інформації по максимуму; 6) PN нейрони по випадкових зв’язках активують розріджені групи нейронів третього шару (5–10%); 7) третій шар, через асоціативну пам’ять активує нейрони, що визначають далі чи летіти в епіцентр хмари чи тікати подалі.
Але, все-таки, навіщо нам здалася ця муха? Люди ж цікавіші! Тому що в людей все дуже схоже. Рецептори в носі, працюють по такому ж принципу: селективні білки до молекул регулюють потік іонів в нейрон, тільки білки в нас вже інші і рецепторів більше. Другий шар, в нас називається нюховою цибулиною, але теж нейрони групуються в гломерули і приймають сигнал тільки від певного типу рецепторів. Третій шар в нас кора головного мозку (piriform cortex), де активуються розріджені групи нейронів, які далі утворюють асоціативні зв’язки з іншими частинами кори.
Звісно є й відмінності, в нас нейрони різноманітніші, їх більше і трохи відрізняються зв’язки. Еволюція не просто зберігає вже відомі механізми обробки інформації, а старається їх покращити і адаптувати до конкретного середовища.
З запахами пов’язане не тільки навчання, є речі які відомі з народження. Муха посилає інформацію не тільки з другого в третій шар, але і з другого в четвертий шар. Цей шар зберігає вроджені реакції на запах. Так само і в людей, нюхова цибулина посилає сигнал в багато інших структур мозку, де записано генетично, як нам поводитися. Всі люди однаково скривляться від смердючого запаху.
Не все з кодуванням запахів ще ясно. Окремі групи третього шару можуть закодувати окремі запахи, а як щодо концентрації? Експерименти на мишах показують, що чим більша концентрація, тим більші самі ці групи(звідси і діапазон 5–10%). Хоча можливі і інші варіанти. Ще відрите питання чи кодується інформація в тому, коли саме нейрони активні(бо хоч синхронізація є, але все ж імпульси не одночасні).
Ще нюанс, що в людей, що в мух, нюхова система посилає сигнал не тільки з нижніх рівнів (рецепторів) на верхні, а й назад. До кінця їх роль не ясна. Припускається, що зв’язки з верхніх рівнів змінюють чутливість нейронів другого шару (коли ми голодні, всі запахи ой як загострюються). Бо другий шар не просто передає максимум інформації, а максимум важливої інформації. Це і відрізняє живий організм від штучного алгоритму стиснення даних, в останнього немає потреб і не знає, що важливо.
Розбиратися з нюхом мухи цікаво не тільки бо так схоже у людей, а й через те, що це схоже і для зору, і слуху, і інших чуттів. Це зустрічається знову і знову, в різних тваринах, від малих до великих: спочатку інформація фільтрується і стискається, а далі представляється в зручній формі (розрідженій активації нейронів), щоб сформувати пам’ять і визначати поведінку. Як ніби є абстрактні закони обробки інформації, які різні сенсорні системи вирішують по своєму.
В сітківці ока, інформація зі 100 млн рецепторів стискається в 1 млн гангліозних нейронів. І вже далі через таламус передається в 140 млн нейронів візуальної кори мозку. Зір не запах, тут інша статистика даних. Але так само як в мухи, шар гангліозних нейронів в сітківці стискає інформацію і далі йде розрідження в корі для пам’яті. Так само як в мухи, око кодує не набір окремих пікселів, як у камері, а радше візуальні риси у вигляді розподіленого коду.
Кожен сенсорний орган це окреме геніальне інженерне рішення у виконанні природи. Ми ще так не вміємо робити ні в алгоритмах, ні, тим паче, в спеціалізованих мікросхемах. Але б дуже хотілося. Бо якщо ми хочемо додати собі нові чуття, наприклад інфрачервоний зір, то потрібно зрозуміти, як потік фотонів закодувати в групи активних нейронів і зв’язати з іншими, що вже є в мозку.
І коли інформація представлена у вигляді активних груп нейронів, нам вже не важливо чи це запах, чи звук, чи інфрачервоний колір. Головне, як зв’язуються активні групи і як це впливає на поведінку.
Звісно, ще дуже багато таємниць. Як ці активації переходять у свідомість? Чи будуть нові штучні чуття визивати нові прояви свідомості (як колір, запах, смак, біль)? Але починати треба з малого, найпростішого. Вже мільйони мух пожертвували собою в лабораторіях, щоб ми краще зрозуміли кодування інформації та наблизилися до розуміння свідомості. І коли ви наступного разу вбиватимете муху, нагадайте, що ви вбиваєте 100 тис нейронів складного біологічного комп’ютера :)
Це десята стаття в блозі “Територія штучного інтелекту”.
Підписуйтеся на сторінки:
fb.com/ai.territory/
t.me/aiterritory
Читайте інші:
1.Територія штучного інтелекту. Про себе, про блог, як створити ШІ в Україні
2.Що таке інтелект?
3.Навіщо насправді потрібен штучний інтелект
4.Карта штучного інтелекту (2020)
5.Нейрон. Основні принципи роботи
6.Як порахувати експресивність нейрона| задача_ші #01
7.Принципи кодування інформації. Частина 1. Комп’ютер vs мозок
8.Принципи кодування інформації. Частина 2. SDR
9.Простий спосіб закодувати щось в нейронну мережу| задача_ші #02
10.Як сенсори формують нейронний код
11.Що таке і в чому суть інформації?
12.Скільки інформації передається в нейронних мережах. Ч.1
13.Скільки інформації передається в нейронних мережах. Ч.2
14.Кінець першої частини. Де ми so far?
