Очите са неподражаем инструмент. Поне така си мислех, докато не се потопих в тайните на машинното зрение. И така, как работи роботизираното зрение? Ще се изненадате, че много подобен на нашия.

нашите

Реших да разгледам по-отблизо проблема и да напиша кратка поредица от две части за него. Прочетете първата част, където ще ви обясня каква е приликата между човешките и машинните очи:

Наскоро имах възможността да се срещна с Ян Жишка, основателят и главен изпълнителен директор на Photoneo. Нейната 3D камера помага на машините да виждат по-добре и е уникална в света. Повече от режисьор обаче, Джон е голям фен на напредналите технологии, роботика и научна фантастика, също като мен. Ето защо много се интересувах от работата му. Като офталмолог, особено колко роботизирани очи са подобни на нашите, човешките.

3D технологията не е нова за нас

Джон ми каза интересно нещо по време на нашия разговор. Като експерт и технологичен ентусиаст, той беше много очарован от пристигането на 3D филми в кината, но беше изненадан, че приятелите му не бяха особено ентусиазирани от това. Тогава той осъзна, че 3D визията не е нищо ново за хората. В киното имате очила, в които се прожектират две различни изображения от две камери. Към всяко око пътува различно усещане. Човешкото око също работи.

Как работи 3D визията?

Човешкото 3D зрение работи на принципа на така наречената триангулация, т.е. свързване на различни изображения от двете очи заедно в една точка. Също така ни позволява да различаваме разстоянията. Колкото по-близо са обектите, толкова по-точна е нашата оценка. Това може да се обясни с прост пример. Представете си, че гледате нещо, което стои на 2 метра пред вас. Например на килер. От всяко от очите ви изплуват две въображаеми линии, т.е. две различни изображения, пресичащи се в точката, където стои наблюдаваният обект. Те създават триъгълник. Тъй като шкафът е на 2 метра от вас, има и точка, където изображенията се срещат, за да създадат окончателното 3D усещане на два метра. Това не е твърде много за мозъка, за да определи горе-долу точно колко далеч е обектът.

По-различно е, когато погледнете обект, който стои на 100 метра от вас например. Тук мозъкът започва да има проблем. Представете си как вървите по права улица с кола, паркирана в края. До него стои мъж. Тогава триъгълникът е толкова дълъг, че нямате шанс да познаете дали превозното средство или човек е малко по-близо до вас. От ваша гледна точка те са един до друг.

По този начин нашето зрение работи с корени в еволюцията. Например, пещерните хора трябваше да преценят по-близкото си разстояние повече, например когато ловуват плячка или реагират на непосредствена опасност.

Триангулация на практика

Можете да проверите принципа на триангулация с обикновен експеримент. Избършете един пръст пред себе си и последователно затворете и отворете дясната и лявата очи. Тъй като всеки от тях възприема различно изображение, струва ви се, че пръстът винаги е на различно място. На малко разстояние от пръста до очите ще видите относително значително изместване. Но колкото по-нататък движите ръката си, толкова по-дълго се удължава триъгълникът и толкова по-малко привидно се движи пръстът.

Какво е общото между камерата и очите ни?

Споменах, че човешкото и роботизираното зрение работят много подобно. Точно както имаме мозък и очи, които са свързани помежду си, машината разполага с проектор и камера. Общият принцип на улавяне на изображението или начинът, по който това възприятие се обработва в мозъка ни, има три основни фази.

Сканиране

Зеницата, през която светлинните лъчи навлизат в окото, може да се сравни с екран в камера. Тъй като ретината, която улавя тази светлина, я превръща в специфични нервни импулси в мозъка и създава специфично изображение, камерата използва чип. Така че съставът на нашите очи и камерата наистина е много сходен.

Обработка

Очите ни всъщност са брояч. След улавяне на светлината върху ретината се създава изображение и очите отчитат броя на фотоните в отделните конуси и пръчки. По-бледите обекти съдържат по-малко фотони, по-тъмните повече. Ето как възприемаме отделните цветове. Създава се и цветна фотография. Във всеки пиксел се записва стойност, представляваща броя на фотоните и създаваща определен нюанс.

Интерпретация

Тази фаза е популярна тема на много научнофантастични истории, а също и най-проблемната част от машинното зрение. В индустриалното машинно зрение, разбира се, не навлизаме толкова дълбоко в мисленето за съзнанието на изкуствения интелект или, както го нарича писателят Исак Азимов, „духа в машината“. Но истината е, че начинът, по който възприемаме реалността и начинът, по който машините я възприемат, не е толкова различен. При хората, както и при роботизираното зрение, стимулът навлиза в мозъка или невроните от окото или камерата и създава информация. Умът ни обаче се различава главно в способността ни да разпознаваме това, което гледаме. Това не е проблем за нас. Тригодишно дете разбира, че вижда майка си пред себе си.

Машините се използват за обработка на информация от така наречените невронни мрежи, изкуствено създадени градивни елементи в процесори на базата на силиций, имитиращи мозъка ни. Все пак те са много по-примитивни. Мозъкът използва 50 до 500 милиарда невронни връзки, за да възприеме реалността. Процесори в роботи около 5 до 6 милиарда. Това може да се сравни с мозъка на аквариумни риби. Така те виждат машините, но аз не разбирам. Те все още са слепи в това отношение. Те могат да разпознават обекти, но за разлика от нас, те не разбират контекста.

Научната фантастика не трябва да е толкова далеч

Роботите може да не знаят какво се случва около тях сега, но най-вероятно ще бъдат там. През 2008 г. персонален компютър успя да обработи приблизително 10 милиарда инструкции в секунда. Но футуролозите изчисляват, че до 2040 г. мозъците на машините могат да обработват 100 трилиона инструкции в секунда. Това вече е сравнимо с човешкия мозък.

3D технологията помага на роботите да разберат света

Машините могат да се учат. Експертите наричат ​​тази способност машинно обучение. Интелигентен робот е усъвършенстван с опит точно като нас. Например, след като му "кажете", че гледа мост, следващия път той ще може да го разпознае автоматично, без никой да програмира отново тази информация. Машинното обучение е особено полезно при разпознаване на лица или предмети в картина, но също така е тясно свързано с технологията на Ян Жишка. 3D камерата на Photoneo е уникална с това, че решава голям проблем в областта на производствените машини. Това е така, защото след като робот с 2D камера е програмиран да прехвърля един обект, като бутилка, той не може сам да прехвърли пепелника. Препрограмирането ще отнеме няколко месеца. Благодарение на 3D камерата Photonea обаче, машината може да се "научи" да разпознава различни форми много по-ефективно.

Защо 3D технологията помага на роботите да разберат по-добре какво „виждат“? По същата причина, поради която подобрява третата фаза на зрението, и двете интерпретации, и за двама ни. Например, ако разгледате 2D етажния план на апартамент, имате приблизителна представа за неговата форма или броя на стаите. Но ако видите 3D визуализация и можете да се разхождате из апартамента, например във виртуална реалност, изведнъж ще получите много по-точна информация за пространството. Можете да възприемете оформлението на апартамента или размера на стаите. Точно същото се отнася и за 2D и 3D машинното зрение. Ако заснемете първоначално двусантиметрова снимка в същата стая и след това покажете класически стол и снимки на машина с 2D зрение, тя няма да може да оцени правилно оформлението на пространството и няма да разпознае разликата. 3D визията ще предложи на робота повече информация. По този начин машината може да стигне до заключението, че нещо е диспозиционно различно.