Кой събира големи данни и защо?

През есента на 2019 г. избухна скандал с услугата Apple Card: при регистрация тя издаде различни кредитни лимити за мъже и жени. Дори Стив Возняк нямаше късмет:

Година по-рано беше разкрито, че платформата Netflix показва на потребителите различни плакати и тийзъри в зависимост от техния пол, възраст и националност. За това службата беше обвинена в расизъм.

И накрая, Марк Зукърбърг редовно е порицаван за предполагаемо събиране, продажба и манипулиране на данните на своите потребители от Facebook. През годините той беше обвиняван и дори съден за манипулация по време на американските избори, подпомагане на руските специални служби, подбуждане на омраза и радикални възгледи, неуместна реклама, изтичане на потребителски данни, възпрепятстване на разследвания срещу педофили.

Публикация във Facebook от zuck

В същото време онлайн услугата Pornhub ежегодно публикува доклади за това какво порно търсят хора от различни националности, пол и възраст. И по някаква причина това не притеснява никого. Въпреки че всички тези истории са сходни: във всяка от тях имаме работа с големи данни, които през XNUMX век се наричат ​​„нов петрол“.

Големи данни – те също са големи данни (англ. Big Data) или метаданни – представляват масив от данни, които пристигат редовно и в големи обеми. Те се събират, обработват и анализират, което води до ясни модели и модели.

Но големите данни в мрежата не са само статистика за научни изследвания. Те могат да се използват за проследяване как се държат потребителите от различни групи и националности, на какво обръщат внимание и как взаимодействат със съдържанието. Понякога за тази цел данните се събират не от един източник, а от няколко, като се сравняват и идентифицират определени модели.

За това колко важни са големите данни в мрежата, започнаха да говорят, когато имаше наистина много. В началото на 2020 г. в света има 4,5 милиарда интернет потребители, от които 3,8 милиарда са регистрирани в социалните мрежи.

Според проучвания повече от половината от нашите страни смятат, че техните данни в мрежата се използват от трети страни. В същото време мнозина публикуват лична информация, снимки и дори телефонен номер в социалните мрежи и приложения.

Тук трябва да се обясни: първото лице е самият потребител, който поставя своите данни на всеки ресурс или приложение. В същото време той се съгласява (поставя отметка в споразумението) за обработката на тези данни втора страна – тоест собствениците на ресурса. Трета страна са онези, на които собствениците на ресурса могат да прехвърлят или продават потребителски данни. Често това е записано в потребителското споразумение, но не винаги.

Третата страна са държавни агенции, хакери или компании, които купуват данни за търговски цели. Първите могат да получат данни по решение на съд или по-висш орган. Хакерите, разбира се, не използват никакви разрешения – те просто хакват базите данни, съхранявани на сървърите. Фирмите (по закон) имат достъп до данни само ако вие самите сте им разрешили – като поставите отметка в квадратчето под споразумението. В противен случай е незаконно.

Големите данни в търговската сфера се използват от десетилетия, просто не са били толкова интензивни, колкото сега. Това са например записи от камери за наблюдение, данни от GPS навигатори или онлайн плащания. Сега, с развитието на социалните мрежи, онлайн услугите и приложенията, всичко това може да се свърже и да се получи най-пълната картина: къде живеят потенциалните клиенти, какво обичат да гледат, къде ходят на почивка и каква марка кола имат.

От примерите по-горе става ясно, че с помощта на големи данни компаниите, на първо място, искат да насочват реклами. Тоест да предлагате продукти, услуги или индивидуални опции само на правилната аудитория и дори да персонализирате продукта за конкретен потребител. Освен това рекламата във Facebook и други големи платформи става все по-скъпа и показването й на всички подред не е никак изгодно.

Но има още една важна задача, която се бори през последните години: да се доближим до най-платежоспособната публика. Това не е толкова лесно да се направи, въпреки че задачата е значително улеснена от платежните услуги и електронните чекове чрез един OFD (оператор на фискални данни). За да се доближат възможно най-близо, компаниите дори се опитват да проследят и „подхранват“ потенциални клиенти от детството.: чрез онлайн игри, интерактивни играчки и образователни услуги.

Най-големите възможности за събиране на данни са от глобални корпорации, които притежават няколко услуги едновременно. Сега Facebook има повече от 2,5 милиарда активни потребители. В същото време компанията притежава и други услуги: Instagram – над 1 милиард, WhatsApp – над 2 милиарда и други.

Но Google има още по-голямо влияние: Gmail се използва от 1,5 милиарда души по света, други 2,5 милиарда от мобилната операционна система Android, повече от 2 милиарда от YouTube. И това не включва приложенията за търсене в Google и Google Maps, магазина на Google Play и браузъра Chrome. Остава да закрепите вашата онлайн банка – и Google ще може да знае буквално всичко за вас. Между другото, Yandex вече е крачка напред в това отношение, но обхваща само рускоезичната аудитория.

???? На първо място компаниите се интересуват какво публикуваме и харесваме в социалните мрежи. Например, ако банката види, че сте женен и активно харесвате момичета в Instagram или Tinder, е по-вероятно да одобрите потребителски кредит. И ипотеката върху семейството я няма.

Важно е и върху какви реклами кликате, колко често и с какъв резултат.

(Т.е. Следващата стъпка са личните съобщения: те съдържат много повече информация. Съобщения бяха изтекли във VKontakte, Facebook, WhatsApp и други месинджъри. Според тях, между другото, е лесно да се проследи геолокацията в момента на изпращане на съобщението. Със сигурност сте забелязали: когато обсъждате закупуване на нещо или просто поръчвате пица с някого, съответната реклама веднага се появява в емисията.

🚕 Големите данни се използват активно и „изтичат“ от службите за доставка и таксиметрови услуги. Те знаят къде живеете и работите, какво обичате, какви са приблизителните ви доходи. Uber, например, показва цената по-висока, ако се прибирате с кола от бара и очевидно сте прекалили. И когато имате куп други агрегатори на телефона си, напротив, те ще предложат по-евтини.

(Т.е. Има услуги, които използват снимки и видеоклипове, за да съберат възможно най-много информация. Например библиотеки за компютърно зрение – Google има такава. Те сканират вас и заобикалящата ви среда, за да видят какъв размер или височина сте, какви марки носите, каква кола карате, дали имате деца или домашни любимци.

(Т.е. Тези, които предоставят SMS шлюзове на банките за техните пощенски пратки, могат да проследяват вашите покупки на картата – да знаете последните 4 цифри и телефонен номер – и след това да продадете тези данни на някой друг. Оттук и целия този спам с намаления и пица подарък.

🤷️️ И накрая, ние самите изтичаме нашите данни към левите услуги и приложения. Спомнете си онзи шум около Getcontact, когато всеки беше щастлив да попълни телефонния си номер, за да разбере как е написан от другите. А сега намерете тяхното споразумение и прочетете какво пише за прехвърлянето на вашите данни (спойлер: собствениците могат да ги прехвърлят на трети страни по свое усмотрение):

Корпорациите могат успешно да събират и дори да продават потребителски данни в продължение на години, докато не се стигне до съдебно дело - както се случи със същия Facebook. И тогава решаваща роля изигра нарушението на компанията на GDPR – закон в ЕС, който ограничава използването на данни много по-строго от американския. Друг скорошен пример е скандалът с антивирусната програма Avast: една от дъщерните услуги на компанията събра и продаде данни от 100 до 400 милиона потребители.

Но дали всичко това има някакви предимства за нас?

Да, има и светла страна.

Големите данни помагат за залавянето на престъпници и предотвратяването на терористични атаки, намирането на изчезнали деца и защитата им от опасност.

С тяхна помощ ние получаваме страхотни оферти от банки и лични отстъпки. Благодарение на тях ние ние не плащаме за много услуги и социални мрежи, които печелят само от реклама. В противен случай само Instagram ще ни струва няколко хиляди долара на месец.

И накрая, понякога е просто удобно: когато услугите вече знаят къде се намирате и какво искате и не е нужно сами да търсите информацията, от която се нуждаете.

Друга перспективна област за приложение на Big Data е образованието.

В един от американските университети във Вирджиния е проведено проучване за събиране на данни за студенти от така наречената рискова група. Това са тези, които учат слабо, пропускат часовете и са пред отпадане. Факт е, че в щатите всяка година се приспадат около 400 души. Това е лошо както за университетите, чиито рейтинги са понижени и финансирането им е намалено, така и за самите студенти: мнозина вземат заеми за образование, които след приспадане пак ще трябва да се връщат. Да не говорим за изгубеното време и перспективите за кариера. С помощта на големи данни е възможно да се идентифицират изоставащите във времето и да им се предложи наставник, допълнителни часове и друга целенасочена помощ.

Това, между другото, е подходящо и за училищата: тогава системата ще уведоми учителите и родителите - те казват, детето има проблеми, нека му помогнем заедно. Big Data също ще ви помогне да разберете кои учебници работят по-добре и кои учители обясняват материала по-лесно.

Друг положителен пример е кариерното профилиране.: това е, когато тийнейджърите се помагат да решат бъдещата си професия. Тук големите данни ви позволяват да събирате информация, която не може да бъде получена с традиционните тестове: как се държи потребителят, на какво обръща внимание, как взаимодейства със съдържанието.

В същите САЩ има програма за кариерно ориентиране - SC ACCELERATE. Той, наред с други неща, използва технологията CareerChoice GPS: те анализират данни за природата на учениците, техните наклонности към предмети, силни и слаби страни. След това данните се използват, за да помогнат на тийнейджърите да изберат правилните колежи за тях.

Абонирайте се и ни следвайте в Yandex.Zen — технологии, иновации, икономика, образование и споделяне в един канал.