Algoritmický rasismus: kdy může technologie posílit předsudky?

Rasismus je sociální problém přítomný na celém světě a postihuje mimo jiné černochy, Asiaty, domorodé obyvatelstvo. Předsudky zakořeněné i ve společnosti se objevuje v současných technologiích, jako jsou nástroje umělé inteligence.

Algoritmický rasismus je termín používaný přesně k popisu toho, jak software, umělá inteligence a další technologie mohou reprodukovat předsudky, i když nejde o skutečné lidi.

Uvědomění si nedostatků v technologii a toho, jak dokáže reprodukovat předsudky, se stává ještě naléhavějším, protože města zavádějí systémy rozpoznávání obličejů, jako je ta, která má ve městě São Paulo již 40 000 chytrých kamer.

Co je to algoritmický rasismus?

Algoritmický rasismus nastává, když automatizované systémy, včetně algoritmů a nástrojů AI, reprodukují nebo zvětšují rasové nerovnosti ve svém výstupu. To se může stát kvůli použitým datům, možnostem vývoje, systémovým pravidlům a způsobu použití technologie.

To se také může objevit v nástrojích pro výběr kandidátů, analýze rizik a dalších systémech s automatickým rozhodováním.

Případ odhalený g1 vypráví příběh muže, který byl omylem čtyřikrát zadržen poté, co byl kamerami Smart Sampa nesprávně identifikován jako uprchlík před spravedlností v Mato Grosso. I přes zjevné rozdíly ve vztahu k hledané osobě, jako je věk a příjmení, byl při všech těchto příležitostech oslovován policií. Skutečnost, že obětí je černoch, vyvolává varování před tím, jak může být rasismus podporován technologií.

Hlavním bodem je, že algoritmický rasismus nepochází vždy z přímého úmyslu diskriminovat. Většinou vzniká spíše nepřímým způsobem.

Může například vzniknout v datech používaných k trénování systému, ve volbách provedených vývojáři a v cílech, které musí algoritmus splnit. Proto, i když se to může zdát technické nebo neutrální, systém může skončit vytvářením „předsudků“.

Tj, algoritmický rasismus nezávisí na explicitním rasistickém záměru, ke kterému dojdestačí, aby systém opakovaně produkoval nestejné výsledky.

Odkud pochází rasismus v algoritmech?

Neexistuje jediná odpověď, ale společný původ leží v samotných datech. Pokud společnost vytvořila nerovnosti, historické základy mají tendenci zaznamenávat tyto vzorce.

Když se například model umělé inteligence učí z dat, která tuto diskriminaci zaznamenávají, může skončit s nerovností jako s pravidlem a s nespravedlností jako s „normálním“ signálem.

Existuje také problém spojený s reprezentativností a kvalitou dat. Studie ukazují, že některé databáze a komerční nástroje selhávají více u určitých etnických nebo menšinových skupin, což zvyšuje riziko potenciálně dopadných chyb.

Kdy se může objevit algoritmický rasismus?

Algoritmický rasismus může vznikat různými způsoby, zvláště když jsou systémy trénovány s neobjektivními daty nebo používají povrchní kritéria, mimo jiné.

Podívejte se na některé způsoby, jak se může objevit algoritmický rasismus:

• Rozpoznávání obličeje: Toto je jeden z nejznámějších případů algoritmického rasismu, protože technologie tohoto typu hromadí epizody nesprávné identifikace spojené s rasovými menšinami.
• Výběr kandidáta a zaměstnání: Jak se již v některých případech stalo, nástroje umělé inteligence používané v procesech přijímání, hodnocení a propouštění mohou vytvářet diskriminaci.
• Stará data s chybami nebo nerovnostmi: Z dat používaných k trénování těchto AI mohou vznikat zkreslení, která reprodukují nerovnosti, které již existují v reálném světě.
• Prediktivní policejní práce: Ještě to není tak populární, ale zaujaté systémy, které naznačují, kde by se mohly stát možné zločiny, mohou také posílit nerovnosti.

Smart Sampa a případy algoritmického rasismu

Podle výzkumu zveřejněného v únoru 2026 Public Policy and Internet Laboratory (Lapin), Peregum Black Reference Institute a Rede Liberdade, Smart Sampa již byla spojována s případy falešně pozitivních výsledků a neoprávněného zatčení.

„Smart Sampa prohlubuje rasové a geografické nerovnosti a posiluje model veřejné bezpečnosti, který kriminalizuje určité orgány a území,“ řekla Beatriz Lourenço v rozhovoru pro Agência Brasil, ředitelka oblastí a strategie v Peregum Black Reference Institute.

Podle výzkumu data naznačují možnou rasovou a územní zaujatost v systému. Výsledek ukazuje, že 25 % zatčených byli černoši, zatímco 16,01 % byli běloši a 58,9 % záznamů dokonce neuvádělo rasu. Došlo také ke geografické koncentraci analyzovaných věznic v centru města a okrajových čtvrtích.

„Tyto údaje naznačují, že Smart Sampa posiluje historické procesy rasové segregace, nerovného dohledu a selektivní policejní práce spojené s rasismem a socioekonomickými nerovnostmi,“ uvádí úryvek z výzkumu.

Zpráva také poukazuje na technické problémy v rozpoznávání obličeje. Mezi citovanými případy nejméně 23 lidí bylo údajně odebráno omylem kvůli nesrovnalostem v systému a dalších 82 bylo zatčeno, ale později propuštěno.

Je možné snížit zkreslení v algoritmech?

Existují studie, které ukazují, že může se velmi lišit od jednoho systému k druhému a může se zlepšovat pečlivějším výběrem dat. Je tedy možné tento problém omezit.

NIST, orgán Spojených států, který studuje standardy a technologie, poukazuje na to, že některé algoritmy fungují lépe než jiné jak v přesnosti, tak v rovnováze mezi různými skupinami. Institut také uvádí, že použití rozmanitějších školicích základen může pomoci snížit tyto rozdíly.

Ukázal to dokument o algoritmickém zkreslení zveřejněný v roce 2018 Systémy rozpoznávání obličeje dělaly více chyb při analýze žen a lidí s jinou barvou pleti. Studie pomáhá posílit význam testování těchto technologií v různých skupinách.

V každém případě je důležité zdůraznit, že snížení zkreslení není jednoduché ani automatické; ještě více ve společnosti, která stále více využívá systémy umělé inteligence.

Nestačí jen upravit modely strojového učení nebo jakoukoli jinou používanou technologii. Je také nutné vytvořit pravidla a procesy pro hodnocení rizik před a po použití, aby se předešlo přetrvávajícímu rasismu nebo jiným předsudkům.