Standar Norma dan Pengaturan Nomor 13
tentang Bisnis dan Hak Asasi Manusia
184. Potensi pelanggaran hak konsumen juga mengemuka pada konteks pemanfaatan teknologi
keuangan. Selain konsumen mendapatkan manfaat dari teknologi keuangan sebagai alternatif
karena masalah struktural berupa sulitnya akses keuangan dari lembaga formal, seperti bank
dalam merespons kebutuhan real di masyarakat. Namun konsumen juga menghadapi sejumlah
risiko. Beberapa dari risiko ini merupakan risiko baru, namun sebagian besar merupakan
manifestasi baru dari risiko-risiko yang ada ketika konsumen mengakses layanan teknologi
keuangan. Konsumen lebih rentan terhadap penipuan ketika membeli produk teknologi
keuangan dibandingkan ketika mengakses produk keuangan konvensional karena interaksi
dengan penyedia sebagian besar atau secara eksklusif dilakukan melalui sarana digital dan jarak
jauh. Kegagalan fungsi platform atau teknologi lainnya dapat berdampak buruk pada konsumen
mulai dari ketidaknyamanan dan layanan yang buruk hingga kerugian finansial dan hilangnya
integritas data, yang risikonya dapat meningkat karena ketergantungan yang lebih besar pada
pemrosesan transaksi otomatis. Bahkan seringkali konsumen mendapatkan ancaman,
intimidasi, penyalahgunaan dan pelecehan seksual, tindakan lain yang mempermalukan apabila
konsumen mengalami kesulitan dalam mengembalikan pinjaman. Situasi ini tidak terlepas dari
kurangnya literasi digital keuangan berbasis teknologi, kelemahan kerangka kebijakan, sistem
pengawasan dan penegakan hukum terhadap pelaku usaha teknologi keuangan.
185. Tantangan lain yang perlu diperhatikan adalah penggunaan kecerdasan buatan. Sebagai bagian
dari pengembangan teknologi, inovasi, dan inovasi, kecerdasan buatan dapat memecahkan
berbagai masalah soaial di berbagai bdang seperti deteksi penipuan, diagnosis medis, dan
analitik bisnis, dampak negatif yang ditimbulkannya juga dapat merupakan tantangan sosial
tersendiri. Komisaris Hak Asasi Manusia Dewan Eropa mengidentifikasi risiko hak asasi manusia
yang terdampak kecerdasan artifisial, mencakup (a) hak nondiskriminasi dan kesetaraan; (b)
perlindungan data pribadi dan privasi; (d) kebebasan berekspresi; (e) kebebasan berkumpul;
dan (f) hak untuk bekerja, dan hak-hak lainnya.
186. Diskriminasi dalam konteks kecerdasan artifisial dapat disebabkan oleh ketimpangan akses
kelompok tertentu terhadap teknologi ini, bias dalam data, dan bias algoritmik. Bias data
berpotensi terjadi karena data yang tersedia seringkali tidak mewakili populasi, tidak
menyertakan variabel yang mampu menangkap seluruh fenomena sosial yang dialami seluruh
populasi, atau menyertakan konten yang diproduksi oleh manusia yang mungkin mengandung
bias terhadap kelompok tertentu.
187. Bias gender dan diskriminasi dalam proses perekrutan berdasarkan keputusan algoritmik
cenderung terus meningkat dalam proses perekrutan di perusahaan. Akibatnya, kandidat
perempuan telah kehilangan banyak peluang kerja yang mungkin relevan pada tahap awal karier
perekrutan mereka. Algoritma yang dipengaruhi oleh bias memicu kecenderungan untuk
digunakan dengan cara yang diskriminatif yang ditujukan untuk jenis kelamin, orientasi seksual,
etnis, agama, afiliasi politik, atau situasi ekonomi individu atau kelompok tertentu. Penggunaan
data secara historis yang menjadi basis pengambilan keputusan yang diskriminatif untuk
melatih kecerdasan artifisial dapat memperkuat atau melanggengkan diskriminasi struktural
dan ketidakseimbangan kekuasaan di masyarakat serta merugikan kelompok rentan seperti
perempuan.
49