الگوریتمها همه جا هستند. آنها برندهها و بازندهها را ردهبندی کرده و از هم جدا میکنند برندهها استخدام میشوند یا یک پیشنهاد خوب مالی میگیرند. اما بازندهها حتی مصاحبه هم نمیشوند یا هزینه بیشتری برای بیمه میپردازند. ما با فرمولهای مرموزی سنجیده میشویم که درکشان نمیکنیم. که معمولاً سیستمی برای تجدید نظر ندارند. این سوالی را بر میانگیزد: اگر الگوریتمها اشتباه کنند چطور؟ برای ایجاد یک الگوریتم دو چیز نیاز دارید: داده، چیزی که در گذشته اتفاق افتاده، و تعریفی برای موفقیت، چیزی که به دنبال آن هستید و معمولاً انتظارش را دارید. شما به الگوریتم با دیدن و درک کردن آموزش میدهید. الگوریتم درک میکند که چه چیزهایی با موفقیت ارتباط دارند. چه موقعیتی به موفقیت منتهی میشود؟ در واقع، همه از الگوریتمها استفاده میکنند. فقط آنها را به صورت کد نمینویسند بگذارید مثالی بزنم. من هر روز از یک الگوریتم برای پخت غذای خانوادهام استفاده میکنم. دادههایی که استفاده میکنم شامل مواد موجود در آشپزخانهام، زمانی که دارم، و هدفی که دارم میشود. و من این دادهها را مدیریت میکنم. من آن بستههای کوچک نودل رامن را غذا به حساب نمیآورم. (خنده حضار) تعریف من از موفقیت این است: یک غذا موفق است اگر فرزندانم سبزیجات بخورند. این خیلی متفاوت میشد اگر پسر بزرگترم مسئول بود. از نظر او موفقیت این است که بتواند زیاد نوتلا بخورد. ولی منم که موفقیت را انتخاب میکنم. من مسئولم. نظر من است که اهمیت دارد. این اولین قانون الگوریتمهاست. الگوریتمها سلایقی هستند که در قالب کد ارائه میشوند. این با چیزی که بیشتر مردم در مورد الگوریتمها فکر میکنند تفاوت دارد. آنها فکر میکنند که الگوریتمها عینی، درست و علمی هستند. این یک حقهٔ بازاریابی است. این هم یک حقهٔ بازاریابی است که شما را با الگوریتمها بترسانند، که شما را وادار به اعتماد به الگوریتمها و ترس از آنها کنند به دلیل ترس و اعتماد شما به ریاضیات. باور کورکورانه به کلاندادهها میتواند عواقب نادرستی داشته باشد. این کیری سورس است. او مدیر یک دبیرستان در بروکلین است. در سال ۲۰۱۱، او به من گفت معلمهای مدرسهاش با یک الگوریتم مرموز و پیچیده امتیازبندی میشوند که نام آن «مدل ارزش افزوده» است. من به او گفتم، «خب، فرمول را پیدا کن و به من نشان بده من آن را برایت توضیح میدهم». او گفت: «من سعی کردم که فرمول را بدست بیاورم، اما رابط ادارهی آموزش به من گفت که ریاضیات است و من آن را درک نخواهم کرد.» بدتر هم میشود. روزنامه «نیویورک پست» درخواستی مربوط به «سند آزادی اطلاعات» منتشر کرد، نام تمام معلمها و تمام نمراتشان را به دست آورد و برای خجالتزده کردن معلمان آنها را منتشر کرد. وقتی من خواستم فرمولها و کد را از همین طریق ببینم، به من گفتند نمیتوانم. از این کار منع شدم. بعداً فهمیدم که هیچکس در شهر نیویورک به آن فرمول دسترسی نداشت. هیچکس آن را نمیفهمید. بعداً یک فرد واقعاً باهوش به نام «گری روبنشتاین» درگیر این موضوع شد. او ۶۶۵ معلم که در دادههای نیویورک پست بودند را یافت که هر یک، دو نمره داشتند. اگر یک معلم در دو کلاس هفتم و هشتم تدریس کند ممکن است این اتفاق رخ دهد. او تصمیم گرفت این دادهها را ترسیم کند. هر نقطه نشاندهندهی یک معلم است. (خندهی حضار) این چیست؟ (خندهی حضار) هرگز نباید برای ارزیابی افراد مورد استفاده قرار میگرفت. تقریباً یک تولیدکنندهی اعداد تصادفی است. (تشوق حضار) اما استفاده شد. این سارا ویساکی است. او به همراه ۲۰۵ معلم دیگر از ناحیهی مدارس واشنگتون دیسی اخراج شد. علیرغم اینکه توصیهنامههای خیلی خوبی از طرف مدیر و خانوادههای شاگردانش داشت. میدانم بسیاری از شما چه فکر میکنید، خصوصاً دانشمندان داده، و خبرگان هوش مصنوعی. شما فکر میکنید، «من هرگز الگوریتمی به این ناسازگاری نخواهم ساخت». اما الگوریتمها میتوانند اشتباه کنند، حتی آثار مخرب عمیقی داشته باشند، در صورتی که نیتشان خیر بوده است. برخلاف هواپیمایی که بد طراحی شده است و سقوط میکند و همه آن را میبینند، الگوریتمی که بد طراحی شده باشد ممکن است مدت زیادی به صورت خاموش تخریب کند. این راجر ایلز است. (خندهی حضار) او در سال ۱۹۹۶ فاکس نیوز را تأسیس کرد. بیش از ۲۰ زن از آزار جنسی شکایت کردند. آنها میگفتند که اجازه موفقیت در فاکس نیوز را ندارند. او سال گذشته برکنار شد، اما اخیراً دیده شده که مشکلات باقی ماندهاند. این مسئله این سؤال را برمیانگیزد: فاکس نیوز باید چه کند تا بهبود یابد؟ خب، چطور است فرایند استخدم را با یک الگوریتم یادگیری ماشین جایگزین کنیم؟ به نظر خوب میآید، نه؟ به آن فکر کنید. داده، دادهها چه خواهند بود؟ یک انتخاب منطقی سابقه درخواستهای استخدام در ۲۱ سال گذشتهی فاکس نیوز است. منطقی است. تعریف موفقیت چطور؟ یک انتخاب منطقی این است که، چه کسی در فاکس نیوز موفق است؟ به نظرم کسی که مثلاً، چهار سال در آنجا مانده باشد و حداقل یک بار ارتقاء گرفته باشد. به نظرم منطقی است. سپس الگوریتم را آموزش میدهیم. الگوریتم آموزش داده میشود که بگردد و بفهمد چه چیزی منجر به موفقیت شده است. بر اساس این تعریف که چه جور درخواستهایی در گذشته منجر به موفقیت شدهاند؟ حالا به این فکر کنید که اگر الگوریتم را روی درخواستهای فعلی اجرا کنیم چه خواهد شد؟ زنها حذف میشوند چون شبیه افرادی که در گذشته موفق بودهاند به نظر نمیرسند. الگوریتمها چیزی را عادلانه نمیکنند اگر آنها را خوشبینانه و کورکورانه به کار ببرید. چیزی را عادلانه نمیکنند. آنها تجربیات و الگوهای گذشتهی ما را تکرار میکنند. وضعیت موجود را خودکارسازی میکنند. اگر دنیای ما بینقص بود، این عالی بود، اما اینطور نیست. و اضافه میکنم که اکثر شرکتها دادخواستهای شرمآوری ندارند، اما به دانشمندان داده در این شرکتها گفته میشود که دادهها را دنبال کنند، و روی دقت تمرکز کنند. به این فکر کنید که این به چه معنی است. چون ما همه تعصباتی داریم، یعنی ممکن است تبعیض جنسی یا هر نوع تعصب دیگر را به کد تبدیل کنیم. یک آزمایش فکری، چون آن را دوست دارم: یک جامعه کاملاً تفکیکشده -- تفکیکشدهی نژادی، در تمام شهرها، تمام محلهها و پلیسها را برای تشخیص جرم فقط به محلهی اقلیتها میفرستیم. دادههای دستگیریها خیلی تبعیضآمیز خواهد بود. چه خوا هد شد اگر علاوه بر این، تعدادی دانشمند داده بیابیم و به آنها پول بدهیم تا محل وقوع جرایم بعدی را پیشبینی کنند؟ محلهی اقلیتها. و یا پیشبینی کنند مجرمِ بعدی که خواهد بود؟ یک [فردِ] اقلیت. دانشمندان داده به عظمت و دقتِ مدلِشان افتخار خواهند کرد، و حق دارند. آیا این جدی نیست؟ اما ما این تفکیکهای شدید را در بسیاری شهرهای بزرگ و کوچک داریم، و شواهدی زیادی از تعصبات پلیسی و دادههای سیستم قضایی، در دست داریم. و در واقع نقاط کانونی را پیشبینی میکنیم، مکانهایی که جرم در آن رخ خواهد داد. در حقیقت، جنایتکاری فردی را پیشبینی میکنیم. میزان جنایتکاری افراد را. سازمان خبری پروپابلیکا به یکی از الگوریتمهای به ظاهر [تشخیصدهندهی] «ریسک تکرار جرم» نگاهی انداخته است. که در فلوریدا حین صدور رأی قضات استفاده میشود. برنابرد، در سمت چپ، مرد سیاهپوست، امتیاز ۱۰ از ۱۰ گرفته بود. دیلان، در سمت راست، ۳ از ۱۰. ۱۰ از ۱۰، ریسک زیاد. ۳ از ۱۰، ریسک کم. هر دوی آنها به خاطر حمل مواد مخدر دستگیر شده بودند. هر دوی آنها سابقهدار بودند، اما دیلان سابقهی تبهکاری داشت ولی برنارد نداشت. این مسئله به این خاطر اهمیت دارد که هر چه امتیاز شما بالاتر باشد، احتمال اینکه محکومیت طولانیتری بگیرید افزایش مییابد. قضیه چیست؟ دادهشویی. فرایندی که طی آن فناوریگرایان حقایق زشت را در جعبههای سیاه پنهان میکنند. و آن را «عینی» میخوانند؛ آنرا «شایستهسالاری» خطاب میکنند. در حالی که این الگوریتمها مخفی، مهم و ویرانگر هستند، من برای آنها نامی در نظر گرفتهام: «سلاح کشتار ریاضی.» (خنده حضار) (تشویق حضار) اینها همه جا هستند، و این یک اشتباه نیست. این شرکتهای خصوصی الگوریتمهایی خصوصی برای اهداف شخصی میسازند. حتی همانهایی که دربارهشان صحبت کردم برای معلمان و پلیس عمومی، آنها هم توسط شرکتهای خصوصی ساخته شده بودند و به مؤسسات دولتی فروخته شده بودند. به آن «سس مخصوص» خودشان میگویند برای همین نمیتوانند دربارهی آن به ما توضیح دهند. قدرت خصوصی هم هست. آنها به خاطر داشتن حق محرمانگی سود میبرند. ممکن است فکر کنید، چون این چیزها خصوصی هستند و رقابت وجود دارد، شاید بازار آزاد این مسئله را حل کند. اینطور نخواهد شد. پول زیادی از بیعدالتی به دست میآید. علاوه بر این، ما عاملهای اقتصادیِ منطقیای نیستیم. همهی ما تعصباتی داریم. ما همه نژادپرست و متعصبیم به طرقی که دوست داشتیم نباشیم، به طرقی که حتی نمیدانیم. هر چند در مجموع این را میدانیم چون جامعهشناسان مدام این را با آزمایشهایی که میکنند، ثابت کردهاند. آنها تعدادی درخواست استخدام را ارسال میکنند که به یک اندازه واجد شرایطند اما برخی نامهای سفیدپوستی و برخی نامهای سیاهپوستی دارند، و نتیجه همواره ناامیدکننده است، همیشه. بنابراین این ما هستیم که تعصب داریم، و این تعصبات را با دادههایی که جمعآوری میکنیم به الگوریتمها تزریق میکنیم. مثلاً من تصمیمی گرفتم به ریمن نودل فکر نکنم به نظرم نامربوط بود. اما با اعتماد به دادههایی که از تجربیات گذشته یاد میگیرند و با انتخاب تعریف موفقیت، چطور میتوانیم از الگوریتمها انتظار داشته باشیم جان سالم به در ببرند؟ نمیتوانیم. باید آنها را بررسی کنیم. باید عدالت را در آنها بررسی کنیم. خبر خوب اینکه، میتوانیم عدالت را در آنان بررسی کنیم. میتوان الگوریتمها را بازجویی کرد. و آنها هر بار به ما حقیقت را خواهند گفت. و میتوانیم آنها را درست کنیم. میتوانیم آنها را بهتر کنیم. من به این حسابرسی الگوریتمی میگویم، و آن را به شما توضیح میدهم. نخست، بررسی درستی دادهها. برای الگوریتم ریسک تکرار جنایت که دربارهاش صحبت کردم، بررسی درستی داده به این معنی است که باید با این حقیقت کنار بیاییم که در ایالات متحده، سیاهپوستان و سفیدپوستان به میزان یکسانی گُل میکشند اما سیاهپوستان به مراتب بیشتر دستگیر میشوند چهار تا پنچ برابر بیشتر وابسته به منطقه. این تعصب در سایر ردههای جرم چطور است، و چطور آن را در نظر بگیریم؟ دوم، باید دربارهی تعریف موفقیت فکر کنیم، آن را حسابرسی کنیم. الگوریتم استخدام را به خاطر دارید؟ دربارهی آن صحبت کردیم. فردی که چهارسال بماند و یک بار ارتقاء گرفته باشد؟ خب، این یک کارمند موفق است. اما علاوه بر این کارمندی است که در فرهنگش مورد حمایت قرار گرفته است. بنابراین، آن هم میتواند متعصبانه باشد. باید این دو را از هم جدا کنیم. برای مثال باید به مصاحبهی ارکستر ناپیدا بنگریم. در این مصاحبه افراد مصاحبهگر در پسِ یک پرده هستند. آنچه میخواهم به آن فکر کنم این است که افرادی که گوش میدهند متوجه شدهاند چه چیزی مهم است و چه چیزی مهم نیست، و به خاطر آن حواسشان پرت نمیشود. زمانی که مصاحبهی ارکستر ناپیدا شروع شد، تعداد زنان در ارکسترها پنچ برابر شد. سپس، باید دقت را در نظر بگیریم. اینجاست که مدل ارزش افزوده برای معلمان بلافاصله در هم میشکند. البته هیچ الگوریتمی بینقص نیست، بنابراین باید خطای تمام الگوریتمها را در نظر بگیریم. این خطاها تا چه حد پر تکرارند، و این مدل برای چه کسانی بد عمل میکند؟ هزینهی این خطا چقدر است؟ و در نهایت، باید آثار بلند مدت الگوریتمها را در نظر بگیریم. حلقههای بازخوردی که تشدید کنندهاند. به نظر انتزاعی میرسد، اما تصور کنید اگر مهندسان فیسبوک پیش از آنکه تصمیم بگیرند فقط چیزهایی را به ما نشان بدهند که دوستانمان فرستادهاند، این مسئله را در نظر نگرفته بودند. دو پیام دیگر هم دارم، یکی برای دانشمندان داده. دانشمندان داده: ما نباید داوران حقیقت باشیم. ما باید مترجمان گفتگوهای اخلاقی باشیم که در جامعهی بزرگتر رخ میدهد. (تشویق حضار) و بقیهی شما، کسانی که دانشمند داده نیستند: این یک امتحان ریاضی نیست. این یک جنگ سیاسی است. ما باید مسئولیتپذیری را از اربابانِ الگوریتمیمان مطالبه کنیم. (تشویق حضار) عصر ایمان کورکورانه به دادههای عظیم باید پایان بیابد. خیلی متشکرم. (تشویق حضار)