📖 Weapons of Math Destruction
✍️ Cathy O’Neil
Giới thiệu sách
Có bao giờ bạn bị từ chối một khoản vay, một công việc hay một tấm thẻ tín dụng mà không ai chịu nói rõ lý do chưa? Rất có thể thứ từ chối bạn không phải là một con người. Đó là một thuật toán. Và điều đáng sợ nhất là bạn không có quyền hỏi nó tại sao.
Cathy O’Neil có bằng tiến sĩ toán ở Harvard, từng dạy ở Barnard, rồi về làm cho quỹ đầu cơ D.E. Shaw năm 2007. Bà ngồi ngay trong phòng máy khi cuộc khủng hoảng tài chính 2008 nổ ra, và nhận ra chính những mô hình toán như của mình đã góp phần thổi bong bóng. Quyển sách này ra đời năm 2016 và lọt vào danh sách dài của National Book Award. Nói ngắn gọn, đây là lời thú nhận của một người trong cuộc.
Ba dấu hiệu nhận ra một thuật toán nguy hiểm
O’Neil không kết tội toán học. Bà chỉ ra ba đặc điểm biến một mô hình bình thường thành thứ bà gọi là “vũ khí toán học hủy diệt”: Mù mờ, Quy mô, và Sát thương.
Mù mờ nghĩa là bạn không được xem công thức, thậm chí không biết mình đang bị chấm điểm. Quy mô nghĩa là nó chạy trên hàng triệu người cùng lúc, nên một sai lầm nhỏ nhân lên thành thảm họa. Sát thương nghĩa là nó gây thiệt hại thật, và thiệt hại đó quay lại nuôi chính nó.
Thiếu một trong ba, mô hình vẫn có thể sai nhưng chưa nguy hiểm. Đủ cả ba thì nó thành một cỗ máy nghiền người mà không ai chịu trách nhiệm.
Thuật toán chỉ là quan điểm được viết bằng con số
Câu nói nổi tiếng nhất của O’Neil rất ngắn: mô hình là những quan điểm được nhúng vào toán học. Nghe có vẻ trừu tượng, nên bà lấy ví dụ từ bếp nhà mình.
Bà kể mình có một “mô hình” nấu ăn cho gia đình. Bà chọn nguyên liệu, cân đối rau củ, giới hạn đồ ngọt. Nhưng nếu để mấy cậu con trai của bà xây mô hình đó, bữa tối sẽ toàn kem và Nutella. Cùng một gia đình, cùng một bài toán, hai kết quả hoàn toàn khác nhau, vì người xây mô hình đã âm thầm cài giá trị của mình vào trong.
Đó chính là lý do một thuật toán không bao giờ “khách quan”. Nó khách quan đúng bằng mức người viết ra nó, không hơn. Nếu bạn muốn thấy dữ liệu bỏ quên phụ nữ ra sao ở một quy mô còn lớn hơn nữa, quyển Những Người Phụ Nữ Vô Hình là bạn đồng hành hoàn hảo của quyển này.
Cô giáo bị thuật toán sa thải
Sarah Wysocki dạy lớp 5 ở trường trung học cơ sở MacFarland, thuộc hệ thống trường công Washington D.C. Phụ huynh quý cô. Hiệu trưởng đánh giá cô tốt. Học sinh thích cô.
Năm 2011, cô bị sa thải vì điểm IMPACT, một thuật toán “giá trị gia tăng” chấm giáo viên dựa trên mức tiến bộ điểm thi của học trò. Cô nằm trong nhóm 205 giáo viên bị cho nghỉ năm đó. Vấn đề là điểm của cô được tính trên khoảng hai mươi mấy học sinh, một cỡ mẫu quá nhỏ để có ý nghĩa thống kê.
Tệ hơn, có nghi vấn rằng giáo viên trường cũ của đám trẻ đã sửa bài thi để nâng điểm, thể hiện qua tỉ lệ tẩy xóa từ sai thành đúng cao bất thường. Điểm đầu vào của học sinh bị thổi phồng, nên “giá trị gia tăng” của Wysocki chắc chắn ra số âm. Cô mất việc vì gian lận của người khác, và không có cửa nào để khiếu nại.
Vòng lặp phản hồi: khi thuật toán tự chứng minh mình đúng
Đây là phần khiến tôi lạnh sống lưng nhất. Một mô hình tốt luôn có cơ chế đối chiếu với thực tế để tự sửa. Các thuật toán trong sách này thì không, chúng chỉ tự khẳng định mình.
Lấy PredPol, phần mềm dự báo tội phạm. Sở cảnh sát Reading, bang Pennsylvania, báo cáo số vụ trộm giảm 23% sau khi dùng nó. Nghe rất tuyệt. Nhưng nhiều nơi nạp vào mô hình cả những “tội vặt” như lang thang, ăn xin, dùng ma túy lẻ. Máy chỉ cảnh sát tới khu nghèo, cảnh sát bắt được nhiều người hơn ở đó, dữ liệu mới lại xác nhận khu đó “nhiều tội phạm”.
Cũng logic ấy nằm trong LSI-R, bảng chấm nguy cơ tái phạm dùng ở một số tòa án Mỹ. Nó hỏi bị cáo lần đầu tiếp xúc với cảnh sát là khi nào, gia đình có ai từng đi tù không, hàng xóm ra sao. Tòa không được phép hỏi thẳng về chủng tộc, nhưng những câu hỏi này làm thay việc đó rất gọn.
Bảng xếp hạng đại học và cái giá của việc chiều thuật toán
Năm 1983, tạp chí U.S. News & World Report ra bảng xếp hạng đại học đầu tiên. Họ không đo được “chất lượng giáo dục”, nên họ dùng khoảng 15 chỉ số thay thế: điểm SAT đầu vào, tỉ lệ sinh viên trên giảng viên, tỉ lệ chọi, tỉ lệ cựu sinh viên quyên góp.
Có một thứ họ cố tình bỏ ra ngoài công thức: học phí. Và vì học phí không bị chấm điểm, các trường thoải mái tăng nó để chi cho những thứ được chấm điểm. Từ 1985 tới 2013, học phí đại học ở Mỹ tăng khoảng 500%, gấp nhiều lần lạm phát.
Rồi tới màn gian lận. Trường Claremont McKenna có trưởng phòng tuyển sinh thừa nhận đã khai khống điểm SAT suốt sáu năm và phải từ chức năm 2012. Đại học Baylor thì trả tiền cho sinh viên đã trúng tuyển đi thi lại SAT, chỉ để kéo điểm trung bình lên. Khi một con số trở thành mục tiêu, nó thôi làm một thước đo tử tế.
Thuật toán đọc hồ sơ xin việc của bạn trước khi con người đọc
Kyle Behm là một sinh viên giỏi, từng phải nghỉ học một thời gian vì rối loạn lưỡng cực. Khi xin làm ở siêu thị Kroger, cậu phải làm một bài trắc nghiệm tính cách của Kronos. Cậu bị loại. Một người bạn làm trong đó nói thẳng: hồ sơ của cậu bị “đèn đỏ”.
Cậu nộp đơn ở bảy nơi khác nhau và bị loại y hệt, vì cùng một dạng bài test chạy khắp ngành bán lẻ. Bố cậu là luật sư, đã khởi kiện với lập luận rằng bài test này vi phạm Đạo luật Người khuyết tật Mỹ. Ở Mỹ, phần lớn ứng viên vào các công việc lương thấp đều phải qua bài trắc nghiệm kiểu này.
O’Neil cũng nhắc lại nghiên cứu kinh điển của Marianne Bertrand và Sendhil Mullainathan năm 2003. Họ gửi khoảng 5.000 hồ sơ y hệt nhau, chỉ khác cái tên. Hồ sơ mang tên nghe “da trắng” như Emily và Greg được gọi phỏng vấn nhiều hơn khoảng 50% so với tên nghe “da đen” như Lakisha và Jamal. Nếu bạn là người hướng nội hay bị loại sớm ở vòng hồ sơ, quyển Im Lặng sẽ cho bạn một góc nhìn khác về chuyện đó.
Thuật toán chấm điểm tín dụng ngầm của bạn
Điểm tín dụng FICO ra đời năm 1956, do Bill Fair và Earl Isaac xây dựng. O’Neil thực ra khen nó. Nó chỉ nhìn vào hành vi tài chính của chính bạn, bạn được xem điểm của mình, và bạn có quyền khiếu nại khi thấy sai. Đạo luật Cơ hội Tín dụng Bình đẳng năm 1974 buộc nó phải minh bạch như vậy.
Vấn đề nằm ở thứ mọc lên bên cạnh nó: các “e-score”, tức điểm ngầm. Những công ty như Neustar chấm bạn bằng mã vùng, lịch sử duyệt web, thói quen mua sắm. Điểm này quyết định cuộc gọi của bạn được nối tới nhân viên tử tế hay bị đẩy vào hàng chờ, và quyết định bạn nhìn thấy ưu đãi thẻ nào.
Vì mã vùng gắn chặt với thu nhập, e-score dựng lại đúng cái ranh giới mà luật 1974 muốn xóa, chỉ khác là lần này không ai nhìn thấy. Chuyện này ảnh hưởng trực tiếp tới túi tiền của bạn, nên nếu bạn đang xoay xở với thẻ, hãy đọc thêm bài cách thoát khỏi vòng xoáy nợ thẻ của Lady Finance.
Khi thuật toán xếp lịch làm việc cho một người mẹ đơn thân
Jannette Navarro, 22 tuổi, mẹ đơn thân, pha chế ở Starbucks tại San Diego. Lịch làm của cô do phần mềm xếp ca sinh ra, thường chỉ báo trước vài ngày, có hôm chỉ vài giờ. Câu chuyện của cô lên trang nhất tờ New York Times năm 2014.
Ngành này có một từ riêng cho kiểu ca đó: “clopening”, tức đóng cửa quán lúc 11 giờ đêm rồi mở cửa lúc 4 giờ sáng hôm sau. Với lịch như vậy, Navarro không thể gửi con ổn định, không thể học tiếp ở trường cao đẳng cộng đồng, không thể nhận thêm việc thứ hai. Sau bài báo, Starbucks hứa sẽ sửa.
Phần mềm đó tối ưu đúng một thứ: chi phí nhân công trên mỗi giờ có khách. Nó không hề biết đứa con của cô tồn tại. Đây là kiểu tổn thương mà các thuật toán tối ưu hóa gây ra nhiều nhất cho phụ nữ, và nó gần như luôn vô hình trong báo cáo tài chính.
Quảng cáo biết bạn đang yếu ở đâu
Tập đoàn giáo dục vì lợi nhuận Vatterott từng bị rò rỉ một tài liệu tuyển sinh nội bộ. Nó mô tả thẳng nhóm khách hàng mục tiêu: mẹ đơn thân đang nhận trợ cấp, phụ nữ mang thai, người vừa ly hôn, người tự ti, người thu nhập thấp, người vừa mất người thân, người từng bị bạo hành, người mới ra tù, người đang cai nghiện.
Đó không phải là marketing. Đó là một danh sách các vết thương, được dùng làm tiêu chí nhắm mục tiêu. Các trường kiểu này bán những khoản vay sinh viên khổng lồ cho đúng nhóm ít khả năng trả nợ nhất. Chẳng hạn, tập đoàn Corinthian Colleges đã sụp đổ năm 2015 sau khi bị phát hiện thổi phồng tỉ lệ có việc làm.
Bài học cho bạn rất thực tế. Khi một quảng cáo hiện ra đúng lúc bạn đang mệt mỏi nhất và nói đúng câu bạn đang cần nghe, đó thường không phải là duyên. Đó là dữ liệu. Quyển Stolen Focus kể tiếp câu chuyện này ở phía sự chú ý của bạn.
Bạn có thể làm gì ngay bây giờ
O’Neil không kết thúc bằng tuyệt vọng. Bà đề nghị kiểm toán thuật toán như kiểm toán sổ sách, và kêu gọi giới khoa học dữ liệu có một lời thề kiểu Hippocrates.
Còn ở mức cá nhân, bà nhắc một điều đơn giản: hãy hỏi. Hỏi vì sao hồ sơ bị từ chối. Hỏi con số nào đang được dùng để chấm bạn. Xin xem và sửa dữ liệu của chính mình. Người có đặc quyền luôn được một con người xem xét hồ sơ, còn số đông thì bị máy xử lý xong là hết chuyện.
💬 Câu nói đáng nhớ nhất
“Người có đặc quyền, chúng ta sẽ thấy điều này lặp đi lặp lại, được xử lý bởi con người nhiều hơn, còn số đông thì bị xử lý bởi máy móc.” (Cathy O’Neil)
Ai nên đọc quyển này?
Đọc nếu bạn từng bị từ chối vay vốn hoặc trượt vòng hồ sơ mà không hiểu vì sao. Đọc nếu bạn làm nhân sự, tín dụng, marketing hay giáo dục, vì rất có thể bạn đang vận hành một mô hình như vậy mà không biết. Và đọc nếu bạn đang nuôi con trong một thế giới nơi mọi thứ đều được chấm điểm.
Áp dụng ngay hôm nay
Chọn một quyết định gần đây mà bạn bị từ chối, có thể là khoản vay, hạn mức thẻ, hay một đơn xin việc. Gửi một email hỏi thẳng: quyết định này dựa trên tiêu chí nào, và tôi có thể xem lại dữ liệu của mình ở đâu. Rất nhiều người chưa từng hỏi câu đó một lần trong đời.
⭐ Đánh giá của Lady Networking
⭐⭐⭐⭐⭐. Một quyển sách công nghệ hiếm hoi không cần bạn biết code, chỉ cần bạn từng bị một con số phán xét.
📲 Chia sẻ bài viết này
💬 Cùng nhau phát triển
Nếu bài viết này có ích cho bạn, hãy chia sẻ với một người bạn đang cần nghe điều này. Và nếu bạn muốn kết nối với những người phụ nữ đang cùng nhau học hỏi và phát triển, hãy tham gia cộng đồng Lady Networking của chúng mình nhé.
👉 Tham gia Lady Networking trên Facebook
📖 Weapons of Math Destruction
✍️ Cathy O’Neil
About this book
Have you ever been turned down for a loan, a job or a credit card, and nobody would tell you why? In fact, the thing that rejected you may not have been a person at all. Instead it was a scoring model, and Weapons of Math Destruction by Cathy O’Neil is the book that finally explains it.
O’Neil earned a maths PhD at Harvard and taught at Barnard. So when she joined the hedge fund D.E. Shaw in 2007, she expected clean numbers. But she was sitting inside the machine when the 2008 crash hit, and she watched models like her own inflate the bubble. As a result she quit, and in 2016 she wrote this confession, which was longlisted for the National Book Award.
The three warning signs in Weapons of Math Destruction
O’Neil is not attacking maths. Instead she gives three tests that turn an ordinary model into what she calls a weapon of math destruction: opacity, scale, and damage.
Opacity means you never see the formula, and often you do not even know you are being scored. Scale means it runs on millions of people at once, so one small flaw multiplies. Damage means it hurts real people. Because the harm feeds back into the data, the model looks more right every year.
Of course a model can fail one test and still be merely bad. But when all three line up, you get a machine that grinds people down while nobody is accountable.
A model is an opinion written in numbers
Her most quoted line is short: models are opinions embedded in mathematics. Because that sounds abstract, she illustrates it from her own kitchen.
She describes the model she runs when she cooks for her family. First she picks ingredients, then she balances vegetables, and finally she limits sugar. However, if her sons built the same model, dinner would be ice cream and Nutella every night. So the same family and the same problem produce two opposite answers, because the modeller quietly encodes their own values.
Therefore an algorithm is never neutral. In short, it is exactly as fair as the person who wrote it. For a much larger look at how data forgets women, Invisible Women is the perfect companion to this one.
The teacher who was fired by a formula
Sarah Wysocki taught fifth grade at MacFarland Middle School in Washington D.C. In fact, parents liked her. Meanwhile her principal rated her well. Students asked to be in her class.
But in 2011 she was fired because of IMPACT, a value-added algorithm that scored teachers on how much their students’ test results improved. She was one of 205 teachers let go that year. Meanwhile her score rested on roughly two dozen children, which is far too small a sample to mean anything statistically.
Worse still, there was strong suspicion that teachers at the children’s previous school had corrected answer sheets. In fact, the wrong-to-right erasure rates were unusually high. Because her incoming students’ baseline was inflated, her “value added” was guaranteed to look negative. So she lost her job over somebody else’s cheating, and there was no appeal.
Feedback loops let the algorithm prove itself right
Still, this is the chapter that genuinely frightened me. After all, a good model checks itself against reality and corrects. However, the models in this book have no such check, so they simply confirm themselves.
For example, take PredPol, the crime prediction software. When the police department in Reading, Pennsylvania adopted it, burglaries reportedly fell 23%. So far so good. But many forces also feed it nuisance crimes such as vagrancy, panhandling and small drug offences. Therefore the map sends officers back to poor neighbourhoods, more arrests happen there, and the fresh data proves the neighbourhood was indeed “high crime”.
Meanwhile the same logic sits inside LSI-R, the recidivism questionnaire used by some American courts. For example, it asks when the defendant first encountered police, whether relatives have been to prison, and what the neighbourhood is like. Of course no court may ask about race directly. Still, these questions do that job quietly and very well.
College rankings and the cost of pleasing a formula
In 1983 U.S. News & World Report published its first college ranking. Because nobody can measure “education quality” directly, the magazine used about 15 proxies instead: incoming SAT scores, student-teacher ratios, acceptance rates, and alumni giving.
But one thing was deliberately left out of the formula, and that was tuition. As a result, colleges were free to raise prices to fund whatever the ranking did count. Between 1985 and 2013, American college tuition rose roughly 500%, several times faster than inflation.
Then came the cheating. For example, the dean of admissions at Claremont McKenna admitted inflating reported SAT scores for six years and resigned in 2012. Meanwhile Baylor University paid admitted students to retake the SAT purely to lift its average. In short, when a number becomes the target, it stops being an honest measure.
An algorithm reads your CV before any human does
First, meet Kyle Behm, a strong student who had taken time off for bipolar disorder. When he applied for a job at a Kroger supermarket, he had to sit a Kronos personality test. However he was rejected, and a friend inside the company told him bluntly that he had been “red-lighted”.
So he applied to seven more employers and got the same result, because the same style of test runs across the whole retail sector. His father, a lawyer, sued on the grounds that the test violated the Americans with Disabilities Act. Meanwhile most American applicants for low-wage jobs now sit some version of this screening.
O’Neil also revisits the 2003 study by Marianne Bertrand and Sendhil Mullainathan. In fact, they sent about 5,000 identical CVs and changed only the name. As a result, CVs with white-sounding names like Emily and Greg got roughly 50% more callbacks than ones named Lakisha or Jamal. If you are an introvert who keeps getting cut at the CV stage, Quiet offers another angle on why.
Your real credit score and your shadow score
First, the good news. The FICO credit score was built in 1956 by Bill Fair and Earl Isaac, and O’Neil actually praises it. Because it looks only at your own financial behaviour, you can see your score and dispute mistakes. In fact the Equal Credit Opportunity Act of 1974 forced exactly that transparency.
But the problem is what grew up beside it: the unregulated “e-score”. For example, companies such as Neustar rate you on your postcode, your browsing history and your shopping patterns. So that hidden number decides whether your call reaches a helpful agent or a long queue, and which card offers you ever see.
Because postcode tracks income so closely, e-scores quietly rebuild the very line the 1974 law tried to erase. Therefore this hits your wallet directly, and if you are wrestling with cards right now, read our Lady Finance guide on getting out of the credit card spiral.
When software writes a single mother’s roster
Consider Jannette Navarro, who was 22, a single mother, and a Starbucks barista in San Diego. Because scheduling software generated her shifts, she often learned her roster only days ahead, sometimes hours. Finally her story reached the front page of the New York Times in 2014.
The industry even has a word for it: “clopening”, which means closing the store at 11pm and opening it again at 4am. So Navarro could not arrange stable childcare, could not stay enrolled at community college, and could not hold a second job. Still, after the article ran, Starbucks promised reform.
Meanwhile the software was optimising exactly one thing, which was labour cost per customer hour. Of course it had no idea her son existed. In short, this is the harm that optimisation algorithms inflict on women most often, and it never shows up in the financial report.
Advertising that knows where you are weakest
For example, a leaked recruitment document from the for-profit education group Vatterott named its target customers openly. The list ran: welfare mothers, pregnant women, the recently divorced, people with low self-esteem, low-income workers, the recently bereaved, the abused, the recently released from prison, and people in drug rehabilitation.
That is not a marketing segment. Instead it is a list of wounds, used as targeting criteria. Because these colleges sold huge student loans to the people least able to repay, the damage was enormous. In fact, Corinthian Colleges collapsed in 2015 after inflating its job placement rates.
So the practical lesson is simple. When an advert appears exactly when you are most tired and says exactly what you needed to hear, that is usually not fate. After all, it is data. Finally, Stolen Focus carries this story forward into what it does to your attention.
What you can actually do now
However, O’Neil does not end in despair. Instead she argues that models should be audited like accounts, and she calls for a Hippocratic Oath for data scientists.
Meanwhile, at a personal level, her advice is simply to ask. First, ask why the application was refused. Next, ask which number is being used to score you. Then request to see and correct your own data. Because the privileged always get a human to look at their file, while everyone else gets processed by a machine and forgotten.
💬 The quote that hits hardest
“The privileged, we’ll see time and again, are processed more by people, the masses by machines.” (Cathy O’Neil)
Who should read this
Read it if you have ever been refused a loan or cut at the CV stage without an explanation. Read it too if you work in HR, credit, marketing or education, because you may be running one of these models without realising it. And above all, read it if you are raising children in a world where everything gets scored.
Apply this today
Pick one recent decision that went against you, whether a loan, a card limit or a job application. Then send one email asking two things: which criteria the decision used, and where you can review your own data. In fact, most people never ask that question once in their lives.
⭐ Lady Networking Rating
⭐⭐⭐⭐⭐. A rare technology book that needs no coding knowledge, only the experience of being judged by a number.
📲 Share this article
💬 Let’s grow together
If this article resonated with you, share it with a woman in your life who needs to hear it. And if you’d like to connect with a community of women who are learning and growing together, come join us.
