בצל התקרית המביכה עם Tay, הצ’אט בוט המגיבה לציוצים של אחרים בטוויטר כמו נערה מתבגר, מיקרוסופט (Microsoft) שולפת עוד בוט אוטומטי שכזה, המנסה לפענח ולתאר תוכן של תמונות.
CaptionBot זוהי שמה של המערכת, אשר באמצעות טכנולוגיות של בינה מלאכותית (AI), מתארת את תוכן התמונה המועלה. כך המערכת מסוגלת לזהות מפורסמים, אובייקטים בתמונה, המאפיינים של תמונות נפוצות וסצנות מוכרות. התיאור מוצג לצד התמונה, והתוצאה כפי שתבינו בהמשך לא תמיד זהה למקור, אבל בחברה מסתמכים על דירוג הגולשים וכי התיאור ישתפר עם הזמן.
המערכת פותחה על ידי צוות Cognitive Services במיקרוסופט במחקר שנעשה בשנים האחרונות על גבי מודלים של תמונות נפוצות ובסיוע צלמים. בחברה טוענים כי המערכת מסוגלת לזהות “מגוון רחב של מושגים חזותיים” וכן מבצעת זיהוי תווי פנים כך היא מסוגלת לזהות כי מדובר בדמות מפורסמת.
המערכת כאמור, רק בחיתוליה ובשל כך אפשר לצפות כי כמו Tay, לא הכל יעבוד מושלם. הגולשים כמובן בחנו את יכולתה לזהות תמונות מפורסמות כמו הנחיתה על הירח או מקרה השמלה הויראלית אבל CaptionBot נכשלה. אתם מוזמנים לנסות אותה בעצמכם.
https://twitter.com/ralphharrington/status/720544025649025024?ref_src=twsrc%5Etfw
https://twitter.com/cr3/status/720529751409106945
https://twitter.com/ralphharrington/status/720556189805842432