ถอดรหัสอารมณ์ตลาดสำหรับผู้ใช้ 100 ล้านคน: เราจะสร้างเอนจิน AI หลายโมเดลที่ตอบสนองใน 1 วินาทีได้อย่างไร

ในโลกของคริปโตเคอเรนซี ข่าวสารที่เข้าใจผิดอาจนำไปสู่การตัดสินใจผิดพลาดมูลค่าหลายล้านดอลลาร์ ระบบวิเคราะห์อารมณ์เดิมของเรา—ซึ่งเป็นสถาปัตยกรรมที่ผสมผสานโมเดลโอเพนซอร์สและ LLM ที่ดูแลเอง—ไม่สามารถรับมือกับกระแสข่าวสดใน 25 ภาษาได้อีกต่อไป สถานการณ์ที่เป็นตัวอย่างคือ เมื่อเหตุการณ์เช่น “การอัปเกรด Ethereum” ถูกถ่ายทอดในกลุ่มชุมชนต่างภาษาและเกิดการตีความที่ตรงกันข้าม ระบบของเราจะล่าช้าหรือให้ป้ายอารมณ์ที่ขัดแย้งกัน ซึ่งบีบให้เราต้องทบทวนคำถามหลัก: จะให้ข้อมูลเชิงลึกด้านตลาดที่รวดเร็วและแม่นยำแก่ผู้ใช้ทั่วโลกได้อย่างไร คำตอบสุดท้ายคือการออกแบบสถาปัตยกรรม “ความเห็นร่วมหลายโมเดล” ที่ผ่านการวางแผนอย่างดี

แหล่งที่มา: InterSystems

วิวัฒนาการของสถาปัตยกรรม: จากโมเดลเดียวสู่คณะผู้เชี่ยวชาญ

เราเคยติดกับดักในการค้นหา “โมเดลอเนกประสงค์” ซึ่งพิสูจน์แล้วว่า ไม่มีโมเดล LLM เดียวใดที่สามารถตอบสนองความต้องการด้านความเร็ว ความแม่นยำในหลายภาษา และความรู้เฉพาะด้านคริปโตเคอเรนซีพร้อมกันได้ Claude 3 Haiku ตอบสนองได้รวดเร็ว แต่เข้าใจภาษาถิ่นในชุมชนจีนได้จำกัด ขณะที่โมเดล Mistral ที่เราปรับแต่งเองก็เชี่ยวชาญในการวิเคราะห์ whitepaper ของโครงการ แต่มีข้อจำกัดด้านประสิทธิภาพในการประมวลผลข้อความยาว ยิ่งไปกว่านั้น การดูแลโมเดลเหล่านี้เองก็เป็นภาระด้านโครงสร้างพื้นฐาน—การแข่งขัน GPU ในช่วงเวลาที่มีปริมาณสูงและความซับซ้อนในการบำรุงรักษา ทำให้ทีมเหนื่อยล้า เหล่านี้คือแรงผลักดันให้เราหันมาใช้แนวคิด “การรวมกลุ่มโมเดล” ซึ่งให้โมเดลเฉพาะทางทำหน้าที่ของตนเอง พร้อมกับกลไกการตัดสินใจอัจฉริยะเพื่อรวมปัญญาร่วมกัน

การออกแบบสายงานแบบสองเส้นทางแบบอะซิงโครนัส

ระบบใหม่ของเรามีแกนหลักเป็นสายงานแบบสองเส้นทางที่ทำงานบน AWS ซึ่งมีปรัชญาการออกแบบคือ การรักษาความซ้ำซ้อนและควบคุม P99 latency ให้อยู่ในระดับวินาทีอย่างเคร่งครัด

ข้อความข่าวสารจะเข้าสู่สองเส้นทางพร้อมกัน เส้นทางแรกเป็นเส้นทางความเร็วสูง ซึ่งเรียกใช้ Claude 3 Haiku บน Amazon Bedrock เพื่อทำการวิเคราะห์อารมณ์เบื้องต้นและดึงข้อมูลสำคัญในประมาณ 300 มิลลิวินาที เส้นทางที่สองเป็นเส้นทางวิเคราะห์เชิงลึก ส่งข้อความไปยังโมเดล Mistral 7B ที่ปรับแต่งบน Amazon SageMaker เพื่อเสริมบริบทในด้านต่าง ๆ เช่น การแยกแยะว่า “ค่า gas พุ่งสูง” เกิดจากความแออัดของเครือข่ายทั่วไปหรือเป็นผลจากการสร้าง NFT ยอดนิยม กระบวนการนี้ใช้เวลาประมาณ 600 มิลลิวินาที

นวัตกรรมที่แท้จริงอยู่ที่การออกแบบชั้นกลั่นกรองเบา ๆ ซึ่งทำงานแบบเรียลไทม์เปรียบเทียบผลลัพธ์จากทั้งสองเส้นทาง เมื่อผลลัพธ์ตรงกันสูง ก็จะเลือกผลลัพธ์จากเส้นทางความเร็วสูงเป็นหลักเพื่อความตอบสนองที่รวดเร็วที่สุด แต่เมื่อเกิดความแตกต่าง ก็จะใช้กฎเกณฑ์เฉพาะด้านและคะแนนความเชื่อมั่นในการตัดสินใจภายใน 20 มิลลิวินาที กลไกนี้รับประกันว่าคำขอส่วนใหญ่จะได้รับข้อมูลเชิงลึกที่รวดเร็วและเชื่อถือได้ภายใน 1 วินาที

สนามรบลับของสายส่งข้อมูล

การสร้างโมเดลเป็นเพียงส่วนบนสุดของความท้าทายด้านวิศวกรรมเท่านั้น ความซับซ้อนที่แท้จริงอยู่ในสายส่งข้อมูล ข้อมูลจากแหล่งข่าวทั่วโลกและโซเชียลมีเดียเต็มไปด้วยเสียงรบกวนจากหลายภาษา อิโมจิ และภาษาถิ่น เราจึงสร้างระบบกรองหลายชั้น—ผสมผสานระหว่างการใช้ regex เฉพาะภาษาและโมเดลตรวจจับแบบเรียลไทม์บน FastText เพื่อให้แน่ใจว่าข้อความเข้าใจสะอาด ความเสถียรของกระบวนการนี้ส่งผลโดยตรงต่อความน่าเชื่อถือของการวิเคราะห์ในขั้นตอนต่อไป

ความท้าทายที่ใหญ่กว่าคือการสร้างระบบประเมินผล เราไม่เพียงพึ่งพาการทำเครื่องหมายด้วยมือโดยทีมผู้เชี่ยวชาญหลายภาษาเท่านั้น แต่ยังนำผลตอบรับจากตลาดมาใช้เป็นตัวชี้วัดการตรวจสอบแบบไดนามิก โดยการวิเคราะห์ความสัมพันธ์ระหว่างผลลัพธ์ด้านอารมณ์และความผันผวนของราคาสินทรัพย์ในระยะสั้นอย่างต่อเนื่อง เพื่อปรับปรุงเกณฑ์การประเมิน ระบบนี้จึงเปลี่ยนจากการมุ่งเน้นความถูกต้องของการทำเครื่องหมายแบบคงที่ ไปสู่การติดตามความรู้สึกของตลาดในเชิงพลวัต

แนวคิดด้านโครงสร้างพื้นฐานและต้นทุน

การย้ายไปใช้ Bedrock API ทำให้รูปแบบการบำรุงรักษาเปลี่ยนไปอย่างสิ้นเชิง จุดเด่นคือการกำจัดภาระด้านโครงสร้างพื้นฐานและความสามารถในการปรับขยายอย่างไม่จำกัด เมื่อเกิดข่าวฉับพลันที่ทำให้ปริมาณการใช้งานเพิ่มขึ้น 300% ระบบสามารถตอบสนองได้อย่างราบรื่นโดยไม่ต้องแทรกแซงจากมนุษย์ ด้านต้นทุน แม้จะใช้โมเดลคิดค่าบริการตาม Token แต่ด้วยการแคชเทมเพลตข้อความยอดนิยมและปรับปรุง Prompt Engineering อย่างต่อเนื่อง ค่าใช้จ่ายโดยรวมลดลงประมาณ 35% เมื่อเทียบกับการดูแล GPU คลัสเตอร์แบบ self-hosted การเปลี่ยนแปลงนี้ปลดปล่อยทรัพยากรของวิศวกรให้มุ่งเน้นไปที่กลไกการกลั่นกรองและการปรับปรุงสายส่งข้อมูลเป็นหลัก

บทสรุปและทิศทางการพัฒนา

บทเรียนสำคัญจากการเปลี่ยนแปลงสถาปัตยกรรมครั้งนี้คือ สำหรับระบบผลิตที่เน้นประสิทธิภาพสูง “โมเดลอำนาจเดียว” มักไม่ดีเท่ากับ “คณะผู้เชี่ยวชาญหลายโมเดล” ที่ทำงานร่วมกันอย่างเป็นระบบ ด้วยการผสมผสานความรวดเร็วของ LLM ทั่วไปกับความเข้าใจเชิงลึกของโมเดลเฉพาะด้าน เราจึงสร้างระบบรับรู้ความรู้สึกที่สามารถทนต่อการทดสอบของตลาดทั่วโลกได้อย่างแท้จริง

ในอนาคต เรากำลังผลักดันให้ระบบเปลี่ยนจาก “การวิเคราะห์อารมณ์” ไปสู่ “การติดตามเรื่องราว” อัจฉริยะใหม่ ซึ่งไม่เพียงแต่สามารถประเมินความเป็นไปในเชิงอารมณ์เท่านั้น แต่ยังสามารถระบุและติดตามการก่อตัว การแพร่กระจาย และการเสื่อมถอยของ “เรื่องราวในสินทรัพย์ดิจิทัล” ที่เกิดขึ้นในโลกแห่งความเป็นจริง ซึ่งต้องอาศัยกลไกความจำและการวิเคราะห์เชิงเหตุผลที่แข็งแกร่งขึ้น นี่จะเป็นก้าวสำคัญสู่การสร้างโครงสร้างพื้นฐานทางการเงินอัจฉริยะรุ่นต่อไป