My benchmark’s Python column was N/A for a year — CPython’s 4300-digit limit, and eight other bugs

บอกตรงๆ ว่าตอนเปิดตารางผล benchmark’s python ขึ้นมาแล้วเจอคำว่า N/A ยาวเหยียดตลอดทั้งปี ผมถอนหายใจออกมาเบาๆ ครับ มันไม่ใช่เพราะว่าโค้ดมีปัญหาเล็กๆ น้อยๆ นะ แต่มันคือปัญหาที่ซ่อนอยู่ลึกเกินไปจนมองข้ามไปตลอด

หลายคนอาจจะนึกว่าระบบเมาท์ไม่ไหว หรือไม่ก็คิดว่าเป็นแค่เรื่องของ memory leak ธรรมดาทั่วไป แต่จริงๆ แล้ว ตัวการหลักที่ทำให้ผลลัพธ์การทดสอบความเร็วหายไป มันเกิดจากข้อจำกัดด้านตัวเลขของ CPython เอง ลองมาดูกันครับว่ามันเกิดอะไรขึ้น และบักแปลกๆ อีกแปดตัวที่แอบซ่อนอยู่มันคืออะไรกันแน่

Understanding benchmark’s python: The 3-Second Breakdown

เพื่อให้เห็นภาพร่วมกัน เรามาทำความเข้าใจ benchmark’s python กันก่อนเลย เป็นอะไรที่ตรงไปตรงมามากๆ คือการนำเอาโค้ดของเราไปรันทดสอบเพื่อวัดความเร็วและประสิทธิภาพนั่นเอง

ปกติแล้ว เราใช้มันเพื่อเปรียบเทียบว่าอัลกอริทึมที่เราเพิ่งเขียนขึ้นมาใหม่ มันเร็วกว่าของเดิมขนาดไหน แต่ปีที่แล้วนี่เป็นอะไรที่หงุดหงิดมาก เพราะไอเจ้าตัวเก็บผลลัพธ์มันค้างอยู่ที่ N/A ยังไงก็ไม่ยอมอัปเดต ตอนแรกก็นึกว่าจะเป็น server ที่ไม่ยอมขยับเลยสักที

backend-optimization

How benchmark’s python Works: The Technical Details

มาดูกันต่อดีกว่าครับ ว่าหลังบ้านมันทำงานกันยังไง benchmarking พื้นฐานมันก็แค่จับเวลาด้วยเจ้า time module แต่ถ้าเราอยากได้ข้อมูลที่ละเอียดขึ้น เราก็ต้องไปยุ่งกับการดึงค่าจาก CPython API ซึ่งตรงนี้แหละคือจุดเริ่มต้นของฝันร้าย

Critical Component 1: CPython’s Integer Conversion

อันดับแรกเลยที่เป็นปัญหาคือการแปลงค่าจำนวนเต็มยักษ์เป็นสตริง หรือที่รู้จักกันว่า Integer to String Conversion ครับ

ตั้งแต่เวอร์ชัน Python 3.11 เป็นต้นมา ทางทีมงาน CPython ได้แอบใส่กลไกป้องกันการโจมตีแบบ DoS (Denial of Service) เข้าไป โดยการจำกัดความยาวตัวเลขตอนแปลงเป็นสตริงไว้ที่ไม่เกิน 4300 หลัก ซึ่งมันก็ดีนะ ปลอดภัยดี แต่มันทำให้การประมวลผล cryptography หรือ big data ของเราพังตูมเตี้ยมเลย ระบบมันก็เลยขึ้น N/A มาให้ดูแทน

Critical Component 2: Memory Allocation Bugs

แล้วไหนล่ะ บักตัวอื่นๆ ล่ะ? มันก็มีหลายตัวเหมือนกันครับ เช่นเรื่องของ memory fragmentation ในบางลูป ที่ทำให้ memory ไม่ยอมคืนให้ระบบปฏิบัติการ ทำให้ค่าที่วัดได้ออกมาบิดเบือนไปหมด ไม่ได้สะท้อนความเร็วจริงเลย

ลองดูตารางเปรียบเทียบสั้นๆ ก่อนนะ ว่าทางเลือกในการจัดการปัญหาพวกนี้มันต่างกันยังไงบ้าง:

The Real Impact of benchmark’s python on Industry

ถ้าคิดดีๆ แล้ว ปัญหาที่เกิดขึ้นกับการ benchmark’s python ไม่ใช่แค่เรื่องน่าหงุดหงิดของโปรแกรมเมอร์คนเดียวนะครับ มันกระทบต่อการตัดสินใจเลือกเทคโนโลยีของทั้งอุตสาหกรรมเลย ลองนึกภาพดูสิ ถ้าเราเอาข้อมูล N/A ไปนำเสนอให้ลูกค้า หรือเอาไปบอกว่าระบบนี้ไม่เสถียร ก็คงจะจบกันชนิดที่ว่างานเข้าเลย

Benefits (The “Why It Matters”)

การหาสาเหตุของปัญหาที่แท้จริงจนเจอ มันทำให้เราเข้าใจตัวภาษา Python ลึกซึ้งขึ้นมากๆ ครับ เราจะรู้เลยว่าระบบที่เราออกแบบมานั้น มันทนทานขนาดไหน รองรับการขยายตัวของธุรกิจได้จริงมั้ย

“การแก้บักไม่ใช่แค่การทำให้มันรันผ่าน แต่คือการทำให้เราเข้าใจข้อจำกัดของเครื่องมือที่เราใช้จริงๆ”

Challenges (The “What To Watch Out For”)

ทีนี้มาดูตัวอย่างบักที่เหลืออีกแปดตัวที่ว่ากันดีกว่า ตั้งแต่เรื่องการจัดการ GIL (Global Interpreter Lock) ที่ทำงานผิดพลาตเมื่อมีการสลับ context บ่อยๆ ไปจนถึงปัญหา garbage collector ที่ทำงานหนักเกินไปจนแทะกินรอบการทำงานของ CPU จนเกิดความหน่วงขึ้นมา

ผมเองก็เคยเจอมากับตัว กับเจ้าบักเล็กๆ ที่เรื่องโค้ดบรรทัดเดียวที่ดูเหมือนจะไม่มีผลอะไร แต่มันดันไปทำให้เกิดการ re-entrancy ในระบบ async จน benchmark พังทลายเลยครับ มันคือเรื่องที่ต้องระวังให้ดี

The Future of benchmark’s python: Predictions for 2026

มองไปข้างหน้าสักนิด หลังจากที่มีข่าวว่าทางทีมพัฒนากำลังเตรียมปล่อย Python 3.13 ที่จะมาพร้อมกับฟีเจอร์ experimental JIT (Just-In-Time) compiler ครับ ผมว่ามันจะเปลี่ยนวงการให้เป็นที่สนุกสนานมากขึ้น โลกของ benchmark’s python จะซับซ้อนและน่าตื่นเต้นขึ้นอีกเยอะ

แต่เดี๋ยวก่อน การที่ระบบเร็วขึ้น ก็ไม่ได้แปลว่าเราจะไม่ต้องจัดการกับบักซ่อนเงื่อนพวกนี้นะ ตรงกันข้ามเลย มันอาจจะทำให้บักบางตัวถูกดึงออกมาจากหลบเล็กหลบน้อยให้เราเห็นชัดขึ้นด้วยซ้ำไป

How to Leverage benchmark’s python for Massive Success

ผมจะสรุปเป็นขั้นตอนง่ายๆ ให้เวลาเจอปัญหาคล้ายๆ กัน จะได้ไม่ต้องมานั่งเครียดกับผลลัพธ์ที่หายไปแบบปีที่แล้วนะครับ:

1. เช็คข้อจำกัดเรื่อง Limit ก่อนเสมอ: ไม่ว่าจะเป็นเรื่อง 4300-digit limit หรือขีดจำกัดเวลา ให้ขยายการตั้งค่าเริ่มต้นเสียก่อน หรือไม่ก็หาไลบรารี่ภายนอกมาช่วยจัดการข้อมูลตัวเลขขนาดมหึมาพวกนี้
2. ใช้ Memory Profiler ให้เป็นเพื่อนซี้: อย่าดันทุรังคอยดูแค่ผลลัพธ์เวลา benchmark’s python ครับ คุณต้องดู memory graph ด้วย ถ้ามันขึ้นๆ ลงๆ ผิดปกติ นั่นหมายถึงปัญหาเรื่อง allocation แน่นอน
3. แยกส่วนการทดสอบออกจากกัน: อย่ารันทุกอย่างใน process เดียวกัน ลองแยก test suite แยก environment ให้ชัดเจน จะได้รู้เลยว่าบักมาจากตรงไหน
4. ตามล่า Context Switching: ระบบ async มันเพ้อฝันนะเวลา benchmark’s python ถ้าคุณไม่ระวังเรื่อง thread หรือ async event loop ลองเช็คดูให้ดีๆ ก่อนจะหาว่าโค้ดมีปัญหานะ
5. อัปเดต Dependencies: บางทีบักมาจากไลบรารีเก่าๆ ที่ไม่รองรับเวอร์ชั่น CPython ใหม่ๆ อัปเดตให้เป็นล่าสุดไว้ก่อนเลย อาจจะช่วยประหยัดเวลาได้เยอะ

performance-tuning-guide