ชุดข้อมูล Phupha มีขนาดคำ 62,265 คำ (มีภาษาอังกฤษหลุดมาหนึ่งคำคือคำว่า word) โดยคำเป็นคำที่มาจากพจนานุกรมตัดคำภาษาไทยของ PyThaiNLP และรายการคำศัพท์ภาษาไทยจากราชบัณฑิตยสภา

โหลดได้ที่ https://github.com/PyThaiNLP/Phupha-Word-freq

สถิติน่าสนใจ

สำหรับ Common Crawl July 2025 Crawl คำภาษาไทยที่มีมากที่สุด 10 อันดับแรกมีดังนี้

จะเห็นได้ว่าคำว่า “กา” มีความถี่สูงที่สุด

หากใครต้องการค้นคำอื่น ๆ หรือหาตัวอย่างข้อความที่ใช้คำดังกล่าว https://huggingface.co/spaces/infini-gram-mini/infini-gram-mini

อ่านรายละเอียดเกี่ยวกับ Infini-gram mini ได้ที่ https://infini-gram-mini.io/

เขียนโดย วรรณพงษ์ ภัททิยไพบูลย์ 6 กุมภาพันธ์ 2569

สำหรับ PyThaiNLP เราพัฒนาชุดซอฟต์แวร์สำหรับประมวลผลภาษาไทยมาตั้งแต่ปี ค.ศ. 2016 ก่อนยุค GenAI มีทั้งตัดคำ โมเดลแยกอารมณ์จากข้อความ (ในอดีต) และอื่น ๆ การมาของ ChatGPT เมื่อปี ค.ศ. 2022 ที่เปลี่ยนโลกของการวิจัยปัญญาประดิษฐ์ไป โลกเข้าสู่ยุคโมเดลภาษาขนาดใหญ่ ถนนแทบทุกสายมุ่งไปทางนี้ ทำให้มีหลายคนเกิดคำถามว่าซอฟต์แวร์เปิด (open source software) เฉพาะภาษา อย่าง PyThaiNLP ที่พัฒนาเครื่องมือพื้นฐานยังสำคัญอยู่ไหม ผลกระทบ LLM กับ PyThaiNLP เป็นอย่างไร แล้วถ้าไม่จำเป็นต้องใช้แล้ว PyThaiNLP จะไปไหน

หนึ่ง PyThaiNLP ที่พัฒนาเครื่องมือพื้นฐานยังสำคัญอยู่ไหม: เราเป็นชุดซอฟต์แวร์เปิดที่เปิดทั้งโมเดล ชุดข้อมูล โค้ด ที่พัฒนามาอย่างยาวนาน ตั้งแต่ปี ค.ศ. 2016 ถ้ามูลค่าในการพัฒนาซอฟต์แวร์ปิดให้ได้ระดับเดียวกันยังคงเป็นค่าใช้จ่ายที่สูง เราผ่านการลองผิดลองถูกมาค่อนข้างเยอะ ปัจจุบันนี้ เรามีฟังก์ชันครบพื้นฐานทั้งหมดแล้ว และมีเครื่องมือทำความสะอาดข้อมูล เครื่องมือทางภาษาศาสตร์ เครื่องมือช่วยต่าง ๆ ที่หาไม่ได้จากที่ไหนอื่นอยู่ใน PyThaiNLP จำนวนมาก กับชุดข้อมูลที่เราปล่อยให้เข้าถึงสาธารณะจากทุกแห่งบนโลกได้ และสุดท้ายนี้ PyThaiNLP ยังคงถูกนำไปใช้เป็นเครื่องมือในการเรียนการสอนวิชาปัญญาประดิษฐ์และภาษาศาสตร์ในหลายมหาวิทยาลัย รวมถึงใช้ในงานวิจัยที่เกี่ยวข้องกับภาษาไทย อ่านงานวิจัยที่ใช้ PyThaiNLP ได้ที่ Google Scholar

ตัวอย่างของการใช้ PyThaiNLP ในปัจจุบันจากบริษัทผู้พัฒนา LLM

สอง ผลกระทบ LLM กับ PyThaiNLP เป็นอย่างไร: ข้อนี้อาจทำทุกคนตกใจคือ PyThaiNLP เราไม่ได้รับผลกระทบทางตรงจากการมาของ ChatGPT หรือ LLM โดยยอดโหลดของซอฟต์แวร์เรายิ่งสูงขึ้นทุก ๆ ปี แถมเราพบว่า Meta, Huggingface (เท่าที่เปิดเผยสู่สาธารณะ) และอื่น ๆ ต่างยังคงใช้ PyThaiNLP ในขั้นตอนพัฒนาโมเดลของตนเอง ทั้งงานพื้นฐาน ทำความสะอาดข้อมูลสำหรับงานภาษาไทย สิ่งเหล่านี้กลายเป็นโมเดล LLM, ASR และอื่น ๆ จำนวนมาก แสดงให้เห็นว่า เครื่องมือของ PyThaiNLP หลายอย่างยังคงสำคัญสำหรับงานพัฒนาโมเดล GenAI, LLM อยู่ แม้จะเป็นงานเบื้องหลัง แต่ก็เป็นงานที่ยังคงต้องพึ่งพาซอฟต์แวร์พื้นฐานอยู่ เพราะการพัฒนาซอฟต์แวร์เปิดมีส่วนช่วยให้บริษัทบนโลกใบนี้ไม่ว่าอยู่ที่ไหนก็สามารถพัฒนาโมเดลสำหรับภาษาไทยจากการใช้ซอฟต์แวร์เปิด แม้ว่าจะเปลี่ยนจากเมื่อก่อน ผู้คนที่ต้องการทำโมเดล AI ต้องเริ่มจากศึกษาการประมวลภาษาธรรมชาติพื้นฐาน และใช้เครื่องมือพื้นฐานก่อนไปพัฒนาโมเดลทุกครั้ง กลายเป็น API กับป้อนคำสั่งให้ทำตามผ่าน GenAI ก็ตาม

ยอดโหลดจาก https://clickpy.clickhouse.com/dashboard/pythainlp

นอกเหนือจากนี้ เราเปิดเผยชุดข้อมูลด้วย ซึ่งชุดข้อมูลเรามีส่วนร่วมในการพัฒนาโมเดลเปิดต่าง ๆ ที่รองรับภาษาไทย ไม่ว่าจะเป็น Thai NER, wisesight_sentiment และอื่น ๆ ทำให้แม้เราจะทำโมเดลออกมาแล้วตกยุคไป นักพัฒนาคนอื่น ๆ ยังสามารถนำชุดข้อมูลไปพัฒนาโมเดลของตนเองที่เก่งกว่าได้ เช่น นำไปเทรนร่วมกับ LLM เป็นต้น สำหรับการพัฒนา PyThaiNLP เรายังได้ใช้ GenAI มาช่วยในการพัฒนาซอฟต์แวร์ PyThaiNLP อยู่บ้างในปัจจุบัน

สาม ถ้าไม่จำเป็นต้องใช้แล้ว PyThaiNLP จะไปไหน: PyThaiNLP จะยังคงอยู่เป็นซอฟต์แวร์เปิดบนอินเทอร์เน็ตต่อไปพร้อมกับชุดข้อมูล ไม่ว่าจะพัฒนาต่อหรือยุติการพัฒนาก็ตาม โค้ด ชุดข้อมูล โมเดลอาจถูกพัฒนาต่อไปรวมกับโครงการอื่น ๆ ได้ตามธรรมชาติของ open source อย่างไรก็ตาม ช่องว่างของการรันโมเดลขนาดใหญ่ยังคงเป็นปัญหาใหญ่ของการเข้าถึงเทคโนโลยี ค่าใช้จ่าย ความเป็นส่วนตัว ความปลอดภัยของข้อมูล เป็นปัญหาใหญ่ของการใช้งาน LLM ทั้งแบบรันด้วยตนเองหรือผ่าน API ขณะที่เราสามารถทำสิ่งเดียวกันกับที่ LLM ทำ อย่างเช่น บอกอารมณ์จากข้อความ จากการเทรนโมเดลเองถูกกว่าการใช้ LLM หรือ API โดยมีความแม่นยำไม่ต่างกันนักอยู่ในปัจจุบัน แถมปลอดภัยกว่าสำหรับการรักษาข้อมูล

นอกจากนี้ PyThaiNLP เราได้มีส่วนร่วมในการอนุรักษ์ภาษาไทย ตราบใดที่ PyThaiNLP ยังอยู่บนอินเทอร์เน็ต ยังคงสามารถใช้งานเพื่อประมวลผลภาษาไทยได้อยู่ และ PyThaiNLP ได้ถูกบรรจุอยู่ภายใต้ GitHub Arctic Code Vault ไปแล้วเมื่อปี ค.ศ. 2020 ที่ผ่านมา ซึ่งเป็นโครงการเก็บรักษาซอฟต์แวร์เปิดของมวลมนุษยชาติบน GiHub ไปฝังใต้ดินขั้วโลกเหนือ เก็บรักษาระดับ 1,000 ปี ภาษาไทยเราได้ถูกสำเนาไปด้วย พร้อมกับ PyThaiNLP (และข้อผิดพลาดหรือ bug ไปด้วย) คนยุคพันปีข้างหน้า หากเจอเอกสารภาษาไทยแบบโบราณจากยุคนี้ (กรณียังมีคนใช้งานภาษาไทย) หรือเป็นยุคที่ภาษาไทยอาจหายสาบสูญไปแล้วก็ได้ (กรณีไม่มีคนใช้ภาษาไทยเหลืออยู่) แต่จะยังคงสามารถประมวลผลภาษาไทยจากโค้ด PyThaiNLP ที่ถูกรักษาไว้ได้ มรดกมวลมนุษยชาติทางภาษา ทั้งปรัชญา วัฒนธรรม วรรณกรรม ประเพณี ศาสนา ความคิดและอื่น ๆ ที่เกิดขึ้นในภาษาไทยจะไม่สูญหายไปไหน ถ้าให้คนยุคพันปีข้างหน้าหรือให้ AGI มาช่วยกันถอดโดยไม่มีซอฟต์แวร์พื้นฐานเลย คงจะยังเป็นงานที่ยุ่งยากอยู่ดี

จากสามข้อขั้นต้น จะเห็นได้ว่า ซอฟต์แวร์เปิดอย่าง open source เฉพาะภาษายังคงจำเป็นแม้ในยุค GenAI ถึงแม้จากงานเบื้องหน้าจะกลายเป็นงานเบื้องหลังก็ตาม และเป็นสิ่งที่ซอฟต์แวร์เปิดทำได้ไม่ว่ายุคสมัยจะเปลี่ยนแปลงไปอย่างไรก็ตาม นี่คือความงดงามของ Open Source

สำหรับ PyThaiNLP เราพัฒนาซอฟต์แวร์ โมเดลและชุดข้อมูลมาตั้งแต่ปี ค.ศ. 2016 ณ ปัจจุบันวงการปัญญาประดิษฐ์กับการประมวลผลภาษาธรรมชาติสำหรับภาษาไทยถือว่าพัฒนามาไกลพอสมควรและดีกว่าเมื่อเทียบกับก่อนปี ค.ศ. 2016 อ่านเพิ่มเติมเกี่ยวกับ PyThaiNLP ได้ที่ PyThaiNLP: Thai Natural Language Processing in Python

เกี่ยวกับ PyThaiNLP

PyThaiNLP เป็นกลุ่มนักพัฒนาซอฟต์แวร์เปิดเพื่อการประมวลผลภาษาไทย พวกเราสร้างซอฟต์แวร์ โมเดลและชุดข้อมูลสำหรับภาษาไทย

บทความนี้เขียนโดย วรรณพงษ์ ภัททิยไพบูลย์ 27 ตุลาคม ค.ศ. 2025

Install: pip install pythainlp Upgrade: pip install -U pythainlp

• Documentation: https://pythainlp.github.io/docs/5.1
• Report bug: https://github.com/PyThaiNLP/pythainlp/issues

See PyThaiNLP 5.1 Change Log: #900

See more: https://github.com/PyThaiNLP/pythainlp/releases/tag/v5.1.0

We build Thai NLP. #PyThaiNLP #ThaiNLP

• PyO3 compatibility: Updated to support the latest PyO3 versions (0.21+) and leverage the Bound struct for efficiency.
• Python version: Minimum supported Python version is now 3.7.
• Upgraded backend: The Rust nlpo3 library has been upgraded to v1.4.0, resulting in improved Thai character cluster handling.
• No new features or API changes.

Install:

pip install nlpo3

See more: https://github.com/PyThaiNLP/nlpo3/releases/tag/nlpo3-python-v1.3.1

Image gen from FLUX.1 [dev]

วันนี้เรายินดีที่จะเปิดตัว KhanomTanLLM (ขนมตาล LLM) เป็น Open Source language model แรกของภาษาอังกฤษ-ภาษาไทย ที่เทรนด้วยชุดข้อมูลเปิด และปล่อยชุดข้อมูลที่ใช้เทรน LLM ทั้งหมด พร้อม pipeline ในการเทรน และโมเดลที่สามารถนำไปใช้งานในเชิงพาณิชย์ได้ นอกจากนั้นเรายังปล่อยโมเดลทั้งขนาด 1B กับ 3B ถือเป็น small lm ตัวแรกที่เป็น Open Source ของภาษาไทยที่เปิดเผยทั้งชุดข้อมูลในการทำ pretrained, pipeline ในการทำ pretrained, และโมเดล

หลังจากที่ Phi model ออกมา ได้จุดประกายโมเดล LLM ที่มีขนาดน้อยกว่า 7B ในการใช้งานในโลกจริง แต่โมเดลที่มีขนาด 1B และ 3B ที่รองรับภาษาไทย ยังมีจำนวนน้อย ได้แก่ gemma-2b, Qwen2-1.5B, XGLM, mGPT และ RWKV เป็นต้น แต่ทั้งหมดไม่ได้เปิดเผยชุดข้อมูลที่นำมาเทรนโมเดลเพื่อทำ pretrained model สู่สาธารณะที่เข้าถึงได้ และ gemma-2b ไม่ได้ถูกนับว่าเป็น Open Source ด้วยเงื่อนไขในการใช้งานโมเดล ดังนั้น เราจึงเริ่มลงมือรวบรวมชุดข้อมูลภาษาไทย-ภาษาอังกฤษ เพื่อทำ Open Source LM ขนาดเล็กที่เราอยากได้ที่เปิดเผยทั้งชุดข้อมูลในการทำ pretrained, pipeline ในการทำ pretrained, และโมเดล

GitHub KhanomTanLLM: https://github.com/PyThaiNLP/KhanomTanLLM

Dataset

เราได้ทำการปล่อยชุดข้อมูลสำหรับการทำ Pretrained LLM ตัวนี้ไว้ที่

Pretraining dataset: https://huggingface.co/datasets/wannaphong/KhanomTanLLM-pretrained-dataset

• Thai subset only: https://huggingface.co/datasets/wannaphong/KhanomTanLLM-pretrained-dataset-thai-subset
• List Thai subset: https://huggingface.co/collections/pythainlp/datasets-for-pretrained-thai-llm-65db96ab730386b492889a98

โดยชุดข้อมูลทั้งหมดมี 53,376,211,711 Tokens

• English: 31,629,984,243 Tokens
• Thai: 12,785,565,497 Tokens
• Code: 8,913,084,300 Toekns
• Parallel data: 190,310,686 Tokens

Based on Typhoon-7B (https://huggingface.co/scb10x/typhoon-7b) tokenizer

สำหรับภาษาอังกฤษ เรานำชุดข้อมูลสังเคราะห์ทำตาม Cosmopedia ของ HuggingFace ที่สังเคราะห์ชุดข้อมูลภาษาอังกฤษไว้ https://huggingface.co/datasets/HuggingFaceTB/cosmopedia และนำชุดข้อมูลอย่าง openwebtext ชุดข้อมูลเว็บ, epfl-llm/guidelines, MathPile_Commercial ชุดข้อมูลคณิตศาสตร์, minipile ชุดข้อมูลขนาดย่อจาก The Pile, goodwiki ชุดข้อมูลวิกิแบบ markdown และชุดข้อมูลจาก bigscience ที่เทรน Bloom LM มาใช้งาน

สำหรับรายละเอียดชุดข้อมูลอ่านได้ที่ https://huggingface.co/datasets/wannaphong/KhanomTanLLM-pretrained-dataset

Tokenizer

เราตัดสินใจใช้ Tokenizer ของ Typhoon-7B https://huggingface.co/scb10x/typhoon-7b ในโมเดลของเรา เพื่อประหยัดทรัพยากรในการเทรน Tokenizer

Pretraining

เราได้ใช้ pipeline สำหรับเทรน LLM ของเราด้วย EasyLM project เป็นชุด pipeline ของโมเดล OpenLLaMA เราได้ยืนขอการสนับสนุน TPU ผ่านโครงการ TPU Research Cloud ของ Google และเราได้ใช้เครติดฟรีของ Google Cloud สำหรับการทำ pretrained model ทำให้เราไม่เสียค่าใช้จ่ายใด ๆ ในการเทรนโมเดลเลย

เราได้ทำการเทรนโมเดลทั้งขนาด 1B กับ 3B บนชุดข้อมูลเดียวกัน โดยใช้สถาปัตยกรรม Llama 2 จำนวนแค่ 1 Epoch เพื่อไม่ให้ repeat

สำหรับ pipeline ในการทำ pretrained model สามารถดูได้ที่ https://github.com/wannaphong/EasyLM/tree/KhanomTanLLM-pretraining

Pretrained Models:

• 1B: https://huggingface.co/pythainlp/KhanomTanLLM-1B
• 3B: https://huggingface.co/pythainlp/KhanomTanLLM-3B

Model

หลังจากที่เราได้โมเดลจาก pretraining แล้ว เราได้นำไปทำ SFT โดยมีโมเดลกับชุดข้อมูลดังนี้

Instruct Models:

• Instruct dataset: wannaphong/KhanomTanLLM-Instruct-dataset
• SFT Script: https://github.com/PyThaiNLP/KhanomTanLLM/tree/main/finetuning
• 1B: https://huggingface.co/pythainlp/KhanomTanLLM-1B-Instruct
• 3B: https://huggingface.co/pythainlp/KhanomTanLLM-3B-Instruct/

Acknowledgements

Research supported with Cloud TPUs from Google’s TPU Research Cloud (TRC). We use TPU4-64 for training model.

Thank you TPU Research Cloud and EasyLM project! We use EasyLM for pretraining model.

บทส่งท้าย

หากคุณนำโมเดลไป eval จะพบว่าโมเดลมีประสิทธิภาพค่อนข้างต่ำในหลายชุดทดสอบ เพราะด้วยขนาดโมเดลที่มีแค่ 1B กับ 3B และเราไม่มีทรัพยากรมากเพียงพอที่จะนำชุดข้อมูลขนาดใหญ่จากภาษาอังกฤษมาเทรนร่วมด้วย เช่น FineWeb, Dolma, The Pile เป็นต้น เราได้เทรน LLM ตัวนี้ด้วยชุดข้อมูลข้อความเพียง 53B tokens หากได้รับการเทรนขนาด >1T tokens น่าจะมีประสิทธิภาพมากยิ่งขึ้น นอกจากนี้ชุดข้อมูลภาษาไทยยังมีขนาดเล็กเกินไปสำหรับการเทรน LLM ให้มีประสิทธิภาพดีที่สุด (12B) ทางแก้ที่ดีที่สุด คือ การปล่อยชุดข้อมูลออกสู่สาธารณะให้มากยิ่งขึ้น, ขอความร่วมมือชุนชนในไทยในการสนับสนุนชุดข้อมูลเปิด และแนวทางการสังเคราะห์ชุดข้อมูลอาจเป็นหนึ่งในแนวทางแก้ไขปัญหาได้

สุดท้ายนี้ เราหวังว่า ชุดข้อมูล pretrained, pipeline, และโมเดลที่เราปล่อยออกสู่สาธารณะจะเป็นประโยชน์ต่อผู้ที่สนใจทำ pretrained Thai LLM และช่วยส่งเสริมวงการ Open Source AI ในประเทศไทยมากยิ่งขึ้น

เขียนโดย วรรณพงษ์ ภัททิยไพบูลย์

• Documentation: https://pythainlp.github.io/docs/5.0
• Report bug: https://github.com/PyThaiNLP/pythainlp/issues

See more: https://github.com/PyThaiNLP/pythainlp/releases/tag/v5.0.0

We build Thai NLP. #PyThaiNLP #ThaiNLP

You can read our paper at PyThaiNLP: Thai Natural Language Processing in Python.

Poster: https://github.com/nlposs/NLP-OSS/blob/master/nlposs-2023/08-PyThaiNLP-Poster.pdf

Slide: https://github.com/nlposs/NLP-OSS/blob/master/nlposs-2023/08-PyThaiNLP-Slide.pdf

Contributing to PyThaiNLP: https://github.com/PyThaiNLP/pythainlp/blob/dev/CONTRIBUTING.md GitHub: https://github.com/PyThaiNLP/pythainlp Hacktoberfest: https://hacktoberfest.com

#Hacktoberfest2023 #Hacktoberfest #PyThaiNLP #ThaiNLP

This work wants to create a Thai syllable segmenter that can work in the Thai social media domain. It use data from Wisesight Sentiment Corpus.

This work uses 2 datasets:

1. Nutcha Dataset (Thai news domain). See more data_nutcha/
2. Han-solo: Thai syllable segmenter dataset (Thai social media domain). See more Han-solo: Thai syllable segmenter

We train the model by CRF model that uses the same feature from ssg.

This project is developed by 🪿 Wannaphong Phatthiyaphaibun.

GitHub: PyThaiNLP/Han-solo

This project want to create Thai Coreference resolution system.

This project is developed by 🪿 Wannaphong Phatthiyaphaibun.

GitHub: PyThaiNLP/han-coref