pythainlp.summarize

The summarize is Thai text summarizer.

Modules

pythainlp.summarize.summarize(text: str, n: int = 1, engine: str = 'frequency', tokenizer: str = 'newmm') → List[str][source]

This function summarizes text based on frequency of words.

Under the hood, this function first tokenizes sentences from the given text with pythainlp.tokenize.sent_tokenize(). Then, it computes frequencies of tokenized words (with pythainlp.tokenize.word_tokenize()) in all sentences and normalizes them with maximum word frequency. The words with normalized frequencies that are less than 0.1 or greater than 0.9 will be filtered out from frequency dictionary. Finally, it picks n sentences with highest sum of normalized frequency from all words which are in the sentence and also appear in the frequency dictionary.

Parameters:

  • text (str) – text to be summarized

  • n (int) – number of sentences to be included in the summary By default, n is 1 (effective for frequency engine only)

  • engine (str) – text summarization engine (By default: frequency).

  • tokenizer (str) – word tokenizer engine name (refer to pythainlp.tokenize.word_tokenize()). By default, tokenizer is newmm (effective for frequency engine only)

Returns:

list of selected sentences

Options for engine

  • frequency (default) - frequency of words

  • mt5 - mT5-small model

  • mt5-small - mT5-small model

  • mt5-base - mT5-base model

  • mt5-large - mT5-large model

  • mt5-xl - mT5-xl model

  • mt5-xxl - mT5-xxl model

  • mt5-cpe-kmutt-thai-sentence-sum - mT5 Thai sentence summarization by CPE KMUTT

Example:

from pythainlp.summarize import summarize

text = '''
        ทำเนียบท่าช้าง หรือ วังถนนพระอาทิตย์
        ตั้งอยู่บนถนนพระอาทิตย์ เขตพระนคร กรุงเทพมหานคร
        เดิมเป็นบ้านของเจ้าพระยามหาโยธา (ทอเรียะ คชเสนี)
        บุตรเจ้าพระยามหาโยธานราธิบดีศรีพิชัยณรงค์ (พญาเจ่ง)
        ต้นสกุลคชเสนี เชื้อสายมอญ เจ้าพระยามหาโยธา (ทอเรีย)
        เป็นปู่ของเจ้าจอมมารดากลิ่นในพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว
        และเป็นมรดกตกทอดมาถึง พระเจ้าบรมวงศ์เธอ กรมพระนเรศรวรฤทธิ์
        (พระองค์เจ้ากฤดาภินิหาร)
        ต่อมาในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวโปรดเกล้าฯ
        ให้สร้างตำหนัก 2 ชั้น
        เป็นที่ประทับของพระเจ้าบรมวงศ์เธอ
        กรมพระนเรศวรฤทิธิ์และเจ้าจอมมารดา
        ต่อมาเรียกอาคารหลักนี้ว่า ตำหนักเดิม
    '''

summarize(text, n=1)
# output: ['บุตรเจ้าพระยามหาโยธานราธิบดีศรีพิชัยณรงค์']

summarize(text, n=3)
# output: ['บุตรเจ้าพระยามหาโยธานราธิบดีศรีพิชัยณรงค์',
# 'เดิมเป็นบ้านของเจ้าพระยามหาโยธา',
# 'เจ้าพระยามหาโยธา']

summarize(text, engine="mt5-small")
# output: ['<extra_id_0> ท่าช้าง หรือ วังถนนพระอาทิตย์
# เขตพระนคร กรุงเทพมหานคร ฯลฯ ดังนี้:
# ที่อยู่ - ศิลปวัฒนธรรม']

text = "ถ้าพูดถึงขนมหวานในตำนานที่ชื่นใจที่สุดแล้วละก็ต้องไม่พ้น น้ำแข็งใส แน่ๆ เพราะว่าเป็นอะไรที่ชื่นใจสุดๆ"
summarize(text, engine="mt5-cpe-kmutt-thai-sentence-sum")
# output: ['น้ําแข็งใสเป็นอะไรที่ชื่นใจที่สุด']
pythainlp.summarize.extract_keywords(text: str, keyphrase_ngram_range: Tuple[int, int] = (1, 2), max_keywords: int = 5, min_df: int = 1, engine: str = 'keybert', tokenizer: str = 'newmm', stop_words: Iterable[str] | None = None) → List[str][source]

This function returns most-relevant keywords (and/or keyphrases) from the input document. Each algorithm may produce completely different keywords from each other, so please be careful when choosing the algorithm.

Note: Calling :func: extract_keywords() is expensive. For repetitive use of KeyBERT (the default engine), creating KeyBERT object is highly recommended.

Parameters:

  • text (str) – text to be summarized

  • keyphrase_ngram_range (Tuple[int, int]) – Number of token units to be defined as keyword. The token unit varies w.r.t. tokenizer_engine. For instance, (1, 1) means each token (unigram) can be a keyword (e.g. “เสา”, “ไฟฟ้า”), (1, 2) means one and two consecutive tokens (unigram and bigram) can be keywords (e.g. “เสา”, “ไฟฟ้า”, “เสาไฟฟ้า”) (default: (1, 2))

  • max_keywords (int) – Number of maximum keywords to be returned. (default: 5)

  • min_df (int) – Minimum frequency required to be a keyword. (default: 1)

  • engine (str) – Name of algorithm to use for keyword extraction. (default: ‘keybert’)

  • tokenizer (str) – Name of tokenizer engine to use. Refer to options in :func: `pythainlp.tokenize.word_tokenizer() (default: ‘newmm’)

  • stop_words (Optional[Iterable[str]]) – A list of stop words (a.k.a words to be ignored). If not specified, pythainlp.corpus.thai_stopwords() is used. (default: None)

Returns:

list of keywords

Options for engine

  • keybert (default) - KeyBERT keyword extraction algorithm

  • frequency - frequency of words

Example:

from pythainlp.summarize import extract_keywords

text = '''
    อาหาร หมายถึง ของแข็งหรือของเหลว
    ที่กินหรือดื่มเข้าสู่ร่างกายแล้ว
    จะทำให้เกิดพลังงานและความร้อนแก่ร่างกาย
    ทำให้ร่างกายเจริญเติบโต
    ซ่อมแซมส่วนที่สึกหรอ ควบคุมการเปลี่ยนแปลงต่างๆ ในร่างกาย
    ช่วยทำให้อวัยวะต่างๆ ทำงานได้อย่างปกติ
    อาหารจะต้องไม่มีพิษและไม่เกิดโทษต่อร่างกาย
'''

keywords = extract_keywords(text)

# output: ['อวัยวะต่างๆ',
# 'ซ่อมแซมส่วน',
# 'เจริญเติบโต',
# 'ควบคุมการเปลี่ยนแปลง',
# 'มีพิษ']

keywords = extract_keywords(text, max_keywords=10)

# output: ['อวัยวะต่างๆ',
# 'ซ่อมแซมส่วน',
# 'เจริญเติบโต',
# 'ควบคุมการเปลี่ยนแปลง',
# 'มีพิษ',
# 'ทำให้ร่างกาย',
# 'ร่างกายเจริญเติบโต',
# 'จะทำให้เกิด',
# 'มีพิษและ',
# 'เกิดโทษ']

Keyword Extraction Engines

KeyBERT