🪿 Han-Coref: Thai Coreference resolution by PyThaiNLP
GitHub: https://github.com/PyThaiNLP/han-coref
[ ]:
!pip -q install spacy fastcoref pythainlp transformers sentencepiece
Preparing metadata (setup.py) ... done
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 13.4/13.4 MB 114.4 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 7.1/7.1 MB 119.7 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 474.6/474.6 kB 53.0 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 110.5/110.5 kB 14.9 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 212.5/212.5 kB 25.0 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 134.3/134.3 kB 17.4 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.0/1.0 MB 90.4 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 224.5/224.5 kB 29.0 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 7.8/7.8 MB 95.1 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 114.5/114.5 kB 14.2 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 268.8/268.8 kB 32.1 MB/s eta 0:00:00
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 149.6/149.6 kB 19.8 MB/s eta 0:00:00
Building wheel for fastcoref (setup.py) ... done
[ ]:
import spacy
from fastcoref import spacy_component
nlp = spacy.blank("th")
[ ]:
nlp.add_pipe(
"fastcoref",
config={'model_architecture': 'FCoref','model_path': 'pythainlp/han-coref-v1.0'}
)
<fastcoref.spacy_component.spacy_component.FastCorefResolver at 0x7fbd9c2b6560>
[ ]:
import random
def get2tag(tags,text,title=None):
dic_ents = {"text":text,"ents":[],"title":title}
_tag=[str(i) for i in list(range(len(tags)))]
for i,tag in enumerate(tags):
for s,e in tag:
dic_ents["ents"].append({"start": s, "end": e, "label": _tag[i]})
colors={i:"#"+''.join([random.choice('0123456789ABCDEF') for j in range(6)]) for i in _tag} # thank https://stackoverflow.com/a/50218895
return dic_ents,{"colors":colors}
[ ]:
from spacy import displacy
[ ]:
text="สาธิต แจงวุ่น ภาพแคปกลุ่มไลน์ที่ปรึกษาฯ กล่าวร้าย พิธา ยัน ไม่ใช่ตัวเอง แต่เห็นด้วยว่าอภิปรายด้อยค่าบำนาญ ขรก."
doc = nlp(text)
dic_ents,colors=get2tag(doc._.coref_clusters,text)
displacy.render(dic_ents, manual=True, style="ent",options=colors, jupyter=True)
สาธิต
0
แจงวุ่น ภาพแคปกลุ่มไลน์ที่ปรึกษาฯ กล่าวร้าย พิธา ยัน ไม่ใช่
ตัวเอง
0
แต่เห็นด้วยว่าอภิปรายด้อยค่าบำนาญ ขรก.
[ ]:
text='แม่สั่งให้ลูกชายไปซื้อของ แต่เธอกลับลืมเอาตังให้ลูก'
doc = nlp(text)
dic_ents,colors=get2tag(doc._.coref_clusters,text)
displacy.render(dic_ents, manual=True, style="ent",options=colors, jupyter=True)
แม่
0
สั่งให้
ลูกชาย
1
ไปซื้อของ แต่
เธอ
0
กลับลืมเอาตังให้
ลูก
1
[ ]:
text='แม่หมอแชมป์ เปิดใจทั้งน้ำตา เสียใจที่ลูกจากไป แต่รู้สึกภูมิใจที่ลูกเสียสละ ให้เสื้อชูชีพช่วยเพื่อนทหารรอด แต่ตัวเองเสียชีวิต'
doc = nlp(text)
dic_ents,colors=get2tag(doc._.coref_clusters,text)
displacy.render(dic_ents, manual=True, style="ent",options=colors, jupyter=True)
แม่
หมอแชมป์
0
เปิดใจทั้งน้ำตา เสียใจที่
ลูก
0
จากไป แต่รู้สึกภูมิใจที่
ลูก
0
เสียสละ ให้เสื้อชูชีพช่วยเพื่อนทหารรอด แต่
ตัวเอง
0
เสียชีวิต
[ ]:
text='แม่หมอแชมป์ เปิดใจทั้งน้ำตา เสียใจที่ลูกจากไป แต่แม่รู้สึกภูมิใจที่ลูกเสียสละ ให้เสื้อชูชีพช่วยเพื่อนทหารรอด แต่ตัวเองเสียชีวิต'
doc = nlp(text)
dic_ents,colors=get2tag(doc._.coref_clusters,text)
displacy.render(dic_ents, manual=True, style="ent",options=colors, jupyter=True)
แม่หมอแชมป์
1
หมอแชมป์
0
เปิดใจทั้งน้ำตา เสียใจที่
ลูก
0
จากไป แต่
แม่
1
รู้สึกภูมิใจที่
ลูก
0
เสียสละ ให้เสื้อชูชีพช่วยเพื่อนทหารรอด แต่
ตัวเอง
0
เสียชีวิต