htext

טקסט עברי ברישיונות פתוחים לאימון מנועי הזיהוי של HeOCR, חתוך לשורות, עם ניקוד ובלעדיו: בראש ובראשונה טקסט בנחלת הכלל, וטקסט בייחוס ובשיתוף זהה בגרסאות נפרדות. לכל יצירה או מסמך יש רישום זכויות משלו: מעמדו בישראל ובארה"ב, הרישיון שלו ושורת הקרדיט שלו. htext מתפרסם בשלוש גרסאות, אחת לכל רישיון, כדי שתוכלו לבחור את התנאים שמתאימים לכם; גרסת הליבה היא CC0 ואפשר להשתמש בה בלי תנאים.

עודכן ב־2026-11-18. המספרים לקוחים מכרטיס כל מאגר ונבנים מחדש מתוך corpora.json.

מה זה htext

htext אוסף טקסט עברי שזכויותיו ברורות דיין לפרסום פתוח, והופך אותו לשורות אימון עבור hocrsyngen, מחולל העמודים הסינתטיים של HeOCR. המחולל מצייר כל שורה על עמודים סינתטיים, כך שמנועי הזיהוי לומדים אוצר מילים, כתיב ופיסוק עבריים אמיתיים, ולא רק טקסט מומצא.

לכל מקור יש בונה משלו, מאגר משלו וכרטיס משלו. בנייה קוראת עותק נעוץ של המקור, מחשבת זכויות לכל פריט, מנקה וחותכת את הטקסט, ובודקת ששום שורה אינה חופפת לטקסט ההערכה של HeOCR. רק הקבצים שהכרטיס מונה מתפרסמים.

14,252,079שורות
27,310יצירות, חוקים וספרים
693.9 MBטקסט
3מאגרים

גרסאות

htext מתפרסם בגרסה אחת לכל רישיון. בחרו את הגרסה שתנאיה מתאימים לשימוש שלכם. מודלים שאומנו על כל אחת מהן עדיין יכולים להתפרסם ברישיון פתוח, עם קרדיט בקובץ ה־NOTICE שלהם.

htext-cc0

פורסמהCC0 1.0

htext-by

מתוכננתCC BY 4.0 (per source)

htext-by-sa

מתוכננתCC BY-SA 4.0

מאגרים

שורות בנחלת הכלל מפרויקט בן־יהודה

pby-v3htext-cc0

פרוזה, מאמרים, זיכרונות, מכתבים, משלים, שירה, ספרות עיון ומחזות שהקלידו מתנדבי פרויקט בן־יהודה, חתוכים לשורות, עם ניקוד ובלעדיו.

קובץגרסהסוגשורותיצירותגודל
pby_lines_il_plain_v3.txtישראלללא ניקוד12,278,84816,409559.0 MB
pby_lines_il_niqqud_v3.txtישראלמנוקד1,680,29015,738119.9 MB
pby_lines_il_us_plain_v3.txtישראל + ארה"בללא ניקוד407,45656419.0 MB
pby_lines_il_us_niqqud_v3.txtישראל + ארה"במנוקד18,6133251.3 MB

ישראל: כל שורה לקוחה מיצירה שבנחלת הכלל בישראל. ישראל + ארה"ב: תת־הקבוצה שבנחלת הכלל גם בארה"ב. שורות מנוקדות כוללות ניקוד; שורות ללא ניקוד אינן כוללות.

חוקי הכנסת כפי שפורסמו

knesset-laws-v1htext-cc0

החוקים שחוקקו שמונה הכנסות הראשונות (1949–1977), כפי שנדפסו ברשומות (ספר החוקים), חתוכים לשורות, עם הערות השוליים כשורות נפרדות.

קובץגרסהסוגשורותחוקיםגודל
knesset_laws_lines_plain_v1.txtישראלללא ניקוד234,8212,00410.4 MB

תנ"ך: כתב יד לנינגרד (WLC)

tanakh-v1htext-cc0

התנ"ך, כל 39 הספרים, כפי שהוא מופיע בכתב יד לנינגרד בגרסת וסטמינסטר (WLC 4.20), חתוך לשורות בשתי צורות: מנוקד (בלי טעמים) ובלי ניקוד.

קובץגרסהסוגשורותספריםגודל
tanakh_lines_niqqud_v1.txtישראלמנוקד58,120394.6 MB
tanakh_lines_plain_v1.txtישראלללא ניקוד58,074392.7 MB

זכויות

לכל פריט יש רישום זכויות עם שני שדות, pd_israel ו־pd_us, וכל אחד מציין את הבסיס שלפיו חושב ואת השנה שבה הוא תקף. גרסת מאגר כוללת פריט רק אם הרישום שלו עומד בכלל של אותה גרסה. הרישומים מתפרסמים עם כל מאגר.

תרגום נחשב נחלת הכלל רק אם גם המחבר וגם המתרגם בנחלת הכלל. כל פריט מתעד גם את רישיון המקור ואת שורת הקרדיט שלו, כך שאפשר לבנות ולסנן כל גרסה מחדש. אף גרסה אינה כוללת טקסט ברישיון לא־מסחרי (NC) או ללא יצירות נגזרות (ND), וטקסט לעולם אינו עובר בין גרסאות: בנייה של CC0 לעולם אינה כוללת שורה ב־CC BY או ב־CC BY-SA.

שדות הזכויות הם קריאת הפרויקט את החוק, ולא ייעוץ משפטי.

הורדה ושימוש

קובצי המאגר מצורפים לגרסת ה־GitHub של כל מאגר, והכרטיס, סיכומי הביקורת ואינדקס הזכויות נמצאים במאגר הקוד. כל קובץ הוא UTF-8, שורה אחת לכל רשומה, מנורמל ל־NFC וללא שורות ריקות.

הורידו את הקבצים ובדקו אותם מול סיכומי הביקורת שפורסמו:

gh release download pby-v3 -R HeOCR/htext
curl -LO https://raw.githubusercontent.com/HeOCR/htext/main/data/pby/v3/SHA256SUMS
grep -E '_v3\.txt$' SHA256SUMS | sha256sum -c

השתמשו בקובץ כטקסט אימון ל־hocrsyngen, שמתעד אותו כ־external:sha256:<hex>:

hocrsyngen ... --text-corpus pby_lines_il_plain_v3.txt

או בנו מאגר מחדש מהמקור: לכל מאגר יש מדריך בנייה במאגר הקוד, למשל המדריך של פרויקט בן־יהודה.

קרדיט

הרישיון אינו מחייב קרדיט, אבל חלק מהמקורות מבקשים אותו, ו־HeOCR נותן אותו. אנא העבירו את השורות האלה לכל כרטיס מאגר נתונים או מודל שמשתמש במאגר:

Credit: Project Ben-Yehuda volunteers · קרדיט: מתנדבי פרויקט בן־יהודה

Credit: The Knesset of Israel (Knesset database, laws as published in Reshumot) · קרדיט: כנסת ישראל (מאגר הכנסת, החוקים כפי שפורסמו ברשומות)

Credit: Westminster Leningrad Codex (public domain), via the Open Scriptures Hebrew Bible · קרדיט: כתב יד לנינגרד בגרסת וסטמינסטר (נחלת הכלל), דרך Open Scriptures Hebrew Bible

רישיון

לכל גרסה יש רישיון משלה, כמפורט תחת גרסאות; תנאי CC BY ו־CC BY-SA חלים על טקסט המקור. העיבוד והמטא־דאטה של HeOCR, כלומר אינדקסי הזכויות והשורות, רשימות ההחרגה, הכרטיסים וסיכומי הביקורת, מוקדשים לנחלת הכלל ברישיון CC0 1.0 בכל הגרסאות, ככל שאפשר להפריד אותם מהטקסט. קוד הבנייה ברישיון MIT.