htext

טקסט עברי ברישיונות פתוחים לאימון מנועי הזיהוי של HeOCR, חתוך לשורות, עם ניקוד ובלעדיו: בראש ובראשונה טקסט בנחלת הכלל, וטקסט בייחוס ובשיתוף זהה בגרסאות נפרדות. לכל יצירה או מסמך יש רישום זכויות משלו: מעמדו בישראל ובארה"ב, הרישיון שלו ושורת הקרדיט שלו. htext מתפרסם בשלוש גרסאות, אחת לכל רישיון, כדי שתוכלו לבחור את התנאים שמתאימים לכם; גרסת הליבה היא CC0 ואפשר להשתמש בה בלי תנאים.

עודכן ב־2026-11-20. המספרים לקוחים מכרטיס כל מאגר ונבנים מחדש מתוך corpora.json.

מה זה htext

htext אוסף טקסט עברי שזכויותיו ברורות דיין לפרסום פתוח, והופך אותו לשורות אימון עבור hocrsyngen, מחולל העמודים הסינתטיים של HeOCR. המחולל מצייר כל שורה על עמודים סינתטיים, כך שמנועי הזיהוי לומדים אוצר מילים, כתיב ופיסוק עבריים אמיתיים, ולא רק טקסט מומצא.

לכל מקור יש בונה משלו, מאגר משלו וכרטיס משלו. בנייה קוראת עותק נעוץ של המקור, מחשבת זכויות לכל פריט, מנקה וחותכת את הטקסט, ובודקת ששום שורה אינה חופפת לטקסט ההערכה של HeOCR. רק הקבצים שהכרטיס מונה מתפרסמים.

13,891,509שורות
677.1 MBטקסט
3מאגרים

גרסאות

htext מתפרסם בגרסה אחת לכל רישיון. בחרו את הגרסה שתנאיה מתאימים לשימוש שלכם. מודלים שאומנו על כל אחת מהן עדיין יכולים להתפרסם ברישיון פתוח, עם קרדיט בקובץ ה־NOTICE שלהם.

htext-cc0

פורסמהCC0 1.0

htext-by

מתוכננתCC BY 4.0 (per source)

htext-by-sa

מתוכננתCC BY-SA 4.0

מאגרים

שורות בנחלת הכלל מפרויקט בן־יהודה

pby-v3.1htext-cc0

פרוזה, מאמרים, זיכרונות, מכתבים, משלים, שירה, ספרות עיון ומחזות שהקלידו מתנדבי פרויקט בן־יהודה, חתוכים לשורות, עם ניקוד ובלעדיו. גרסה 3.1 כוללת רק את הגרסאות הישראליות. הגרסאות לישראל ולארה״ב זמינות בגרסאות 2.1 ו־1.1.

קובץגרסהסוגשורותגודל
pby_lines_il_plain_v3.txtישראלללא ניקוד11,937,498543.4 MB
pby_lines_il_niqqud_v3.txtישראלמנוקד1,672,711119.3 MB

חוקי הכנסת כפי שפורסמו

knesset-laws-v2htext-cc0

החוקים שחוקקו שמונה הכנסות הראשונות (1949–1977), כפי שנדפסו ברשומות (ספר החוקים), חתוכים לשורות, עם הערות השוליים כשורות נפרדות.

קובץגרסהסוגשורותחוקיםגודל
knesset_laws_lines_plain_v2.txtישראלללא ניקוד223,6171,9729.9 MB

תנ"ך: כתב יד לנינגרד (WLC)

tanakh-v1.1htext-cc0

שורות מסוננות מכתב יד לנינגרד בגרסת וסטמינסטר (WLC 4.20), עם ניקוד ובלי ניקוד, ללא טעמים.

קובץגרסהסוגשורותגודל
tanakh_lines_plain_v1.txtישראלללא ניקוד57,6372.7 MB
tanakh_lines_niqqud_v1.txtישראלמנוקד57,6834.6 MB

זכויות

לכל פריט יש רישום זכויות עם שני שדות, pd_israel ו־pd_us, וכל אחד מציין את הבסיס שלפיו חושב ואת השנה שבה הוא תקף. גרסת מאגר כוללת פריט רק אם הרישום שלו עומד בכלל של אותה גרסה. הרישומים מתפרסמים עם כל מאגר.

תרגום נחשב נחלת הכלל רק אם גם המחבר וגם המתרגם בנחלת הכלל. כל פריט מתעד גם את רישיון המקור ואת שורת הקרדיט שלו, כך שאפשר לבנות ולסנן כל גרסה מחדש. אף גרסה אינה כוללת טקסט ברישיון לא־מסחרי (NC) או ללא יצירות נגזרות (ND), וטקסט לעולם אינו עובר בין גרסאות: בנייה של CC0 לעולם אינה כוללת שורה ב־CC BY או ב־CC BY-SA.

שדות הזכויות הם קריאת הפרויקט את החוק, ולא ייעוץ משפטי.

הורדה ושימוש

להורדת קובצי הטקסט השתמשו בקישורי הגרסאות למעלה. כרטיסי המאגרים וסיכומי SHA-256 נמצאים במאגר הקוד. כל קובץ הוא UTF-8, שורה אחת לכל רשומה, מנורמל ל־NFC וללא שורות ריקות.

הורידו את הקבצים ובדקו אותם מול סיכומי הביקורת שפורסמו:

gh release download knesset-laws-v2 -R HeOCR/htext
curl -LO https://raw.githubusercontent.com/HeOCR/htext/main/data/knesset_laws/v2/SHA256SUMS
grep -E '_v2\.txt$' SHA256SUMS | sha256sum -c

השתמשו בקובץ כטקסט אימון ל־hocrsyngen, שמתעד אותו כ־external:sha256:<hex>:

hocrsyngen ... --text-corpus knesset_laws_lines_plain_v2.txt

או בנו מאגר מחדש מהמקור: לכל מאגר יש מדריך בנייה במאגר הקוד, למשל המדריך של פרויקט בן־יהודה.

קרדיט

הרישיון אינו מחייב קרדיט, אבל חלק מהמקורות מבקשים אותו, ו־HeOCR נותן אותו. אנא העבירו את השורות האלה לכל כרטיס מאגר נתונים או מודל שמשתמש במאגר:

Credit: Project Ben-Yehuda volunteers · קרדיט: מתנדבי פרויקט בן־יהודה

Credit: The Knesset of Israel (Knesset database, laws as published in Reshumot) · קרדיט: כנסת ישראל (מאגר הכנסת, החוקים כפי שפורסמו ברשומות)

Credit: Westminster Leningrad Codex (public domain), via the Open Scriptures Hebrew Bible · קרדיט: כתב יד לנינגרד בגרסת וסטמינסטר (נחלת הכלל), דרך Open Scriptures Hebrew Bible

רישיון

לכל גרסה יש רישיון משלה, כמפורט תחת גרסאות; תנאי CC BY ו־CC BY-SA חלים על טקסט המקור. העיבוד והמטא־דאטה של HeOCR, כלומר אינדקסי הזכויות והשורות, רשימות ההחרגה, הכרטיסים וסיכומי הביקורת, מוקדשים לנחלת הכלל ברישיון CC0 1.0 בכל הגרסאות, ככל שאפשר להפריד אותם מהטקסט. קוד הבנייה ברישיון MIT.