מה זה htext
htext אוסף טקסט עברי שזכויותיו ברורות דיין לפרסום פתוח, והופך אותו לשורות אימון עבור hocrsyngen, מחולל העמודים הסינתטיים של HeOCR. המחולל מצייר כל שורה על עמודים סינתטיים, כך שמנועי הזיהוי לומדים אוצר מילים, כתיב ופיסוק עבריים אמיתיים, ולא רק טקסט מומצא.
לכל מקור יש בונה משלו, מאגר משלו וכרטיס משלו. בנייה קוראת עותק נעוץ של המקור, מחשבת זכויות לכל פריט, מנקה וחותכת את הטקסט, ובודקת ששום שורה אינה חופפת לטקסט ההערכה של HeOCR. רק הקבצים שהכרטיס מונה מתפרסמים.
גרסאות
htext מתפרסם בגרסה אחת לכל רישיון. בחרו את הגרסה שתנאיה מתאימים לשימוש שלכם. מודלים שאומנו על כל אחת מהן עדיין יכולים להתפרסם ברישיון פתוח, עם קרדיט בקובץ ה־NOTICE שלהם.
htext-cc0
פורסמהCC0 1.0- תוכן: טקסט בנחלת הכלל, טקסט ב־CC0, וטקסטים רשמיים שאינם מוגנים בזכות יוצרים (חוקים, תקנות ודברי הכנסת, לפי סעיף 6 לחוק זכות יוצרים).
- מותר: כל שימוש, בלי תנאים. זו הגרסה ברירת המחדל לאימון ולמדדי ביצועים.
- רישיון: CC0 1.0
htext-by
מתוכננתCC BY 4.0 (per source)- תוכן: טקסט שרישיון המקור שלו דורש ייחוס בלבד (CC BY או מקביל).
- מותר: כל שימוש, בתנאי שנותנים קרדיט למקורות. לכל פריט יש שורת קרדיט, והגרסה כוללת קובץ NOTICE מרוכז.
- רישיון: CC BY 4.0 (per source)
htext-by-sa
מתוכננתCC BY-SA 4.0- תוכן: טקסט בשיתוף זהה, בעיקר תעתיקי ויקיטקסט העברית וגרסאות ספריא ברישיון CC BY-SA.
- מותר: כל שימוש, עם קרדיט, וכל עיבוד של הטקסט שמשותף הלאה חייב להיות גם הוא ב־CC BY-SA.
- רישיון: CC BY-SA 4.0
מאגרים
שורות בנחלת הכלל מפרויקט בן־יהודה
pby-v3htext-cc0פרוזה, מאמרים, זיכרונות, מכתבים, משלים, שירה, ספרות עיון ומחזות שהקלידו מתנדבי פרויקט בן־יהודה, חתוכים לשורות, עם ניקוד ובלעדיו.
| קובץ | גרסה | סוג | שורות | יצירות | גודל |
|---|---|---|---|---|---|
pby_lines_il_plain_v3.txt | ישראל | ללא ניקוד | 12,278,848 | 16,409 | 559.0 MB |
pby_lines_il_niqqud_v3.txt | ישראל | מנוקד | 1,680,290 | 15,738 | 119.9 MB |
pby_lines_il_us_plain_v3.txt | ישראל + ארה"ב | ללא ניקוד | 407,456 | 564 | 19.0 MB |
pby_lines_il_us_niqqud_v3.txt | ישראל + ארה"ב | מנוקד | 18,613 | 325 | 1.3 MB |
ישראל: כל שורה לקוחה מיצירה שבנחלת הכלל בישראל. ישראל + ארה"ב: תת־הקבוצה שבנחלת הכלל גם בארה"ב. שורות מנוקדות כוללות ניקוד; שורות ללא ניקוד אינן כוללות.
- גרסת htext: htext-cc0
- מקור: פרויקט בן־יהודה (נחלת הכלל (רישיון המאגר של פרויקט בן־יהודה))
- גרסה: pby-v3, 2026-11-18
- כרטיס המאגר: CORPUS_CARD.md
- גרסה קודמת: pby-v2 (בעיות ידועות)
- גרסה קודמת: pby-v1 (בעיות ידועות)
- טקסט: הוקלד בידי אנשים.
- ל־25,267 מתוך 26,455 יצירות בקטלוג יש שורות במאגר; ל־701 מהן גם בגרסת ישראל + ארה"ב.
חוקי הכנסת כפי שפורסמו
knesset-laws-v1htext-cc0החוקים שחוקקו שמונה הכנסות הראשונות (1949–1977), כפי שנדפסו ברשומות (ספר החוקים), חתוכים לשורות, עם הערות השוליים כשורות נפרדות.
| קובץ | גרסה | סוג | שורות | חוקים | גודל |
|---|---|---|---|---|---|
knesset_laws_lines_plain_v1.txt | ישראל | ללא ניקוד | 234,821 | 2,004 | 10.4 MB |
- גרסת htext: htext-cc0
- מקור: כנסת ישראל (לא מוגן: חוק זכות יוצרים, סעיף 6)
- גרסה: knesset-laws-v1, 2026-11-18
- כרטיס המאגר: CORPUS_CARD.md
- טקסט: שכבת ה־OCR של הסריקות, מסוננת מול מילון. בבדיקה בעין של 100 שורות אקראיות מול הסריקות נמצאה טעות ב־9 (9%), ו־9 מילים שגויות מתוך 454 (2.0%).
- ל־2,004 מתוך 2,146 חוקים בקטלוג יש שורות במאגר.
תנ"ך: כתב יד לנינגרד (WLC)
tanakh-v1htext-cc0התנ"ך, כל 39 הספרים, כפי שהוא מופיע בכתב יד לנינגרד בגרסת וסטמינסטר (WLC 4.20), חתוך לשורות בשתי צורות: מנוקד (בלי טעמים) ובלי ניקוד.
| קובץ | גרסה | סוג | שורות | ספרים | גודל |
|---|---|---|---|---|---|
tanakh_lines_niqqud_v1.txt | ישראל | מנוקד | 58,120 | 39 | 4.6 MB |
tanakh_lines_plain_v1.txt | ישראל | ללא ניקוד | 58,074 | 39 | 2.7 MB |
- גרסת htext: htext-cc0
- מקור: כתב יד לנינגרד בגרסת וסטמינסטר, דרך Open Scriptures Hebrew Bible (נחלת הכלל)
- גרסה: tanakh-v1, 2026-11-18
- כרטיס המאגר: CORPUS_CARD.md
- טקסט: הוקלד בידי אנשים.
- לכל 39 הספרים יש שורות במאגר, בשתי הצורות. שני הקבצים, המנוקד והלא־מנוקד, מכילים את אותם פסוקים, ולכן הסיכומים למעלה סופרים אותם פעם אחת.
זכויות
לכל פריט יש רישום זכויות עם שני שדות, pd_israel ו־pd_us, וכל אחד מציין את הבסיס שלפיו חושב ואת השנה שבה הוא תקף. גרסת מאגר כוללת פריט רק אם הרישום שלו עומד בכלל של אותה גרסה. הרישומים מתפרסמים עם כל מאגר.
תרגום נחשב נחלת הכלל רק אם גם המחבר וגם המתרגם בנחלת הכלל. כל פריט מתעד גם את רישיון המקור ואת שורת הקרדיט שלו, כך שאפשר לבנות ולסנן כל גרסה מחדש. אף גרסה אינה כוללת טקסט ברישיון לא־מסחרי (NC) או ללא יצירות נגזרות (ND), וטקסט לעולם אינו עובר בין גרסאות: בנייה של CC0 לעולם אינה כוללת שורה ב־CC BY או ב־CC BY-SA.
שדות הזכויות הם קריאת הפרויקט את החוק, ולא ייעוץ משפטי.
- פרויקט בן־יהודה: נחלת הכלל בישראל: כל מחבר וכל מתרגם נפטרו 71 שנה לפחות לפני שנת הבנייה (2026), לפי שנות פטירה מוויקינתונים, ובהיעדרן ממקור שנבדק, כמו דף המחבר בפרויקט בן־יהודה. המעמד בארה"ב מתועד לכל יצירה: נחלת הכלל בארה"ב כשהמהדורה שהוקלדה יצאה לפני 1931.
- כנסת ישראל: חוקים אינם מוגנים בזכות יוצרים בישראל (סעיף 6 לחוק זכות יוצרים, התשס"ח-2007). המעמד בארה"ב לא נבדק.
- כתב יד לנינגרד בגרסת וסטמינסטר, דרך Open Scriptures Hebrew Bible: כתב יד לנינגרד בן כאלף שנה, וטקסט ה־WLC בנחלת הכלל ("The text of the WLC remains in the Public Domain", OSHB). נחלת הכלל בישראל ובארה"ב. נלקחות רק המילים, בלי שכבות הלמות והמורפולוגיה של OSHB שברישיון CC BY. המהדורה היא WLC ולא UXLC.
הורדה ושימוש
קובצי המאגר מצורפים לגרסת ה־GitHub של כל מאגר, והכרטיס, סיכומי הביקורת ואינדקס הזכויות נמצאים במאגר הקוד. כל קובץ הוא UTF-8, שורה אחת לכל רשומה, מנורמל ל־NFC וללא שורות ריקות.
הורידו את הקבצים ובדקו אותם מול סיכומי הביקורת שפורסמו:
gh release download pby-v3 -R HeOCR/htext
curl -LO https://raw.githubusercontent.com/HeOCR/htext/main/data/pby/v3/SHA256SUMS
grep -E '_v3\.txt$' SHA256SUMS | sha256sum -c
השתמשו בקובץ כטקסט אימון ל־hocrsyngen, שמתעד אותו כ־external:sha256:<hex>:
hocrsyngen ... --text-corpus pby_lines_il_plain_v3.txt
או בנו מאגר מחדש מהמקור: לכל מאגר יש מדריך בנייה במאגר הקוד, למשל המדריך של פרויקט בן־יהודה.
קרדיט
הרישיון אינו מחייב קרדיט, אבל חלק מהמקורות מבקשים אותו, ו־HeOCR נותן אותו. אנא העבירו את השורות האלה לכל כרטיס מאגר נתונים או מודל שמשתמש במאגר:
Credit: Project Ben-Yehuda volunteers · קרדיט: מתנדבי פרויקט בן־יהודה
Credit: The Knesset of Israel (Knesset database, laws as published in Reshumot) · קרדיט: כנסת ישראל (מאגר הכנסת, החוקים כפי שפורסמו ברשומות)
Credit: Westminster Leningrad Codex (public domain), via the Open Scriptures Hebrew Bible · קרדיט: כתב יד לנינגרד בגרסת וסטמינסטר (נחלת הכלל), דרך Open Scriptures Hebrew Bible
רישיון
לכל גרסה יש רישיון משלה, כמפורט תחת גרסאות; תנאי CC BY ו־CC BY-SA חלים על טקסט המקור. העיבוד והמטא־דאטה של HeOCR, כלומר אינדקסי הזכויות והשורות, רשימות ההחרגה, הכרטיסים וסיכומי הביקורת, מוקדשים לנחלת הכלל ברישיון CC0 1.0 בכל הגרסאות, ככל שאפשר להפריד אותם מהטקסט. קוד הבנייה ברישיון MIT.