מה זה htext
htext אוסף טקסט עברי שזכויותיו ברורות דיין לפרסום פתוח, והופך אותו לשורות אימון עבור hocrsyngen, מחולל העמודים הסינתטיים של HeOCR. המחולל מצייר כל שורה על עמודים סינתטיים, כך שמנועי הזיהוי לומדים אוצר מילים, כתיב ופיסוק עבריים אמיתיים, ולא רק טקסט מומצא.
לכל מקור יש בונה משלו, מאגר משלו וכרטיס משלו. בנייה קוראת עותק נעוץ של המקור, מחשבת זכויות לכל פריט, מנקה וחותכת את הטקסט, ובודקת ששום שורה אינה חופפת לטקסט ההערכה של HeOCR. רק הקבצים שהכרטיס מונה מתפרסמים.
גרסאות
htext מתפרסם בגרסה אחת לכל רישיון. בחרו את הגרסה שתנאיה מתאימים לשימוש שלכם. מודלים שאומנו על כל אחת מהן עדיין יכולים להתפרסם ברישיון פתוח, עם קרדיט בקובץ ה־NOTICE שלהם.
htext-cc0
פורסמהCC0 1.0- תוכן: טקסט בנחלת הכלל, טקסט ב־CC0, וטקסטים רשמיים שאינם מוגנים בזכות יוצרים (חוקים, תקנות ודברי הכנסת, לפי סעיף 6 לחוק זכות יוצרים).
- מותר: כל שימוש, בלי תנאים. זו הגרסה ברירת המחדל לאימון ולמדדי ביצועים.
- רישיון: CC0 1.0
htext-by
מתוכננתCC BY 4.0 (per source)- תוכן: טקסט שרישיון המקור שלו דורש ייחוס בלבד (CC BY או מקביל).
- מותר: כל שימוש, בתנאי שנותנים קרדיט למקורות. לכל פריט יש שורת קרדיט, והגרסה כוללת קובץ NOTICE מרוכז.
- רישיון: CC BY 4.0 (per source)
htext-by-sa
מתוכננתCC BY-SA 4.0- תוכן: טקסט בשיתוף זהה, בעיקר תעתיקי ויקיטקסט העברית וגרסאות ספריא ברישיון CC BY-SA.
- מותר: כל שימוש, עם קרדיט, וכל עיבוד של הטקסט שמשותף הלאה חייב להיות גם הוא ב־CC BY-SA.
- רישיון: CC BY-SA 4.0
מאגרים
שורות בנחלת הכלל מפרויקט בן־יהודה
pby-v3.1htext-cc0פרוזה, מאמרים, זיכרונות, מכתבים, משלים, שירה, ספרות עיון ומחזות שהקלידו מתנדבי פרויקט בן־יהודה, חתוכים לשורות, עם ניקוד ובלעדיו. גרסה 3.1 כוללת רק את הגרסאות הישראליות. הגרסאות לישראל ולארה״ב זמינות בגרסאות 2.1 ו־1.1.
| קובץ | גרסה | סוג | שורות | גודל |
|---|---|---|---|---|
pby_lines_il_plain_v3.txt | ישראל | ללא ניקוד | 11,937,498 | 543.4 MB |
pby_lines_il_niqqud_v3.txt | ישראל | מנוקד | 1,672,711 | 119.3 MB |
- גרסת htext: htext-cc0
- מקור: פרויקט בן־יהודה (נחלת הכלל (רישיון המאגר של פרויקט בן־יהודה))
- גרסה: pby-v3.1, 2026-11-20
- כרטיס המאגר: CORPUS_CARD.md
- גרסה קודמת: pby-v2.1
- גרסה קודמת: pby-v1.1
- גרסה קודמת: pby-v3, הוסרה ב־2026-11-20: הקבצים שלה חפפו לטקסט ההערכה של HeOCR
- גרסה קודמת: pby-v2, הוסרה ב־2026-11-20: הקבצים שלה חפפו לטקסט ההערכה של HeOCR (בעיות ידועות)
- גרסה קודמת: pby-v1, הוסרה ב־2026-11-20: הקבצים שלה חפפו לטקסט ההערכה של HeOCR (בעיות ידועות)
- Zenodo (DOI): 10.5281/zenodo.24398596
- Hugging Face: HeOCR/htext-pby (בבדיקה המתוקנת נמצאו אפס רצפים משותפים של שש מילים מול 16 מאגרי הערכה, עבור קובצי הטקסט האלה)
- טקסט: הוקלד בידי אנשים.
חוקי הכנסת כפי שפורסמו
knesset-laws-v2htext-cc0החוקים שחוקקו שמונה הכנסות הראשונות (1949–1977), כפי שנדפסו ברשומות (ספר החוקים), חתוכים לשורות, עם הערות השוליים כשורות נפרדות.
| קובץ | גרסה | סוג | שורות | חוקים | גודל |
|---|---|---|---|---|---|
knesset_laws_lines_plain_v2.txt | ישראל | ללא ניקוד | 223,617 | 1,972 | 9.9 MB |
- גרסת htext: htext-cc0
- מקור: כנסת ישראל (לא מוגן: חוק זכות יוצרים, סעיף 6)
- גרסה: knesset-laws-v2, 2026-11-20
- כרטיס המאגר: CORPUS_CARD.md
- גרסה קודמת: knesset-laws-v1, הוסרה ב־2026-11-20: הקבצים שלה חפפו לטקסט ההערכה של HeOCR (בעיות ידועות)
- Zenodo (DOI): 10.5281/zenodo.24384730 (כל הגרסאות: 10.5281/zenodo.24384729)
- Hugging Face: HeOCR/htext-knesset-laws (אותם קבצים כמו בגרסה ב־GitHub)
- טקסט: שכבת ה־OCR של הסריקות, מסוננת מול מילון. בבדיקה בעין של 94 שורות אקראיות מול הסריקות נמצאה טעות ב־9 (10%), ו־9 מילים שגויות מתוך 428 (2.1%).
- ל־1,972 מתוך 2,146 חוקים בקטלוג יש שורות במאגר.
תנ"ך: כתב יד לנינגרד (WLC)
tanakh-v1.1htext-cc0שורות מסוננות מכתב יד לנינגרד בגרסת וסטמינסטר (WLC 4.20), עם ניקוד ובלי ניקוד, ללא טעמים.
| קובץ | גרסה | סוג | שורות | גודל |
|---|---|---|---|---|
tanakh_lines_plain_v1.txt | ישראל | ללא ניקוד | 57,637 | 2.7 MB |
tanakh_lines_niqqud_v1.txt | ישראל | מנוקד | 57,683 | 4.6 MB |
- גרסת htext: htext-cc0
- מקור: כתב יד לנינגרד בגרסת וסטמינסטר, דרך Open Scriptures Hebrew Bible (נחלת הכלל)
- גרסה: tanakh-v1.1, 2026-11-20
- כרטיס המאגר: CORPUS_CARD.md
- גרסה קודמת: tanakh-v1, הוסרה ב־2026-11-20: הקבצים שלה חפפו לטקסט ההערכה של HeOCR
- Zenodo (DOI): 10.5281/zenodo.24398530
- Hugging Face: HeOCR/htext-tanakh (בבדיקה המתוקנת נמצאו אפס רצפים משותפים של שש מילים מול 16 מאגרי הערכה, עבור קובצי הטקסט האלה)
- טקסט: הוקלד בידי אנשים.
זכויות
לכל פריט יש רישום זכויות עם שני שדות, pd_israel ו־pd_us, וכל אחד מציין את הבסיס שלפיו חושב ואת השנה שבה הוא תקף. גרסת מאגר כוללת פריט רק אם הרישום שלו עומד בכלל של אותה גרסה. הרישומים מתפרסמים עם כל מאגר.
תרגום נחשב נחלת הכלל רק אם גם המחבר וגם המתרגם בנחלת הכלל. כל פריט מתעד גם את רישיון המקור ואת שורת הקרדיט שלו, כך שאפשר לבנות ולסנן כל גרסה מחדש. אף גרסה אינה כוללת טקסט ברישיון לא־מסחרי (NC) או ללא יצירות נגזרות (ND), וטקסט לעולם אינו עובר בין גרסאות: בנייה של CC0 לעולם אינה כוללת שורה ב־CC BY או ב־CC BY-SA.
שדות הזכויות הם קריאת הפרויקט את החוק, ולא ייעוץ משפטי.
- פרויקט בן־יהודה: נחלת הכלל בישראל: כל מחבר וכל מתרגם נפטרו 71 שנה לפחות לפני שנת הבנייה (2026), לפי שנות פטירה מוויקינתונים, ובהיעדרן ממקור שנבדק, כמו דף המחבר בפרויקט בן־יהודה. המעמד בארה"ב מתועד לכל יצירה: נחלת הכלל בארה"ב כשהמהדורה שהוקלדה יצאה לפני 1931.
- כנסת ישראל: חוקים אינם מוגנים בזכות יוצרים בישראל (סעיף 6 לחוק זכות יוצרים, התשס"ח-2007). המעמד בארה"ב לא נבדק.
- כתב יד לנינגרד בגרסת וסטמינסטר, דרך Open Scriptures Hebrew Bible: כתב יד לנינגרד בן כאלף שנה, וטקסט ה־WLC בנחלת הכלל ("The text of the WLC remains in the Public Domain", OSHB). נחלת הכלל בישראל ובארה"ב. נלקחות רק המילים, בלי שכבות הלמות והמורפולוגיה של OSHB שברישיון CC BY. המהדורה היא WLC ולא UXLC.
הורדה ושימוש
להורדת קובצי הטקסט השתמשו בקישורי הגרסאות למעלה. כרטיסי המאגרים וסיכומי SHA-256 נמצאים במאגר הקוד. כל קובץ הוא UTF-8, שורה אחת לכל רשומה, מנורמל ל־NFC וללא שורות ריקות.
הורידו את הקבצים ובדקו אותם מול סיכומי הביקורת שפורסמו:
gh release download knesset-laws-v2 -R HeOCR/htext
curl -LO https://raw.githubusercontent.com/HeOCR/htext/main/data/knesset_laws/v2/SHA256SUMS
grep -E '_v2\.txt$' SHA256SUMS | sha256sum -c
השתמשו בקובץ כטקסט אימון ל־hocrsyngen, שמתעד אותו כ־external:sha256:<hex>:
hocrsyngen ... --text-corpus knesset_laws_lines_plain_v2.txt
או בנו מאגר מחדש מהמקור: לכל מאגר יש מדריך בנייה במאגר הקוד, למשל המדריך של פרויקט בן־יהודה.
קרדיט
הרישיון אינו מחייב קרדיט, אבל חלק מהמקורות מבקשים אותו, ו־HeOCR נותן אותו. אנא העבירו את השורות האלה לכל כרטיס מאגר נתונים או מודל שמשתמש במאגר:
Credit: Project Ben-Yehuda volunteers · קרדיט: מתנדבי פרויקט בן־יהודה
Credit: The Knesset of Israel (Knesset database, laws as published in Reshumot) · קרדיט: כנסת ישראל (מאגר הכנסת, החוקים כפי שפורסמו ברשומות)
Credit: Westminster Leningrad Codex (public domain), via the Open Scriptures Hebrew Bible · קרדיט: כתב יד לנינגרד בגרסת וסטמינסטר (נחלת הכלל), דרך Open Scriptures Hebrew Bible
רישיון
לכל גרסה יש רישיון משלה, כמפורט תחת גרסאות; תנאי CC BY ו־CC BY-SA חלים על טקסט המקור. העיבוד והמטא־דאטה של HeOCR, כלומר אינדקסי הזכויות והשורות, רשימות ההחרגה, הכרטיסים וסיכומי הביקורת, מוקדשים לנחלת הכלל ברישיון CC0 1.0 בכל הגרסאות, ככל שאפשר להפריד אותם מהטקסט. קוד הבנייה ברישיון MIT.