gistfile1.txt

Pour arriver jusqu’au trésor, il faudra que tu sois attentif aux signes. Dieu a écrit dans le monde le chemin que chacun de nous doit suivre. Il n’y a a qu’à lire ce qu’il a écrit pour toi. »
Quand on veut une chose, tout l’univers conspire à nous permettre de réaliser notre rêve
Mon coeur craint de soufffrir, dit le jeune homme à l’alchimiste, une nuit qu’ils regardeaient le ciel sans lune.
Dis-lui que la crainte de la souffrance est pire que la souffrance elle-même.
Et qu’aucun coeur n’a jamais souffert alors qu’il était à la poursuite de ses rêves. »
Chaque Homme sur terre a un trésor qui l’attend, lui dit son coeur. Nous, les coeurs, en parlons rarement, car les Hommes ne veulent plus trouver ces trésors. Nous n’en parlons qu’aux petits enfants. Ensuite, nous laissons la vie se charger de conduire chacun vers son destin. Malheureusement, peu d’Hommes suivent le chemin qui leur est tracé, et qui est le chemin de la Légende Personnelle et de la félicité. La plupart voient le monde comme quelque chose de menaçant et, pour cette raison même, le monde devient en effet une chose menaçante.

simple_db_word_counter.py

import re
import sqlite3

conn = sqlite3.connect('./words.db')
cur = conn.cursor()

cur.execute('''
            CREATE TABLE IF NOT EXISTS "mots" (
                        "id"	 INTEGER PRIMARY KEY,
                        "mot"	CLOB
         );''')

cur.execute('''
            CREATE TABLE IF NOT EXISTS "resultats" (
                        "mot"	CLOB,
                        "occurence"	INTEGER DEFAULT 0
         );''')

# mots = [] # in case you want to save them into a list

to_ignore = ['a', 'le', 'la', 'les', 'l', 'un', 'une', 'y', 'd', 'de', 'des']

with open('./sample.txt', 'r') as myfile:
    for ligne in myfile.readlines():
        for mot in re.findall('[a-zA-Z]+', ligne):
            if mot not in to_ignore:
                # mots.append(mot.lower()) # here is where you append them to the list
                cur.execute('''
                INSERT INTO mots (mot)
                VALUES (?)
                ''', (mot.lower(),)
                            )
        conn.commit()

cur.execute("SELECT mot, count(mot) as occurence from mots GROUP BY mot")

resultat = cur.fetchall()

for mot in resultat:
    cur.execute('''
            INSERT INTO resultats (mot, occurence)
            VALUES (?, ?)
            ''', (mot[0], mot[1])
                         )
conn.commit()