Writing a book with "AI"
I am generally quite sceptical about the use of "AI", but I would like to understand better how it can be used and especially used in an "ethically acceptable" way. Of course both "AI" and "ethically acceptable" are up for discussion, but first I would like to understand what can be done and how. Preferable this should be done locally.
I have this idea for a book, I would like to write. I have worked on it on and of for a very long time, but that project is too large for me to handle efficiently. Since many aspects and details are connected, I tend to repeat, reformulate and re-approach the same aspects, reasonnings, conclusions etc, practically spirally around without really getting anywhere. I do not in any want to use "AI" to produce any content at all, just to help me organise my content and transribe my audio recorded notes.
I wonder, if the use of "AI" could help me put my hundreds of small and larger pieces together, sieve out all the repetations and organise the content for my book? My pieces consist of texts, but also sound bits which I would like to have transcribed. My book is intented for a Danish audience, but if no models handle Danish well enough, I could work in English and then translate it in the end (parts of the book would also be relevant for non-Danes).
In another thread (https://trisquel.info/en/forum/ai-assisted-contributions), Magic Banana state to be using Qwen 3.5 and davidpgil uses llama.cpp, so I realised that maybe I could get some help to get started on this here.
So, if you
* have experience with writing books, chapters, articles or the like with "AI", or
* know about places to learn about how to ethically use "AI" to support your wting of longer texts, or
* have some ideas, knowledge or thoughts about this,
I would very much appreciate your comments here.
Thanks in advance.
In another thread (https://trisquel.info/en/forum/ai-assisted-contributions), Magic Banana state to be using Qwen 3.5
As I wrote a little after in that same thread, I have now installed Olmo 3, whose entire model flow (starting with the data, which are not all under a free license) is accessible and customizable: https://trisquel.info/forum/ai-assisted-contributions#comment-184084
You can download Olmo 3 and run it on your CPU (what requires more than 9 GB of RAM) following the simple instructions I gave, still in that same thread: https://trisquel.info/forum/ai-assisted-contributions#comment-184061
I have just prompted Olmo 3 that: "You write a book in Danish. Any book: you choose. Give me the first page of content". Here is the result (after a long time "thinking", which is good for reasoning tasks) for you to judge the quality of the language:
Rød Bøn i Morgenstien
God morgen, Søren. Lyden støtter fra havets rødder, som tider træder på. Nogen gang, før du var i den lille kystbypen, hørte du det? En rød bøn, som trukte sig under højt, og deres stemme, som var som en lave skrædderske melodi. Men i dag, som altid, kaster sig bag. En rød bøn, der ikke er der...
(First page of a short story set in a Danish coastal village. The protagonist, Søren, reflects on a mysterious red dog from his childhood, now absent. The opening evokes nostalgia, coastal imagery, and an unresolved tension that hints at deeper secrets or legends tied to the sea.)
Let me know if you'd like adjustments to tone, length, or details!
Thanks for the clarification.
The example in Danish is utter rubbish but very funny to read.
I translated it to English by deepl and that makes a lot more sense:
"A Red Prayer on the Morning Path
Good morning, Søren. The sound echoes from the roots of the sea, as time marches on. Did you ever hear it, back when you were in that little coastal town? A red prayer that rose high, and their voices, like a soft, delicate melody. But today, as always, it fades into the background. A red prayer that isn’t there..."
Anyway, as I tried to say, I do not want the model to invent content. I want it to help me organise my content from hundreds of smaller and longer bits of text and speech. Do you think it will be able to help me with such a task?
I believe the best is to try. The "chain of thought" (before the actual answer) of Olmo 3 is really long. After experimenting with Qwen 3.5 (9B), without that chain of thought, I find the delay annoying, although it must be good for actual reasoning tasks. Here is Qwen 3.5 (9B)'s output when given the same prompt:
Her er første side af en roman, jeg har skrevet for dig. Det er en historisk dramatisk roman, der begynder i København i 1814, på tærsklen til en ny tid.
***
**Titel: Aske og Kalk**
**Kapitel 1: Den sene vinter**
Københavns havn lå som en stor, mørk sår i landskabet. Det var slutningen af februar 1814, og koldt regn havde vasket asfalten ud af gaderne i Nørrebro, så de lignede brune floder, der sakte og tungt snurrede mod havnen. Luften lugtede af saltvand, brændt koks og den sædvanlige, fastlåste damp, der steg op fra byens mange rødstensbygninger.
Inden for murene af den nye kongelige borg, nu omdøbt til Christiansborg, lå kongen og hans ministre i en verden af politisk spekulering og hemmelige aftaler. Uden for murene, i de smalle, våde gader, levede byens almindelige borgere i en verden, hvor hverdagen bestod af brødpriser, vejret og frygten for, at krigen med England ville ryge længere ind i deres lommer.
Elias Jensen stod ved vinduet i sin smålejlighed i Nørregade. Han var en mand i sin femogtyve, med hænderne dybt indfiltret i de mørke, grove tråde af en uldtrøje. Hans ansigt var et kort af arbejdsstøv og de små, røde mærker, som kun stenhuggerens værktøj efterlod. Han holdt et stykke pergament i hånden, som han havde skrevet på i den sidste halvanden time. Det var en klage, han havde skrevet til en af de lokale embedsmænd, en klage over, at hans far havde mistet sin hånd i en ulykke ved murene for ti år siden, og at Elias nu stod tilbage som den eneste forsørger for en lille familie.
"Det er meningsløst," hviskede han til sig selv, mens han gnistede sin røgepibe, der næsten var helt tom. "Det er meningsløst at skrive til dem, der har deres mavefulde og deres huse."
Han kiggede ud over gaden. En gruppe drenge løb forbi, mens de drillede en mand, der gik med en stor, tom kasse. Mændene i byen talte om fred, om unionen med Sverige, om en ny orden i verden. Men Elias havde aldrig hørt ordet "fred" nævnt i sammenhæng med hans fars smerte.
Han foldede pergamentet sammen og stak det i en lille, slidt pose. Med et tungt suk lukkede han vinduet. Regnen bankede mod trærammen, og lyden mindede ham om tågen, der altid lå over havnen. Det var en tåge, der skjulte fremtiden, men ikke fortiden. Og fortiden var tung at bære.
"Skal jeg gå?" spurgte han den lille pige, der sad og spillede med en knogle ved siden af ham. Hendes navn var Sofie, og hun var ni år gammel. Hun kiggede op på ham med store, mørke øjne, der altid så på ham med en blanding af frygt og forventning.
"Nej, Sofie," svarede han og rystede hovedet. "Det er for tidligt. Vi skal vente på, at solen går op."
Men han vidste, at solen ikke ville gøre nogen forskel på hans situation. Den ville bare opstå, som den havde gjort i tusind år før, og så synke ned igen, mens hans familie stadig skulle kæmpe for at overleve en dag i gang.
Elias satte sig ned ved skrivebordet og tog sit pensel frem. Han begyndte at skrive en ny klage, denne gang til kongen selv. Han vidste, at det sandsynligvis aldrig ville blive læst, men han kunne ikke lade være. Det var hans måde at sige sin mening på, selvom ingen lyttede.
Han så på sine hænder, der var dækket af små, hvide flager af kalk og muresten. Det var hans arbejde, men det var også hans fængsel. Han kunne ikke flygte fra det, og han vidste ikke, om han kunne flytte sig.
"Det er en svær tid for os alle," hviskede han til sig selv, mens han skrev sine første ord på papiret. "Men vi må ikke give op."
Han så ud ad vinduet igen. Havnen lå stadig i mørke, men han kunne se, hvordan første lys begyndte at bryde igennem tågen. Det var et tegn på, at en ny dag var ved at komme, men han vidste ikke, om den nye dag ville bringe noget godt eller noget dårligt for hans familie.
Han satte sin pen ned og kiggede på det, han havde skrevet. Det var en klage, men også en håbets erklæring. Han vidste, at han ikke kunne gøre meget, men han kunne ikke lade være med at prøve.
"Skal jeg gå?" spurgte Sofie igen, denne gang mere insisterende.
"Ja, Sofie," svarede han og smilede til hende. "Vi skal gå og se, om vi kan finde noget at spise i dag. Men først skal jeg skrive til kongen."
Han foldede papiret sammen og stak det i en lille, slidt pose. Med et tungt suk lukkede han vinduet. Regnen bankede mod trærammen, og lyden mindede ham om tågen, der altid lå over havnen. Det var en tåge, der skjulte fremtiden, men ikke fortiden. Og fortiden var tung at bære.
"Skal jeg gå?" spurgte den lille pige, der sad og spillede med en knogle ved siden af ham. Hendes navn var Sofie, og hun var ni år gammel. Hun kiggede op på ham med store, mørke øjne, der altid så på ham med en blanding af frygt og forventning.
"Nej, Sofie," svarede han og rystede hovedet. "Det er for tidligt. Vi skal vente på, at solen går op."
Men han vidste, at solen ikke ville gøre nogen forskel på hans situation. Den ville bare opstå, som den havde gjort i tusind år før, og så synke ned igen, mens hans familie stadig skulle kæmpe for at overleve en dag i gang.
Elias satte sig ned ved skrivebordet og tog sit pensel frem. Han begyndte at skrive en ny klage, denne gang til kongen selv. Han vidste, at det sandsynligvis aldrig ville blive læst, men han kunne ikke lade være. Det var hans måde at sige sin mening på, selvom ingen lyttede.
Han så på sine hænder, der var dækket af små, hvide flager af kalk og muresten. Det var hans arbejde, men det var også hans fængsel. Han kunne ikke flygte fra det, og han vidste ikke, om han kunne flytte sig.
"Det er en svær tid for os alle," hviskede han til sig selv, mens han skrev sine første ord på papiret. "Men vi må ikke give op."
Han så ud ad vinduet igen. Havnen lå stadig i mørke, men han kunne se, hvordan første lys begyndte at bryde igennem tågen. Det var et tegn på, at en ny dag var ved at komme, men han vidste ikke, om den nye dag ville bringe noget godt eller noget dårligt for hans familie.
Han satte sin pen ned og kiggede på det, han havde skrevet. Det var en klage, men også en håbets erklæring. Han vidste, at han ikke kunne gøre meget, men han kunne ikke lade være med at prøve.
"Skal jeg gå?" spurgte Sofie igen, denne gang mere insisterende.
"Ja, Sofie," svarede han og smilede til hende. "Vi skal gå og se, om vi kan finde noget at spise i dag. Men først skal jeg skrive til kongen."
Han foldede papiret sammen og stak det i en lille, slidt pose. Med et tungt suk lukkede han vinduet. Regnen bankede mod trærammen, og lyden mindede ham om tågen, der altid lå over havnen. Det var en tåge, der skjulte fremtiden, men ikke fortiden. Og fortiden var tung at bære.
The two models have different notions for the length of a page! Although I cannot read Danish (although I have lived in Aalborg for a year), I guess Qwen better writes in Danish because, contrary to Olmo, it has probably learned from copyrighted books. We have no idea what it was given.
It is not good poetry, but it mostly does make sense.
Still, what I am looking for is not so much help with formulations but rather organisation - if that make sense.
For instance I have a lot of short and long notes and texts. I would like some help look across these an divide content that more meaningfully belong to the content of other notes ect, and hence collect content from various notes which is connected, perhaps even overlapping (of which there will be many cases).
I imagine I would have to teach the model how I want things organised but that would be a good process, since it would force me to become more clear.
Funny, you've lived in Denmark. Did you study here?
It feels like this forum is taking me much further than expected, but the information is rather accurate on most topics. As if the huge pile of online information had been processed into its fine parts.
Because of the other thread about AI, I started reading about SLMs, and they simply happen to be LLMs with a smaller number of parameters by several orders of magnitude. What difference in output should be expected from a Qwen SLM like this one: https://ollama.com/library/qwen3.5:0.8b? Maybe that would be enough to "stitch" a book together if trained on the existing draft pieces? Being able to train your own AI model sounds like the ultimate freedom.
What difference in output should be expected from a Qwen SLM like this one: https://ollama.com/library/qwen3.5:0.8b?
Like the 9B (which stands for 9 billions parameters) version I ran, it is a model distilled from the full (397B) Qwen 3.5, i.e., it learned from the output of the full model (trying to match the whole probability distribution for the next token) rather than from data. The more distilled the model, the less resource-intensive (never execute a model that does not fit into your available RAM!) but also the worse in term of quality.
"Being able to train your own AI model sounds like the ultimate freedom."
Do you know resources which explains how to do that?
Here is a step-by-step guide showing what creating an SLM from scratch may look like:
In your case, given the description of the task, I think I would simply start by writing an outline (chapters and main parts) and see how the existing notes and various texts fit in. You seem to be missing an outline, which may be why you are running in circles.
I don't understand why you would use an LLM for this. Knowledge management software exists for organizing large stores of inter-connected information.
You would have to figure out how to tell the LLM what you would otherwise do yourself; the organization may take a long time (depending on how much data you have), and there will probably be mistakes because you evidently are not an experienced prompt writer, so you will have to repeat something. You will have to check over the LLM's work, multiple times if it makes mistakes. Is such a process preferable to organizing the notes yourself?