]> git.giacomolli.uk - onechat/blob - README.rst
Move whatsapp_send to its own file
[onechat] / README.rst
1 #########
2  OneChat
3 #########
4
5 OneChat is one AI agent in a single chat that never ends. A daemon owns
6 the agent and its files, and a terminal client and a Telegram bot talk
7 to it. It is in early development. Linux is supported.
8
9 ****************
10  Data directory
11 ****************
12
13 OneChat keeps its data and its token file in one directory. It uses the
14 first of these:
15
16 #. ``ONECHAT_DIR``, when it is set.
17 #. ``$XDG_DATA_HOME/onechat``, when ``XDG_DATA_HOME`` is an absolute
18    path. A relative value is ignored.
19 #. ``~/.local/share/onechat``. With no home directory, OneChat exits
20    with an error.
21
22 OneChat creates the directory with mode 0700.
23
24 ***************
25  Configuration
26 ***************
27
28 ``config.json`` in the data directory holds the settings. OneChat does
29 not create it. A missing file or field takes the default, and an unknown
30 field is an error.
31
32 .. code:: json
33
34    {
35      "endpoint": "chatgpt",
36      "compactor": {"model": "gpt-6.1-sol", "effort": "high"}
37    }
38
39 ``endpoint``
40    ``chatgpt`` (the default) sends model calls to the ChatGPT backend
41    with the subscription login. ``api`` sends them to the OpenAI API
42    with the key in ``OPENAI_API_KEY``, which must then be set. With
43    ``chatgpt``, OneChat ignores ``OPENAI_API_KEY``.
44
45 ``compactor``
46    The model and the reasoning effort of the summaries. The defaults are
47    ``gpt-6.1-sol`` and ``high``.
48
49 *******
50  Login
51 *******
52
53 The ``chatgpt`` endpoint needs a login with a ChatGPT account:
54
55 .. code:: console
56
57    onechat login
58
59 The command shows a link and a code. Open the link on any device, enter
60 the code, and approve the login. Device code login must be allowed in
61 the ChatGPT security settings. OneChat writes the tokens to
62 ``auth.json`` in the data directory, with mode 0600, and refreshes them
63 before they expire. The file belongs to OneChat only. Do not share it
64 with the Codex CLI, because each program rotates the refresh token and
65 logs the other out.
66
67 *******
68  Agent
69 *******
70
71 Start the daemon, and then the client in another terminal:
72
73 .. code:: console
74
75    onechat daemon
76    onechat chat
77
78 The daemon owns the root agent in ``agent/`` in the data directory and
79 listens on the Unix socket ``onechat.sock`` there. In the client, each
80 line is a message to the agent, the line ``/stop`` interrupts the
81 running turn, the line ``/stop NAME`` stops the subagent NAME, and
82 Ctrl-D ends the client. The client shows the replies, the tool calls,
83 and the first lines of each tool result as they happen. It also shows
84 each message that the user sends from another client, with the client as
85 a mark, such as ``[telegram] text``. When a subagent starts, the client
86 shows ``[NAME] started``, and it shows the whole report of the subagent,
87 which starts with ``[NAME]``, but not the tool calls of the subagent.
88 The daemon is the only process that uses the token file while it runs,
89 so ``onechat login`` and ``onechat probe`` refuse to start until it
90 stops.
91
92 The agent runs commands with bash as the user in its working directory,
93 with no sandbox. It has the rights of the user, also on the token file.
94
95 When the user asks for it, the agent starts subagents for long tasks.
96 Each subagent has a name, such as ``GreenOtter``, and runs in the
97 background while the agent answers other messages. It gets the view of
98 the agent and its task, and it runs its tools as the agent does, in
99 ``agent/subagents/NAME/work``. A task in a repository gives the path of
100 the repository. The steps of a subagent go to its own log in
101 ``agent/subagents/NAME``, not to the chat, and its final reply comes
102 back to the agent as one message that starts with ``[NAME]``. The agent
103 can send a subagent more messages: a running subagent reads them between
104 its tool calls, and a finished one goes on from its log, and its reply
105 comes back in the same way. When the user stops a subagent, the chat
106 gets a note, and the report of the subagent is logged, but it starts no
107 turn. Each model call of a subagent has the name in the ``agent`` field
108 of ``agent/usage.jsonl``. ``agent/work.json`` holds the names of the
109 running subagents. A subagent that runs when the daemon stops goes on at
110 the next start: the chat gets the note that the daemon restarted, and
111 the subagent gets the same note and goes on from its log.
112
113 ``agent/config.json`` holds the settings of the agent. The first start
114 writes it with the defaults and a random ID. Do not change the ID: the
115 prompt cache key comes from it.
116
117 .. code:: json
118
119    {
120      "name": "OneChat",
121      "id": "0123456789abcdef0123456789abcdef",
122      "model": "gpt-6.1-sol",
123      "effort": "medium",
124      "workdir": "/home/user"
125    }
126
127 ``workdir`` is an absolute path, and its default is the home directory.
128 ``agent/instructions.md`` holds the user's instructions: who they are,
129 how their files are organized, and how they want work done. The prompt
130 ends with them, and a change applies at the next call.
131
132 **********
133  Telegram
134 **********
135
136 The daemon also connects the agent to a Telegram bot when
137 ``telegram.json`` exists in the data directory. It polls the Bot API for
138 new messages, so it needs no open port.
139
140 #. Make a bot with BotFather and keep its token.
141
142 #. Find your numeric Telegram user ID.
143
144 #. Write the token and the ID to ``telegram.json``, and give the file
145    mode 0600, because the token is a secret. The daemon refuses the file
146    with any other mode.
147
148 #. Start the daemon, open a private chat with the bot, and write.
149
150 .. code:: json
151
152    {"token": "123456:ABC-token-from-BotFather", "owner": 123456789}
153
154 The bot reads only the private chat of the owner and ignores all other
155 updates. Each text message goes to the agent as a user message, the line
156 ``/stop`` interrupts the running turn, and the line ``/stop NAME`` stops
157 the subagent NAME. The bot sends the replies in parts of at most 4096
158 characters, with their Markdown as Telegram formats: bold, italic,
159 strikethrough, code, code blocks, links, and headings as bold text. When
160 Telegram refuses the formats of a part, the bot sends the part again as
161 plain text. Each error goes as a short message in plain text. It shows
162 the typing action while a turn runs. It does not send the tool calls.
163 For a subagent it sends only ``[NAME] started`` and ``[NAME] finished``,
164 ``[NAME] stopped``, or ``[NAME] failed``, because the reply of the agent
165 carries the content of the report. It sends each message that the user
166 types in the terminal client, with the mark ``[terminal]``.
167
168 ``agent/telegram-offset.json`` holds the ID of the next update. The bot
169 moves it past an update only after the message is durable in the log, so
170 a restart of the daemon does not lose a message. A crash just after the
171 write of a message can make the message repeat once. A network failure
172 or a rate limit makes the bot wait and try again, and does not stop the
173 daemon.
174
175 **********
176  WhatsApp
177 **********
178
179 The daemon connects to the WhatsApp account of the user as a linked
180 device. The terminal client and Telegram take three commands:
181
182 ``/whatsapp pair PHONE``
183    Links the account of PHONE, the number with its country code, such as
184    ``+15550001111``. The daemon answers with the steps and then with a
185    pairing code in its own message: in WhatsApp on the phone, open
186    Linked devices, tap Link a device, then tap Link with phone number
187    instead, and enter the code. The code expires in about 2 minutes, and
188    the same command gives a new code. When the link succeeds, the daemon
189    answers with the linked number.
190
191 ``/whatsapp status``
192    Shows the link: not linked, linked and connected, or linked and
193    disconnected, with the times of the connection.
194
195 ``/whatsapp unlink``
196    Ends the link and deletes the session. When WhatsApp is disconnected,
197    the phone does not get the logout, so remove the device in Linked
198    devices on the phone.
199
200 The answers go only to the client that asked, and the commands do not go
201 to the agent, so the agent never gets the phone number or the code. The
202 chat gets only the notes that WhatsApp is linked or unlinked.
203
204 The session is ``whatsapp/session.db`` in the data directory, with mode
205 0600 in a directory with mode 0700. It gives full access to the WhatsApp
206 account, so the daemon refuses the file when its mode is not 0600. The
207 shell of the agent runs as the user, so it can read the session. If the
208 session leaks, remove the linked device in WhatsApp on the phone, and
209 the session stops working. Without the file, WhatsApp is not linked.
210
211 The daemon reads the text messages of the private chats and the groups,
212 from other people and from the user. It does not read media, reactions,
213 edits, deletions, view-once and disappearing messages, or the history
214 from before the link. The messages of one chat form one batch until the
215 chat is quiet for 20 seconds, for 2 minutes or 50 messages at the most.
216 Each batch goes to the chat of the agent as one work message that starts
217 with ``[WhatsApp]``, with the name and the ID of the chat, and the time,
218 the sender, and the text of each message. The messages of the user show
219 as ``You``. ``whatsapp/state.json``, with mode 0600, keeps the batches
220 that are not in the chat yet, so they survive a restart, and the records
221 of the sends. A crash just after a batch goes to the chat can make the
222 batch repeat once.
223
224 A batch of a private chat with a message of another person starts a
225 turn, and so does a batch of a group with a message that mentions the
226 user or replies to a message of the user. The other batches go to the
227 chat with no turn, and the agent sees them at its next turn. A batch
228 that starts a turn ends with a line that tells the agent to end its turn
229 with an empty reply when nothing in the batch needs the user. No client
230 shows an empty reply, so such a batch gives no message in Telegram. The
231 terminal client shows each batch, and Telegram shows none.
232
233 The phone number of the user never goes to the chat: a mention of the
234 user shows as ``@you``, the number shows as ``OWN``, and the chat of the
235 user with itself is not read. But the IDs of the other chats go to the
236 chat and to the model, because the agent needs them to send. The ID of a
237 private chat holds the phone number of the contact, such as
238 ``15550002222@s.whatsapp.net``, and the ID of a group can hold the
239 number of the person who made it.
240
241 While the daemon is stopped or disconnected, the WhatsApp servers keep
242 the messages for the linked device and send them at the next connection.
243 They keep them only for a limited time, so a long stop can lose
244 messages. These messages form batches by their original times, as live
245 messages do. The daemon waits for the end of this catch-up, or one
246 minute at the most, and then gives all its batches to the agent in one
247 turn, not one turn for each chat. The batches of ``whatsapp/state.json``
248 at the start wait for the first catch-up in the same way.
249
250 The agent finds a chat with the tool ``whatsapp_find``: it gives the
251 contacts and the groups whose name holds a text, with no regard to case
252 and accents, with their IDs. The names of the contacts come from the
253 session, and the names of the groups from WhatsApp, kept in memory for
254 one hour. The names arrive from the phone some minutes after the link,
255 and until then the tool says that they are not ready. The agent sends a
256 text message with the tool ``whatsapp_send``, only when the user asks
257 for it. Each send has an ID that the agent gives: a repeated call with
258 the same ID gives the answer of the first call and sends nothing. The
259 state file keeps the last 1000 send records. When the daemon stops
260 during a send, the result is not known, and the tool tells the agent to
261 ask the user to look at the chat in WhatsApp. Without a link, both tools
262 tell the agent to ask the user to run ``/whatsapp pair PHONE``. Only the
263 agent has the WhatsApp tools, not its subagents.
264
265 Each batch of a group goes to the chat, also with no turn, and the
266 memory tree summarizes it with model calls, which use the quota.
267
268 When the session holds a linked device, the daemon connects at its
269 start, and after a network failure it connects again by itself. When a
270 disconnection lasts 10 minutes, all clients get one notice, and one more
271 when the connection comes back. When WhatsApp ends the connection for
272 good, for example because another program uses the same session, all
273 clients get a notice at once. When the user removes the device in the
274 phone, the daemon deletes the session and tells all clients one time.
275
276 *******
277  Probe
278 *******
279
280 ``onechat probe LOG COUNT [BUILDS]`` measures the compactor on a log. It
281 appends the first COUNT messages of LOG, one JSON object ``{"kind",
282 "text"}`` on each line, to a new chat in ``probe/`` in the data
283 directory, and builds its tree with real model calls. The calls use the
284 quota of the account. The run stops at the first failed call, after 660
285 calls, or when the used percent of a quota window grows by more than 15
286 points. At the end it reports the calls per message, the cached share of
287 the input tokens, the retries, the line sizes, and the quota at the
288 first and the last call. BUILDS, from 1 to 8, limits the model calls at
289 once in the run.
290
291 A test writes a generated log of readable made-up messages:
292
293 .. code:: console
294
295    ONECHAT_PROBE_LOG=probe.jsonl go test -run TestProbeLogHasTheSyntheticMix
296
297 *************
298  Development
299 *************
300
301 Nix supplies the Go toolchain and all tools. Enter the development shell
302 with direnv:
303
304 .. code:: console
305
306    direnv allow
307
308 Or enter it directly:
309
310 .. code:: console
311
312    nix develop
313
314 The shell sets ``ONECHAT_DIR`` to ``.devenv/onechat`` in the checkout,
315 unless it is already set. Development data goes there, and Git ignores
316 ``.devenv``.
317
318 Build and run:
319
320 .. code:: console
321
322    nix build
323    ./result/bin/onechat
324
325 Format and check all files:
326
327 .. code:: console
328
329    bin/format
330    bin/check
331    nix flake check
332
333 ``bin/check`` and ``nix build`` run a short replay of the synthetic log.
334 ``nix flake check`` also runs the full replay of 100,000 messages.