Four project pitches for STARS

Populations are ageing fast. Dementia and frailty reach millions of families every year. Today, clinicians only see a patient a few times a year — and by then, the decline is often already visible.

At the same time, in 2026, AI has changed: video foundation models, multi-modal LLMs, and self-supervised pre-training now make it possible to learn general behaviour from unlabeled data.

The gap is real: continuous, in-home, contact-free observation of older adults, turned into early clinical signals. Nobody is doing this end-to-end yet.

Les populations vieillissent vite. La démence et la fragilité touchent des millions de familles chaque année. Aujourd'hui, les cliniciens ne voient un patient que quelques fois par an — et le déclin est souvent déjà visible à ce moment-là.

En même temps, en 2026, l'IA a changé : les modèles de fondation vidéo, les LLM multi-modaux et le pré-entraînement auto-supervisé permettent maintenant d'apprendre le comportement général à partir de données non annotées.

Le vide est réel : une observation continue, à domicile, sans contact des personnes âgées, transformée en signaux cliniques précoces. Personne ne le fait de bout en bout aujourd'hui.

One system with one foundation model, trained on RGB, depth, and wearable signals. From a single depth camera and one wearable, it extracts activities of daily living, breathing, heart rate, gait, and agitation — continuously.

It learns each person's personal baseline, and raises a signal when the baseline shifts. A vision-language model then writes a short weekly report for the doctor: what changed, why, and what to look at.

Un système avec un modèle de fondation, entraîné sur RGB, profondeur et signaux portables. À partir d'une seule caméra de profondeur et d'un capteur portable, il extrait les activités de la vie quotidienne, la respiration, la fréquence cardiaque, la marche et l'agitation — en continu.

Il apprend la référence personnelle de chaque personne, et lève un signal quand cette référence bouge. Un modèle vision-langage écrit ensuite un court rapport hebdomadaire pour le médecin : ce qui a changé, pourquoi, et sur quoi regarder.

1. RQ1 — Can a single foundation model jointly learn RGB, depth, and wearable signals in a self-supervised way, and beat single-modality models on all downstream tasks?
2. RQ2 — Can we detect early signs of decline (frailty, cognitive, respiratory) weeks before a clinician, using per-person self-supervised anomaly detection?
3. RQ3 — Can a vision-language model, given long-term video and physiology, produce clinical reports that doctors accept and act on?

1. QR1 — Un seul modèle de fondation peut-il apprendre conjointement RGB, profondeur et signaux portables en auto-supervisé, et battre les modèles mono-modaux sur toutes les tâches en aval ?
2. QR2 — Peut-on détecter les signes précoces de déclin (fragilité, cognitif, respiratoire) des semaines avant le clinicien, avec une détection d'anomalie auto-supervisée par personne ?
3. QR3 — Un modèle vision-langage, alimenté par la vidéo et la physiologie sur la durée, peut-il produire des rapports cliniques que les médecins acceptent et exploitent ?

Bonus module — M5 — A vision-language reporter: a multi-modal LLM (LLaVA-style) that reads a week of signals and video snippets and writes a short structured note for the doctor, with evidence links back to the raw data.

Module bonus — M5 — Un rapporteur vision-langage : un LLM multi-modal (type LLaVA) qui lit une semaine de signaux et d'extraits vidéo et écrit une courte note structurée pour le médecin, avec des liens de preuve vers les données brutes.

Year 1 — 2026 — Foundations.

• Q1–Q2: literature, data agreements with CoBTeK, hardware setup.
• Q3: pre-train the multi-modal foundation model on public + Toyota Smarthome data.
• Q4: first paper (CVPR / NeurIPS 2027 submission) on multi-modal SSL for older-adult activity.

Year 2 — 2027 — Clinical validation and impact.

• Q1–Q2: fine-tune on CoBTeK data, deploy in a pilot at Nice University Hospital.
• Q3: build the vision-language reporter, evaluate with clinicians.
• Q4: second paper + patent extension + Horizon Europe / ANR grant proposal.

Année 1 — 2026 — Fondations.

• T1–T2 : bibliographie, accords de données avec CoBTeK, mise en place matérielle.
• T3 : pré-entraînement du modèle de fondation sur données publiques + Toyota Smarthome.
• T4 : premier papier (soumission CVPR / NeurIPS 2027) sur l'auto-supervisé multi-modal pour l'activité des personnes âgées.

Année 2 — 2027 — Validation clinique et impact.

• T1–T2 : fine-tuning sur les données CoBTeK, déploiement pilote au CHU de Nice.
• T3 : construction du rapporteur vision-langage, évaluation avec les cliniciens.
• T4 : deuxième papier + extension de brevet + demande Horizon Europe / ANR.

• 2 top-tier papers (CVPR, NeurIPS, AAAI, or IEEE TPAMI).
• 1 clinical validation paper in a medical journal (Age & Ageing, JAMA-related).
• Open-source foundation model and code, for the STARS community.
• New benchmark: multi-modal older-adult activity + physiology dataset (with CoBTeK).
• Patent extension on my US patent, from breathing to full behaviour + physiology.
• Grant proposal for Horizon Europe (EU4Health / EIC) or ANR PRC.

• 2 papiers de haut niveau (CVPR, NeurIPS, AAAI ou IEEE TPAMI).
• 1 papier de validation clinique dans une revue médicale (Age & Ageing, JAMA-related).
• Modèle de fondation open source et code, pour la communauté STARS.
• Nouveau benchmark : jeu de données multi-modal activité + physiologie chez les personnes âgées (avec CoBTeK).
• Extension de brevet sur mon brevet américain, de la respiration au comportement + physiologie complets.
• Montage d'une demande de financement Horizon Europe (EU4Health / EIC) ou ANR PRC.

STARS already leads on video understanding, activity recognition, and multi-sensor fusion — this is exactly the base I need to build on.

CoBTeK + Nice University Hospital gives the clinical data, the older-adult cohort, and the medical expertise. Without them, the project is just an academic paper.

3IA Côte d'Azur gives the AI infrastructure, compute, and the strategic frame. This work fits directly under the chair's health axis.

What I add: a working pipeline for contactless physiology from depth, hospital experience, a US patent I can extend, and hands-on bimodal deep learning from my recent fall-detection work.

STARS est déjà en pointe sur la compréhension vidéo, la reconnaissance d'activités et la fusion multi-capteurs — c'est exactement la base sur laquelle je veux construire.

CoBTeK + CHU de Nice apporte les données cliniques, la cohorte de personnes âgées et l'expertise médicale. Sans eux, le projet n'est qu'un papier académique.

3IA Côte d'Azur apporte l'infrastructure IA, le calcul et le cadre stratégique. Ce travail se place directement sous l'axe santé de la chaire.

Ce que j'ajoute : un pipeline opérationnel de physiologie sans contact par profondeur, une expérience hospitalière, un brevet américain que je peux étendre, et une pratique concrète du deep learning bimodal issue de mon travail récent sur la détection de chute.

• Data access delays — start with public datasets (Toyota Smarthome, NTU RGB+D, Charades) while CoBTeK agreements are set up.
• Compute cost — leverage the 3IA cluster; use LoRA-style adapters instead of full pre-training when possible.
• Clinical acceptance of vision-language reports — co-design with clinicians from day one; measure trust and usefulness in a small pilot before scaling.
• Privacy at home — on-device inference, edge computing, no raw video leaves the home.

• Délais d'accès aux données — commencer avec les jeux publics (Toyota Smarthome, NTU RGB+D, Charades) pendant la mise en place des accords CoBTeK.
• Coût de calcul — s'appuyer sur le cluster 3IA ; utiliser des adaptateurs type LoRA plutôt qu'un pré-entraînement complet quand c'est possible.
• Acceptation clinique des rapports vision-langage — co-conception avec les cliniciens dès le début ; mesurer confiance et utilité dans un petit pilote avant de passer à l'échelle.
• Vie privée à domicile — inférence sur appareil, edge computing, la vidéo brute ne quitte pas le domicile.

“I want to build, with STARS and CoBTeK, a multi-modal foundation model that turns one depth camera and one wearable into an early-warning system for older adults — and lets a vision-language model explain, every week, what changed in a person's life.”

« Je veux construire, avec STARS et CoBTeK, un modèle de fondation multi-modal qui transforme une seule caméra de profondeur et un capteur portable en système d'alerte précoce pour les personnes âgées — et qui laisse un modèle vision-langage expliquer, chaque semaine, ce qui a changé dans la vie d'une personne. »

Vision. Predict a fall hours before from subtle daily changes (gait speed, stride variability, breathing rhythm, sit-to-stand time), and seconds before from micro-instabilities in posture.

Why STARS. This is a direct extension of my upcoming IEEE ICM 2026 paper on camera + IMU fusion, and it sits inside STARS's core work on human motion. CoBTeK gives access to older-adult data.

Approach:

• Bimodal encoder: depth camera + IMU (wrist, waist, or chest) with a shared temporal transformer.
• Two time horizons: a slow branch (hours — long-term risk) and a fast branch (seconds — imminent instability).
• Uncertainty-aware output: probability of fall in the next 24h and next 5s, with calibrated confidence.
• Robustness: sensor-placement invariance (camera angle, wearable location) — the exact question of my new paper.

Roadmap. Y1 (2026): dataset extension, prediction model, first paper. Y2 (2027): clinical pilot at CoBTeK, wearable alerting demo, second paper + grant application.

Deliverables. 2 papers, open dataset extension, real-time demo, patent option on the prediction pipeline.

Vision. Prédire une chute des heures avant à partir de changements subtils du quotidien (vitesse de marche, variabilité du pas, rythme respiratoire, temps assis-debout), et des secondes avant à partir de micro-instabilités de la posture.

Pourquoi STARS. C'est une extension directe de mon papier IEEE ICM 2026 sur la fusion caméra + IMU, et cela s'inscrit dans le cœur du travail de STARS sur le mouvement humain. CoBTeK donne accès aux données de personnes âgées.

Approche :

• Encodeur bimodal : caméra de profondeur + IMU (poignet, taille ou poitrine) avec un transformeur temporel partagé.
• Deux horizons temporels : une branche lente (heures — risque long terme) et une branche rapide (secondes — instabilité imminente).
• Sortie avec incertitude : probabilité de chute dans les prochaines 24h et 5s, avec confiance calibrée.
• Robustesse : invariance au placement des capteurs (angle caméra, position portable) — la question même de mon nouveau papier.

Feuille de route. A1 (2026) : extension du jeu de données, modèle de prédiction, premier papier. A2 (2027) : pilote clinique à CoBTeK, démo d'alerte portable, deuxième papier + demande de financement.

Livrables. 2 papiers, extension de jeu de données ouvert, démo temps réel, option de brevet sur le pipeline de prédiction.

Vision. A vision-language model that ingests a day of home video and wearable signals and produces a short, structured clinical note: "08:15 — medication taken, gait unsteady, mild agitation observed", with links back to the raw evidence.

Why STARS. STARS already builds skeleton and activity pipelines — the perfect visual backbone. Adding an LLM head with RAG on medical guidelines (SNOMED, ICD-10, geriatric care protocols) gives clinicians something they can trust.

Approach:

• Backbone: a video encoder (SigLIP-Video or InternVideo2) frozen; LoRA adapters on a medical-tuned LLM.
• Grounding: each generated sentence is linked to a video segment + a clinical guideline entry (retrieval-augmented).
• Evaluation: not just BLEU — clinician acceptance rate, time saved, and factuality against ground truth.
• Privacy: on-device inference, only text notes leave the home.

Roadmap. Y1 (2026): build the model, evaluate on Toyota Smarthome + CoBTeK. Y2 (2027): clinician-in-the-loop trial, publish + demo at a nursing home.

Deliverables. 2 papers (one methods, one clinical), open medical VLM benchmark, prototype dashboard for nursing homes.

Vision. Un modèle vision-langage qui absorbe une journée de vidéo à domicile et de signaux portables et produit une note clinique courte et structurée : « 08h15 — médicament pris, marche instable, agitation légère observée », avec des liens vers les preuves brutes.

Pourquoi STARS. STARS construit déjà les pipelines squelette et activité — l'ossature visuelle parfaite. Ajouter une tête LLM avec RAG sur les guidelines médicaux (SNOMED, ICD-10, protocoles gériatriques) donne aux cliniciens quelque chose de fiable.

Approche :

• Ossature : encodeur vidéo (SigLIP-Video ou InternVideo2) gelé ; adaptateurs LoRA sur un LLM ajusté au médical.
• Ancrage : chaque phrase générée est liée à un segment vidéo + une entrée de guideline clinique (retrieval-augmented).
• Évaluation : pas seulement BLEU — taux d'acceptation clinicien, temps gagné, factualité contre vérité terrain.
• Vie privée : inférence sur appareil, seules les notes texte quittent le domicile.

Feuille de route. A1 (2026) : construction du modèle, évaluation sur Toyota Smarthome + CoBTeK. A2 (2027) : essai clinicien-en-boucle, publication + démo en EHPAD.

Livrables. 2 papiers (méthodes + clinique), benchmark VLM médical ouvert, tableau de bord prototype pour EHPAD.

Vision. A behaviour model that continuously adapts to each older adult over months and years — and detects meaningful drift (early cognitive decline, disease progression) versus normal ageing.

Why STARS. This maps directly onto Brémond's stated interest in life-long learning, spatio-temporal reasoning and uncertainty. CoBTeK's longitudinal cohort is the ideal testbed.

Approach:

• Disentangled representation: separate a person-specific latent (their normal) from a general behaviour space (shared across people).
• Continual learning: EWC / replay buffers so new data does not overwrite the old, plus drift detection on the person latent.
• Alerts: when the drift crosses a threshold, raise a clinical signal — not "the person fell" but "their walking is 12% slower than three months ago".
• Explainability: each drift alert is grounded in specific behavioural dimensions (mobility, sleep, agitation, breathing).

Roadmap. Y1 (2026): representation and continual learning, first paper. Y2 (2027): 12-month CoBTeK study, drift-based decline prediction, second paper.

Deliverables. 2 papers, longitudinal benchmark protocol, open code, clinical drift dashboard.

Vision. Un modèle de comportement qui s'adapte en continu à chaque personne âgée sur des mois et des années — et détecte les dérives significatives (déclin cognitif précoce, progression de maladie) par rapport au vieillissement normal.

Pourquoi STARS. Cela cible directement l'intérêt déclaré de Brémond pour le life-long learning, le raisonnement spatio-temporel et la gestion de l'incertitude. La cohorte longitudinale de CoBTeK est le terrain de test idéal.

Approche :

• Représentation désentrelacée : séparer un latent propre à la personne (sa normale) d'un espace de comportement général (partagé entre personnes).
• Apprentissage continu : EWC / mémoires de rejeu pour que les nouvelles données n'effacent pas les anciennes, plus détection de dérive sur le latent personnel.
• Alertes : quand la dérive dépasse un seuil, lever un signal clinique — pas « la personne est tombée » mais « sa marche est 12% plus lente qu'il y a trois mois ».
• Explicabilité : chaque alerte de dérive est ancrée dans des dimensions comportementales précises (mobilité, sommeil, agitation, respiration).

Feuille de route. A1 (2026) : représentation et apprentissage continu, premier papier. A2 (2027) : étude CoBTeK 12 mois, prédiction de déclin par dérive, deuxième papier.

Livrables. 2 papiers, protocole de benchmark longitudinal, code ouvert, tableau de bord clinique de dérive.

My honest answer: Idea 1 — BehaviourWatch-3D — is the flagship. It absorbs the other three as sub-modules and generates the highest number of top-tier papers.

But if you tell me you need a fast, focused win first, I would start with Idea 2 — Fall-Ahead-3D: 12 months to a first paper and a clinical demo, directly building on my IEEE ICM 2026 submission.

If you tell me you want to plant a flag in a hot 2026 space, we go with Idea 3 — MedActionLLM: it puts STARS on the map of medical vision-language models.

If you tell me the priority is what you already care about most, we go with Idea 4 — LifelongCare: it lands squarely on your stated interest in life-long learning.

I am ready to lead any of them — and honestly, I would love to hear which one excites you.

Ma réponse honnête : l'idée 1 — BehaviourWatch-3D — est le projet phare. Elle absorbe les trois autres comme sous-modules et produit le plus grand nombre de papiers de haut niveau.

Mais si vous me dites qu'il faut une victoire rapide et ciblée d'abord, je commence par l'idée 2 — Fall-Ahead-3D : 12 mois pour un premier papier et une démo clinique, directement dans la continuité de ma soumission IEEE ICM 2026.

Si vous me dites qu'il faut planter un drapeau dans un espace chaud en 2026, on part sur l'idée 3 — MedActionLLM : elle place STARS sur la carte des modèles vision-langage médicaux.

Si vous me dites que la priorité est ce qui compte déjà le plus pour vous, on part sur l'idée 4 — LifelongCare : elle atterrit pile sur votre intérêt déclaré pour le life-long learning.

Je suis prêt à mener n'importe laquelle — et honnêtement, j'aimerais entendre celle qui vous excite le plus.