می‌تونین شمارنده محیط مثال رو این‌جوری تغییر بدید.
راستی فایل‌تون برای اجرای درست به بسته amsthm هم نیاز داشت که اضافه‌ش کردم.
\documentclass[12pt]{report}
\usepackage{amsthm}
\usepackage{xepersian}
\settextfont[Scale=1]{XB Niloofar}
\setlatintextfont[Scale=0.9]{Times New Roman}
\setdigitfont[Scale=1]{XB Zar}
\SepMark{-}
\theoremstyle{definition}
\newtheorem{definition}{تعریف}[section]
\theoremstyle{theorem}
\newtheorem{theorem}[definition]{قضیه}
\newtheorem{lemma}[definition]{لم}
\newtheorem{proposition}[definition]{گزاره}
\newtheorem{corollary}[definition]{نتیجه}
\newtheorem{remark}[definition]{نکته}
\theoremstyle{definition}
%\newtheorem{example}[definition]{مثال}
\newtheorem{example}{مثال}[section]
\makeatletter
\renewcommand{\theexample}{\arabic{section}\@SepMark\arabic{example}}
\makeatother
\begin{document}
\chapter{مشتق}
متن ................
\section{بخش}
\begin{example}
این یک مثال است
\end{example}
متن ..........
\subsection*{زیر بخش}
به‌عنوان مثال متن زیر را دقت کنیم:
\section{عنوان تست}
\begin{example}
این یک مثال است
\end{example}
\begin{example}
این یک مثال است
\end{example}
\begin{example}
این یک مثال است ب
\end{example}
\end{document}
