docker-compose.ymlの対象サービスに以下を追記すればOK。
restart: always
例えば、MySQLを自動起動したい場合。
db:
image: mysql:8.0.14
command: --default-authentication-plugin=mysql_native_password
restart: always
ports:
- "3306:3306"
自動起動させない場合は、restartの行を削除するか、noを設定すればOK。
restart: no